Wer einen Web-Crawler auf dem Pi laufen lassen will, kann sich mal den in Go geschiebenen hakrawler anschauen.
Nach der Installation lassen wir das Programm im Docker (nur gegen eigene Server!) laufen, z.B. mit der Domäne http://kleinhirn.eu/
echo http://kleinhirn.eu | docker run –rm -i hakluke/hakrawler -subs -u
Hier ein Ausschnitt aus dem Dump:
„Hakrawler ein schneller golang Web-Crawler auf dem Pi im Docker“ weiterlesen