Hakrawler ein schneller golang Web-Crawler auf dem Pi im Docker

Wer einen Web-Crawler auf dem Pi laufen lassen will, kann sich mal den in Go geschiebenen hakrawler anschauen.

Blutzelle

Nach der Installation lassen wir das Programm im Docker (nur gegen eigene Server!) laufen, z.B. mit der Domäne http://kleinhirn.eu/

echo http://kleinhirn.eu | docker run –rm -i hakluke/hakrawler -subs -u

Hier ein Ausschnitt aus dem Dump:

Hier die Parameter aus der Hilfe:

docker run –rm -i hakluke/hakrawler –help

Mehr auf GitHub.