Wenzlaff.de – Rund um die Programmierung
mit Java, Raspberry Pi, SDR, Linux, Arduino, Sicherheit, Blender, Statistik, Krypto und Blockchain
Manchmal will man in einem vergangenen ChatGPT Chat was suchen oder auch die History extern sichern. Das geht über die Export Funktion. Einfach unten links auf dem Namen klicken und dann auf das Menü: Einstellungen
„Suchen in ChatGPT Chat History mit html Export“ weiterlesen
Mit JSoup kann ganz einfach eine Webseite gelesen werden.
Dazu einfach in der pom.xml:
|
1 2 3 4 5 |
<dependency> <groupId>org.jsoup</groupId> <artifactId>jsoup</artifactId> <version>1.12.2</version> </dependency> |
ergänzen und folgenden Einzeiler:
System.out.println(„Webseite: “ + Jsoup.connect(„http://wenzlaff.info“).get().html());
Das Ergebnis ist dann die HTML Seite. Mit JSoup können auch einfach Filter und Selektoren erstellt werden. Es unterstüzt leider kein JavaScript.
Dafür kann dann HtmlUnit oder Selenium verwendet werden.
Sicherheit in Java-Projekten. Datenlecks in Java-Code entdecken. Reports mit bekannten Sicherheitslecks können leicht erstellt werden. Hier mal ein Beispiel Report im HTML Format:
Grundlage bildet die National Vulnerability Database (NVD) Datenbank für Sicherheitslücken, die vom National Institute of Standards and Technology (NIST) gepflegt wird. Wie können solche Reports erstellt werden?
Einfach in der Maven pom.xml das folgende Plugin DependencyCheck ergänzen: „Automatische Überprüfung auf Sicherheitslücken im Java Code auf Basis der Internationalen National Vulnerability Database (NVD)“ weiterlesen
Will man schnell und einfach HTML-Dateien parsen bzw. auswerten, geht das mit der schönen JSoup-Api. Hier gibt es eine Mindmap für den schnellen Überblick.
Es sind dann nur zwei Zeilen nötig um z.B. den Titel einer Webseite einzulesen:
|
1 2 |
Document doc = Jsoup.connect("http://reise.wenzlaff.de/reisetabelle/").get(); System.out.println("Der Titel der Website: " + doc.title()); |
Hier mal ein Zitat aus der Orginal Api-Beschreibung:
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 |
jsoup is a Java library for working with real-world HTML. It provides a very convenient API for extracting and manipulating data, using the best of DOM, CSS, and jquery-like methods. jsoup implements the WHATWG HTML specification, and parses HTML to the same DOM as modern browsers do. parse HTML from a URL, file, or string find and extract data, using DOM traversal or CSS selectors manipulate the HTML elements, attributes, and text clean user-submitted content against a safe white-list, to prevent XSS output tidy HTML jsoup is designed to deal with all varieties of HTML found in the wild; from pristine and validating, to invalid tag-soup; j soup will create a sensible parse tree. |
Das sind doch Gründe!
Es braucht in der pom.xml des Maven Projekte nur diese eine Abhängigkeit angegeben zu werden: „Java: Parsen von HTML-Dateien mit JSoup 1.9.2 in zwei Java Zeilen“ weiterlesen
Wie können aus den von Kismet generierten *.netxml Logdateien lesbare HTML oder CSV Dateien bzw. Reports erstellt werden?
Mit diesem Log-Viewer.
Das Archive klv-2.01.tar.gz laden und auspacken.
|
1 |
tar -xpzvf klv-2.01.tar.gz |
Das Verzeichnis klv-2.01 in das /home/pi/kismet kopieren und in das Verzeichnis wechseln mit
|
1 |
cd /home/pi/kismet/klv-2.02 |
Python Script starten mit aufruf des Verzeichnisses, wo die Logdateien (*.netxml) liegen, also ein Verzeichnis höher
|
1 |
/klv.py .. |
es wird in dem Verzeichnis eine kismet-log-summary.html generiert, hier ein Beispiel Report.
Oder für die CSV Generierung
|
1 |
./klv.py -o csv .. |
erzeugt kismet-log-summary.csv.