JSoup – Wenzlaff.de – Rund um die Programmierung

8. März 202029. Juni 2023

Wie können mit Java automatisch Webseiten mit Jsoup am Beispiel Corona abgefragt werden?

Das Robert Koch Institut (RKI) liefert für Deutschland aktuelle Corona-Fall-Zahlen auf dieser Webseite:

https://www.rki.de/DE/Content/InfAZ/N/Neuartiges_Coronavirus/Fallzahlen.html

in einer schönen Tabelle die wir mit Jsoup abfragen wollen.

Wir schauen uns erst einmal die Stuktur der Seite an. D.h. wir markieren z.B. Niedersachsen und öffnen das rechte Kontexmenü und klicken auf „Element untersuchen“. Nun wird unten der HTML-Quelltext angezeigt. Wir sehen das die Tabelle, an der ersten stelle steht, und mit den tr und td Tags erstellt ist. Das müssen wir für die Analyse wissen.

Hier nun der kommentierte Beispiel-Code: „Wie können mit Java automatisch Webseiten mit Jsoup am Beispiel Corona abgefragt werden?“ weiterlesen

1. März 20204. März 2020

Java Einzeiler des Tages: Lesen einer Webseite mit jsoup den Open source HTML Parser

Mit JSoup kann ganz einfach eine Webseite gelesen werden.

Dazu einfach in der pom.xml:

<dependency>
			<groupId>org.jsoup</groupId>
			<artifactId>jsoup</artifactId>
			<version>1.12.2</version>
</dependency>

<groupId>org.jsoup</groupId>

<artifactId>jsoup</artifactId>

</dependency>

ergänzen und folgenden Einzeiler:

System.out.println(„Webseite: “ + Jsoup.connect(„http://wenzlaff.info“).get().html());

Das Ergebnis ist dann die HTML Seite. Mit JSoup können auch einfach Filter und Selektoren erstellt werden. Es unterstüzt leider kein JavaScript.
Dafür kann dann HtmlUnit oder Selenium verwendet werden.

6. August 201628. Juli 2019

Java: Parsen von HTML-Dateien mit JSoup 1.9.2 in zwei Java Zeilen

Will man schnell und einfach HTML-Dateien parsen bzw. auswerten, geht das mit der schönen JSoup-Api. Hier gibt es eine Mindmap für den schnellen Überblick.

Es sind dann nur zwei Zeilen nötig um z.B. den Titel einer Webseite einzulesen:

Document doc = Jsoup.connect("http://reise.wenzlaff.de/reisetabelle/").get();
System.out.println("Der Titel der Website: " + doc.title());

1 2	Document doc = Jsoup.connect("http://reise.wenzlaff.de/reisetabelle/").get(); System.out.println("Der Titel der Website: " + doc.title());

Hier mal ein Zitat aus der Orginal Api-Beschreibung:

jsoup is a Java library for working with real-world HTML. 
It provides a very convenient API for extracting and manipulating data, 
using the best of DOM, CSS, and jquery-like methods.

jsoup implements the WHATWG HTML specification, 
and parses HTML to the same DOM as modern browsers do.

    parse HTML from a URL, file, or string
    find and extract data, using DOM traversal or CSS selectors
    manipulate the HTML elements, attributes, and text
    clean user-submitted content against a safe white-list, to prevent XSS
    output tidy HTML

jsoup is designed to deal with all varieties of HTML found in the wild; 
from pristine and validating, 
to invalid tag-soup; j
soup will create a sensible parse tree.

jsoup is a Java library for working with real-world HTML.

It provides a very convenient API for extracting and manipulating data,

using the best of DOM, CSS, and jquery-like methods.

jsoup implements the WHATWG HTML specification,

and parses HTML to the same DOM as modern browsers do.

parse HTML from a URL, file, or string

find and extract data, using DOM traversal or CSS selectors

manipulate the HTML elements, attributes, and text

clean user-submitted content against a safe white-list, to prevent XSS

output tidy HTML

jsoup is designed to deal with all varieties of HTML found in the wild;

from pristine and validating,

to invalid tag-soup; j

soup will create a sensible parse tree.

Das sind doch Gründe!

Es braucht in der pom.xml des Maven Projekte nur diese eine Abhängigkeit angegeben zu werden: „Java: Parsen von HTML-Dateien mit JSoup 1.9.2 in zwei Java Zeilen“ weiterlesen