Wenzlaff.de – Rund um die Programmierung
mit Java, Raspberry Pi, SDR, Linux, Arduino, Sicherheit, Blender, Statistik, Krypto und Blockchain
Wie können wir aus PSPP die Daten in ein CSV-File exportieren um sie dann in Excel zu importieren. Wir verwenden wieder unsere Flughöhen aus den vorhergehenden Beispielen.
Wir gehen, wenn wir die Daten geladen haben auf das Menü: Datei – Neu – Syntax. In dem Syntax Editor geben wir ein: „PSPP (Teil 10): Daten Export als CSV für Excel import am Beispiel der Flughöhe“ weiterlesen
So ein Dashboard, hier am Beispiel der CO2 Messungen ist mit dem Cloud Anbieter Ubidots.com schnell gemacht. Kostenlos gibt es 3 Geräte. Es muss ja auch nicht immer Thinkspeak sein.
Hier der Aufbau:
Hier ist der Api Token zu finden: „Cloud Dashboard für CO2-Messungen (CO2-Ampel) mit Ubidots für Java und Python“ weiterlesen
ISS Tracker to CSV für den Raspberry Pi – Vers. 3. Hier nun noch eine Möglichkeit die ISS Postion zu ermitteln und in CSV-Format zu übersetzen. In diesem Flow, ist das CSV-Ergebniss etwas anders. Jeder Satz besteht aus drei Zeilen siehe:
Hier noch die Einstellung für den Datei-Node „„Crew Dragon“ erfolgreich von der ISS auf der Erde zurück – ISS Tracker to CSV – Vers. 3 – „Freut euch immer““ weiterlesen
Wer mal ein paar Daten im CSV Format haben möchte, kann die hier (iss-standort-bis-1-August.csv über 11000 Zeilen, nur 128 kB) vom Raspberry Pi ermittelten laden. Die sind die Basis für diese Grafik:
Und wie immer, „CSV-Daten mit den Positionen der ISS“ weiterlesen
Mit der @CsvSource Annotation in JUnit 5 kann man mit Kommaseparierte Parameter leicht und übersichtliche Tests schreiben. Die API ist aber noch im EXPERIMENTAL Status.
Hier mal ein Beispiel. Für jeden Kommandozeilen Parameter eine Testmethode schreiben:
„JUnit 5 Quickie: @CsvSource“ weiterlesen
Manchmal möchte man mehrere PDF-Formulare automatisch auswerten. Z.B. von einer Umfrage. Also wie bekommt man die im PDF-Formular eingegebenen Felder aller PDF Dateien eines Verzeichnises in eine Excel CSV Datei für die Auswertung? Wie man PDF-Formulare kostenlos erstellt, hatte ich ja schon hier beschrieben.
Das geht mit dem Raspberry Pi (oder auch Mac und Windows) ganz einfach mit dem Java Tool twpdfformulartocsv das ich implementiert habe. Es muss mind. Java 8 auf dem Pi installiert sein. Das kann man mit java -version überprüfen. Es kommt auf dem Pi Zero bei mir
|
1 2 3 |
openjdk version "1.8.0_181" OpenJDK Runtime Environment (build 1.8.0_181-8u181-b13-2~deb9u1-b13) OpenJDK Client VM (build 25.181-b13, mixed mode) |
Hier nun die Schritte, um es zu installieren.
„PDF-Formulare automatisch auswerten – PDF-Formulare to CSV“ weiterlesen
Manchmal will man Verzeichnisse und Dateien vergleichen. Wie kann auf einem Raspberry Pi eine sortierte Komma separierte Liste (CSV, Excel) aller Dateien und Verzeichnisse erstellt werden?
Das geht auf der Komandozeile mit find, stat, format und sort:
|
1 |
find . -exec stat --format='%n,%a,%U,%G,' {} \; | sort > dateiliste.csv |
Wir suchen also mit find in dem Wurzelverzeichnis (.) und führen für jede Datei und jedes Verzeichnis ein Systemstatus abfrage mit stat aus. Dann geben wir die Parameter formartiert mit , aus n=Dateiname, a=Rechte, U=User, G=Gruppe. Das alles wird dann sortiert in die dateiliste.csv geschrieben.
Wir erhalten dann z.B. eine solche Liste: „Linux Quickie: Wie kann eine sortierte CSV Datei mit Dateinamen, Rechten und Gruppe erzeugt werden?“ weiterlesen
Manchmal öffnet man mit Excel per doppelklick eine CSV Datei und hat plötzlich alle Umlaute defekt. Wie kann das korrigiert werden? Wie hier z.B.
Das kann man fixen, in dem man Excel mit einer neuen Tabelle öffnet: „Excel CSV Import mit falschen Umlauten in 2 Minuten fixen“ weiterlesen
Will man Excel CSV Dateien einlesen geht das mit einem Einzeiler in Java:
|
1 |
parser = new CSVParser(reader, CSVFormat.EXCEL.withDelimiter(';').withHeader().withIgnoreHeaderCase().withTrim()); |
Hier die Testmethode die auch etwas Kontext auf der Konsole ausgibt dazu. Man sieht auch, das man auf die Inhalte über einen Index oder den Spaltennamen zugreifen kann. Dann muss auch jedesmal das gleiche Ergebnis geliefert werden, das wird auch in der assert abgetestet.
„Wie kann eine Excel CSV Datei mit Java mit Apache commons eingelesen werden?“ weiterlesen
Will man Testfälle aus einer CSV-Datei verwenden, geht das mit JUnit 5 Super einfach. Es gibt da eine neue Annotation @CsvFileSource der nur der Dateiname der CSV-Datei übergeben werden muss, und schon wird für jede Zeile der Test ausgeführt. Die Datei muss im Classpath liegen und mit Komma (,) getrennt sein. Sie darf keine Überschrift haben.
Als Beispiel soll mal die flug-data.csv dienen, die ua. die Summe aller erfassten Flugzeuge enthält.
Hier ein Auszug:
|
1 2 3 4 5 6 7 8 9 10 |
aed4022e-c6e9-45b1-96c1-14270c68a036,3550,Fri Jun 30 07:37:25 CEST 2017,287,148,115,200,139,150,110,122,129,157,155,250,347,531,293,302,99,16 8695a419-e76a-46f4-9a97-3ba7f0d06999,3514,Fri Jun 30 08:17:07 CEST 2017,206,138,126,181,137,151,126,119,117,142,172,214,338,576,353,292,103,23 ee29ce4a-4b9c-4491-ab6c-e888ccbbf4fa,3612,Fri Jun 30 08:29:03 CEST 2017,289,136,121,178,171,144,134,117,132,145,166,223,323,573,360,284,94,22 a95c25b5-8b3d-4922-9ce3-2d22269b32e8,3555,Fri Jun 30 09:23:14 CEST 2017,213,135,120,191,130,178,113,141,123,158,150,241,337,549,383,289,87,17 874494b7-4824-40b2-8660-d9acec56f837,4121,Fri Jun 30 11:27:51 CEST 2017,220,142,129,209,165,158,137,153,141,174,191,339,395,672,364,369,139,24 562e4c98-98bd-472c-9e9b-fc919c2260aa,5055,Fri Jun 30 16:00:44 CEST 2017,237,195,218,308,260,250,172,158,210,270,248,424,493,696,365,372,127,52 898c57c1-88c2-436d-b49a-a2db85ddc1fb,3277,Sun Jul 02 08:35:18 CEST 2017,211,116,92,156,118,129,102,126,99,125,134,198,308,592,393,289,77,12 6e3663bf-19c1-49fe-8260-3aa4e237b198,5084,Thu Jul 06 15:57:54 CEST 2017,292,206,216,318,259,221,149,150,179,211,230,364,474,781,421,390,160,63 ac38b07f-3aa6-4908-a7d7-bae630916f99,5296,Wed Jul 19 17:34:38 CEST 2017,259,237,214,347,272,237,181,174,186,237,202,332,440,821,439,480,183,55 b7f9487e-dd29-4095-a064-d401192ce9ad,4904,Sun Jul 23 20:32:03 CEST 2017,227,275,221,331,264,209,165,147,171,190,218,329,379,726,434,394,157,67 |
Wir wollen jetzt jede Zeile überprüfen, ob die Summe über 3000 Flugzeuge liegt und ob die UID vorhanden ist. Auch wollen wir die Testergebnisse um eine laufende Nr. ergänzen. „Cooler CSV Reader in JUnit 5“ weiterlesen
Wer z.B. nicht alle Kategorien (post_category) ua. eines WordPress Blogs per Hand eingeben möchte, kann auch eine CSV-Datei importieren, die muss folgenden Aufbau haben:
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 |
"post_category" "China " "Deutschland " "Dominikanische Republik " "England " "Frankreich " "Griechenland " "Indonesien " "Israel " "Italien " "Italien Sizilien " "Malediven " "Niederland " "Polen " |
„Wie können CSV Dateien in einen WordPress Blog importiert werden?“ weiterlesen
Mal schnell ein erstes Beispiel, um zu sehen ob Java 1.8 mit Eclipse Neon wie gewünscht läuft.
Die neue stream Methode des Collection Interface, kann gut dafür verwendet werden, Listen formatiert auszugeben, hier ein Beispiel:
Und hier das JUnit Ergebnis:
Mit geojson.io können leicht GEO-Daten im verschiedenen Formaten erzeugt werden z.B. im JSON, CSV, KLM, WKT Format.
Habe mal, weil der 44. Präsident, Obama in Hannover Langenhagen landet, mal den Flughafen mit zwei von drei Landebahnen markiert. Auch eine 9 km Verlängerung und eine Vermessung zu meinen Wohnort habe ich eingezeichnet:
Hier mit dem rechten Fenster der JSON Generierung:
Und eine von vier Karten, die unten links ausgewählt werden können:
Mit dem TablePress Plugin können leicht Tabellen erstellt und angezeigt werden.
Manchmal möchte man diese Tabelle als PDF oder als Excel exportieren. Das geht mit dem DataTables Buttons Plugin sehr schnell und einfach.
Dazu 1. die ZIP-Datei von downloaden.
2. Die Datei im Worpress Menü: Plugins – Installieren unter Plugin hochladen auswählen.
3. Datei hochladen und Plugin aktivieren. „Wie können Tabellen in WordPress mit TablePress als PDF, CSV und im Excel Format exportiert werden?“ weiterlesen
Mit dem CSV-Testdaten-Generator kann schnell und einfach jegliche Art von Testdaten erzeugt werden. Die dann leicht in JUnit und sonstwie weiterverwendet werden können.
Auch andere gute Tools für die Bearbeitung von CSVs sind dort zu finden. z.B.
Z.B. geben wir in der Eingabe Zeile folgende Schlüsselwörter an:
seq; first; last; name; email; latitude; longitude; domain; string
Wählen noch die Anzahl der zu erzeugenden Datensätze, z.B. 10 und klicken auf „Generate Test Data“.
Schon werden die Testdaten erzeugt, z.B.:
|
1 2 3 4 5 6 7 8 9 10 11 |
[seq;first;last;name;email;latitude;longitude;domain;string 1;Nevaeh;Flores;Layla Patton;funbecev@rud.gov;-37.83501;85.51261;es.com;X96yT8Ti*c10n2*Tq2$ 2;Raymond;Castillo;Madeline Austin;hewit@fedbi.net;-37.34585;81.91501;wiz.io;D%0B9 3;Alex;Vega;Tucker Harris;fedwicro@jizpusi.io;50.22157;80.15615;pehuflir.edu;VUXsuoQ^ 4;Emery;Chapman;Ruby Blake;sehudguj@havbeawi.edu;63.62601;177.62135;iwnego.co.uk;bqa6xwK1jHm 5;Ayla;Price;Alice Turner;are@ona.co.uk;71.88833;65.1077;usfevog.edu;UgHl&lqo*WA16B 6;Eden;Ortega;Presley Hunter;isozba@funoco.io;24.01598;15.27323;cuasve.gov;$R!hvnwUABHppwsN 7;Eva;Higgins;Paige Guzman;se@dok.com;69.97058;168.30766;ton.net;imsoYdGG7 8;Jaden;Maxwell;Amir Powell;keruduf@ig.co.uk;13.61097;109.48138;iwo.net;*LtbS&2g] 9;Bryson;Wood;Olivia Mathis;nofha@ufefic.edu;27.57553;144.73931;ozoum.co.uk;^L9gNMr 10;Gabriel;West;Esther Bush;mefzule@et.org;-9.7853;130.91952;ipebuake.net;6BK[GKSfz(c!v^] |
Mit klick auf „Save to Disk“ können die Testdaten in eine Datei gespeichert werde.
Die Testdaten werden auf dem Client erzeugt, und werden also nicht an den Hersteller der Seite gesendet.
Nun können wir die CSV Testdaten auch in eine HTML Tabelle umwandeln, hier nur die Spalten 1,2,3 eingegeben:
| [seq | first | last |
|---|---|---|
| 1 | Nevaeh | Flores |
| 2 | Raymond | Castillo |
| 3 | Alex | Vega |
| 4 | Emery | Chapman |
| 5 | Ayla | Price |
| 6 | Eden | Ortega |
| 7 | Eva | Higgins |
| 8 | Jaden | Maxwell |
| 9 | Bryson | Wood |
| 10 | Gabriel | West |
Wer die CSV dann in XML umwandel möcht, kann dies auch leicht mit dem CSV to XML Converter tun. Hier mal die CSV die oben generiert wurde:
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 |
<?xml version="1.0"?> <ROWSET> <ROW> <FIELD1>1</FIELD1> <FIELD2>Nevaeh</FIELD2> <FIELD3>Flores</FIELD3> <FIELD4>Layla Patton</FIELD4> <FIELD5>funbecev@rud.gov</FIELD5> <FIELD6>-37.83501</FIELD6> <FIELD7>85.51261</FIELD7> <FIELD8>es.com</FIELD8> <FIELD9>X96yT8Ti*c10n2*Tq2$</FIELD9> <FIELD10></FIELD10> </ROW> <ROW> <FIELD1>2</FIELD1> <FIELD2>Raymond</FIELD2> <FIELD3>Castillo</FIELD3> <FIELD4>Madeline Austin</FIELD4> <FIELD5>hewit@fedbi.net</FIELD5> <FIELD6>-37.34585</FIELD6> <FIELD7>81.91501</FIELD7> <FIELD8>wiz.io</FIELD8> <FIELD9>D%0B9</FIELD9> <FIELD10></FIELD10> </ROW> <ROW> <FIELD1>3</FIELD1> <FIELD2>Alex</FIELD2> <FIELD3>Vega</FIELD3> <FIELD4>Tucker Harris</FIELD4> <FIELD5>fedwicro@jizpusi.io</FIELD5> <FIELD6>50.22157</FIELD6> <FIELD7>80.15615</FIELD7> <FIELD8>pehuflir.edu</FIELD8> <FIELD9>VUXsuoQ^</FIELD9> <FIELD10></FIELD10> </ROW> <ROW> <FIELD1>4</FIELD1> <FIELD2>Emery</FIELD2> <FIELD3>Chapman</FIELD3> <FIELD4>Ruby Blake</FIELD4> <FIELD5>sehudguj@havbeawi.edu</FIELD5> <FIELD6>63.62601</FIELD6> <FIELD7>177.62135</FIELD7> <FIELD8>iwnego.co.uk</FIELD8> <FIELD9>bqa6xwK1jHm</FIELD9> <FIELD10></FIELD10> </ROW> <ROW> <FIELD1>5</FIELD1> <FIELD2>Ayla</FIELD2> <FIELD3>Price</FIELD3> <FIELD4>Alice Turner</FIELD4> <FIELD5>are@ona.co.uk</FIELD5> <FIELD6>71.88833</FIELD6> <FIELD7>65.1077</FIELD7> <FIELD8>usfevog.edu</FIELD8> <FIELD9>UgHl&amp</FIELD9> <FIELD10>lqo*WA16B</FIELD10> </ROW> <ROW> <FIELD1>6</FIELD1> <FIELD2>Eden</FIELD2> <FIELD3>Ortega</FIELD3> <FIELD4>Presley Hunter</FIELD4> <FIELD5>isozba@funoco.io</FIELD5> <FIELD6>24.01598</FIELD6> <FIELD7>15.27323</FIELD7> <FIELD8>cuasve.gov</FIELD8> <FIELD9>$R!hvnwUABHppwsN</FIELD9> <FIELD10></FIELD10> </ROW> <ROW> <FIELD1>7</FIELD1> <FIELD2>Eva</FIELD2> <FIELD3>Higgins</FIELD3> <FIELD4>Paige Guzman</FIELD4> <FIELD5>se@dok.com</FIELD5> <FIELD6>69.97058</FIELD6> <FIELD7>168.30766</FIELD7> <FIELD8>ton.net</FIELD8> <FIELD9>imsoYdGG7</FIELD9> <FIELD10></FIELD10> </ROW> <ROW> <FIELD1>8</FIELD1> <FIELD2>Jaden</FIELD2> <FIELD3>Maxwell</FIELD3> <FIELD4>Amir Powell</FIELD4> <FIELD5>keruduf@ig.co.uk</FIELD5> <FIELD6>13.61097</FIELD6> <FIELD7>109.48138</FIELD7> <FIELD8>iwo.net</FIELD8> <FIELD9>*LtbS&amp</FIELD9> <FIELD10>2g]</FIELD10> </ROW> <ROW> <FIELD1>9</FIELD1> <FIELD2>Bryson</FIELD2> <FIELD3>Wood</FIELD3> <FIELD4>Olivia Mathis</FIELD4> <FIELD5>nofha@ufefic.edu</FIELD5> <FIELD6>27.57553</FIELD6> <FIELD7>144.73931</FIELD7> <FIELD8>ozoum.co.uk</FIELD8> <FIELD9>^L9gNMr</FIELD9> <FIELD10></FIELD10> </ROW> <ROW> <FIELD1>10</FIELD1> <FIELD2>Gabriel</FIELD2> <FIELD3>West</FIELD3> <FIELD4>Esther Bush</FIELD4> <FIELD5>mefzule@et.org</FIELD5> <FIELD6>-9.7853</FIELD6> <FIELD7>130.91952</FIELD7> <FIELD8>ipebuake.net</FIELD8> <FIELD9>6BK[GKSfz(c!v^x</FIELD9> <FIELD10></FIELD10> </ROW> </ROWSET> |
Oder mal eben 1000 Passwörter die 20 Stellen haben generieren mit:
seq,string(20)
|
1 2 3 4 5 6 7 8 9 10 11 12 |
seq,string 1,6W50kn@61erS8r%5iPH5 2,RsAUg%3fa0#dM)$si9f1 3,[8aVDuuV#qo$U]If[vdx 4,)vfY$S7MMJrJ8hGLsG40 5,M92Ir1IZE#JxzIep)47T 6,Jj9uqhd@D2Yt&iDNEdN) 7,X0RU[l6sSnZq[zFnAavy 8,1ZZgdvuNNLBi6HC28$)7 9,p*dV^82rW&o0iK]ltA*[ ... 1000,JT*0PBq&dzaCBrB#G2cQ |
Weitere Ideen?
Manchmal will man eine KML Datei mit Wegpunkten mit Google Earth erstellen. Z.B. eine Liste aller Krankenhäuser, Blizer, Fastfood-Läden usw. Wenn die dann in Excel oder für eine Datenbank benötigt werde, muss sie evl. in das CSV Format (mit Lan, Lon, Beschreibung) umgeformt werden.
Das geht sehr gut mit GPSBabel. Welches auch viele andere Formate für GPS-Geräte umwandeln kann.
Also zuerst die KML Datei mit Google Earth erstellen. Dazu alle Waypoints erzeugen und dann die Liste links selektieren und mit rechstklick das Kontexmenü öffnen Orte speichern unter wählen. Im Dialog als Dateityp kml wählen und speichern.
Wenn GPSBabel installiert ist „Wie kann eine mit Google Earth erzeugte Wegpunktdatei im KML Format in das CSV Format umgeformt werden (KML to CSV)?“ weiterlesen
Wie können aus den von Kismet generierten *.netxml Logdateien lesbare HTML oder CSV Dateien bzw. Reports erstellt werden?
Mit diesem Log-Viewer.
Das Archive klv-2.01.tar.gz laden und auspacken.
|
1 |
tar -xpzvf klv-2.01.tar.gz |
Das Verzeichnis klv-2.01 in das /home/pi/kismet kopieren und in das Verzeichnis wechseln mit
|
1 |
cd /home/pi/kismet/klv-2.02 |
Python Script starten mit aufruf des Verzeichnisses, wo die Logdateien (*.netxml) liegen, also ein Verzeichnis höher
|
1 |
/klv.py .. |
es wird in dem Verzeichnis eine kismet-log-summary.html generiert, hier ein Beispiel Report.
Oder für die CSV Generierung
|
1 |
./klv.py -o csv .. |
erzeugt kismet-log-summary.csv.