CSV Dateien vergleichen und ändern

[historic.place]

Hallo,
für einen Internetauftritt: https://gk.historic.place/ benötige ich fachliche Hilfe.
Ich bin weder Programmierer, noch beruflich in der IT tätig.
Folgendes Problem, es existieren zwei sehr große CSV-Dateien. Eine historic.csv und eine FehlendeObjekte.csv (Beispiel im Anhang).
Beide Dateien haben die Gemeinsamkeit der ersten drei Spalten id, lon, und lat.
In der historic.csv befindet sich eine große Anzahl wo die Einträge lon 0.000000 und lat 0.000000 haben.
Die FehlendeObjekte.csv hat zu den Id's mit den ungültigen lon und lat auswertbare Geo-Koordinaten.
Wie bekomme ich die gültigen Koordinaten der FehlendeObjekte.csv in die historic.csv ?
Es handelt sich ca. um 100000 Zeilen mit lon 0.000000 und lat 0.000000. Das ganze soll auf einem Linux-Server laufen.

Schonmal danke im Vorraus von Lutz

[jac]

Hallo Lutz,

ich gehe mal davon aus, dass Du das nur einmalig machen musst.
Dann geht das ohne große Programmierung in Excel (kann auch inzwischen > 100.000 Zeilen). Beide CSV in zwei Tabellen packen und dann per SVerweis "verlinken". Mit dem Stichwort findest Du auch genug Beispiele wie man das macht.

Gruß jac

[marce]

Alternativ die "falsche" Datei in eine z.B. MySQL importieren und die "richtige" Datei via Update-Statements drüberlaufen lassen.

[historic.place]

Leider nein, die historic.csv wird wöchentlich automatisch aus OSM-Daten neu erstellt.

Grüße von Lutz

[historic.place]

Alternativ die "falsche" Datei in eine z.B. MySQL importieren und die "richtige" Datei via Update-Statements drüberlaufen lassen.

Danke, hört sich für mich kompliziert an, da keine Erfahrung mit MySQL

Grüße von Lutz

[ThorstenHirsch]

Tja... dann gib das doch als Auftrag an einen Programmierer.

[jac]

Also die historic.csv wird wöchentlich neu generiert? Dann müssen die fehlenden Koordinaten doch dahin, wo die Datei generiert wird, also in die Quelle. Kannst Du das nicht dort veranlassen?

[historic.place]

Ja, so war es auch einmal, die ganze Sache wird mit Java generiert, was jetzt an irgendeine Grenze gestoßen ist, und eben diese Fehler generiert.
Es wird noch eine Weile dauern, bis die Software angepasst ist. Deshalb habe ich mir diese Zwischenlösung überlegt.
Händisch funktioniert es jetzt mit sqlite, danke für den Tipp.
Ich werde es auch noch automatisiert hinbekommen, danke denen die helfen wollten

Grüße von Lutz

[Aqualung]

Inwieweit das folgende skaliert, musst Du selbst rausfinden:

#!/bin/bash

cp historic2.csv historic2.csv.work

while read l; do   


if $(echo  "$l" | grep -q "^w"); then
  id=`echo $l| awk '{print $1}'` ; echo id $id
  lon=`echo $l| awk '{print $2}'` ; echo lon $lon
  lat=`echo $l| awk '{print $3}'` ; echo lat $lat
  sed -i "/^$id/s/[w0-9]*\t[0-9.]*\t[0-9.]*/${id}\t${lon}\t${lat}/"  historic2.csv.work 


fi         

done < FehlendeObjekte2.csv

[historic.place]

danke :-) läuft zwar ein paar Stunden, aber das stört Nachts niemanden.

Grüße von Lutz

[Aqualung]

Die Debug-Infos können unterbleiben und damit eine gewisse Beschleunigung erreicht werden.
Zur Funktionsprüfung wird pro ersetzter Zeile wird dann nur noch ein Punkt ausgeben:

#!/bin/bash

cp historic2.csv historic2.csv.work

while read l; do   


if $(echo  "$l" | grep -q "^w"); then
  id=`echo $l| awk '{print $1}'` 
  lon=`echo $l| awk '{print $2}'` 
  lat=`echo $l| awk '{print $3}'`
  sed -i "/^$id/s/[w0-9]*\t[0-9.]*\t[0-9.]*/${id}\t${lon}\t${lat}/"  historic2.csv.work 
  echo -n .

fi  
    
done < FehlendeObjekte2.csv