Archiv verlassen und diese Seite im Standarddesign anzeigen : OSM2XP Java-Heap-Space
Die Osm-Daten werden durch die Aktivität der Nutzer letztendlich immer größer und umfangreicher.
Ab einer bestimmten Größe innerhalb eines "tile", 1°x1°-Bereich für XP reicht der reservierte RAM-Speicherplatz durch die Java-Laufzeitumgebung nicht mehr aus.
Das hat Auswirkungen auf den Java Heap (Heap = Haufen, Halde).
Der Heap, so könnte man sagen, ist also ein virtueller Speicherbereich (VM).
Diesem Heap kann aber eine bestimmte Anfangs- sowie Endgröße, also ein Minimum und ein Maximum zugewiesen werden.
Dazu gibt es Befehlszeilen-Parameter, nämlich:
-Xms ----> für den Startbereich (Minimum)
-Xmx ----> für den Endbereich (Maximum)
Bei der Konvertierung einer OSM-Datei trat bei einem "tile" ein Fehler auf, mit der Meldung: java heap space
Durch Vergleich mit einer aus Dezember konvertierten OSM-Szenerie ergab sich für dieses "tile" dort eine Größe von über 13 MB. Alle anderen waren wesentlich kleiner.
Wo kann nun die Min- und Max-Heapgröße für OSM2XP festgelegt werden?
Es ist die Datei osm2xp.ini!
Dort findet ihr:
-Xms128m
-Xmx512m
Also 128 MB für das Minimum und 512 MB für das Maximim.
Für ein 64 bit System ändert die Werte wie folgt ab:
-Xms128m
-Xmx1024m
Für ein 32 bit Sytem versucht folgende Werte:
-Xms128m
-Xmx768m
Sollte das zu klein sein, versucht es auch mit 1024m. Wer aber nur 1 GB RAM hat, wird in die Röhre schauen.
Bei einem 64 bit System und einem RAM von über 5 GB kann auch ein -Xmx2048m eingestellt werden.
Weiterhin ergab sich ein schöner Nebeneffekt bei meinem 64 bit System. Dauerte die Konvertierung mit 512m ca. 20 Minuten, einschließlich Fehler, war es mit 1024m nur noch 3 Minuten ohne Fehler (mit Nordrhein-Westfalen.osm.pbf).
Interessant, Dietmar. Allerdings hat es bei mir mit der Germany-Datei keine Fehlermeldung gegeben. Natürlich mit den default-Einstellungen in ini-Datei. Dabei habe ich die Datei zu Testzwecken und Korrekturen der Einstellungen mehrfach konvertiert.
Dennoch werde ich die von Dir vorgeschlagenen Änderungen vornehmen, weil mir der Zeitvorteil natürlich gewaltig erscheint.
Gruß
Dieter
Meine Germany- und NRW-OSM's waren von gestern. Mit der Germany von Dezember klappt es ja auch.
Die Bearebeitungszeit eines Tiles dauert, egal ob empty oder nicht bei mir nun 16-18 Sekunden.
Allerdings ist in den Dateien der Länder viel Schrott mit drin. Es handelt sich hierbei um Tiles, deren Koordinaten nichts mit den jeweiligen Ländern zu tun haben. Das ist dieses xxx-tile is empty.
Das habe ich auch bemerkt, dass etliche Kacheln leer waren. Aber es dauerte trotzdem 2 bis 3 Minuten das festzustellen. :KS:
Meine Germany-Datei ist vom 6.3.12, 18:44 Uhr.
Gruß
Dieter
Meine ist vom 07.03.2012 - 13:01
Bearbeite zZt. England. Sind 221 Kacheln, irgendwie bekloppt!
Wieso haben die so viele Kachelen? Da wird ´ne Menge leer sein. Oder viele Schafe drauf.
Wieso nimmst Du nicht gleich die Europa-Datei? Es sind nur 11 GB!
Gruß
Dieter
Keine Ahnung.
England ist nun fertig. England besitzt 36 Kacheln. Also waren 185 überflüssig!
Die Bearbeitungszeit von England beträgt bei 36 Kacheln ca. 10 Minuten.
Die Bearbeitungszeit des Überflüssigen beträgt bei 185 Kacheln ca. 50 Minuten.
11 GB herunterzuladen dauert bei denen eine Ewigkeit. Allein für die kleine NRW-OSM dauerte es mehr als 1,5 Stunden. :KS:
Kann sein, dass OSM die Bandbreite nach politischer Gesinnung verteilt! Kicherman
Nach politischer Gesinnung? Bist Du zum Zapfenstreich eingeladen?
Ich habe Europa vor ein paar Tagen bearbeitet. Der Dowload ging recht flott mit 5 MB/s. Nur kann ich es jetzt nicht gebrauchen.
Edit: Im Moment 2,3 MB/s, etwa 56 min.
Gruß
Dieter
Nach politischer Gesinnung? Bist Du zum Zapfenstreich eingeladen?
Bei meiner Gesinnung? Natürlich nicht! Würde dort auch nicht erscheinen.
Also ...
Ich habe gestern die Europa-Datei geladen und wollte diese konvertieren. Die Einstellungen in der *.ini habe ich so gemacht wie empfohlen, also 128 und 2028. Das Ergebnis war ernüchternd: Etwa 5 min pro Kachel und 2437 waren es! Nachdem ich abgebrochen hatte, nahm ich die Germany-Datei und versuchte es mit den gleichen Einstellungen: ca. 1 min pro Kachel. Nu brat mir einer ´nen Storch. Wat is dat denn?
Gruß
Dieter
2048 nicht 2028, es sollten Potenzen zur Basis 2 sein.
Bei Italien, italy.osm.pbf 404 MB, dauert es 22 Sekunden für eine Kachel, bei kleineren Größen war die Zeit wesentlich kürzer, so 1 bis 12 Sekunden.
Also kann geschlußfolgert werden: Je länger eine zu bearbeitende Datei ist, umso länger dauert die Bearbeitung einer Kachel. Weiterhin muß gemutmaßt werden, dass auch die Komplettinhalte einer Kachel unterschiedlich sind. Dort stehen auch nicht nur Objekte, Wälder, Häuser und Straßenlampen drin, sondern noch viel mehr. Ferner darf vermutet werden, dass in diesen osm.pbf-Dateien, die Informationen nicht Kachelweise drin stehen, sondern, dass sie wahllos verteilt sind - und nur aus den Koordinaten auf die Kachelbezeichnung zurückgerechnet wird. Das kann dann so aussehen, dass für eine komplette Kachel die osm-Datei jedesmal neu in ihrer vollen Länge eingelesen wird. Je länger die Datei, umso ----> naja, schon gesagt. Ich werde mal versuchen, mich über die Aufbaustruktur dieser OSM-Dateien schlau zu machen, in der nächsten Woche.
Wenn du also ganz Europa als xx.pbf nimmst, ca. 9 GB (die passen sowieso nicht komplett in der Arbeitsspeicher), dann wird diese Datei stückweise in Abschnitten bearbeitet. Das dauert eben.
Nebenbei, 1024 für -Xmx wären z.Zt allemal ausreichend. Es geht aber auch mir 2048.
Ich habe OSM2XP Version 2.01. Die Forestdichte ist hier nicht einstellbar, sie ist auf höchste Dichte ausgelegt, 255 dez.
In einer Beschreibung (ist wohl eine ältere Version) auf deren Seite habe ich gesehen, dass die Forestdichte eingestellt werden kann. Bei mir habe ich aber nichts gefunden.
Gerade lade ich die france.osm.pbf herunter, die ist 1,9 GB. mal sehen, wie lange da für eine Kachel gebraucht wird.
Ich habe natürlich 2048 in der *.ini stehen. Das war oben ein Schreibfehler.
Das Verhalten bei der Konvertierung deutet genau darauf hin, was Du geschrieben hast. Ich habe gerade mal gewartet, wie lange die Datei gelesen wird, um die Anzahl der Kacheln zu bestimmen. Es sind knapp 5 min. Also stimmt Deine Vermutung. Es wird wohl jedes Mal die gesamte Datei gelesen, um alles zusammen zu suchen.
Gruß
Dieter
Meine Vermutung hat sich bestätigt.
Ich habe mir so eine OSM-Datei angesehen, da ist nichts mit irgendwelchen Kacheln bzw tiles.
Die nodes, die jeweils eine ID haben geben Koordinaten an und da geht es dann sehr durcheinander.
Also wird für jede Kachel die Datei neu eingelesen. Deshalb wird beim ersten Durchlauf zunächst die Anzahl der Kacheln mit ihren Koordinaten ermittelt. Die Länge der Datei, sowie deren Inhalt kennzeichnet den dafür benötigten Zeitbedarf.
Kann man nischte machen, ist so.
Der Wert 1024 bzw. 2048 ist aber für den Java-heap bei diesen immer umfangreicher werdenden OSM-Dateien enorm wichtig.
Hast du eine Ahnung wo man die "Last osm files" schnell löschen kann, ohne in der xml-Datei händisch herumzufummeln?
Nee, da kann ich Dir leider momentan nicht helfen. Sorry.
Gruß
Dieter
Jungs, ist das ein Buch:eek:
Wollt ihr nur noch VFR fliegen! Oder sieht man all die Objekte aud FL380?
Nein doch, ihr habt ja gar keine Zeit mehr zum FliegenKicher
Dafür schenk ich euch dieses Gedicht.
Der Traum vom Fliegen
... und wenn du es wieder mal müde bist,
wie eng und begrenzt dein Leben ist,
und die ganze Erde erscheint dir fast
umsponnen von einem grauen Netz,
in dem du dich hilflos verfangen hast,
ein Netz aus Gewohnheit, Gewalt und Gesetz,
ein Netz aus Grenzen von Staat zu Staat,
Grenzen aus Dummheit und Stacheldraht,
Grenzen des Geldes, begrenzte Zeit
Und die Grenzen der eigenen Fähigkeit...
...und wenn du dich wieder mal wund gestoßen
an den Gitterstäben, den kleinen und großen,
und du weißt genau: Du kommst nie mehr vom Flecke,
du bleibst gefangen im engen Raum,
dann hockst du dich nieder in deiner Ecke
und träumst den alten Traum:
Da breitest du weit deine Arme aus
Und ein tiefer Atemzug!
Du schwingst dich empor über Straße und Haus
Im traumhaften Vogelflug.
Du fliegst und du fliegst und du brauchst kein Ziel
Das Dasein selbst ist Glück!
Keine Grenze dort unten bekümmert dich viel,
du möchtest nie zurück.
Es ist alles so einfach. Du wunderst dich kaum.
Und du weißt in dein Traum: Es ist kein Traum!
Und du fragst dich, warum man es je vergisst,
warum man nicht glaubt daran,
dass man immer so frei wie ein Vogel ist
und in Wahrheit fliegen kann.
(Michael Ende)
Vielen Dank für Dein Geschenk!
Gruß
Dieter
Powered by vBulletin® Version 4.2.2 Copyright ©2024 Adduco Digital e.K. und vBulletin Solutions, Inc. Alle Rechte vorbehalten.