ogr2ogr no se puede convertir GeoJson archivo > 200MB

Question

Como continuación de mi anterior pregunta (la Conversión de SimpleGeo Lugares GeoJSON archivo shapefile), ahora estoy luchando con lo que yo percibo, podría ser un ogr2ogr "memoria" limitación", pero no puedo estar seguro. Tengo éxito en la conversión de la SimpleGeo archivos de volcado en geojson archivos (verificado que están directamente legible en QGIS).

Ahora quiero convertir estos datos a SHP o otros formatos (SQLite, PostGIS). Estoy ejecutando el siguiente comando con éxito en archivos más pequeños (donde "places_fr.gejson" tiene un tamaño de archivo de ~118MB):

ogr2ogr -f "ESRI Shapefile" places_fr.shp places_fr.geojson

Cuando intento ejecutar este mismo comando con un archivo geojson que es 340MB, ogr2ogr se bloquea en una de dos maneras:

1. "lh_table_new: calloc error" (primer intento)
2. Windows lanza un "ogr2ogr.exe ha dejado de funcionar. Por favor, cierre el programa." (los intentos posteriores)

Estoy corriendo la ogr comando a través de FWTools en un entorno Windows 7 dual core con 8 gb de memoria RAM instalada (4GB disponibles, 12 GB de memoria virtual disponible). Hay un límite de memoria para ogr2ogr la conversión de estos conjuntos de datos? También he tratado de convertir en SQLite con los mismos resultados, por lo que no creo es un SHP problema de conversión. Gracias.

Answer 1

Aviso: debido a la cantidad de memoria que se están reportando en su sistema me supongamos que usted está usando un sistema de 64 bits versión de Windows. Si no se esta solución no se aplica.

El límite de memoria para todas las aplicaciones de 32 bits en Windows (independientemente de la versión de Windows, por lo que es válido también para los de 64 bits de Windows) es de 2 gb. Usted podría golpear a ese límite, para confirmar ejecutar ogr2ogr y comprobar el uso de memoria con el administrador de tareas.

Si el problema es, de hecho, debido a un problema de memoria que usted puede hacer dos cosas:

1. construir usted mismo una versión de 64 bits de GDAL (no pude encontrar fácilmente hacer uso de los binarios)

2. parche ogr2ogr.exe con esta herramienta: http://ntcore.com/4gb_patch.php. Después de la revisión (hacer una copia de seguridad, por supuesto) el binario deben estar disponibles para tratar una suma total de 4 gb

Answer 2

Si hay un problema, sería más probable específica a la OGR geojson conductor y no OGR a sí mismo. Trate de usar un binario más reciente (como el de OSGeo4W), o mejor aún, una versión de 64 bits. Lo siento, a menos que usted de su compilación, no sé donde se puede conseguir una de 64 bits binarios para Windows - Ubuntu Linux y Mac KyngChaos binarios de 64 bits, aunque.