Cómo convertir la proyección geográfica de un archivo muy grande (GDAL)

Question

Mi Tarea
Necesito convertir 9 x 14 gb archivos GeoTiff a WGS84 geo proyección. El áspero el tamaño en píxeles es de alrededor de 200 x 100 mil.

Los datos de tipo byte y no es un tema para la interpolación, es algo de lógica atributo. Por ejemplo, si A = 20 y B = 30 no significa que, en general, la región es de 25 ha significado completamente diferente.

Lo que yo hice

• Comenzó gdalwarp en Windows (se tarda un montón de tiempo, falla en algunas máquinas, nunca termina en el otro)
• Comenzó gdalwarp en Ubuntu (Intel(R) Xeon(R) CPU E5-2660 0 @ 2.20 GHz, 56Gb de RAM, toma ~3 días para el 50% y se detiene). Toma el 100% de un núcleo, poca memoria RAM y baja HDD io, y también pone Potential thrashing on Band1 mensaje en la depuración del registro.
• Modificado argumentos, por ejemplo, CACHE_MAX, wa fueron establecidos a algunos grandes valores.
• El comando que uso ahora: gdalwarp -t_srs EPSG:4326 --config GDAL_CACHEMAX 1000 -wm 1000 --debug on $1 $2

Pregunta
¿Cuáles son mis otras opciones?

Gracias.

Actualización

He descargado correctamente y compilado GDAL Beta 2. También he colocado toda la fuente de archivo tif en tmpfs (RAM). Mi actual cmd es

gdalwarp -t_srs EPSG:4326 --config GDAL_CACHEMAX 99000 -wm 2000 -multi -co TILED=yes -wo NUM_THREADS=ALL_CPUS -wo STREAMABLE_OUTPUT=TRUE -oo GTIFF_DIRECT_IO=YES -oo GTIFF_VIRTUAL_MEM_IO=YES ram/2014/2014/2014_30m_cdls2.tif /mnt/test2.tif > test2.log 2>&1 &

Que hace ~40% bastante rápido (5 minutos). Otros 5 minutos, que me espere, que no ofrecen ninguna salida. A partir de ese punto, gdal deja de utilizar más de un núcleo.

Answer 1

Sugiero abordar este uso Virtual de la Trama de la Tabla (.vrt) formato. Cómo el resultado final es para ser utilizado determinará cuántos pasos son necesarios.

Lo más sencillo posible caso es el producto final va a ser utilizado por GDAL o GDAL-consciente programa, crear uno .vrt en la proyección deseada y, a continuación, el uso que en su último programa:

gdalwarp -t_srs wgs84 -of vrt D:\gisdata\bigtiff*.tif test.vrt

Esta será probablemente sólo sería viable si el final del programa es el uso de una pequeña parte (de la ventana de vista) de la imagen en un momento como el proceso cálculos se realizan en tiempo de ejecución. Esto puede ser mejorado mediante el cálculo de resúmenes con gdaladdo:

gdaladdo -ro test.vrt 2 4 8 16 32 64

(nb: en mi equipo en el momento en que esta no es la creación de archivos externos, como solía. Puede ser que necesite para agregar algunos pasos.)

Mapbox tiene un excelente y detallado artículo sobre un flujo de trabajo complejo, el uso de imágenes muy grandes con virtual rásteres y varios pasos de cálculo: Super fuerte 50cm Pléiades Imágenes de Satélite en MapBox.com

Answer 2

Se ve muy extraña, pero deformación con QGIS (que se ejecuta su embedded gdalwarp) es mucho más rápido!

Yo era capaz de procesar 14 gb de archivos en 70 minutos, en windows, sin mucho consumo de recursos. Todavía no estaba mirando, como solía múltiples núcleos, pero hizo el trabajo, lo cual es genial. También, parece que el mismo se aplica a gdal_translate.

Probablemente, ellos construyen gdal correctamente, o algo así. La versión es GDAL 1.11.2, publicado 2015/02/10.

Pequeña nota: en los archivos de mi gdal_translate utilidad hace todo el trabajo, pero, a continuación, coloca un mensaje de error: "incorrecta formato de archivo: ". Hice caso omiso a este mensaje, porque el archivo estaba en lo correcto.