Sea como sea, necesitarás un montón de espacio en disco para almacenar esas imágenes. No recomendaría usar un formato de color de índice porque se vería muy mal.
La resolución depende realmente de lo que sus clientes vayan a hacer con las imágenes, y de si estarán contentos con perder rasgos de menos de 25 metros.
Una forma de reducir el tamaño de las imágenes es utilizar la compresión, ya sea con pérdidas (de acuerdo, técnicamente la conversión de 3 a 1 bandas es con pérdidas, pero eso es una pérdida inaceptable, OMI) o sin pérdidas. En la página de GDAL en GeoTIFF soporta la compresión sin pérdidas LZW y DEFLATE, así como la compresión con pérdidas JPEG. Es probable que las aplicaciones cliente soporten la descompresión nativa de JPEG (aunque esto es sólo una conjetura mía), por lo que yo me inclinaría por dividir primero las imágenes en mosaicos y luego aplicar la compresión JPEG a cada mosaico.
Como alternativa, dado que GeoServer mantiene sus propios metadatos de imagen (que se almacenan directamente en los GeoTIFFs), podría omitir la parte TIFF-JPEG, y comprimirlos directamente como archivos JPEG utilizando gdal_translate .
También probaría los otros tipos de compresión para ver qué tipo de compensación de almacenamiento/velocidad obtienes y tomar tu decisión en base a eso.
