Importar archivo CSV grande en PostGIS

Question

Estoy tratando de importar archivos CSV en PostGIS. Después de este post, he creado las tablas antes. He encontrado otras sugerencias de decir que no se puede ejecutar el comando copiar.

Si ejecuta este comando:

COPY table FROM '/Users/macbook/file.csv' DELIMITERS ',' CSV HEADER;

no copia la tabla en todos los. Se dice que la "mesa" no es reconocido.

He intentado esto:

COPY moulding
(Borough,Block,Lot,CD,CT2010,CB2010,SchoolDist,Council,ZipCode,FireComp,PolicePrct,Address,ZoneDist1,ZoneDist2,ZoneDist3,ZoneDist4,Overlay1,Overlay2,SPDist1,SPDist2,LtdHeight,AllZoning1,AllZoning2,SplitZone,BldgClass,LandUse,Easements,OwnerType,OwnerName,LotArea,BldgArea,ComArea,ResArea,OfficeArea,RetailArea,GarageArea,StrgeArea,FactryArea,OtherArea,AreaSource,NumBldgs,NumFloors,UnitsRes,UnitsTotal,LotFront,LotDepth,BldgFront,BldgDepth,Ext,ProxCode,IrrLotCode,LotType,BsmtCode,AssessLand,AssessTot,ExemptLand,ExemptTot,YearBuilt,BuiltCode,YearAlter1,YearAlter2,HistDist,Landmark,BuiltFAR,ResidFAR,CommFAR,FacilFAR,BoroCode,BBL,CondoNo,Tract2010,XCoord,YCoord,ZoneMap,ZMCode,Sanborn,TaxMap,EDesigNum,APPBBL,APPDate,PLUTOMapID,Version)
FROM
'/Users/macbook/file.csv'
DELIMITERS
','
CSV HEADER;

pero no funciona tampoco.

Un ejemplo de este tipo de conjunto de datos puede ser descargado desde este enlace:

Debo crear un modelo y, a continuación, ejecutarlo?

Answer 1

Ya casi estás ahí, pero creo que el problema puede ser la mesa en la que estás cargando.

Ya debe haber creado una tabla en PostGIS con los tipos de columna correctos

Por ejemplo

CREATE TABLE nycdata (
    BOROUGH varchar,
    BLOCK varch,
    DATE date,
    VERSION numeric);

Pero tienes que hacer coincidir el tipo de columna con el mismo tipo de datos en el CSV.

Puedes ver todos los tipos de datos aquí http://www.postgresql.org/docs/9.1/static/datatype.html

Una vez que hayas creado la tabla puedes usar el comando original

COPY nycdata FROM '/Users/macbook/data.csv' DELIMITERS ',' CSV HEADER;

Entonces tendrás que crear índices y una geometría

Answer 2

Esto también se puede hacer con GDAL usando un archivo .vrt, aunque puede ser intensivo en memoria.

Te verías como..:

<OGRVRTDataSource> 
<OGRVRTLayer name="feature_name"> 
    <SrcDataSource>your_csv.csv</SrcDataSource> 
    <GeometryType>wkbPoint</GeometryType> 
    <LayerSRS>EPSG:27700</LayerSRS> 
    <GeometryField encoding="PointFromColumns" x="Eastings" y="Northings"/> 
</OGRVRTLayer> 

Entonces simplemente:

ogr2ogr -progress -nln table_name_doesnt_need_to_exist -skipfailures  PostgreSQL PG:"dbname='dbname' host='localhost' port='5432'  user='username' password='password'" vrt_filename.vrt

Para una guía completa ver:

Cargando datos de CSV OS CodePoint en PostGIS