¿Encontrar registros duplicados en el campo utilizando ArcGIS for Desktop?

Question

Estoy buscando registros duplicados en archivos dbf basados en el atributo llamado 'ID'. Tengo varios archivos dbf desde 500.000 registros hasta 1,5 millones y sé que hay un montón de duplicados.

Me gustaría añadir un campo 'Duplicado' que diga Sí o No (o 1 o 0 está bien) cuando el atributo ID está presente en otro lugar. Usando el siguiente python script en Field Calculator devuelve 1 para una entrada duplicada y 0 para una entrada única;

uniqueList = []
def isDuplicate(inValue):
  if inValue in uniqueList:
    return 1
  else:
    uniqueList.append(inValue)
    return 0
isDuplicate(!FIELD_NAME!)

Sin embargo, el primer registro de, por ejemplo, 5 identificaciones duplicadas también se devolverá como un 0 (los 4 siguientes se consideran los duplicados). Necesitaría que los 5 fueran marcados como duplicados ya que el ID existe en otro lugar.

El uso del siguiente código le dará un recuento incremental de cuántas veces ocurre ese ID, siendo 1 la primera ocasión y así sucesivamente;

UniqueDict = {}
def isDuplicateIndex(inValue):
    UniqueDict.setdefault(inValue,0)
    UniqueDict[inValue] += 1
    return UniqueDict[inValue]

isDuplicateIndex( !YOUR_FIELD! )

Sólo quiero un 1 (o Sí) si el ID de ese registro existe en otro lugar. (ArcGIS versión 10.1)

He visto otras respuestas como Python script para identificar registros duplicados (seguimiento) pero no funciona del todo.

Answer 1

Una solución alternativa es utilizar el sistema existente de " estadísticas de resumen " en ArcGIS, luego se une la tabla resultante en base a su campo ID. Los duplicados tendrán un "COUNT" mayor que 1, por lo que es sencillo calcularlo con su calculadora de campos.

Answer 2

Otra solución alternativa ( sólo funciona con entornos SDE ) es utilizar la funcionalidad SQL existente en ArcGIS para mostrar los registros duplicados

Obtener Registros Duplicados en la Tabla (Seleccionar por Atributo)

[FIELD_NAME] In (SELECT [FIELD_NAME] FROM [TABLE_NAME] GROUP BY [FIELD_NAME] HAVING Count(*)>1 )

Ejemplo:

ID In (SELECT ID FROM GISDATA.MY_TABLE GROUP BY ID HAVING Count(*)>1 )

Answer 3

El siguiente script crea un nuevo campo con el número de apariciones de cada valor de un campo especificado. Así, por ejemplo, si tienes "París" 6 veces en ese campo, cada fila con "París" obtendrá un 6.

import arcpy

arcpy.env.workspace=r"D:\test.gdb"
infeature="sample_feature"
field_in="sample_field"
field_out="COUNT_"+field_in

#create the field for the count values
arcpy.AddField_management(infeature,field_out,"SHORT")

#creating the list with all the values in the field, including duplicates
lista=[]
cursor1=arcpy.SearchCursor(infeature)
for row in cursor1:
    i=row.getValue(field_in)    
    lista.append(i)
del cursor1, row

#updating the count field with the number on occurrences of field_in values
#in the previously created list
cursor2=arcpy.UpdateCursor(infeature)
for row in cursor2:
    i=row.getValue(field_in)
    occ=lista.count(i)   
    row.setValue(field_out,occ)
    cursor2.updateRow(row)
del cursor2, row
print ("Done.")

Se puede modificar fácilmente para que pueda tener "Sí" o 1 si count>1, pero supongo que tener el número real de count es más útil.

Edición posterior: O puedes usar esto en la calculadora de campo. Código script pre-lógico:

infeature="sample_feature" #change with the name of your feature
lista=[]
field="sample_field" #change with your field with duplicates
cursor1=arcpy.SearchCursor(infeature)
for row in cursor1:
    i=row.getValue(field)    
    lista.append(i)
del cursor1, row

def duplicates(field_in):        
    occ=lista.count(field_in)
    return occ

campo duplicado=

duplicates(!sample_field!)