Funciones hash en PNL

Question

He estado leyendo un montón de artículos sobre la PNL que utilizan el truco de hashing, y me encontré con un montón de frases como : "Tomamos k funciones hashing para hacer hash de palabras o bi-gramas".

Y después nunca mencionan qué funciones utilizan exactamente, y sin una implementación abierta no puedo comprobarlo por mi cuenta.

¿Existe alguna convención sobre la función hash que yo desconozca (es decir, las funciones k deberían ser obvias para el lector), por ejemplo, existe alguna función hash canónica que haga que la referencia sea opcional? ¿O se trata de un problema de diseño crítico que se evita intencionadamente (o no)? O, por último, ¿se trata de una elección sin gran impacto en el resultado (creo que es poco probable)?

Answer 1

Para completar esta pregunta escribo esta respuesta.

¿Existe alguna convención sobre las funciones hash que yo desconozca (es decir, las funciones k deberían ser obvias para el lector), por ejemplo, existe alguna función hash canónica que haga que la referencia sea opcional?

Creo que lo que importa cuando consideramos una función hash es cuán raramente aparecerían las colisiones, entonces la instanciación de la función hash sería de poca utilidad. Puedes implementar una con un cierto rango(enteros) que decidas de acuerdo al tamaño probable de tu vocabulario.

Puede consultar el paquete digest o este repositorio .

¿O se trata de un problema crítico de diseño que se evita intencionadamente (o no)?

El diseño crítico es la idea del truco hash en sí, no su implementación.

O, por último, se trata de una elección sin gran repercusión en el resultado (me parece poco probable).

Sí, cuando tú mismo eliges una buena función hash. Con el truco del hash no es necesario volver a entrenar el modelo cuando cambia el vocabulario, porque las palabras desconocidas (o los n-gramas desconocidos) importan.

Y en realidad no necesitas un vocabulario cuando no necesitas invertir la búsqueda del hash a la palabra (o n-gram). Es necesario invertir la búsqueda cuando se hace la generación.