¿Por qué el aprendizaje automático necesita una gran cantidad de datos mientras que uno puede hacer inferencia estadística con un pequeño conjunto de datos?

Question

Me pregunto por qué el Aprendizaje Automático necesita una gran cantidad de datos en comparación con la inferencia estadística. En estadística, podemos usar una pequeña cantidad de datos para una inferencia estadística, pero en Aprendizaje Automático, todo el mundo dice que necesitamos muchos datos. ¿Por qué el Aprendizaje Automático necesita toneladas de datos más en comparación con la inferencia estadística?

Answer 1

El aprendizaje automático y la inferencia estadística tratan con diferentes tipos de problemas y no son comparables en este punto de vista.

La inferencia estadística se utiliza en problemas que son inherentemente estadísticos, por ejemplo, si hubo diez días de lluvia entonces es más probable (usando un enfoque bayesiano) que el día siguiente llueva también, no se necesita más datos.

Pero en el aprendizaje automático, algunas características o patrones que existen en los datos deben ser aprendidos. Por ejemplo, en la clasificación con aprendizaje automático, primero debe aprender (dado un montón/suficiente/balanceado de datos de aprendizaje) a clasificar entre imágenes de gatos y perros, y luego después de la fase de aprendizaje, el problema en la fase de inferencia es que le mostramos una imagen y debería decirnos si es un gato o un perro. Ahora supongamos que le mostramos 10 imágenes de gatos para inferir y clasificar, y todas se infirieron exitosamente. ¿Ahora, importa la probabilidad de que la undécima imagen sea un gato para esa máquina? No, porque debería clasificar esa imagen basada en sus habilidades aprendidas para descubrir un gato, no en la probabilidad de que sea un gato después de 10 gatos.