lote completo vs en línea aprendizaje lote mini vs

Question

Esta es una pregunta de un curso de coursera:

Supongamos que tenemos un conjunto de ejemplos y Brian entra y se duplica cada ejemplo, luego se reordena de forma aleatoria los ejemplos. Ahora tenemos dos veces como muchos ejemplos, pero no hay más información sobre el problema que teníamos antes. Si no eliminamos las entradas duplicadas, que uno de los métodos siguientes no serán afectados por este cambio, en términos de la computadora (tiempo en segundos, por ejemplo) que se necesita para acercarse a la convergencia?

a) la totalidad del lote de aprendizaje
b) en línea-aprendizaje, donde para cada iteración seleccionamos aleatoriamente un caso de entrenamiento
c) mini-lote de aprendizaje donde para cada iteración seleccionamos aleatoriamente 100 casos de entrenamiento

La respuesta es la b. Pero me pregunto ¿por qué c es incorrecta. No está en línea-aprendizaje de un caso especial de mini-lote donde en cada iteración contiene sólo un único caso de entrenamiento?

Answer 1

No está en línea-aprendizaje de un caso especial de mini-lote donde en cada iteración contiene sólo un único caso de entrenamiento?

Esto es cierto, pero algo irrelevante (ya que la pregunta es específicamente la comparación completa el lote, tamaño 1 tamaño de lote de 100).

(b) será absolutamente afectados por el cambio (modulo uso de la memoria caché y los temas de eficiencia), ya que cada paso de los costos de la misma como lo hubiera hecho antes y es idéntica. (Bueno, dependiendo de la formulación, una regularización constante podría ser efectivamente a la mitad).

(c) se ve afectado porque cuando elegimos un lote de tamaño 100, podemos elegir algunos puntos dos veces, como sobreasignación porcentual esos puntos y la eliminación de la otra información útil que puede haber estado en su lugar. Así tenemos un poco peor estimación de los datos de entrenamiento de distribución, y por lo que probablemente será un poco menos eficaz en el aprendizaje de la modelo.