¿Cómo manejar un modelo de predicción "contraproducente"?

Question

Yo estaba viendo una presentación de un ML especialista de una gran tienda, donde se había desarrollado un modelo para predecir fuera de stock eventos.

Supongamos por un momento que a lo largo del tiempo, su modelo es muy preciso, no se que de alguna manera ser "contraproducente"? Es decir, si el modelo funciona realmente bien, entonces serán capaces de anticipar fuera de stock eventos y evita, eventualmente, llegar a un punto donde tienen poco o nada de los eventos de acciones. Pero entonces, si ese es el caso, no habrá suficientes datos históricos para ejecutar su modelo, o su modelo obtiene descarriló, debido a los mismos factores causales que se utiliza para indicar una acción fuera del evento, ya no lo hacen.

¿Cuáles son las estrategias para lidiar con este tipo de escenario?

Además, uno puede imaginar la situación opuesta: Por ejemplo, un sistema de recomendación podría convertirse en una "profecía autocumplida" con un aumento en las ventas de elemento de pares impulsado por la salida del sistema de recomendación, incluso si los dos elementos no están realmente relacionados.

A mí me parece que ambos son el resultado de una especie de bucle de retroalimentación que se produce entre la salida de la quiniela y las acciones que se toman se basan en él. ¿Cómo se puede lidiar con situaciones como esta?

Answer 1

Si está utilizando un modelo de apoyo a las decisiones acerca de la intervención en un sistema, entonces, lógicamente, el modelo debe tratar de predecir el resultado acondicionado en una intervención determinada. A continuación, por separado, usted debe optimizar para elegir la intervención con el mejor resultado esperado. Usted no está tratando de predecir su propia intervención.

En este caso, el modelo podría predecir la demanda (la variable no controlar directamente) y esto, en combinación con la siembra de elección, podría resultar en un evento de acción o no. El modelo debe seguir para ser "recompensados" por la predicción de la demanda correctamente ya que este es su trabajo. Fuera de stock eventos dependerá de esta variable, junto con su siembra elección.

Answer 2

Hay dos posibilidades por las que un fuera de stock (OOS) detección de modelo podría auto-descarrilar:

1. La relación entre los inputs y los OOS podría cambiar con el tiempo. Por ejemplo, las promociones que podría conducir a una mayor OOS (promoción de ventas son más difíciles de predecir que las ventas, en parte porque no sólo el promedio de incremento en las ventas, sino también la varianza de las ventas, y "difícil de predecir" se traduce a menudo en OOS), pero el sistema y sus usuarios pueden aprender esto y laicos en existencias adicionales para las promociones. Después de un tiempo, la relación original entre promociones y OOS no contener más.

   Esto es a menudo llamado "modelo de cambio" o similar. Usted puede superar mediante la adaptación de su modelo. La forma más común es el peso de los insumos de manera diferente, dando un peso menor a mayor observaciones.

2. Incluso si la relación entre un indicador y OOS no cambio, el factor de predicción de la distribución del poder. Por ejemplo, varios días con cero ventas de un determinado stock (SKU) podría ser señal de una OOS - pero si el modelo funciona bien, entonces OOS puede ser reducido a través de la junta, y no simplemente por no ser como muchas secuencias de cero ventas.

   Los cambios en la distribución de un predictor no debería ser un problema. Su modelo será simplemente la salida de un menor probabilidad de OOS.

---

En el extremo, usted probablemente no tendrá que preocuparse más de la cuenta. Nunca va a ser cero OOS. Mecanismos de retroalimentación como estas ocurren, pero no será hasta OOS son completamente erradicada.

• Algunos pendientes OOS sencillamente no puede ser prevenible. "Tengo una unidad en el estante y probablemente tendrá que enfrentar una demanda por cinco durante la próxima semana, pero la próxima entrega es sólo por una semana a partir de hoy."
• Algunos OOS será muy difícil de predecir, incluso si ellos son prevenible, si se hubieran conocido en el tiempo. "Si hubiéramos sabido que iba a soltar la paleta fuera de la carretilla elevadora y destruir todo el producto, le habría ordenado otra".
• Los minoristas hacen comprender que necesitan objetivo de un alto nivel de servicio, pero que el 100% no son alcanzables. La gente viene y compra de todo su stock de ciertos productos. Esto es difícil de prever (ver arriba) y lo suficientemente raro que no desea llenar sus estantes en la posibilidad de que esto podría suceder. Comparar la ley de Pareto: un nivel de servicio del 80% (o incluso el 90%) es bastante fácil de conseguir, pero el 99,9% es mucho más difícil. Algunos OOS son conscientemente permitido.
• Algo similar a la ley de Moore sostiene: el mejor de ML, más expectativas de aumento, y la más difícil, la gente va a hacer la vida de la modelo. Mientras OOS detección y previsión) los algoritmos de mejorar, los minoristas están ocupados haciendo nuestra vida más difícil.
  • Por ejemplo, a través de la variante de la proliferación. Es más fácil detectar OOS en cuatro sabores de yogur que en veinte diferentes sabores. Por qué? Porque la gente no come cinco veces la cantidad de yogur. En lugar de ello, prácticamente sin cambios la demanda total está distribuido en cinco veces el número de SKUs, y cada SKU del stock es una quinta parte tan alto como antes. La Larga Cola está en expansión, y las señales son cada vez más débiles.
  • O por móvil que permiten checkout utilizando su propio dispositivo. Esto bien puede disminuir las barreras psicológicas para el hurto, por lo tanto el sistema de inventarios será aún peor de lo que ya lo son, y por supuesto, el sistema de inventarios son, probablemente, el mejor predictor para OOS, por lo que si se desactiva, el modelo se deteriorará.

Resulta que he estado trabajando en el pronóstico de ventas al por menor por más de doce años ahora, así que tengo un poco de una idea acerca de los avances como este.

---

Puedo ser pesimista, pero creo que muy similares efectos en el trabajo para otros ML de casos de uso de OOS de detección. O tal vez este no es el pesimismo: significa que los problemas que probablemente nunca ser "resuelto", por lo que habrá que trabajar para nosotros, incluso décadas, a partir de ahora.

Answer 3

Es de suponer que usted puede seguir cuando reabastezca el que ocurren los acontecimientos. Entonces es sólo una cuestión de aritmética para calcular cuando las acciones se había agotado el modelo no se ha utilizado para reabastecer el inventario.

Esto supone que cualquier positivo el nivel de stock es independiente del nivel de ventas. Un comentarista dice que este supuesto no se cumpla en la realidad. No sé, de cualquier manera, yo no trabajo en retail conjuntos de datos. Pero como una simplificación, mi enfoque propuesto permite hacer inferencias utilizando el razonamiento contrafactual; sea o no esta simplificación es demasiado realista para dar significativa la penetración.

Answer 4

Su escenario se parece mucho a la crítica de Lucas en economía. En el aprendizaje automático, esto se denomina " cambio de datos ".

Puedes superarlo, como dice @Sycorax, al modelarlo explícitamente.

Answer 5

Una cosa para recordar es que ML es un objetivo instrumental. Finalmente, no queremos predecir fuera de stock eventos, queremos evitar que fuera de stock eventos. La predicción de los eventos de acciones es simplemente un medio para ese fin. Así que eso de Tipo II son los errores de que se trate, esto no es un problema. Ya sea que tengamos OOSE, en cuyo caso hemos de datos para entrenar a nuestro modelo, o no, en el que el problema que se creó el modelo de dirección ha sido resuelto. Lo que puede ser un problema es que los errores de Tipo I. Es fácil caer en un Oso Patrulla de la falacia, de que usted tiene un sistema de X que está construida para prevenir Y, que no se ve Y, por lo que a la conclusión de que X Y evita, y cualquier intento de cerrar X abajo son despedidos en la base ", Pero se está haciendo un buen trabajo en la prevención Y!" Las organizaciones pueden ser bloqueadas en programas caros porque nadie quiere arriesgarse a que Y va a volver, y es difícil averiguar si X es realmente necesario, sin permitir esa posibilidad.

Entonces se convierte en un trade-off de cuánto estás dispuesto a participar ocasionalmente en (según el modelo) subóptima de comportamiento, para lograr un grupo de control. Eso es parte de cualquier activo de exploración: si usted tiene un medicamento que usted piensa que es efectiva, tiene que tener un grupo de control que no está recibiendo el medicamento para confirmar que es en realidad efectiva.