7 votos

Debe precisión predictiva o, alternativamente, minimizar el MSE, ser examinada de nuevo?

Desde Breiman, la maximización de la exactitud de predicción se ha convertido en un modelado predictivo estándar de oro, de todo tipo. Que ha evolucionado a esta situación es comprensible: puede ser "optimizado", es fácilmente calibrado a través de k-fold muestras y, para la mayor parte, es una constante de estadística interna de la validación del modelo. Sin embargo, muy a menudo es el único criterio para el modelo de valor -- mecánica y rígida que se aplica métrica -- a pesar de ser propenso a p-hacking, juegos de azar, y analista de fraude, así como la poca o ninguna consideración a su más amplia del negocio y/o estratégicos de impacto y significado.

Es el momento de volver a evaluar este indicador de la importancia relativa en la estadística, el aprendizaje de máquina y modelado predictivo de las industrias?

7voto

eldering Puntos 3814

Este es un bonito y reflexivo post, y en mi vida laboral, he observado las cosas que se describen a ser correcta - el éxito estadísticos y científicos en mi lugar de trabajo son los que pueden dar un paso atrás de la materia precisión predictiva y ofrecer un modelo de análisis o de que manera integral adecuada para el problema en cuestión. A veces, este es el raw poder predictivo, pero a menudo no lo es.

Me explícitamente mira esto a la hora de entrevistar, mi favorito de la respuesta inicial a un modelado pregunta es

Bueno, depende...

Voy a añadir algunos ejemplos a la lista.

Los Costos De Implementación

Muchas empresas esencial en la gestión de los sistemas de tecnología obsoleta, cobol o fortran códigos base que se ejecutan en la antigua mainframe arquitecturas. A menudo son reacios a reemplazar a causa de los altos costos fijos para hacerlo (aunque la variable de los costos de mantenimiento son altos). Esto puede tener consecuencias drásticas para la implementación del modelo. Puede ser posible obtener una predicción de el empuje de un bosque aleatorio o gradiente de refuerzo, pero la implementación de un modelo de que la complejidad en un entorno de producción puede ser completamente inviable.

La Vida Útil

Relacionados con los costos de implementación, un modelo, una vez implementado, puede tener una vida útil muy larga, y se espera entregar razonable predicciones para un largo tiempo. Un modelo con la máxima soportable complejidad ajuste muy duro para los datos es menos robusta que la distribución de los cambios en la población y la predicción de la relatividad de los cambios entre los segmentos.

Trasteando

La gente de negocios tienen una tendencia a experimentar con modelos de producción, y nosotros, como modeladores tienen a veces para ayudar con las revisiones de los sistemas de producción. Modelos complejos son más sensibles a esto, es más difícil con precisión evaluar cómo va a reaccionar a una producción de ajuste (hablar con un mecánico acerca de si es más fácil que bajo el capó de un coche fabricado en 1980 vs 2010).

Solidez a la Nueva Información

Un predictores categóricos pueden obtener nuevas categorías en el futuro, y es a menudo deseable tener forma de principios para tratar con estos sin montaje de un modelo y empujando a la producción.

Modelo De Creación De Componentes

Un modelo puede ser parte de un sistema más grande de la optimización, que impone restricciones ambientales en su forma y propiedades. Una fuente común de esto es cuando un modelo es un componente de una mayor optimización matemática esquema, con algunas causales predictor en el modelo que se está manipulado como una palanca para mejorar los resultados de negocio. Esto puede imponer la suavidad o la diferenciabilidad restricciones sobre los predictores que son muy importantes a tener en cuenta.

Localidad Restricciones

Algunos modelos tienen la mejor localidad propiedades que otros. Por ejemplo, si quiero, para estimar la elasticidad-precio de un cliente para pequeños ajustes, a continuación, una muy locales de modelo (es decir, una densidad más suave con el pequeño ancho de banda, una regularización de spline con pequeñas parámetro, o un gradiente de árbol de refuerzo con un montón de cortes), siempre la uso menos de los datos para apoyar inferencias incluso a una escala local. Esto puede ser indeseable cuando estas inferencias se utilizan para tomar decisiones importantes, y debe ser apoyada por los datos tanto como sea posible.

i-Ciencias.com

I-Ciencias es una comunidad de estudiantes y amantes de la ciencia en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros usuarios, hacer tus propias preguntas o resolver las de los demás.

Powered by:

X