¿Cómo puedo comparar mi modelo a es técnicamente no válida modelo?

Question

He creado poco agradable no lineal modelo que relaciona probabilidad de supervivencia para la longitud en el salmón. Me caben hacerse binomio errores y minimizando la negativa de registro de la probabilidad. Me han pedido que comparar a alguien de otro modelo, donde se discretizan los datos y el ajuste de una línea recta. Sin embargo, el más bajo de reciclaje incluye la larga cola izquierda de la distribución de longitud, y podría predecir 0 (o negativo) de probabilidad de la supervivencia de los peces, no fueron agrupadas en una bandeja con mayor promedio de la longitud de - - -, pero algunos de los peces de los que sobreviven. Dicho esto, para algunos conjuntos de datos, el modelo lineal hace muy bien en el binned de datos.

Me gustaría comparar estos modelos, pero no los puedo usar AIC debido a que el modelo lineal de la invalidez hace su AIC explotar. Yo podría truncar los datos-es una proporción muy pequeña de los datos, o podría bin los datos y calcular la AIC para mi modelo suponiendo normalidad de los errores, pero la verdad no me siento bien acerca de cualquiera de aquellos. Hay otras opciones, o son estas opciones no tan malo?

Answer 1

Una solución sería el uso de la cruz-los métodos de validación. Esto podría ser un conceptualmente fácil (y elegante) de la solución debido a que el modelo tiene difiere significativamente del modelo en comparación con. AIC o BIC, realmente no trabajo aquí, porque las formas funcionales de estos dos modelos son muy diferentes-el suyo es no lineal y su modelo no es sólo lineal, pero también se basa en binned de datos. AIC o BIC es insensible a las formas funcionales.

Yo no me preocuparía por binning vs no-binning demasiado, ya que a mí me parece que el agrupamiento es un modelo de decisión que se podría hacer un modelo mejor o peor. En otras palabras, es una función cuya eficacia debe ser evaluada.

Ahora, suponiendo que usted puede implementar el otro modelo, puede realizar una k-fold cross-validation:

1. Dividir los datos en k subconjuntos;
2. De forma iterativa dejar un subconjunto, y entrenar a su modelo (sin binning) y el otro modelo (con binning) en el resto de los subconjuntos;
3. Calcular la suma de los loglikelihoods de el subconjunto que se quedó fuera en la anterior con respecto a su modelo y el otro modelo. Esto debería ser relativamente sencilla: en su modelo no lineal, el error se distribuye binomial; en el otro modelo, el error es normalmente de distribución, ya que es una de regresión lineal simple;
4. Repetir 2 y 3 hasta que haya utilizado cada uno de los k subconjuntos como el subconjunto de prueba (de ahí el nombre de k-fold).
5. A continuación, puede comparar el modelo que le da la mejor loglikelihood (es decir, la menos negativa).