¿Cómo comparar los resultados de una estrategia de exclusión?

Question

He intentado reproducir los experimentos descritos en este documento y quería comparar el resultado de mi sistema con el descrito en el artículo. Estoy buscando una comparación estadística de los sistemas (no estoy muy seguro cuando se trata de pruebas de hipótesis).

Para ser más precisos, el conjunto de datos consiste en imágenes de determinadas categorías de habitaciones (baño, salón, etc.) adquiridas en 6 casas diferentes. En el experimento, utilizamos 5 casas para entrenar un clasificador y la 6ª para probarlo (el autor lo llama "leave-one-out", pero estrictamente hablando no estoy seguro de que sea exactamente así). El resultado es la tasa de clasificación correcta de cada habitación en cada "redil".

¿Tienes alguna idea?

Answer 1

Esto es realmente lo que se llama el método de retención. Algunas muestras se utilizan para construir o entrenar el clasificador y el resto para las pruebas. El método "Leave one out" ajusta el clasificador en todos los casos menos en uno y lo prueba en ese caso y luego repite este proceso para cada caso. El método de exclusión produce una estimación casi insesgada de la tasa de error. Si la muestra de exclusión se selecciona aleatoriamente, la estimación de exclusión es insesgada. Las estimaciones de la tasa de error son simplemente el número clasificado como perteneciente al grupo A de los casos que realmente son de A. Se haría el saem para el grupo B. En su caso tiene tantas clases como habitaciones hay en las viviendas. Por supuesto, la estimación de la tasa de error 1 es la estimación de la probabilidad de clasificación correcta de la habitación. Así es como se calcula la estimación. Si quieres intervalos de confianza para las probabilidades estimadas puedes utilizar el bootstrap.