¿Cómo debo comprobar objetivamente los resultados de mi programa?

Question

He desarrollado dos métodos diferentes en MATLAB que tienen como objetivo analizar una canción pop y luego crear automáticamente una miniatura de audio de 30 segundos (un clip de vista previa) que contenga parte de la sección del estribillo.

Ambos métodos tienen resultados diversos:

1. El primer método puede crear una miniatura para cada pista, logrando encontrar una sección de estribillo en 40 de las 50 canciones probadas
2. El segundo método sólo consiguió funcionar en 30 de las 50 canciones, y encontró la sección del estribillo 21 veces de las 30.

Obviamente, sé qué método es superior, pero necesito describir y explicar los resultados en un informe que requiere la demostración de pruebas estadísticas adecuadas.

Otros trabajos académicos han utilizado anteriormente una prueba f para hacerlo, pero como sus métodos son muy superiores, sus objetivos suelen consistir en la detección de los tiempos de inicio del coro con una precisión del 100%.

Mi objetivo es más relajado, ya que sólo busco que las miniaturas generadas contengan cualquier parte del estribillo, independientemente del inicio.

¿Puede alguien sugerirme algunas pruebas objetivas que pueda explorar en relación con mi proyecto? Es la primera vez que realizo una investigación de este tipo, así que mi experiencia/conocimiento es increíblemente bajo.

Gracias.

editar: ¿Puedo realizar una prueba f?

Recall = Número de miniaturas producidas / Número total de canciones probadas Precisión = Número de estribillos detectados / Número total de miniaturas

¿Funcionaría esto o estoy completamente equivocado?

Answer 1

Se puede contar el reconocimiento de una pista de estribillo como un "Éxito" y la falta de reconocimiento como un "Fracaso". De este modo, tienes los siguientes datos:

Método 1: Proporción de éxito (digamos, $p_1$ ) = $\frac{40}{50}$

Método 2: Proporción de éxito (digamos, $p_2$ ) = $\frac{21}{50}$

Parece que el método 2 falla completamente para 20 pistas de música y por lo tanto estoy asumiendo que deben ser contados como un fracaso.

Déjalo:

$\pi_1$ y $\pi_2$ sean las verdaderas proporciones de aciertos de los dos métodos. A continuación, se desea evaluar si el método 1 es superior al método 2. Por lo tanto, supondrá que

Hipótesis nula: $\pi_1 = \pi_2$

Su hipótesis alternativa es $\pi_1 \ne \pi_2$ .

(Nota: Su hipótesis alternativa también podría formularse como $\pi_1 \ge \pi_2$ lo que repercutiría en la forma de realizar las pruebas, pero es un matiz del que probablemente no deba preocuparse).

Y tratar de ver hasta qué punto los datos son consistentes con la hipótesis nula. La forma de comprobar la hipótesis nula es utilizar una prueba z de dos proporciones (véase la séptima fila de Estadísticas comunes de las pruebas en wiki titulado "Prueba z de dos proporciones, agrupada para d0 = 0". Los símbolos utilizados en la tabla se explican al final de la misma).

Si el valor Z calculado según la fórmula es mayor que 1,96 o menor que -1,96, se rechazará la hipótesis nula a favor de la alternativa.