Pregunta interesante. Esto no es realmente una respuesta, pero es demasiado largo para un comentario.
Creo que su diseño experimental es desafiado por estas razones:
1) Esto no reflejan la manera en la que la selección de valores se evalúa realmente en el "mundo real". Como un ejemplo extremo, supongamos stock picker Un eligió el 1 de stock, que se fue hasta 1000%, y 9, que fue de 1%, y el stock selector B eligió 10 poblaciones que todos subieron un 1%. Si estas acciones se utilizaron para la construcción de un índice, entonces, claramente, Una sería la mejor artista intérprete o ejecutante, pero B, sería mucho mejor en su experimento. Un financieramente más interesante el reto sería construir una cartera y comparar su rendimiento a la del S&P 500. A su vez, no es comúnmente utilizado para la maquinaria de evaluación de desempeño: simplemente tomar una regresión lineal del día-a-día de los rendimientos de la cartera en contra de los de la S&P. El término de intersección (a menudo llamado "alfa"), que mide el promedio de rendimiento "sobre y por encima del mercado". Ya que es un coeficiente de una regresión lineal, es un asunto trivial para la construcción de un 95% intervalo de confianza si así lo desea. A continuación, compara las tarifas de su banco, cargo por este servicio.
2), haciendo caso omiso 1, ya que parece que ambos han acordado ya en el formulario el experimento, considere cómo puede gamed. Supongamos que yo tenía una magia de oracle que me dijo la probabilidad de cada una de las acciones por encima de su precio actual de un mes a partir de ahora (por ejemplo). Entonces yo podría simplemente escoja el n de existencias con la más elevada de las probabilidades, y lo más probable es que más del 50% de ellos, en efecto, ir para arriba. Ahora, las probabilidades están codificados (imperfectamente) en los diferentes precios de las opciones. Por ejemplo, puedo comprar un llamado "opciones binarias", que es básicamente un juego de azar en el evento "Acciones de X van a estar por encima del precio Y fecha de Z". Los precios de estos implica una probabilidad de este evento (aunque más cerca de la fecha en que Z es el presente, el menos fiable este será). Desde que seguir ciegamente la "sabiduría de las multitudes" no se requiere ninguna experiencia particular, yo diría que el rendimiento de una estrategia de este tipo debería ser considerado "oportunidad los niveles" para su experimento en particular. Alternativamente, usted presenta una lista de acciones de su elección, y que ella indique si ella piensa que cada uno va a ser hacia arriba o hacia abajo, junto con su confianza en cada predicción. Entonces el grupo de todas las respuestas por nivel de confianza y ver cómo de cerca se alinean (es decir, de aquellas poblaciones que ella fue de 90% de confianza acerca de, ¿ella predecir correctamente el 90% de ellas?). No hay una manera estándar para la cuantificación de este; no recuerdo irreflexivamente lo que se llama, pero usted puede leer sobre él en Superforecasters por Phil Tetlock.