7 votos

Medida de la complejidad de una función

Por lo general, cuando intentamos escribir una función para ajustarla a un grupo de puntos (ajuste de curvas), es importante encontrar un equilibrio entre la precisión y la complejidad de la función. La siguiente imagen muestra diferentes ejemplos de ello.

enter image description here

Si la función es excesivamente simple a costa de la precisión, se ajustará mal (como en el caso de la línea). En cambio, si la función es excesivamente compleja, se ajustará en exceso (como en el caso de la curva de la derecha).

Estoy buscando una definición formal y ampliamente aceptada para la complejidad de la función. Una definición en la que estaba pensando era la de cuánto varía la pendiente. Dejando que la pendiente media de la función en un intervalo sea $\bar{m}$ entonces puedo escribir la complejidad como $$\int_a^b (f'(x)-\bar{m})^2 dx$$

donde $f(x)$ es la función, $a$ es el punto final inferior, y $b$ es el punto final superior.

Expandiendo el cuadrado, obtengo $$\int_a^b (f'(x)^2 - 2\bar{m}f'(x) + \bar{m}^2)dx = \int_a^bf'(x)^2dx - 2\bar{m}\int_a^bf'(x)dx + \bar{m}^2\int_a^bdx$$

Utilizando el Teorema Fundamental del Cálculo en la segunda integral, obtengo $$\int_a^bf'(x)^2dx - 2\bar{m}(f(b)-f(a)) + \bar{m}^2(b-a)$$

Porque $\bar{m}$ es $$\frac{f(b)-f(a)}{b-a}$$ Puedo simplificar la ecuación anterior para obtener $$\int_a^bf'(x)^2dx - \frac{\left(f(b)-f(a)\right)^2}{b-a}$$

Cuanto más alto sea este valor, más "compleja" y variada será la función. Si este valor es $0$ entonces $f(x)$ es una línea de $a$ a $b$ .

¿Existen otras medidas de la complejidad de una función? Si es así, ¿cuáles son las ecuaciones correspondientes?

Edición: No busco una función de complejidad dependiente de los puntos. Por ejemplo, $f(x) = x$ debería tener la misma complejidad independientemente de los puntos del gráfico.

Edición 2: Un problema con la anterior definición de complejidad es que $c^x$ tendría una complejidad muy alta (cuando creo que debería tener un valor más bajo). En concreto, desde $a$ a $b$ la complejidad es $$ \ln(c) \frac{c^{2b}-c^{2a}}{2} - \frac{(c^b-c^a)^2}{b-a}$$ que aumenta exponencialmente con respecto a $b$ .

1voto

viru Puntos 18

Esto puede no ser lo que estás buscando. Ya que estás usando en contexto de sobreajuste, pensé que podrías estar interesado en mirar esto.

Una cosa que se me ocurre rápidamente es Dimensión VC . La dimensión VC es la complejidad de toda una clase de funciones, no de una sola, y constituye la base de la teoría del aprendizaje estadístico. (bajo la noción de Aprendizaje PAC) si y sólo si En realidad, da límites inferiores y superiores para la complejidad de la muestra. Ahora bien, cuanto mayor sea la dimensión de la CV, mayor será la complejidad de la muestra y, por lo tanto, se necesitará un gran número de puntos para aprender la clase de forma fiable.

Algunos ejemplos de VC-Dimension

  1. Dimensión VC de los hiperplanos en $f:\mathbb{R}^d $ es $d$
  2. Dimensión VC de los hiperplanos afines en $\mathbb{R}^d$ es $d+1$
  3. Dimensión VC de todo el conjunto de funciones sobre $\mathbb{R}^d$ es $\infty$

nótese que todo lo anterior es en el contexto de la clasificación (el rango de funciones es $\{ 0 , 1\}$ ) también hay extensiones para el caso de regresión

0voto

freethinker Puntos 283

¿Ha oído hablar de los filtros de Kalman? Equilibran el nivel de ruido con la precisión.
En lugar de una fórmula única, utiliza una media ponderada de los valores anteriores de la función para predecir el siguiente valor de la función.

i-Ciencias.com

I-Ciencias es una comunidad de estudiantes y amantes de la ciencia en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros usuarios, hacer tus propias preguntas o resolver las de los demás.

Powered by:

X