De hecho, hay una profunda teoría detrás de todo esto. Cuando aprendas más sobre el producto interior/espacios de Hilbert, verás que los espacios tienen una operación determinada sobre ellos llamada producto interior cuyos axiomas/propiedades puedes encontrar en el enlace. Estos espacios son interesantes porque los productos internos nos dan un sentido de "ángulo" o "dirección" (nótese cómo sus propiedades generalizan el producto punto del espacio euclidiano). Además, podemos definir un norma en ese espacio con este producto interno: $ \|x\| = \sqrt{\langle x,x \rangle}$ y entonces esta norma nos da una idea de la "longitud" de un vector en este espacio.
A continuación, definimos un métrica en este espacio con $ d(x,y) = \|x-y\|$ y esta métrica nos da una idea de la distancia entre dos puntos (lo que nos lleva a pensar en la convergencia de las secuencias y otras cuestiones de tipo analítico). Esta métrica también nos permite entonces generalizar conjuntos abiertos que dota de sentido a si algunos puntos están "cerca" o "separados", y estos conjuntos abiertos inducen entonces una topología que nos permite estudiar propiedades topológicas como la continuidad y la conectividad.
Está claro que se trata de una sobrecarga de información nueva, así que se preguntará: ¿qué significa todo esto? Bueno, esencialmente cada uno de estos estadios son abstracciones que son estructuralmente similares al conocido espacio euclidiano. Los espacios de Hilbert son los más parecidos a $\mathbb{R}^n$ - en ellos tenemos todas las ideas anteriores, de ángulo, dirección, magnitud de un vector, distancia entre vectores, vecindades de vectores, y convergencia de toda secuencia de Cauchy. Por eso los espacios de Hilbert son tan interesantes: tenemos mucha intuición sobre cómo deberían comportarse, tienen suficiente estructura para darnos muchos resultados útiles, pero son lo suficientemente generales como para ser sustancialmente diferentes de $\mathbb{R}^n$ .
Un ejemplo de espacio de Hilbert es el Funciones cuadradas-integrables de Lebesgue con el producto interno $\langle f,g \rangle = \int_X f\cdot \bar g\; \mathrm d\mu$ y usted está considerando una de ellas. La integral de tu post corresponde al producto interior de este espacio (recuerda que es la generalización de un producto punto) y al igual que cuando el producto punto de los vectores euclidianos era $0$ los declaramos ortogonales, hacemos lo mismo aquí. Como ha comentado anon, cuando dos funciones son ortogonales son linealmente independientes, lo cual es una propiedad conocida. Si tienes suficientes vectores linealmente independientes elegidos sabiamente para formar una base, deberíamos ser capaces de formar cualquier vector en este espacio como una combinación lineal de los vectores de la base - que es una serie de Fourier.