Aquí estoy publicando una segunda respuesta, que será una reestructuración completa de la primera, la inclusión de la discusión en los comentarios, y la ampliación del alcance de la respuesta. Dejaré a los demás la decisión de mantener o eliminar la otra.
En primer lugar, es importante que el "caso 1" sólo sea válido para $k=0$ . El "caso 2" es equivalente porque
$$ \int_D f dV = \int_D g dV $$ $$ \int_D (f - g) dV = 0 $$ entonces si el "caso 1" es verdadero $$ f-g=0 $$ $$ f=g $$ por lo tanto, "caso 1" implica "caso 2".
La parte c) de la pregunta también es equivalente al "caso 1", por el teorema de la divergencia (como se indica en la pregunta), si $A$ es la frontera (parcialmente suave) del conjunto abierto acotado $D$ entonces $$ \oint_A f \cdot \hat{n} dA = \int_D \nabla \cdot f dV $$ Por lo tanto, si el "caso 1" es cierto y las integrales sobre todas (o un número suficiente) las superficies son cero, entonces $$ \nabla \cdot f =0 $$
Sin embargo, si las superficies son no necesariamente cerrado entonces, mientras que el argumento anterior se mantiene, se puede hacer un caso más fuerte y encontraremos que $f=0$ . Obsérvese que esto implica que $\nabla \cdot f =0$ y no hay ninguna contradicción.
Nuestro primer trabajo, entonces, es argumentar el "caso 1". Este es un resultado estándar en el campo del análisis funcional, véase Métodos de Matemática Aplicada de Arbogast y Bona, disponible aquí en pdf. Es una lectura bastante dura, pero es interesante la proposición 1.39 en la página 21, que puede ser reformulada para funciones continuas.
Teorema 1 Sea f una función continua cuyo dominio es un conjunto abierto $\Omega$ . Si para todos los medibles $D \subset \Omega$ tenemos $$ \int_D f dV = 0 $$ entonces $$ f(x) = 0 \forall x \in \Omega $$
Obsérvese que "medible" sólo significa que se puede definir una integral de volumen de Lebesgue sobre dicho conjunto, por lo que se trata de un requisito muy fuerte para la función. De acuerdo con la parte b) de la pregunta, podemos construir un teorema un poco más complicado, que requiere que demostremos la condición "integral=0" sobre una colección más pequeña de conjuntos.
Teorema 2 Si, para cada punto $x_0$ en un dominio abierto $\Omega$ tenemos que, para una secuencia de subconjuntos abiertos simplemente conectados $D_n$ , $n$ cualquier número natural, $$ \int_{D_n} f(x) dV =0 $$ para alguna función continua $f$ y $$ \lim_{n \rightarrow \infty} (\max_{x \in D_n} |x-x_0|) = 0 $$ entonces $$ f(x) = 0 \forall x \in \Omega $$
Prueba Para un conjunto abierto simplemente conectado $D$ y una función continua $f$ tenemos el teorema del valor medio multivariante para integrales, que afirma que existe algún $c \in D$ para lo cual $$ \int_D f(x) dV = f(c) |D| $$ donde $|D|$ es el volumen (concretamente, la medida de Lebesgue) del conjunto abierto. Por lo tanto, si tenemos una secuencia infinita de conjuntos abiertos simplemente conectados $D_0,D_1,...$ de manera que todos los conjuntos incluyan algún punto $x_0$ y los conjuntos "tienden" a este punto, concretamente $$ \lim_{n \rightarrow \infty} (\max_{x \in D_n} |x-x_0|) = 0 $$ entonces para cada dominio podemos especificar un punto $c_n$ para lo cual $$ \frac{1} {|D_n|} \int_{D_n} f(x) dV = f(c_n) =0 $$ donde la igualdad con cero es porque hemos afirmado que la integral es cero. Tenemos que $c_n \in D_n$ así $c_n \rightarrow x_0$ como $n \rightarrow \infty$ y $f(x_0)=0$ . Así, si se encuentra un conjunto de dominios abiertos simplemente conectados de tamaño arbitrariamente pequeño alrededor de cada punto, lo anterior demuestra que $f=0$ .
Esto cubre la pregunta a) y también la pregunta b), está bien usar dominios abiertos de una forma particular y un tamaño arbitrario, siempre que puedan ser centrados alrededor de cualquier punto y limitados a un tamaño cero. También podemos utilizar diferentes formas con diferentes tamaños, siempre que se cumplan las condiciones anteriores.
En este punto me apartaré ligeramente del análisis y abordaré la mecánica del continuo y las aproximaciones de la física matemática. En los sistemas físicos suele haber una división entre las propiedades estadísticas macroscópicas y los modelos exactos que deben utilizarse para captar el movimiento a pequeña escala. El movimiento a pequeña escala puede ser la vibración de las moléculas en una masa de agua o el rebote de las piedras en una avalancha. Por lo general, vemos que las variables estadísticas macroscópicas captan con precisión el comportamiento a gran escala, y los detalles de lo microscópico carecen de importancia.
En este caso, solemos tener tres escalas de espacio-tiempo. Una escala grande en la que se produce la dinámica de interés, de modo que las variables estadísticas varían rápidamente, pero la integral es aproximadamente igual a 0. Una escala media en la que las variables estadísticas varían lentamente y la integral es aproximadamente igual a 0. Una escala pequeña en la que la integral ya no es válida porque domina el comportamiento de la escala pequeña. Nótese que las variables estadísticas serán promedios sobre una región del espacio-tiempo de la misma escala que las regiones más pequeñas en las que la ecuación integral es válida.
Lo que se suele hacer entonces es definir una aproximación macroscópica al sistema físico, donde afirmamos que, como tenemos $$ \int_{D_n} f(x) dV \approx 0 $$ para una secuencia de dominios que satisfacen $$ \lim_{n \rightarrow \infty} (\max_{x \in D_n} |x-x_0|) = L $$ donde $L$ es la escala media del espacio-tiempo (mucho menor que la escala de longitud de la dinámica), entonces podemos aproximar por $$ f(x) = 0 \forall x \in \Omega $$ Obsérvese la similitud con el teorema 2. No es algo que se pueda "demostrar" matemáticamente (o al menos, no que yo haya visto nunca...), sino una aproximación que suele funcionar.
Por último, cabe señalar aquí que ninguno de esta discusión se basó en $\Omega$ siendo un subconjunto del espacio euclidiano tridimensional. El dominio abierto de $f$ podría ser, por ejemplo, la superficie de un fluido, o cualquier otro "límite" del dominio físico que será, en sí mismo, un dominio físico . Así es como podemos pensar en las condiciones de contorno, hasta un área muy pequeña (o longitud, etc) de un dominio de frontera la ecuación integral=0 se cumple con una buena aproximación. Por supuesto, para obtener cualquier comportamiento a microescala, la integral tendrá que tener cierto grosor, pero la escala de longitud a través de la frontera será mucho menor que la escala de longitud a lo largo de la frontera (esto es lo que hace que sea una frontera), por lo que los dominios de integración serán discos muy finos. Podemos utilizarlos en el Teorema 2 (ignorando el grosor delgado y el hecho de que el límite sólo puede evaluarse hasta una escala de longitud pequeña), que da como resultado $$ f=0 $$ en la "frontera".