Si sólo te interesan las señales en el rango de DC a 3kHz, entonces sólo las señales por encima de 7kHz se alias en ellas.
Esto significa que necesitas un filtro con ...
una banda de paso a 3kHz
una banda de transición de 3kHz a 7kHz
una banda de parada de 7kHz en adelante
Ten en cuenta que esto no define la atenuación de 5kHz, y no es necesario.
La banda de parada debe tener suficiente atenuación para proteger sus señales. Si quiere una fidelidad del 0,1% para sus señales de paso bajo, necesita una atenuación de 60dB en su banda de parada. Normalmente encontrarás más práctico diseñar un filtro elíptico que un Butterworth o Cheby clásico para obtener una adecuada atenuación en la banda de parada.
Ahora viene algo de sutileza, síganme con cuidado.
¿Qué significa realmente "si sólo te interesan las señales en el DC a 3kHz"?
Si se analizan señales de paso de banda hasta 3kHz, por ejemplo estimando la potencia en el ancho de banda de 2,5kHz a 2,7kHz, usando un buen filtro digital para aislar la banda, o un FFT que sea equivalente, entonces tener una banda de transición de 3kHz a 7kHz está bien.
Aunque permite que las señales en la banda de 5k a 7k se alias hasta por debajo de 5kHz, siguen estando por encima de 3kHz, y vas a ignorar/rechazar esas señales de todos modos.
Sin embargo, si está trazando las muestras en un rastro del telescopio, entonces puede tener energía inadvertida por encima de 3kHz que sigue siendo válida. Por ejemplo, si tienes una onda cuadrada de 1,1kHz, tendrás armónicos a 3,3kHz, 5,5kHz, 7,7kHz.
Ahora, el punto crucial es que la armónica de 3,3 kHz será coherente con la fundamental, y si la traza, se verá bien, incluso si su amplitud ha sido suprimida un poco por el filtro. Sin embargo, la armónica de 5,5 kHz será aliada de la de 4,5 kHz, y será incoherente con lo fundamental porque su frecuencia se ha reflejado a través de Nyquist, y respirará y saldrá a medida que cambie de fase, y en general se verá mal.
Lo que esto significa es que si vas a terminar haciendo uso de la energía en la banda de 3kHz a 5kHz de todos modos (aunque hayas dicho en la OP que no es así), entonces tu banda de transición sólo debe ir a 5kHz, no a 7kHz, de modo que no hay ningún alias en absoluto está permitido en la banda de DC a 5kHz.
Que tu filtro tenga una banda de parada de 7kHz, o de 5kHz, depende crucialmente de lo que intentes hacer con tus señales. No hace falta decir que es mucho más difícil hacer un filtro con una banda de transición de 3k-5k, que con una banda de transición de 3k-7k.