Creo que lo que pides es un filtro $\mathbf{h}$ y modulación $\mathbf{y}$ tal que $(\mathbf{x} \circ \mathbf{y}) \ast \mathbf{h} = c \mathbf{1}$ donde $c$ es una constante y $\mathbf{1}$ es un vector de todos los $1$ 's. El $\ast$ es la convolución y $\circ$ es la modulación (también conocida como producto Hadamard/Schur).
La señal es de la forma, $\cos( 2\pi f_0 n / f_s + \phi)$ donde $f_0$ es la frecuencia de la onda, $f_s$ es la frecuencia de muestreo, $\phi$ es un desfase, y $n=0,1,\dots$ . Dado que la longitud del filtro es $1/4$ del periodo de la señal, sabemos que $4N_{filt}/f_s=1/f_0$ o que $4N_{filt}f_0 = f_s$ . Además, el valor de $\phi$ no es importante, ya que no cambia de muestra a muestra, por lo que podemos suponer que es cero.
Hay tres formas de obtener un valor constante del filtro/modulación. La primera consiste en eliminar toda la energía de la señal. La segunda es desplazar toda la energía de la señal a CC. La tercera es desplazar parte de la energía a CC y eliminar el resto.
Para lograr el primero de ellos, todo lo que tienes que hacer es dejar que $\mathbf{y}=\mathbf{1}$ y diseño $\mathbf{h}$ tal que toda la energía a la frecuencia $f_s/(4N_{filt})$ se elimina. Esto se puede hacer con un filtro paso alto, paso bajo o de hendidura, aunque creo que en este caso será más fácil utilizar un paso alto, ya que la frecuencia de interés está cerca de CC.
El segundo método de pasar toda la energía a CC no es factible en este caso, al menos con un proceso lineal. La magnitud del espectro de la señal de entrada es de la forma $\delta(f - fs/(4N_{filt})) + \delta(f + fs/(4N_{filt}))$ . Cualquier modulación que pusiera uno de estos picos en CC desplazaría el otro a $\delta(f \pm fs/(2N_{filt}))$ .
El tercer método consiste en desplazar uno de los picos del espectro a CC y filtrar el otro con un filtro de paso bajo. El desplazamiento podría realizarse con $\mathbf{y} = e^{j2\pi n / (4N_{filt})}$ y la frecuencia de corte del filtro tendría que ser entonces $f_s / (2N_{filt})$ o inferior.