$\DeclareMathOperator{\sech}{sech}$ $\DeclareMathOperator{\Si}{Si}$ $\DeclareMathOperator{\erf}{erf}$
A continuación se intenta probar tu ecuación para $b=1$.
Tomamos $s=\sigma+ti$ con $\sigma,t \in \mathbb{R}$ y $\eta(s) = \left(1-2^{1-s}\right)\zeta(s)$.
Observa que:
$$\eta(s) = \frac12 \int_{-\infty}^{+\infty} \frac{\sech(\pi u)}{\left(\frac12+ui\right)^s} du \qquad s \in \mathbb{C} \tag{1}$$
La función a probar es:
$$\eta(\sigma+ti)=\frac{1}{\pi}\int_{0}^{\infty}\int_{0}^{\infty}\left(\eta(\sigma+y^2)-1\right)\cos\left(x\,\sqrt[4]{-1}\sqrt{t}\right)\,\cos(xy)\,dx\,dy +1\tag{2}$$
Comencemos con la parte real ($t=0$) que da:
$$\eta(\sigma)=\frac{2}{\pi}\int_{0}^{\infty}\left(\eta(\sigma+y^2)-1\right)\,\int_{0}^{\infty}\cos(xy)\,dx\,dy +1\tag{3}$$
Simplificando la integral respecto a $x$ y expandiendo el dominio respecto a $y$ obtenemos:
$$\eta(\sigma)=\lim_{v\to\infty} \frac{1}{\pi}\int_{-v}^{v}\left(\eta(\sigma+y^2)-1\right)\,\frac{\sin(vy)}{y}\,dy+1 \tag{4}$$
Quitamos el $-1$ observando que $\frac{1}{\pi}\int_{-v}^{v}-\frac{\sin(vy)}{y} dy = -\frac{2\Si(v^2)}{\pi}$ donde Si = Integral Seno:
$$\eta(\sigma)=\lim_{v\to\infty} \frac{1}{\pi}\int_{-v}^{v}\eta(\sigma+y^2)\,\frac{\sin(vy)}{y}\,dy-\frac{2\Si(v^2)}{\pi} +1 \tag{5}$$
Ahora sustituimos la integral (1) por $\eta(s)$:
$$\eta(\sigma)=\lim_{v\to\infty} \frac{1}{2\pi}\int_{-v}^{v} \int_{-v}^{v}\frac{\sech(\pi u)}{\left(\frac12+ui\right)^{\sigma+y^2}}\,\frac{\sin(vy)}{y}\,dy\,du -\frac{2\Si(v^2)}{\pi} +1 \tag{6}$$
Lo cual permite que $y^2$ se desplace a la derecha:
$$\eta(\sigma)=\lim_{v\to\infty} \frac{1}{2\pi}\int_{-v}^{v} \frac{\sech(\pi u)}{\left(\frac12+ui\right)^{\sigma}}\,\int_{-v}^{v}\frac{1}{\left(\frac12+ui\right)^{y^2}}\frac{\sin(vy)}{y}\,dy\,du -\frac{2\Si(v^2)}{\pi} +1 \tag{7}$$
La integral de $y$ ahora se evalúa fácilmente como: $\pi \erf\left(\frac{v}{2\log(1/2+ui)} \right)$, con erf = función error, que siempre es $\pi$ independientes de $u$ cuando $v \rightarrow \infty$.
Con $\displaystyle \lim_{v\to\infty}\frac{2\Si(v^2)}{\pi} = 1$ entonces obtenemos el resultado deseado:
$$\frac{1}{2\pi}\int_{-\infty}^{\infty} \frac{\sech(\pi u)}{\left(\frac12+ui\right)^{\sigma}}\,\pi\,du -1 +1 = \eta(\sigma) \tag{8}$$
Comentario adicional: la ecuación (7) también es válida para $\sigma \in \mathbb{C}$.
Para $t \ne 0$, la situación resulta ser un poco más complicada. Partiendo de la ecuación (7):
$$\eta(\sigma,t)=\lim_{v\to\infty} \frac{1}{2\pi}\int_{-v}^{v} \frac{\sech(\pi u)}{\left(\frac12+ui\right)^{\sigma}}\,\int_{-v}^{v}\frac{1}{\left(\frac12+ui\right)^{y^2+ti}}\frac{\sin(vy)}{y}\,dy\,du -\frac{2\Si(v^2)}{\pi} +1 \tag{9}$$
lo cual ya da una 'separación' parcial entre las partes real ($\sigma$) e imaginaria ($t$). Utilizando la siguiente relación para $\Re(z) > 0, a \in \mathbb{C}$ que encontré numéricamente (se requiere una demostración rigurosa, preguntar aquí):
$$\lim_{v\to\infty} \int_{-v}^{v}\frac{1}{z^{y^2}}\frac{\sin(v\,(\sqrt{a}+y))}{\sqrt{a}+y}\,dy = \frac{\pi}{z^{a}} \tag{10}$$
y con $z=\frac12+ui, a = ti$ la integral final se convierte en:
$$\frac{1}{2\pi}\int_{-\infty}^{+\infty} \frac{\sech(\pi u)}{\left(\frac12+ui\right)^{\sigma}}\,\frac{\pi}{\left(\frac12+ui\right)^{ti}} \,du = \eta(\sigma,t) \tag{11}$$
lo cual es el resultado deseado (nota $\sqrt{ti}=\sqrt[4]{-1}\sqrt{t}$).
Un par de observaciones:
- La prueba muestra que $\sigma$ y $ti$ también podrían 'intercambiarse' de la siguiente manera:
$$\eta (s)-1=\frac{2}{\pi}\int_{0}^{\infty}\int_{0}^{\infty}\left(\eta(ti+y^2)-1\right)\cos(\sqrt{\sigma}\,x)\cos(x y)\,dy\,dx \tag{12}$$
o incluso extenderlo a:
$$\eta (s)-1=\frac{2}{\pi}\int_{0}^{\infty}\int_{0}^{\infty}\left(\eta(y^2)-1\right)\cos(\sqrt{s}\,x)\cos(x y)\,dy\,dx \tag{12}$$
- Otras combinaciones distintas de $y^2$ y $\sqrt{ti}$ están permitidas, por ejemplo:
$$\eta (s)-1=\frac{2}{\pi}\int_{0}^{\infty}\int_{0}^{\infty}\left(\eta(\sigma+y^4)-1\right)\cos(\sqrt[4]{ti}\,x)\cos(x y)\,dy\,dx \tag{13}$$
- Creo que la prueba aún funciona para $b \ne 1$ (la integral respecto a u 'regresa' a su forma original):
$$\eta (s)^b-1=\frac{2}{\pi}\int_{0}^{\infty}\int_{0}^{\infty}\left(\eta(\sigma+y^2)^b-1\right)\cos(\sqrt{ti}\,x)\cos(x y)\,dy\,dx \tag{14}$$
- El mecanismo parece funcionar para una clase más amplia de funciones enteras como $(s-1)\zeta(s), \eta(s), \beta(s), \frac{1}{\Gamma(s)}, \sin(s)$ (es decir, no es específico para series de Dirichlet).