Sus respuestas a (a) y (b) son esencialmente correcto; sólo hay que ser más exigente con la notación. Por ejemplo, especificar explícitamente los límites de integración cuando se utiliza la integración por partes, y no escribir " $\int f'(s)B(t)$ " cuando quiere decir " $\int_0^t f'(s)B(s)~\mathrm ds$ ".
Su pregunta principal es sobre cómo calcular (no necesariamente a partir de los primeros principios) variaciones cuadráticas para los procesos Ito, ¿verdad? Una forma es utilizar la representación SDE del proceso. Para ilustrarlo, observe que, por definición (o aplicando el lema de Ito, si lo prefiere), el proceso de Ito $(X_t)_{t\geqslant 0}$ definida en (a) satisface la SDE
$$ \mathrm dX_t = f(t)\mathrm dB_t\,,\quad X_0 = 0.\tag{1} $$
Y, por definición la SDE satisfecha por la variación cuadrática relacionada con este proceso viene dada por $$ \mathrm d\langle X \rangle_t = (f(t)\mathrm dB_t)\cdot(f(t)\mathrm dB_t) = f^2(t)~\mathrm dB_t\cdot\mathrm dB_t = f^2(t)\mathrm d\langle B \rangle_t\,. $$
Esto significa que, como has deducido correctamente, el proceso de variación cuadrática viene dado por** $$ \begin{eqnarray*} \langle X\rangle_{t} = \int\limits_{0}^{t}\mathrm d\langle X\rangle_{s} = \int\limits_{0}^{t}f^2(s)~\mathrm d\langle B\rangle_s = \int\limits_{0}^{t}f^2(s)~\mathrm ds\,. \end{eqnarray*} $$
Un enfoque similar puede aplicarse al proceso de Ito $(Y_t)_{t\geqslant 0}$ que, por definición, satisface la SDE
$$ \mathrm dY_t = f^{'}(B_t)\mathrm dB_t + \frac{1}{2} f^{''}(B_t)\mathrm dt,\quad Y_0 = 0\,. $$
Así que, como el $(X_t)_{t\geqslant 0}$ la SDE para la variación cuadrática viene dada (por definición) como $$ \begin{eqnarray*} \mathrm d\langle Y\rangle_{t} &=& \left(f^{'}(B_t)\mathrm dB_t + \frac{1}{2} f^{''}(B_t)\mathrm dt\right)\cdot\left(f^{'}(B_t)\mathrm dB_t + \frac{1}{2} f^{''}(B_t)\mathrm dt\right) \newline &=&(f^{'}(B_t)\mathrm dB_t)\cdot(f^{'}(B_t)\mathrm dB_t) + \ldots \newline &=&\left(f^{'}(B_t)\right)^2~\mathrm d B_t\cdot\mathrm d B_t + \ldots \newline &=&\left(f^{'}(B_t)\right)^2~\mathrm d \langle B\rangle_t,\tag{2} \newline \end{eqnarray*} $$ donde todos los demás productos representados por " $\ldots$ " dan lugar a procesos con (co)variación cuadrática nula. Hay un patrón que vale la pena señalar : la variación cuadrática de un proceso Ito está completamente definida por el término del proceso Wiener en la representación SDE del proceso Ito .
Por lo tanto, la variación cuadrática es
$$ \begin{eqnarray*} \langle Y\rangle_{t} = \int\limits_{0}^{t}\mathrm d\langle Y\rangle_{s} = \int\limits_{0}^{t}\left(f^{'}(B_s)\right)^2~\mathrm d\langle B\rangle_s = \int\limits_{0}^{t}\left(f^{'}(B_s)\right)^2~\mathrm ds\,.\tag{3} \end{eqnarray*} $$
Por último, utilice $(2)$ o $(3)$ para deducir cuándo $(Y_t)_{t\geqslant 0}$ es un movimiento browniano.
** ps: Y sí, esto demuestra que $\vert f(t)\vert = 1$ (para todos los $t$ ) hace $X_t$ movimiento browniano, un hecho que es obvio a partir de $(1)$ .