Para b) solo necesitamos encontrar $A$ y $B$ no nulos para que el producto interno sea $0$, es decir, $$ \langle A, B \rangle = \left\langle \begin{bmatrix} a_{11} & a_{12}\\ 0 & a_{22} \end{bmatrix}, \begin{bmatrix} b_{11} & b_{12}\\ 0 & b_{22} \end{bmatrix}\right\rangle = a_{11}b_{11} + a_{12}b_{12} + a_{22}b_{22} = 0$$ Un ejemplo fácil sería tomar $a_{11}=a_{12}=b_{22}=0$. Esto daría una suma de ceros, incluso si $A$ o $B$ no son triviales. Por ejemplo,
$$ A= \begin{bmatrix} 0 & 0\\ 0 & 1 \end{bmatrix}, \quad B= \begin{bmatrix} 3 & -17\\ 0 & 0 \end{bmatrix},\qquad \text{entonces $\langle A,B\rangle = 0$}$$
Respecto a c), tienes razón al reconocer la desigualdad de Cauchy-Schwarz. Como tenemos un producto interno, este debe cumplir $$\langle A, B\rangle^2 \leq \langle A, A\rangle \langle B,B\rangle$$ donde $$\langle A, B\rangle^2 = (a_{11}b_{11}+a_{12}b_{12}+a_{22}b_{22})^2$$ $$\langle A, A\rangle \langle B,B\rangle = (a_{11}a_{11}+a_{12}a_{12}+a_{22}a_{22})(b_{11}b_{11}+b_{12}b_{12}+b_{22}b_{22}) = (a_{11}^2+a_{12}^2+a_{22}^2)(b_{11}^2+b_{12}^2+b_{22}^2)$$