Esto depende de la propia pregunta.
Ejemplo 1: Afirmación verdadera
Si $W$ es un subespacio de $V$ y $\dim(W)=\dim(V)$ entonces $W=V$
En este tipo de pregunta T/F que es verdadera usarás lo que llamaste teoremas del libro para demostrarlo.
Ejemplo 2: Afirmación verdadera
Existen $n>0$ s.t $$ \begin{bmatrix}0 & 1 & 0 & 0 & 0\\ 0 & 0 & 1 & 0 & 0\\ 0 & 0 & 0 & 1 & 0\\ 0 & 0 & 0 & 0 & 1\\ 0 & 0 & 0 & 0 & 0 \end{bmatrix}^{n}=0 $$
où $0$ es significa el $5\times5$ matriz.
En este caso la afirmación es cierta, pero para demostrarla no usaremos el libro (probablemente) pero podemos calcular que para $n=5$ la igualdad se mantiene y esto bastará para demostrar la existencia de tal $n$
Y lo mismo ocurre con las reclamaciones falsas: por ejemplo, si en el primer ejemplo se nos preguntara si $W\neq V$ entonces podríamos dar un contraejemplo, y si nos preguntaran si existe $n$ tal que $I^{n}=0$ entonces la afirmación es falsa pero tendríamos que refutarla y no podríamos hacerlo con contraejemplos - realmente tendríamos que demostrar que no existe tal $n$
Para dejar las cosas un poco más claras:
Si una afirmación es "algo siempre ocurrirá'' - si es verdadera entonces demuéstrelo y si es falso dé un contraejemplo
Si una afirmación es "Existe .. tal que algo sucede'' - si es verdadera basta con encontrar un caso en el que ocurra y si es falso hay que demostrar que nunca ocurre.
Si tienes problemas con otro tipo de preguntas no dudes en comentarlo