Sí, y no.
El ácido y la base química es un cuidado equilibrio entre los equilibrios. Como usted bien sabe, el agua se disocia fácilmente por sí mismo. Una tendencia que puede observarse en cualquier compuesto con $\ce{-OH}$ grupos, pero no a una similar extender.
En otras palabras, un grupo hidroxilo tiende a ser ligeramente ácida. Dada una base, es decir, de hidróxido de sodio en este caso en particular, las siguientes equilibrio se desarrollará:
$$\ce{EtOH + NaOH <<=> EtO- + Na+ + H2O}$$
Mientras que el equilibrio en su mayoría van a estar en el lado izquierdo, dependiendo de lo que otros sustratos disponibles, una pequeña cantidad de alcóxido de que ya podría ser suficiente para conducir la reacción hacia adelante. En este caso es importante mirar lo que realmente impulsa la reacción.
En el ejemplo de la 4-bromo-1-butanol en su libro los usos estoy asumiendo que hay una cyclisation sucediendo.
$$\ce{BrH2C(CH2)2CH2OH + NaOH <=>> THF + H2O + NaBr}$$
Por desgracia no puedo encontrar rápidamente una referencia, pero de bromuro de sodio no es muy soluble en diethylether, así que supongo que no es muy soluble en THF. La fuerza impulsora en este caso sería el tener suficiente de salir del grupo y la eliminación continua de producto, básicamente, de lo que es una forma de reacción.
En algunos casos, se necesita una mayor concentración de alcóxido, y que es donde hidruros entran en juego.
$$\ce{EtOH + NaH <=>> EtO^-\bond{~}Na+ + H2 ^}$$
En este caso dihidrógeno, como es un gas, se elimina de la mezcla de reacción, básicamente, garantizar la plena conversión a la alcóxido.