OpenLayers Y GeoServer son dos distintos softwares, se utilizan para diferentes propósitos.
Geoserver es un Servidor de Software, que sirve de salida de Datos Geoespaciales, a través de servicios OGC.
OpenLayers es la Biblioteca de JavaScript que puede ser utilizado para hacer que las aplicaciones web (Entre otras cosas) puede consumir servicios OGC.
Es así, que cuando Geoserver quiere usar algo para mostrar una vista previa, se utiliza una versión limitada de OpenLayers. Más allá de esto, son totalmente independientes.
Usted puede utilizar muchos de los clientes con Geoserver como Prospecto, Qgis, ArcGIS Desktop Y ArcGIS API Web y muchos otros.
Del mismo modo, para OpenLayers, Geoserver es sólo una de las muchas posibles fuentes de datos. OpenLayers pueden utilizar datos de MapServer, GeoJSON archivos, los archivos GPX, ArcGIS Server, y así sucesivamente.
Ahora la respuesta a tu pregunta, depende.
Si usted simplemente necesita para publicar datos Geoespaciales, y servirlo a través de servicios OGC (como WMS, WFS Y WCS) usted puede averiguar GeoServer, y olvidarse de OpenLayers.
Si, por otra parte, usted necesita desarrollar una aplicación web que utiliza los datos de GeoServer, usted necesita para aprender un mapeo web de la biblioteca como Prospecto, OpenLayer o muchos otros.