No puedo decir con certeza que sea imposible, pero al menos sería muy difícil cablearlo a mano. Los cables de video modernos como HDMI y displayport necesitan conexiones y cables de alta calidad, y dudo que puedas obtener la calidad necesaria a mano.
Lo bueno de los cables de video digital es que sabrás si funciona: o funciona, o no funciona (o a veces funciona, en cuyo caso verás o nada o una pantalla distorsionada). No debería haber pérdida de calidad de imagen.
Así que puedes intentarlo... pero tengo la sensación de que agrandar el agujero sería tu mejor opción. Los conectores de Displayport todavía son bastante pequeños, así que el agujero no será demasiado grande. O puedes hacerlo de la manera correcta con un agujero grande y una placa frontal. Puedes conseguir placas frontales que simplemente tienen un agujero en el centro para pasar un cable pero en realidad son dos piezas que encajan juntas para que no tengas que quitar el conector.