Dos referencias útiles, ambas disponibles en línea: Niels Hendrik Abel y las ecuaciones de quinto grado de Michael Rosen: la 4ª sección analiza la prueba de Ruffini, y Niels Henrik Abel y la teoría de las ecuaciones El quinto capítulo trata de los trabajos de Ruffini y Cauchy. Las discusiones son bastante extensas, lo suficiente como para permitirle hacerse una buena idea del razonamiento de Ruffini.
La respuesta rápida a tu pregunta sobre la "teoría de grupos sin grupos" es que la discusión se planteó en términos de permutaciones de las raíces. Esta idea se remonta a un famoso artículo de Lagrange, Reflexiones sobre la solución algebraica de ecuaciones donde analizó las soluciones conocidas para la cuadrática, la cúbica y la cuártica, en términos de ambigüedades: la $\pm$ en la fórmula cuadrática, la triple elección de raíces cúbicas en la fórmula cúbica, etc. Puedes ver los gérmenes del concepto de automorfismo aquí.
Los primeros trabajos no sólo eran "teoría de grupos sin grupos", sino también "teoría de campos sin campos". En lugar de trabajar con nuestra noción de campo, trabajaban con el concepto de "expresión racional". Mientras que nosotros decíamos algo así como "las raíces pertenecen al campo generado por tal y tal", ellos decían que las raíces eran expresables racionalmente en términos de tal y tal. Este punto de vista persistió hasta finales del siglo XIX y principios del XX, cuando el álgebra se reformuló en términos de teoría de conjuntos gracias a los trabajos de Dedekind, Hilbert, Noether y otros.
