Las matrices están estrechamente vinculadas con las funciones lineales. Una función lineal $f:\mathbb{R}\to\mathbb{R}$ es tal que $f(x)=ax$ para algún $a \in \mathbb{R}$. Es sinónimo de ser proporcional, y en este caso, la función está determinada de manera única por la constante $a$. Si es $f:\mathbb{R}^2\to\mathbb{R}$, entonces $f(x,y)=ax+by$, y la función está determinada de manera única por las constantes $a,b$ (y obviamente su dominio y contradominio). Si es $f:\mathbb{R}\to\mathbb{R}^2$, entonces el contradominio es una lista de dos números, y tenemos $f(x)=(ax,bx)$, y también está determinada solamente por las constantes $a,b$ (y su dominio y contradominio, que son diferentes al ejemplo anterior). En general, una función $f:\mathbb{R}^n\to\mathbb{R}^m$ estará caracterizada por $m\times n$ números, y por eso usamos la notación $a_{ij}$ para representarlos, donde $0 \leq i \leq m$ y $0 \leq j \leq n$. La forma en que elegimos organizar estos números es en una matriz $A$ tal que
$$ A=\begin{bmatrix} a_{11} & a_{12} & ... & a_{1n}\\ a_{21} & a_{22} & ... & a_{2n}\\ \vdots & \vdots & & \vdots\\ a_{m1} & a_{m2} & ... & a_{mn}\\ \end{bmatrix}\,. $$
Entonces, esta matriz determina de manera única la función $f$. Deberías estudiar la multiplicación de matrices en este punto porque la definición de la multiplicación se hace de tal manera que satisface la siguiente propiedad: $f(x_1,x_2,\dots,x_n)=Ax$, donde $A$ es la matriz que representa la función, y $x$ es una matriz columna con elementos $x_1,x_2,\dots,x_n$. Podrías definir la multiplicación de manera diferente y elegir $x$ como una matriz fila; no sería un problema, es una convención. Con esta multiplicación, asumiendo, por ejemplo, $n=2$ y $m=3$ tendrá la forma:
$$ Ax= \begin{bmatrix} a_{11} & a_{12}\\ a_{21} & a_{22}\\ a_{31} & a_{32} \end{bmatrix} \begin{bmatrix} x_1\\ x_2 \end{bmatrix} = \begin{bmatrix} a_{11}x_1+ a_{12}x_2\\ a_{21}x_1+ a_{22}x_2\\ a_{31}x_1 +a_{32}x_2 \end{bmatrix} = \begin{bmatrix} y_1\\ y_2\\ y_3 \end{bmatrix}\,. $$
Este es el mismo problema que escribir $f(x)=y$, donde $x=(x_1,x_2)$ y $y=(y_1,y_2,y_3)$. El problema de resolver un sistema lineal es entonces el inverso de este problema: Dado $y$, ¿qué $x$ satisface la expresión $f(x)=y$? Si la función $f$ es sobreyectiva, entonces siempre habrá al menos una solución; si es inyectiva, entonces si hay una solución, es única, y si es biyectiva o invertible, siempre hay una solución, y es única. Entonces, puedes pensar en la matriz, en el concepto de álgebra lineal, como simplemente una tabla que define quién es la función $f$ o representa la función $f$ mientras que la multiplicación de matrices representa precisamente la operación de la función $f$ en una n-tupla $x=(x_1,x_2,\dots,x_n)$. No es posible entender una matriz en este sentido fuera del contexto de la multiplicación de matrices.
Por eso el vector solución es una matriz columna, ya que así es como definimos inicialmente la multiplicación. Si quieres que sea un vector fila, tendrás que cambiar la manera en que funciona la multiplicación o no usar la multiplicación de matrices para resolver. Recuerda, la matriz columna no es igual a la n-tupla, aunque puedan parecer similares. Mapeamos el problema de los sistemas lineales y la aplicación de funciones lineales en el mundo de las matrices por conveniencia.