Aquí hay una respuesta parcial. Supongamos que $X(t)$ y $A(t)$ son matrices $n \times n$. Definimos: $$ c = \liminf_{t\rightarrow\infty} \int_\beta^t tr(A(s))ds $$ El problema nos dice que $c > -\infty$.
1) Notemos que dado que $X(t)$ es una solución a $X'(t) = A(t)X(t)$, entonces para cualquier matriz $n\times n$ $M$ también obtenemos que $Y(t) = X(t)M$ es otra solución. Sea $y_{\beta}$ cualquier condición inicial deseada para $Y(\beta)$. Si $X(\beta)$ es invertible, entonces podemos elegir $M = X(\beta)^{-1}y_{\beta}$, de manera que $Y(t)=X(t)M$ es una solución con la condición inicial deseada $Y(\beta)=y_{\beta}$.
Así, el comportamiento límite en torno a $X(t)$ a menudo puede traducirse en el comportamiento límite en torno a otras soluciones $Y(t)$. Si $Y(\beta)$ es invertible y $X(t)$ no se aproxima a la solución nula, entonces $Y(t)$ tampoco se aproxima a la solución nula. (Si $Y(\beta)$ no es invertible, entonces podemos tener $Y(t)=0$ para todo $t$ como una solución válida).
2) Supongamos que $A(t)$ es una matriz de la forma $A(t) = g(t)A$ para alguna matriz (constante) $A$ y alguna función con valores escalares integrable $g(t)$. Entonces una solución a la EDO es (para $t \geq \beta$):
$$ X(t) = e^{\int_{\beta}^t A(s)ds}X(\beta) \: \: (Ecuación 1) $$ Existen otros tipos de matrices $A(t)$ para las cuales la solución anterior funciona, pero no todas (como señalan los útiles comentarios de Robert Lewis arriba).
Ahora, el siguiente enlace proporciona la fórmula de Jacobi para cualquier matriz cuadrada $B$: $\det(e^B) = e^{tr(B)}$. http://en.wikipedia.org/wiki/Matrix_exponential
Aplicando esto a la (Ecuación 1) obtenemos: $$ \det(X(t)) = e^{\int_\beta^ttr(A(s))ds}\det(X(\beta))$$ Tomando valores absolutos de ambos lados obtenemos: $$ |\det(X(t))| = e^{\int_{\beta}^t tr(A(s))ds} |\det(X(\beta))| $$ Tomando un $\liminf$ de ambos lados obtenemos: $$ \liminf_{t\rightarrow\infty} |\det(X(t))| = e^{c} |\det(X(\beta))| > 0 $$ donde la última desigualdad se cumple porque se nos dice que $\det(X(\beta))\neq 0$. Dado que el valor absoluto del determinante está alejado de $0$, y dado que el determinante será una función polinómica de las entradas de la matriz, se deduce que la suma de los cuadrados de las entradas de $X(t)$ debe estar alejada de cero.