La siguiente solución es un caso especial de un método general.
La pregunta pide
Sea $a_ 1=\sqrt{6}$, $a_{n+1}=\sqrt{6+a_n}$. Encuentre $\lim_{n \to \infty} (a_n-3)6^n$.
Con $\,q\,$ como parámetro, define la función $$ F(x) := \sum_{n=0}^\infty c_n \frac{x^n}{f_n}\;\; \text{ donde }\;\; f_n:= \prod_{k=1}^n (1-q^k) \tag{1} $$ y donde $\,|q|\ne1.\,$ Define las constantes $$ L := q/2, \quad \text{ y } \quad K := L^2-L. \tag{2} $$ También define $$ a_n := A\left(\frac{x_0}{q^n}\right) \;\; \text{ donde } \;\; A(x) := L - q\, x\, F(x) \tag{3} $$ y donde $\,x_0 = A^{-1}(a_0)\,$ depende solamente de $\,q\,$ y $\,a_0.\,$
El valor de $\,x_0\,$ calculado de esta manera no sufre de problemas de redondeo de punto flotante.
La ecuación $$ a_{n+1} = \sqrt{K+a_n} \quad \text{ o } \quad a_{n+1}^2 = K+a_n \tag{4} $$ implica que los coeficientes de $\,F(x)\,$ como polinomios en $\,q\,$ satisfacen $$ c_0 = 1, \quad c_{n+1} = \sum_{k=0}^n c_{n-k}\,c_k\, \frac{f_n}{f_k f_{n-k}}. \tag{5} $$
Observa que $$ F(0) = 1,\; A(0) = L \; \text{ y }\; a_n\to L. \tag{6} $$ El enfoque de $\,a_n\,$ hacia el límite $\,L\,$ es dado por $$ L - a_n = q \, \frac{x_0}{q^n} F\left(\frac{x_0}{q^n} \right) \approx q\frac{x_0}{q^n}. \tag{7} $$ Esto implica $$ \lim_{n\to\infty}(a_n-L)\,q^n = -q\,x_0. \tag{8} $$
En el caso de la pregunta, $$ q = 6,\; L = 3,\; a_0 = 0,\; x_0 \approx 0.56094292329064. \tag{9} $$
En el caso de Art of Problem Solving Online, $$ q = 4,\; L = 2,\; a_0 = 0,\; x_0 = \frac{\pi^2}{16},\; F(x) = \frac{\sin(\sqrt{x})^2}x. \tag{10} $$
NOTA: Sobre mi método. Algunas partes se basan en la función de Koenigs pero mi versión es más constructiva. Si tenemos una función $\,T(x)\,$ y definimos una secuencia por $\,a_{n+1} = T(a_n)\,$ donde $\,a_n\to 0\,$ tal que $\, a_n \approx c/q^n,\,$ entonces usamos el Ansatz $\, a_n = F(x/q^n)\,$ para alguna función $\,F\,$ con una expansión en serie de potencias en $\,x\,$ con coeficientes que dependen de $\,q.\,$ Los coeficientes están determinados de manera única por la función $\,T.$ El modo de convergencia determina el Ansatz adecuado. Por ejemplo, $\,T(x) := x-x^2\,$ requiere un Ansatz diferente.
NOTA: Si $\,q=1\,$ entonces la convergencia $\,a_n\to \frac14\,$ es mucho más lenta y el análisis anterior no se cumple. En su lugar se necesita el para $\,T(x) := x-x^2\,$. Algo similar si $\,q=-1\,$ u otras raíces de la unidad.
NOTA: Iba a mencionar el capítulo 8.3 de Métodos Asintóticos en Análisis de de Bruijn, con el cual estoy familiarizado pero no tenía el número de página exacto.