De hecho, ambos son correctos, aunque $P$ no es simétrica. Si $x$ es un $n\times 1$ vector columna (que, usando tu álgebra, lo es), entonces el gradiente de $V$ es decir $\frac{\partial V}{\partial x}$ es la derivada de una forma cuadrática,
$$\frac{\partial V }{\partial x}=\frac{1}{2}\frac{\partial xPx}{\partial x}=\frac{1}{2}(P+P^{T})x$$
En el caso especial de que $P$ es simétrico, obviamente se obtiene
$$\frac{\partial V }{\partial x}=Px$$
Observe que $Px$ (en notación matricial) es un $n\times 1$ vector columna. Si $P$ no es simétrica, $(P+P^{T})$ es así. Ahora, la derivada de Lie de la función $V$ con respecto al campo vectorial $f$ viene dado por,
$$\dot V(x)=\frac{\partial V }{\partial x} \cdot f(x)=\frac{1}{2}[(P+P^{T})x]^{T} Ax = \frac{1}{2}x^{T}(P+P^{T})Ax$$
Aparentemente hemos transpuesto $\frac{\partial V}{\partial x}$ en la ecuación anterior porque hemos utilizado matriz y el punteado entre vectores equivale a la multiplicación de matrices, con un vector transpuesto. Obsérvese para la transposición que $P+P^{T}$ es una matriz simétrica, por lo que $P+P^{T}=(P+P^{T})^{T}$ . Ahora bien, si $P$ es simétrico la derivada de Lie es,
$$\dot V(x)=x^{T}PAx$$
Usando tu segunda derivación, la derivada de Lie es,
$$\dot V(x)= \frac{1}{2}x^{T}(A^{T}P+PA)x$$
que también funciona para matrices no simétricas. Quieres demostrar que son iguales. Se toma la diferencia de los dos resultados, es decir
$$\Delta V(x)= \frac{1}{2}x^{T}(P+P^{T})Ax - \frac{1}{2}x^{T}(A^{T}P+PA)x = \frac{1}{2}x^{T}[PA+P^{T}A-A^{T}P-PA]x =$$ $$ =\frac{1}{2}x^{T}[P^{T}A-A^{T}P ]x$$
Para $x=0 \rightarrow \Delta V=0$ . Tomando la derivada respecto a $x$ (observe que $\Delta V$ es una forma cuadrática),
$$\frac{\partial \Delta V(x)}{\partial x}=\frac{1}{2}([P^{T}A-A^{T}P]+[P^{T}A-A^{T}P]|^{T})x$$
algo de álgebra,
$$P^{T}A-A^{T}P+[P^{T}A-A^{T}P]|^{T}=P^{T}A-A^{T}P+[(P^{T}A)^{T}-(A^{T}P)^{T}]=$$ $$=P^{T}A-A^{T}P+[A^{T}T-P^{T}A]=0$$
Así $\Delta V(x)= const=0$ .
Además, respecto a los dels en la derivada $\frac{\partial V(x)}{\partial x}$ , Hans también es correcto, pero en el caso general la derivada de Lie también se define para dos campos vectoriales, que en este caso $\frac{\partial V(x)}{\partial x}$ es la matriz jacobiana del campo vectorial $V$ .