Nunca he encontrado masa negativa en ningún lugar de la física, y diría que debe deberse a un error (o inestabilidad numérica) en los cálculos. Si se trata de inestabilidad numérica, repite el cálculo con entradas ligeramente diferentes (del orden de 10*roundoff) y comprueba si esto afecta significativamente a los resultados. En caso afirmativo, el diagnóstico es correcto, y tendrías que examinar tus algoritmos para averiguar dónde está el culpable. Si no, los errores de redondeo son irrelevantes y debe haber otro error.
Por otro lado, una masa negativa al cuadrado (masa imaginaria, estados taquiónicos equivalentes) significa que el espectro se calculó en un pseudovacío inestable (y no físico), que sufriría una rápida transición de fase. Esto significa que los campos deben ser desplazados (por ejemplo, simetría rota en Higgs) y/o transformados linealmente por una transformación de Bogoliubov (por ejemplo, superconductividad) antes de ser expandidos de Fourier en términos de operadores de creación y aniquilación utilizados para encontrar el espectro.