Si los axiomas son una teoría de primer orden entonces tenemos la Teorema de la integridad que afirma que una teoría es consistente si y sólo si existe un modelo de esta teoría.
Así que una teoría demuestra que otra es consistente si puede mostrar la existencia de un modelo de la segunda teoría. Por ejemplo, en ZFC podemos mostrar que los ordinales finitos forman un modelo de PA, por lo tanto, como teoría de primer orden, PA es consistente si ZFC es consistente.
Por supuesto, esto no dice nada sobre si la AP es o no realmente consistente o si ZFC es realmente coherente, esto se reduce a "creer" que los axiomas con los que se trabaja son verdaderos. Sin embargo, sabemos que si ZFC es consistente, podemos generar un modelo de PA que demuestre que PA también es consistente (esto se llama consistencia relativa decimos que PA es consistente relativa a ZFC).
El Teorema de Incompletitud impide que ZFC pruebe su propio consistencia y para eso necesitamos tener un axioma adicional, dándonos una teoría más fuerte que pueda entonces probar que ZFC es consistente (tales axiomas son "ZFC es consistente", o "Existe un cardinal inaccesible", etc.)