(He leído esta pregunta como si se tratara de construir tales conjuntos sólo en ZF-Foundation)
Esencialmente estás pidiendo un conjunto $x=\{x\}$ en ZF sin fundamento.
El problema es que sólo sin base no se consigue lo suficiente. Cada modelo de ZF es un modelo de ZF sin fundamento.
Hay métodos de construcción de modelos en los que falla el axioma de la fundamentación, y se puede controlar muy bien este fallo. Son métodos similares a los métodos en los que se niega el axioma de elección.
El método más célebre se debe a Specker y utiliza átomos y resultados en conjuntos para los que $x=\{x\}$ .
Editar: Hablé con el profesor que me enseñó el método para generar modelos sin el axioma de fundamento a partir de modelos con átomos, y me dijo que el método se le ocurrió a él mismo. Supuso que alguien más había escrito sobre ello antes, así que no se molestó en publicarlo. Aunque estoy seguro de que Specker trabajó en ideas similares, no he podido encontrar una referencia. Me encargaré de escribir una nota sobre el método que utilizó mi profesor.
Actualizaré esto cuando la nota esté preparada, para quien esté interesado.