Creo que esta pregunta puede ser tomado en varias direcciones diferentes. Si usted sustituto de "interesante" o simplemente "nonarbitrary" para "significativas" (como Nate Eldredge y Pete L. Clark hizo), al menos tres criterios vienen a la mente: La primera es la simplicidad; esto puede ser hecho precisa en varios sistemas formales, por ejemplo, los números naturales son, en cierto sentido, la más simple conjunto infinito, etc. En segundo lugar, si un objeto aparece de forma natural mientras que la investigación de algo más, que de repente puede hacer que sea mucho más interesante. En realidad, creo que tales conexiones cruzadas son a menudo un impulso para ambos lados. Así, por ejemplo, si $x+2y-1016z$ pasó a ser, es decir, el único polinomio con coeficientes enteros satisfacer algunas no evidente de la propiedad, no sería arbitrario más-tal vez, incluso si el sujeto donde la propiedad que llegó hasta no obtener una gran cantidad de atención antes. El tercer factor es cómo muchos triviales teoremas puede ser probado sobre un objeto. Supongo que esto sólo hace que los objetos más interesantes si ya están interesante por otros motivos, aunque.
El problema de la complejidad es especialmente sutil, incluso si usted probablemente puede encontrar una buena métrica. Por ejemplo, la definición de una máquina de Turing es más bien largo con muy pocas decisiones arbitrarias. Lo que hace máquinas de Turing interesante de todos modos es la tesis de Church-Turing. En otras palabras, la verdaderamente interesante de la propiedad es Turing-completo, y la verdad muy interesante objeto es la clase de todos los Turing-completo de máquinas, mientras que la máquina de Turing en sí misma es sólo una arbitraria representante de esa clase. La joya especial aquí es que no parece ser de cualquier simple/natural/nonarbitrary/interesante manera de definir formalmente esa clase. Esto sugiere que uno debe distinguir entre objetos matemáticos, que puede ser interesante, y sus descripciones, que puede ser arbitraria, sin embargo.
Esto me lleva a otra posible interpretación de las palabras "sentido" y "arbitraria." Axiomático que la teoría de conjuntos (por ejemplo, ZFC) se puede decir que el comercio de "arbitrariedad" (que es una palabra?) para la complejidad. Tomar la Kuratowski definición de un par ordenado, por ejemplo: no es sólo asimétrica, incluso implica que (en virtud de la definición habitual de los números naturales) el par $(0,1)$ es un subconjunto (sí, subconjunto!) de la número de $3$. Usted puede reemplazar a $3$ con cualquier número mayor, pero no con $2$...
Aquí, uno podría argumentar que la cuestión de si algo es un subconjunto del número de $3$ no es significativo. Esto puede no ser exactamente lo que tenía en mente, pero yo considero que este concepto de significatividad muy importante, y puede ser preciso en diversas formas. Tipo de teoría proporciona una muy satisfactoria formalización, pero ya que es una alternativa a la teoría de conjuntos, esto deja abierta la pregunta de por qué consideramos una declaración en particular sentido o sin sentido en (conjunto teórico) la práctica de matemáticas. Esta pregunta ha sido investigado en el terreno filosófico, y uno puede también tratar de encontrar un sistema formal que sólo permite significativas declaraciones. (He estado trabajando en esto).
Una versión más débil de "significativo" o "arbitrario" viene de matemática de la incompletitud. La independencia de, por ejemplo, la hipótesis continua de ZFC da a los objetos como $\aleph_1$ más "vago" se sienten, por lo tanto algunas personas consideran que las preguntas o los objetos menos significativos que otros. Pero también hay muy concreto de estados independientes, el más famoso (en este caso) la cuestión de si ZFC sí es coherente. Una diferencia clave es que la hipótesis continua no tiene ningún aritmética consecuencias.
Para concluir, si tu pregunta es interpretada suficientemente amplia, una gran cantidad de bien investigada fundacional temas vienen a la mente. En cualquier caso, no puede realmente ser una sola respuesta.