La estructura es una información adicional sobre el conjunto. Significa que hay algunas relaciones, constantes y operaciones asociadas a ese conjunto.
Por ejemplo $\Bbb N$ es un conjunto, pero podemos darle una estructura como la adición o el orden, o ambos. Entonces los elementos de $\Bbb N$ puede tener importancia en relación con la estructura. Si añadimos el orden, entonces $0$ es un mínimo; si añadimos la multiplicación entonces $1$ es una unidad; y así sucesivamente.
Es importante recordar que, aunque las sumas y demás son muy naturales para nosotros en $\Bbb N$ también podemos tomar relaciones y operaciones que hacen no tiene sentido para nosotros y será matemáticamente válido hacerlo. Por supuesto, podemos dar estructura a conjuntos extraños, y puede que no tenga mucho sentido al principio, pero sigue siendo algo válido que podemos hacer.
Para poder y utilizar la estructura matemáticamente tenemos un lenguaje que nos permite expresar propiedades deseadas de la estructura, o de sus elementos, o subconjuntos, etc. Este lenguaje contiene símbolos para nuestras constantes, para cualquier relación que necesitemos, así como símbolos de función.
Por ejemplo, si consideramos $\Bbb Z$ con sólo el orden [habitual] de la estructura, entonces bien podríamos hablar de ella en el lenguaje que contiene un único símbolo de relación que interpretaremos como $\leq$ . Si decidimos hablar de $\Bbb Z$ con la suma y la multiplicación también, esta estructura se llama anillo y utilizamos el lenguaje de los anillos que incluye símbolos para $+$ y $\cdot$ (y a veces símbolos para las constantes $0$ y $1$ ).
Es importante señalar que hay una gran diferencia entre el lenguaje y la estructura, pero están unidos. A menudo, cuando trabajamos en matemáticas, suponemos implícitamente que tenemos un lenguaje que contiene los símbolos necesarios y lo interpretamos de tal manera que damos una estructura compatible a un conjunto determinado.
Los fundamentos de esta idea se pueden encontrar en muchos libros de introducción a la lógica (o a la teoría de modelos), donde se estudia el lenguaje y la estructura, también Wikipedia .