Con respecto al uso de corchetes en tu notación como corchetes de Iverson, está bien siempre y cuando quede claro que eso es lo que son. Lo más importante es que el significado de las ecuaciones/expresiones en tu matemática sea claro para el lector, y aunque podrías usar corchetes de Iverson para expresar algo, a menudo hay una forma más clara de hacerlo sin ellos. El uso de corchetes de Iverson podría causar problemas especialmente porque los corchetes se utilizan bastante a menudo en matemáticas con una variedad de significados diferentes.
Ahora, con respecto a tu uso de corchetes de Iverson, creo que hay un problema con los límites de tu suma. La forma en que estás expresando el grado del vértice $v_n$ en $G$, parece que tu idea es iterar sobre todos los bordes de $G$ y verificar si el borde incide en $v_n$. No estoy seguro de qué se supone que es $n$ (o $v_n'$ en este caso), pero necesitas tener esta noción de "todos los bordes de $G$" en tu expresión. Lo haría de esta manera, con $E(G)$ representando el conjunto de bordes de $G$: $$ \deg(v_n) = \sum_{e \in E(G)} [v_n \in e] $$ Al observar tu otro ejemplo, tener $E(G)$ nos proporciona una forma mucho más clara de representar el número de bordes de $G$ que la notación que utiliza corchetes de Iverson. Podemos simplemente utilizar $|E(G)|$.