Aclaremos primero una cosa: nunca se pueden sumar (o restar) dos expresiones con unidades diferentes. Por ejemplo, en $\delta(x - 1)$ el 1 no tiene unidad, lo que significa que $x$ tiene que ser también sin unidades.
Luego está la cuestión separada de las unidades de la expresión dentro del delta de Dirac. La expresión dentro de la delta es su argumento, y como sabes, el argumento no tiene que ser sin unidades. Así que ahí tienes la respuesta. Puedes escribir $\delta(x - 1\text{ m})$ por ejemplo, y como $x - 1\text{ m}$ tiene unidades de longitud, la propia función delta tendrá unidades de longitud inversa.
La razón por la que los argumentos de muchas funciones tienen que ser sin unidades es que esas funciones se pueden expresar como una serie de potencias,
$$f(x) = a_0 + a_1 x + a_2 x^2 + \cdots$$
donde el $a_i$ son sólo números. 1 Por ejemplo,
$$\begin{align} \exp(x) &= 1 + x + \frac{1}{2}x^2 + \cdots \\ \sin(x) &= x - \frac{x^3}{6} + \cdots \end{align}$$
Si $x$ tuviera unidades de, por ejemplo, longitud, entonces estarías sumando un número a una longitud a un área (longitud al cuadrado) a un volumen, etc., y como he dicho, eso no puede ocurrir.
Pero la función delta no es una de estas funciones que pueda expresarse como una serie de potencias. De hecho, no es realmente una función en absoluto. Es una distribución, definida implícitamente por la integral
$$\int_a^b f(x) \delta(x - x_0)\mathrm{d}x = \begin{cases}f(x_0), & a \le x_0 \le b \\ 0,& \text{otherwise}\end{cases}$$
Para que este integral salga con las mismas unidades que $f(x_0)$ el resto de la expresión se integra, es decir, la combinación $\delta(x - x_0)\mathrm{d}x$ - tiene que ser sin unidades. Y como $\mathrm{d}x$ tiene las mismas unidades que $x$ , $\delta(x - x_0)$ tiene que tener la unidad que anula esa unidad.
1 Se podría argumentar que se puede definir una función $f$ como una serie de potencias donde los coeficientes $a_n$ tienen unidades del tipo apropiado, y en ese caso el argumento $x$ sería tienen unidades. Pero siempre se puede generalizar dicha función a una función diferente de una variable sin unidades: basta con escribir $a_n = f_0 b_n/x_0^n$ donde $b_n$ no tiene unidades y $x_0$ tiene la misma dimensión que $x$ y luego expresar la función como $$f(x) = \sum a_n x^n = f_0\sum b_n (x/x_0)^n = f_0 g(x/x_0)$$ donde $g(y) = \sum b_n y^n$ . La función $g$ expresa la misma relación funcional que $f$ pero en términos de una variable sin unidades, por lo que es más útil en general.