Empecemos con la palabra "palabra" (juego de palabras)
En este caso representa el tamaño por defecto del medio de almacenamiento del sistema. Puede ser cualquier número de bits, pero comúnmente era de 8 bits (en, por ejemplo, el Z80 del ZX Spectrum, etc), o de 16 bits en los primeros sistemas de PC (8086, 80286, etc).
Así, un ordenador de 8 bits tiene un tamaño de palabra de 8 bits.
Luego hay 16 bits de dirección. Este es literalmente el número de líneas de dirección en el chip. De nuevo, tomando el Z80 como ejemplo, había 16 de ellas (A0 a A15). Esto da un posible \$2^{16}\$ direcciones - 65536.
Cada una de esas direcciones representa la ubicación en memoria de una palabra de datos.
Eso es 65535 palabras disponibles - en un sistema de 8 bits eso es 64KBytes. En un sistema de 16 bits sería el doble, 128KBytes.
Ahora, la memoria RAM, la memoria ROM y (dependiendo de la arquitectura) los periféricos IO tomarán un número de esas 65536 direcciones.
Digamos, por ejemplo, que tienes 2K de ROM y 4K de RAM. Eso es 2048 direcciones de ROM y 4096 direcciones de RAM. No todas las direcciones se utilizan, por lo que hay espacio para la expansión de la memoria digamos.
El ZX Spectrum 48K tenía 16K de ROM y 48K de RAM, por ejemplo. Eso supone 16384 direcciones que apuntan a la ROM y 49152 direcciones que apuntan a la RAM.
La cantidad de las 65536 direcciones disponibles que se utilizan realmente depende exclusivamente del diseñador del ordenador.