La razón que se me ocurre es la fuerza de la interacción. La fuerza ejercida por el campo eléctrico sobre una partícula cargada es $eE$ que es mucho más fuerte que la fuerza por campo magnético $ev\times B$ . La fuerza magnética sólo es comparable a la eléctrica cuando la velocidad de la partícula (normalmente inducida por el campo eléctrico) se aproxima a la velocidad de la luz.
Por esta razón, cuando la luz interactúa con cualquier material, los electrones comienzan a oscilar en la dirección del campo eléctrico y, si se coloca una rejilla de alambre perpendicular al campo eléctrico, el movimiento de los electrones experimenta una gran amortiguación y absorbe la luz de forma apreciable (principio del polarizador de rejilla de alambre).
La consideración del campo magnético adquiere importancia en campos láser muy intensos cuando el movimiento de los electrones se vuelve relativista.
Espero que esto ayude.