Cuando un fotón interactúa con un átomo, pueden producirse diversos procesos. Usted menciona el efecto fotoeléctrico y la dispersión Compton (dispersión inelástica no resonante), pero también puede haber dispersión elástica o dispersión inelástica resonante (si la energía del fotón incidente se ajusta a una energía de transición atómica). Esta lista no es en absoluto exhaustiva.
Para cada uno de estos procesos, es posible calcular (o medir) una sección transversal que determina la frecuencia relativa con la que se produce un suceso dado un gran número de fotones que inciden sobre el átomo.
Ahora, para llegar a su pregunta real. Usted pregunta qué determina que se produce el suceso. Se trata de una cuestión fundamental de la mecánica cuántica, que a menudo se denomina "problema de la medición". Consideremos un universo formado únicamente por un fotón que vuela hacia un átomo. Si adelantamos el tiempo hasta mucho después de que el fotón haya alcanzado el átomo, el sistema se encontrará en una superposición de estados que incluye todos los procesos posibles (con la ponderación correcta para dar las probabilidades relativas). No es hasta que el sistema interactúa con un dispositivo de medición mayor ("clásico") cuando se selecciona uno de los muchos procesos ("la función de onda colapsa"). Según la interpretación habitual de la mecánica cuántica, la rama que se produce viene determinada simplemente por la probabilidad, sin que nada en particular provoque la selección.
Por supuesto, existen dificultades conceptuales en torno a dónde debe estar el límite entre los sistemas "clásicos" y "cuánticos". Quizá le interese leer sobre la "decoherencia" como posible mecanismo del colapso aparente de la función de onda.