Probabilidad logarítmica frente a producto de probabilidades

Question

Según esto artículo de wikipedia se puede representar el producto de probabilidades x⋅y como -log(x) - log(y) haciendo que el cálculo sea más óptimo computacionalmente. Pero si intento un ejemplo digamos:

p1 = 0.5
p2 = 0.5
p1 * p2 = 0.25
-log(p1) - log(p2) = 2

p3 = 0.1
p4 = 0.1
p3 * p4 = 0.01
-log(p3) - log(p4) = 6.64

El producto de las probabilidades p1 y p2 es mayor que el de p3 y p4 pero la probabilidad logarítmica es menor.

¿Por qué?

Answer 1

Me temo que ha entendido mal lo que pretende el artículo. No es una gran sorpresa, ya que está redactado de forma poco clara.

Hay dos cosas diferentes.

La primera es simplemente trabajar en la escala logarítmica.

Es decir, en lugar de " $p_{AB} = p_A\cdot p_B$ " (cuando se tiene independencia), se puede escribir en su lugar " $\log(p_{AB}) = \log(p_A)+ \log(p_B)$ ".

Si necesitas la probabilidad real, puedes exponer al final para obtener $p_{AB}$ :

$p_{AB}=e^{\log(p_A)+ \log(p_B)}\,,$

pero si es necesario, la exponenciación se dejará normalmente para el último paso posible. Hasta aquí todo bien.

La segunda parte consiste en sustituir $\log p$ con $-\log p$ . Esto es para que trabajemos con valores positivos.

Personalmente, no veo mucho valor en esto, especialmente porque invierte la dirección de cualquier ordenamiento ( $\log$ es monótona creciente, por lo que si $p_1<p_2$ entonces $\log(p_A)< \log(p_2)$ ; este orden se invierte con $-\log p$ ).

Esta inversión parece preocuparte, pero es una consecuencia directa de la negación: debería ocurrir con probabilidades logarítmicas negativas. Piensa en la probabilidad logarítmica negativa como una escala de "rareza": cuanto mayor sea el número, más raro será el suceso (el artículo lo denomina "valor sorpresa", o sorpresa (que es otra forma de pensar en ello). Si no te gusta esa inversión, trabaja con $\log p$ en su lugar.

Para volver a convertir las probabilidades logarítmicas negativas en probabilidades, hay que negar antes de exponer.

Si decimos $s_i = -\log(p_i)$ ( $s$ para el "valor sorpresa"), entonces

$p_{AB}=e^{-[s_A+ s_B]}\,.$

Como ves, eso invierte la dirección por segunda vez, devolviéndonos lo que necesitamos.