Estrategia en un juego de tiempo de espera: el dilema del pescador

Question

Supongamos que hay un pescador en el lago, que lanza repetidamente su sedal en busca de peces. Dejemos que $X_k$ denotar el tiempo que tarda en pescar un pez en su $k$ elenco, $k \in \mathbb{N}$ donde el $X_k$ son iid, muestreados a partir de alguna función de distribución $F$ y para que eso $X_k > 0$ y $\mathbb{E}X < \infty$ . El pescador sabe $F$ y tiene control sobre una cosa: puede elegir volver a lanzar su línea en cualquier momento. ¿Cuál es su estrategia óptima para capturar el mayor número de peces a largo plazo?

Hay situaciones en las que es ventajoso volver a fundir: si $F$ es bimodal, con las dos modalidades muy separadas, entonces el pescador esperará a que pase la primera modalidad y, si no ha capturado ningún pez, volverá a lanzar la línea en lugar de esperar a llegar a la siguiente modalidad.

Puedo caracterizar las funciones de distribución en las que a veces es ventajoso volver a lanzar mediante un cálculo directo, aunque tengo curiosidad por saber si existe una condición más elegante. Si el pescador no ha visto un pez hasta el momento $t$ entonces su tiempo de espera esperado para ver un pez es

\begin{equation} \mathbb{E}[X - t | X > t] = \int_{t}^\infty \frac{F(s)}{F(t)} ds, \end{equation}

donde estoy usando $F(x) = \mathbb{P}(X > x)$ . Por otro lado, el tiempo de espera incondicional esperado es

\begin{equation} \mu = \mathbb{E}[X] = \int_0^\infty F(s) ds. \end{equation}

Por lo tanto, es ventajoso volver a fundir nuestra línea en el momento $t$ si el tiempo de espera condicional esperado es mayor que el tiempo de espera incondicional, es decir, cualquier tiempo $t > 0$ Satisfaciendo a

\begin{equation} F(t) \int_0^\infty F(s) ds < \int_t^\infty F(s) ds. \end{equation}

$\Big($ EDITAR 2 : @DaneiWeissman señaló que esta condición no siempre es la correcta para averiguar la estrategia óptima. Suponiendo que la estrategia correcta es elegir un tiempo $t$ y siempre se refunden en ese momento, el tiempo de espera para esa estrategia es

\begin{equation} \mathbb{E}[X|X \leq t] + \sum_{j \geq 0} F(t)^j(1-F(t)) jt = \frac{1}{1-F(t)} \int_0^t (F(s) - F(t)) ds + \frac{t F(t)}{1-F(t)} \end{equation}

\begin{equation} =\frac{1}{1-F(t)}\int_0^t F(s)ds. \end{equation}

Esto se debe a que esperamos un número geométricamente distribuido de veces con probabilidad de fallo $F(t)$ antes de que haya un pez en $[0,t]$ y una vez que esto ocurre, lleva tiempo $\mathbb{E}[X|X \leq t]$ para atraparlo en promedio. Por lo tanto, deberíamos tratar de resolver

\begin{equation} \frac{1}{F(t)} \int_t^\infty F(s) ds = \frac{1}{1-F(t)} \int_0^t F(s) ds, \hspace{5pt} (\star \star)\end{equation}

o tal vez sólo minimizar el RHS sobre $t \in \mathbb{R}$ . $\Big)$

Por ejemplo, si estas expresiones son iguales para todo $t$ y diferenciando con respecto a $t$ produce

\begin{equation} \mu F'(t) = -F(t), \end{equation}

y $F(t) = e^{-t/\mu}$ es la única función de distribución en $[0,\infty)$ que satisface esta EDO. Por lo tanto, si el $X$ 's son exponenciales entonces volver a fundir en cualquier momento nunca nos perjudica ni nos ayuda. ( Esto no debería sorprender a nadie que esté familiarizado con los procesos de Poisson y la propiedad sin memoria de la distribución exponencial. )

También se puede calcular directamente con $F_\alpha(x) = (1+x)^{-\alpha}$ , para $\alpha > 1$ . Esto da

\begin{equation} \mathbb{E}[X - t | X > t] = \frac{t+1}{\alpha - 1}, \end{equation}

mientras que

\begin{equation} \mathbb{E}X = \frac{1}{\alpha - 1}. \end{equation}

Así que el pescador debe volver a lanzar su línea en cada vez positivo en este caso.

Me interesan los tiempos $t$ donde tenemos la igualdad, es decir, los tiempos $t$ cuando

\begin{equation} \mathbb{E}[X-t|X > t] = \mathbb{E}[X] \hspace{10pt} (\star) \end{equation}

Mis preguntas son:

1) ¿Qué conjuntos posibles pueden darse como conjuntos solución a $(\star)$ o $(\star \star)$ ? Por ejemplo, ¿puede haber una única solución? $N$ soluciones para algunos $N \in \mathbb{N}$ ? ¿Puede satisfacerse para todos $t$ en algún intervalo?

2) ¿Existe una condición más agradable para determinar si hay o no algunos solución a $(\star$ ) o $(\star \star)$ ? (Me pregunto si hay alguna forma de comparar $F$ a una distribución exponencial que ayude).

3) ¿Pueden las ecuaciones integrales $(\star)$ o $(\star \star)$ ¿se puede reducir a una forma más manejable?

4) ¿Hay algún otro bonito clases de funciones de distribución para las que se pueden resolver explícitamente?

5) ¿Cómo se puede entender el caso en el que $\mathbb{E}X = \infty$ ? Las ecuaciones $(\star)$ y $(\star \star)$ ya no tienen sentido. ¿Debe el pescador volver a lanzar en este caso?

Además, tengo curiosidad por saber si esta cuestión se ha estudiado en algún otro contexto: ¡me parece un montaje muy natural!

P.D. Hay muchas variantes posibles de la pregunta original. Me pregunto qué pasaría si se impusiera un coste temporal a la hora de volver a lanzar el sedal, o si el pescador no supiera cuánto tiempo ha pasado desde que lanzó su sedal. ¿Cuál sería la estrategia óptima?

EDITAR 1: Otra distribución sobre la que se puede probar algo es $F(t) = e^{-t^2}$ que decae más rápido que exponencialmente. Tenemos $\mathbb{E}X = \frac{\sqrt{\pi}}{2}$ , mientras que

\begin{equation} \mathbb{E}[X-t | X > t] = e^{t^2} \int_{t}^\infty e^{-s^2} ds. \end{equation}

Es sencillo comprobar que esta función es estrictamente decreciente, y

\begin{equation} \lim_{t \to 0^+} \mathbb{E}[X-t | X > t] = \mathbb{E}X, \end{equation}

que se mantiene para cualquier función de distribución $F$ (ya que $F$ tiene límites correctos y $F(0) = 1$ ). Por lo tanto, en este caso el pescador no debe volver a lanzar su sedal.

Answer 1

Dejemos que $f$ sea la función de densidad de probabilidad, $t$ sea el tiempo de refundición y $T$ sea el tiempo medio de captura resultante. Lo tenemos: $$ \begin{align} T &= \int_0^t x f(x)\ \mathrm{d}x + \left(\int_t^\infty f(x)\ \mathrm{d}x \right)(t + T) \\ T &= \frac{\displaystyle \int_0^t x f(x)\ \mathrm{d}x + t \int_t^\infty f(x)\ \mathrm{d}x}{\displaystyle 1 - \int_t^\infty f(x)\ \mathrm{d}x} \label{1}\tag{1} \end{align} $$ El mínimo está en $t = 0$ (refundir en cuanto se pueda), $t = \infty$ (nunca refundido), en $\frac{\mathrm{d}T}{\mathrm{d}t} = 0$ o en una discontinuidad de $f$ . El caso $t = \infty$ es simplemente el valor esperado. Para $t = 0$ tomamos el límite a 0 y necesitamos usar la regla de L'Hôpital. $$ \lim_{t \downarrow 0}\ T = \lim_{t \downarrow 0}\ \frac{\displaystyle \int_t^\infty f(x)\ \mathrm{d}x}{f(t)} = \frac{1}{f(0)} $$ Ahora el caso $\frac{\mathrm{d}T}{\mathrm{d}t} = 0$ : $$ \begin{align} \frac{\mathrm{d}T}{\mathrm{d}t} &= \frac{ \left( \int_t^\infty f(x)\ \mathrm{d}x \right) \left( 1 - \int_t^\infty f(x)\ \mathrm{d}x \right) - \left( \int_0^t x f(x)\ \mathrm{d}x + t \int_t^\infty f(x)\ \mathrm{d}x \right) f(t) }{ \left( 1 - \int_t^\infty f(x)\ \mathrm{d}x \right)^2 } \\ 0 &= \left( \int_t^\infty f(x)\ \mathrm{d}x \right) \left( 1 - t f(t) - \int_t^\infty f(x)\ \mathrm{d}x \right) - f(t) \int_0^t x f(x)\ \mathrm{d}x \end{align} $$ Algunos ejemplos:

• La distribución exponencial $f(x) = \lambda e^{-\lambda x}$ tiene $T = \frac{1}{\lambda}$ . Es la única distribución en la que $T$ no depende de $t$ .
• En una distribución exponencial retardada $t = \infty$ da el valor mínimo para $T$ . $$ f(x) = \begin{cases} e^{1-x} & x \ge 1 \\ 0 & x < 1 \end{cases} $$
• Con la siguiente distribución el mínimo está en $t = 1$ . $$ f(x) = \begin{cases} \frac{1}{2} & x \in [0,1] \vee x \in [3,4] \\ 0 & \text{otherwise} \end{cases} $$
• Esta distribución tiene mínimos en $t = 1$ y $t = \frac52$ : $$ f(x) = \begin{cases} \frac{1}{3} & x \in [0,1] \vee x \in [\frac32, \frac52] \vee x \in [5, 6] \\ 0 & \text{otherwise} \end{cases} $$
• Esto da un mínimo en cualquier $t \in [0, 1]$ : $$ f(x) = \begin{cases} e^{-x} & x \in [0,1] \\ \frac{1}{e} & x \in [2,3] \\ 0 & \text{otherwise} \end{cases} $$
• Esto da un mínimo en $t = 0$ : $$ f(x) = \begin{cases} e^{-x}-\frac{1}{e} & x \in [0,1] \\ \frac{2}{e} & x \in [2,3] \\ 0 & \text{otherwise} \end{cases} $$
• La siguiente distribución tiene valor esperado $\infty$ y tiene un mínimo en $t = 0$ . $$ f(x) = \frac{1}{(x+1)^2} $$

A tu pregunta de si el pescador debe refundir alguna vez si el valor esperado de la distribución es $\infty$ : Sí, debería hacerlo siempre. La refundición da un valor finito para $T$ mientras que la no refundición dará $T = \infty$ .