Denotemos por $z_i$ $(0\leq i\leq 4)$ los vértices del pentágono grande $Z$ y por $w_i$ los vértices del pentágono pequeño $W$. Sin pérdida de generalidad, podemos asumir que $$z_0=(0,0), \quad z_2=(1,0),\quad z_3=(0,1)$$ y $$w_3=(a,0), \quad w_4=(b,0),\quad w_1=(0,d),\quad w_2=(0,c)$$ con $$0
Luego se obtiene $$z_1=\left({ba(1-c)\over a-bc}, {c(a-b)\over a-bc}\right),\quad z_4=\left({a(c-d)\over c-ad}, {dc(1-a)\over c-ad}\right),\quad w_0=\left({b(1-d)\over 1-bd}, {d(1-b)\over 1-bd}\right)\ .$$ Esto significa que el espacio de módulos ${\cal M}$ de tales configuraciones hasta la afinidad tiene dimensión $4$. Los valores $a=c={3-\sqrt{5}\over2}\doteq0.381966$ y $b=d={\sqrt{5}-1\over2}\doteq0.618034$ corresponden a pentágonos regulares $Z$ y $W$.
Procesando más, se tiene entonces $$2\>{\rm área}(Z)=1+{(b-a)c\over a- bc}-{a(d-c)\over ad-c}\>,\quad 2\>{\rm área}(W)={bd(2-b-d)-ac(1-bd)\over 1-bd}\ ,\tag{1}$$ y estamos interesados en la cantidad $$t(a,b,c,d):={{\rm área}(W)\over {\rm área}(Z)}\ .$$ Para pentágonos regulares $Z$ y $W$ se tiene $t={7-3\sqrt{5}\over2}\doteq0.145898$.
Las expresiones $(1)$ son lo suficientemente complicadas como para impedir el cálculo de derivadas parciales de $t$. Por otro lado, es fácil ver que $\inf_{\cal M} t(a,b,c,d)=0$. En cuanto al máximo de $t$, simulé $10^7$ configuraciones aleatorias con Mathematica y obtuve el siguiente quintuplo óptimo $(a,b,c,d,t)$: $$(0.383542, 0.619248, 0.381882, 0.618277, 0.14589)\ .$$ Esto respalda la conjetura de que $t$ es máximo para pentágonos regulares.