Este artículo tiene algunos resultados relevantes, basándose en un estudio de pájaro de plumaje (que también pasa a ser citado en el resumen del artículo de Nature mencionado en una de las otras respuestas), y se resume en términos más simples aquí.
Voy a intentar resumir el resumen.
Negro y esponjoso/ropa holgada es mejor si está caliente, y no hay ninguna ($>3 \mathrm{m}/\mathrm{s}$) viento. La ropa de color negro absorbe tanto la radiación solar y la radiación del cuerpo. El aire en las inmediaciones se calienta, entonces de manera eficiente transportada por el viento. Este es ligeramente mejor que el blanco esponjoso/ropa holgada, lo que refleja más la luz solar y la radiación del cuerpo. La emisión del cuerpo se refleja, por lo que no puede calentar el aire cerca de la ropa de la forma más eficiente y tener una oportunidad para ser transportada.
Negro ajustado ropa es una idea terrible si tratando de mantener la calma, independientemente de la velocidad del viento.
Si no hay viento ($<3 \mathrm{m}/\mathrm{s}$), ropa blanca es mejor, ya que lo más importante en estas condiciones es para reflejar tanto la luz del sol entrante como sea posible.
También tengo otra posibilidad que pensar. Mi recuerdo sobre holgadas túnicas negras en el desierto es que - dada una prenda de vestir que está abierto en la parte inferior (túnica) y superior (no muy apretada) - calentar el aire en el interior es realmente ventajoso para mantener fresco ya que esto lleva a una convección de flujo ascendente a través de la prenda. Este flujo de aire hace que el enfriamiento a través de la sudoración eficiente, suficiente para que la persona que lleva la prenda no se siente tan caliente. Lamentablemente yo no puedo encontrar ninguna resultados experimentales para validar esta foto, pero parece más o menos en línea con los resultados anteriores, al menos en cuanto a flujo de aire parece ser la clave para responder a la pregunta.