¿Hay alguna diferencia entre la supervisión a distancia, el autoentrenamiento, el aprendizaje auto-supervisado y la supervisión débil?

Question

Por lo que he leído:

---

Supervisión a distancia :

A Distant supervision algorithm usually has the following steps: 
1] It may have some labeled training data 
2] It "has" access to a pool of unlabeled data 
3] It has an operator that allows it to sample from this unlabeled 
   data and label them and this operator is expected to be noisy in its labels 
4] The algorithm then collectively utilizes the original labeled training data
    if it had and this new noisily labeled data to give the final output.

---

Autoformación :

---

Autoaprendizaje ( Yates, Alexander, y otros. "Textrunner: extracción de información abierta en la web". Actas de Tecnologías del Lenguaje Humano: La Conferencia Anual del Capítulo Norteamericano de la Asociación de Lingüística Computacional: Demostraciones. Asociación de Lingüística Computacional, 2007. ):

El Aprendiz opera en dos pasos. Primero, automáticamente etiqueta su propios datos de entrenamiento como positivos o negativos. En segundo lugar, utiliza esta datos etiquetados para entrenar a un clasificador Bayes ingenuo.

---

Débil supervisión (Hoffmann, Raphael, et al. "Supervisión débil basada en el conocimiento para la extracción de información de relaciones superpuestas". Actas de la 49ª Reunión Anual de la Asociación de Lingüística Computacional: Human Language Technologies-Volumen 1. Asociación de Lingüística Computacional, 2011):

Un enfoque más prometedor, a menudo llamado "débil" o "distante" crea sus propios datos de entrenamiento al hacer coincidir heurísticamente el contenido de una base de datos al texto correspondiente.

---

Todo me suena igual, con la excepción de que el autoentrenamiento parece ser ligeramente diferente en que el heurístico de etiquetado es el clasificador entrenado, y hay un bucle entre la fase de etiquetado y la fase de entrenamiento del clasificador. Sin embargo, _Yao, Limin, Sebastian Riedel, y Andrew McCallum. " Extracción colectiva de relaciones de documentos cruzados sin datos etiquetados. " Actas de la Conferencia de 2010 sobre métodos empíricos en el procesamiento del lenguaje natural. Asociación de Lingüística Computacional, 2010._ afirman que la supervisión a distancia == auto-entrenamiento == supervisión débil.

Además, ¿hay otros sinónimos ?

Answer 1

Hay dos aspectos en todos los diferentes términos que has dado: 1] Proceso de obtención de datos de entrenamiento 2] Algoritmo que entrena $f$ o el clasificador

El algoritmo que entrena $f$ independientemente de la forma en que se obtengan los datos de entrenamiento es supervisada. La diferencia en la supervisión a distancia, el autoaprendizaje, la auto-supervisión o la supervisión débil, radica puramente entonces en cómo se obtienen los datos de entrenamiento.

Tradicionalmente, en cualquier documento de aprendizaje automático sobre aprendizaje supervisado, se encontraría que el documento asume implícitamente que los datos de capacitación están disponibles y, por lo que vale, se suele suponer que las etiquetas son precisas, y que no hay ambigüedad en las etiquetas que se dan a las instancias en los datos de capacitación. Sin embargo, con los documentos de supervisión distante/débil, las personas se dan cuenta de que sus datos de capacitación tienen etiquetas imprecisas y lo que quieren destacar normalmente en su trabajo es que obtienen buenos resultados a pesar del inconveniente evidente de utilizar etiquetas imprecisas (y pueden tener otras formas algorítmicas de superar la cuestión de las etiquetas imprecisas, al tener un proceso de filtrado adicional, etc. y normalmente los documentos quieren destacar que estos procesos adicionales son importantes y útiles). Esto dio lugar a los términos "débil" o "distante" para indicar que las etiquetas de los datos de capacitación son imprecisas. Obsérvese que esto no afecta necesariamente al aspecto de aprendizaje del clasificador. El clasificador que estos tipos utilizan todavía supone implícitamente que las etiquetas son precisas y que el algoritmo de formación casi nunca se modifica.

La autoformación, por otro lado, es algo especial en ese sentido. Como ya se ha observado, obtiene sus etiquetas de su propio clasificador y tiene un pequeño bucle de retroalimentación para la corrección. En general, estudiamos los clasificadores supervisados bajo un ámbito ligeramente amplio de algoritmos "inductivos", donde el clasificador aprendido es una inferencia inductiva hecha a partir de los datos de entrenamiento sobre la totalidad de los datos. La gente ha estudiado otra forma, que llamamos inferencia transductiva, donde una inferencia inductiva general no es la salida del algoritmo, sino que el algoritmo toma colectivamente como entrada tanto los datos de entrenamiento como los datos de la prueba y produce etiquetas en los datos de la prueba. Sin embargo, la gente pensó por qué no utilizar la inferencia transductiva dentro del aprendizaje inductivo para obtener un clasificador con datos de entrenamiento más grandes. A esto se le llama simplemente inducción con datos no etiquetados [1] y el autoentrenamiento se incluye dentro de eso.

Espero no haberle confundido más, siéntase libre de comentar y pedir más aclaraciones si es necesario.

[1] Podría ser útil http://www.is.tuebingen.mpg.de/fileadmin/user_upload/files/publications/pdf2527.pdf