¿Hay alguna diferencia entre el "aprendizaje por transferencia" y la "adaptación al dominio"?
No sé el contexto, pero lo que yo entiendo es que tenemos un conjunto de datos 1 y nos entrenamos en él, tras lo cual tenemos otro conjunto de datos 2 para el que queremos adaptar nuestro modelo sin volver a entrenarnos desde cero, para lo cual el "aprendizaje de transferencia" y la "adaptación de dominio" ayudan a resolver este problema.
Según el campo de las redes neuronales convolucionales:
Parece que hay cierto desacuerdo entre los investigadores sobre cuál es la diferencia entre "aprendizaje por transferencia" y "adaptación al dominio".
Desde {0}:
La noción de adaptación al dominio está estrechamente relacionada con el aprendizaje por transferencia. El aprendizaje de transferencia es un término general que se refiere a una clase de problemas de aprendizaje automático que implican diferentes tareas o dominios. En la literatura, todavía no hay una definición estándar de aprendizaje de transferencia. En algunos artículos es intercambiable con la adaptación de dominio. adaptación.
De {1}:
Referencias:
{0} Li, Qi. "Estudio bibliográfico: algoritmos de adaptación de dominios para el procesamiento del lenguaje natural". Departamento de Ciencias de la Computación The Graduate Center, The City University of New York (2012): 8-10. https://scholar.google.com/scholar?cluster=2828982016930721315&hl=en&as_sdt=0,22 ; https://pdfs.semanticscholar.org/532e/3d5b1b5807771b77cac60fe8594b506fcff9.pdf ; http://nlp.cs.rpi.edu/paper/qisurvey.pdf ( espejo )
{1} Pan, Sinno Jialin y Qiang Yang. "Un estudio sobre el aprendizaje por transferencia". IEEE Transactions on knowledge and data engineering 22, no. 10 (2010): 1345-1359. https://scholar.google.com/scholar?cluster=17771403852323259019&hl=en&as_sdt=0,22 ; http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.158.4126&rep=rep1&type=pdf ( espejo ) (2,6k citas)
Del artículo de Hal Daume [1]:
La configuración de clasificación estándar es una distribución de entrada p(X) y una distribución de etiquetas p(Y|X). Adaptación al dominio: cuando p(X) cambia entre el entrenamiento y la prueba. Aprendizaje por transferencia: cuando p(Y|X) cambia entre el entrenamiento y la prueba.
En otras palabras, en DA la distribución de entrada cambia pero las etiquetas permanecen iguales; en TL, la distribución de entrada permanece igual, pero las etiquetas cambian.
En toda la literatura sobre el aprendizaje por transferencia, hay una serie de incoherencias terminológicas. Frases como aprendizaje por transferencia y adaptación al dominio se utilizan para referirse a procesos similares. La adaptación de dominio es el proceso de adaptación de uno o más dominios de origen con el fin de transferir información para mejorar el rendimiento de un alumno objetivo. El proceso de adaptación de dominio trata de alterar un dominio fuente en un intento de acercar la distribución de la fuente a la del objetivo. En el marco de la adaptación de dominio, los dominios de origen y de destino tienen distribuciones marginales diferentes p(X). Según el estudio de Pan, el aprendizaje por transferencia es un término más amplio que también puede incluir el caso en el que hay una diferencia en las distribuciones condicionales p(Y|X) de los dominios fuente y objetivo. En cambio, Daume discrimina los dos términos [1], refiriéndose a que la Adaptación de Dominio es cuando p(X) cambia entre la fuente y el objetivo y el Aprendizaje de Transferencia es cuando p(Y|X) cambia entre los dominios fuente y objetivo.
Creo que el "Aprendizaje por Transferencia" es un término más general, y la "Adaptación al Dominio" es un escenario del "Aprendizaje por Transferencia".
[1] Atención transferible para la adaptación al dominio. http://ise.thss.tsinghua.edu.cn/~mlong/doc/transferable-attention-aaai19.pdf
Según [1], la adaptación de dominio es el aprendizaje de transferencia en PNL: "El aprendizaje de transferencia en el dominio de PNL se denomina a veces adaptación de dominio".
[1] Pan, S. J., y Q. Yang. "A Survey on Transfer Learning". IEEE Transactions on Knowledge and Data Engineering 22, no. 10 (octubre de 2010): 1345-59. https://doi.org/10.1109/TKDE.2009.191 o https://www.cse.ust.hk/~qyang/Docs/2009/tkde_transfer_learning.pdf
I-Ciencias es una comunidad de estudiantes y amantes de la ciencia en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros usuarios, hacer tus propias preguntas o resolver las de los demás.
