Qual è la differenza tra "apprendimento di trasferimento" e "adattamento del dominio"?

C'è qualche differenza tra "apprendimento del trasferimento" e "adattamento del dominio"?

Non conosco il contesto, ma la mia comprensione è che abbiamo un set di dati 1 e ci alleniamo su di esso, dopo di che abbiamo un altro set di dati 2 per il quale vogliamo adattare il nostro modello senza riqualificarlo da zero, per il quale "trasferire l'apprendimento" e l '"adattamento del dominio" aiuta a risolvere questo problema.

Secondo il campo delle reti neurali convoluzionali:

• Per "apprendimento del trasferimento" intendo "fine-tuning" [1]

• In questo caso [2] non è supervisionato, ma l '"adattamento del dominio" dovrebbe essere sempre non supervisionato?

Sembra che ci sia un certo disaccordo tra i ricercatori su quale sia la differenza tra "apprendimento di trasferimento" e "adattamento del dominio".

Da {0}:

La nozione di adattamento del dominio è strettamente correlata all'apprendimento del trasferimento. L'apprendimento del trasferimento è un termine generale che si riferisce a una classe di problemi di apprendimento automatico che coinvolgono compiti o domini diversi. In letteratura non esiste ancora una definizione standard di apprendimento del trasferimento. In alcuni documenti è intercambiabile con l'adattamento del dominio.

Da {1}:

Riferimenti:

• {0} Li, Qi. "Indagine sulla letteratura: algoritmi di adattamento del dominio per l'elaborazione del linguaggio naturale." Dipartimento di Informatica The Graduate Center, The City University of New York (2012): 8-10. https://scholar.google.com/scholar?cluster=2828982016930721315&hl=it&as_sdt=0,22 ;https://pdfs.semanticscholar.org/532e/3d5b1b5807771b77cac60fe8594b506fcff9.pdf ; http://nlp.cs.rpi.edu/paper/qisurvey.pdf ( mirror )

• {1} Pan, Sinno Jialin e Qiang Yang. "Un sondaggio sull'apprendimento di trasferimento." Transazioni IEEE su conoscenza e ingegneria dei dati 22, n. 10 (2010): 1345-1359. https://scholar.google.com/scholar?cluster=17771403852323259019&hl=it&as_sdt=0,22 ; http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.158.4126&rep=rep1&type=pdf ( mirror ) (citazioni 2.6k)

Dall'articolo di Hal Daume [1]:

L'impostazione di classificazione standard è una distribuzione di input p (X) e una distribuzione di etichette p (Y | X). Adattamento del dominio: quando p (X) cambia tra allenamento e test. Trasferimento di apprendimento: quando p (Y | X) cambia tra allenamento e test.

In altre parole, in DA la distribuzione di input cambia ma le etichette rimangono invariate; in TL, le distribuzioni di input rimangono invariate, ma le etichette cambiano.

1. https://nlpers.blogspot.com/2007/11/domain-adaptation-vs-transfer-learning.html ( mirror )

In tutta la letteratura sull'apprendimento di trasferimento, vi è una serie di incoerenze terminologiche. Frasi come l'apprendimento del trasferimento e l'adattamento del dominio vengono utilizzate per fare riferimento a processi simili. L'adattamento del dominio è il processo di adattamento di uno o più domini di origine per i mezzi di trasferimento di informazioni per migliorare le prestazioni di uno studente target. Il processo di adattamento del dominio tenta di modificare un dominio di origine nel tentativo di avvicinare la distribuzione della fonte a quella della destinazione. Nell'impostazione Adattamento dominio i domini di origine e di destinazione hanno distribuzioni marginali diverse p (X). Secondo il sondaggio di Pan, Transfer Learning è un termine più ampio che può anche includere il caso in cui vi è una differenza nelle distribuzioni condizionali p (Y | X) dei domini di origine e di destinazione. In contrasto,

1. https://nlpers.blogspot.com/2007/11/domain-adaptation-vs-transfer-learning.html

Penso che "Transfer Learning" sia un termine più generale e "Domain Adaptation" sia uno scenario di "Transfer Learning".

[1] Attenzione trasferibile per l'adattamento del dominio. http://ise.thss.tsinghua.edu.cn/~mlong/doc/transferable-attention-aaai19.pdf

Secondo [1], l'adattamento del dominio è l'apprendimento del trasferimento nella PNL: "L'apprendimento del trasferimento nel dominio della PNL è talvolta definito adattamento del dominio".

[1] Pan, SJ e Q. Yang. "Un sondaggio sull'apprendimento dei trasferimenti". Transazioni IEEE su conoscenza e ingegneria dei dati 22, n. 10 (ottobre 2010): 1345–59. https://doi.org/10.1109/TKDE.2009.191 o https://www.cse.ust.hk/~qyang/Docs/2009/tkde_transfer_learning.pdf