Hvordan fungerer selvoppmerksomhet?
Hvordan fungerer selvoppmerksomhet?

Video: Hvordan fungerer selvoppmerksomhet?

Video: Hvordan fungerer selvoppmerksomhet?
Video: Важно! Самоисцеление ֍ Бог не Создавал Тело для Болезней и Страданий ֍ Стирание Трехмерной Матрицы 2024, Kan
Anonim

I lekmannstermer, den selv -- Merk følgende mekanisme lar inngangene samhandle med hverandre (" selv -”) og finn ut hvem de skal betale mer Merk følgende til (" Merk følgende ”). Utgangene er aggregater av disse interaksjonene og Merk følgende score.

Dessuten, hva er selvoppmerksomhet?

Selv - Merk følgende , noen ganger kalt intra- Merk følgende er en Merk følgende mekanisme som relaterer forskjellige posisjoner av en enkelt sekvens for å beregne en representasjon av sekvensen.

Dessuten, hva er selvoppmerksomhet i dyp læring? Først, la oss definere hva " selv -- Merk følgende " er. Cheng et al, i papiret deres kalt "Long Short-Term Memory-Networks for Maskin Lesing”, definert selv -- Merk følgende som mekanismen for å relatere forskjellige posisjoner av en enkelt sekvens eller setning for å få en mer levende representasjon.

Angående dette, hva er oppmerksomhetsmekanisme?

Oppmerksomhetsmekanisme lar dekoderen ivareta forskjellige deler av kildesetningen ved hvert trinn i utdatagenereringen. I stedet for å kode inngangssekvensen inn i en enkelt fast kontekstvektor, lar vi modellen lære å generere en kontekstvektor for hvert utgangstidstrinn.

Hva er oppmerksomhetsbasert modell?

Merk følgende - baserte modeller tilhører en klasse av modeller ofte kalt sekvens-til-sekvens modeller . Målet med disse modeller , som navnet antyder, for å produsere en utgangssekvens gitt en inngangssekvens som generelt er av forskjellig lengde.

Anbefalt: