Rekurentná neurónová sieť

Rekurentná neurónová sieť alebo rekurentná sieť je rozšírenie priamoväzbovej neurónovej siete spojením medzi neurónmi, ktoré umožňuje dvojcestné, dvojsmerné šírenie signálov medzi neurónmi v určitej časovej postupnosti, príp. šírenie signálu v rámci toho istého neurónu.

Rekurentné siete so spätnými väzbami sa dajú na priamoväzbové siete prekresliť tak, že spätne sa nahradia priamymi vstupmi z fiktívnych neurónov, pričom signály do nich sú privádzané z výstupov neurónov v ďalšom kroku (tieto signály, v porovnaní s priamoväzbovými sú oneskorené, posunuté).

Algoritmy učenia rekurentných sieti (RTRL algoritmus)

V RTRL algoritme sa priebežne adaptujú váhy rekurentnej siete, využívajúc chyby e_t a e_t+1 , t.j. chyby z aktuálneho a predchádzajúceho cyklu.

RTRL Algoritmus:

1. Inicializujeme hodnoty prvkov vahovych vektorov v, ṽ,w,ẃ
2. Z trénovacej množiny predložíme prvý (t=1) vstup. Jeho dopredným šírením sieťou určíme ỹ_t ako aktivačnú hodnotu výstupného neurónu
3. Z trénovacej množiny predložíme ďalší vstupný signál. Jeho dopredným šírením na výstup siete určíme ỹ_t+1. V tomto prípade pri doprednom šírení signálov prostredníctvom fiktívnych neurónov zohľadníme spätnoväzbové účinky neurónov výstupnej a skrytej vrstvy.
4. Na aktualizáciu synaptických váh v_j a ṽ_j medzi všetkými neurónmi skrytej a výstupnej vrstvy definujeme chybový term ∆_t+1.
5. Na adaptáciu synaptických váh určíme gradient chybovej funkcie, ktorým aktualizujeme jednotlivé váhy :
   v_j ← v_j + ηo_j∆_t+1,     j = 1, 2, ... s
   ṽ ← ṽ + ηŷ_t∆_t+1
6. Na adaptáciu synaptyckých váh w_rj, resp ẃ_j medzi vstupnou a skrytou vrstvou neurónov definujeme chybový term ∆_j,t+1 a pravidlo na adaptáciu všetkých synaptických váh w_rj, ẃ_j medzi spojeniami vstupných neurónov a neurónov skrytej vrstvy.
7. Aplikujeme jednotlivé činnosti od 3. kroku až do posledného vstupného signálu z trénovacej množiny.