Լեկցիա 5.2
Կարո՞ղ ենք գծային կամ լոգիստիկ ռեգրեսիայի պարամետրերը սկզբնարժեքավորել 0-ով։ Պատասխանն է՝ այո։ Իսկ կարո՞ղ ենք կամայական նեյրոնային ցանցի բոլոր պարամետրերը
սկզբնարժեքավորել 0-ով։ Պատասխանն է՝ ոչ։ Դիտարկենք նեյրոնային ցանցի օրինակ, բաղկացած երկու նեյրոնով մեկ թաքնված շերտից և մեկ ելքային նեյրոնից (Նկար 1)։
Մուտքային արժեքներն են մարդու քաշը, հասակը և պետք է գուշակել մարդու սեռը։ Սկզբնարժեքավորենք կշիռները հետևյալ կերպ:
Գրենք մասնակի ածանցյալները w1 -ից w4 կշիռների համար
Կարող ենք տեսնել, որ
Սա նշանակում է որ w₁ և w₃ կշիռները նույն կերպ են թարմաց-վելու, այսինքն անիմաստ է ունենալ երկու առանձին նեյրոն, մեկ է նրանք նույն բանն են սովորելու։ Սա է խնդիրը, որ նեյրոնային ցանցերում բոլոր պարամետրերը չեն կարող միանման սկզբնարժեքավորվել կամ զրոներով սկզբնարժեքավորվել։ Իսկ գծային կամ լոգիստիկ ռեգրեսիայի դեպքում մենք ունենք միայն մեկ նեյրոն և կարող ենք այդ նեյրոնի պարամետրերը զրոյով սկզբնարժեքվորել։
Սկզբնարժեքավորումը արվում է միայն մեկ անգամ, մոդելի ուսուցումից առաջ։ Պատահական կերպով սկզբնարժեքավո-րելիս հնարավոր է կշիռները շատ փոքր լինեն և մեծ ցանցերի դեպքում մուտքային տվյալները զրոյանան մինչև վերջ հասնելը։ Կամ կարող է լինել հակառակը՝ կշիռները մեծ արժեքներով սկզբնարժեքավորվեն և մինչև վերջ հասնելը մուտքային տվյալները չափից շատ մեծանան։ Գլորոտ-Խավիեր սկզբնարժեքավորումը առաջարկում է մուտքային
տվյալների միջակայքը պահել նույնը, որպեսզի նույնիսկ խորը ցանցերում, մինչև վերջ հասնելը՝ մուտքը զրոյացած
չլինի։ Դա առաջարկվում է կատարել հետևյալ կերպ (մաթեմատիկայի մեջ չխորանալու համար անցիր (1) բանաձևին)։
Ունենք մուտքային X, W պարամետրեր և Y ելք։
Ենթադրենք որ Xᵢ-ին և Wᵢ-ին անկախ պատահական
փոփոխականներ են, որոնք միարժեք նույն ձև են բաշխված։
Նկատենք որ
Եթե ցանկանում ենք մուտքային և ելքային արժեքները ունենան նույն բաշխումը։ Մեզ հարկավոր է Var(Y) = Var(X₁) և այդտեղից կստանանք որ
Որտեղ n-ը շերտի նեյրոնների քանակն է։ Հետադարձ տարածման ժամանակ գրադիենտների բաշխումը փոխվում է։
Դա նույնպես հաշվի առնելու համար կատարենք հետևյալ փոփոխությունը
nᵢₙₚᵤₜ − նախորդ շերտի նեյրոնների քանակ, nₒᵤₜₚᵤₜ − տվյալ շերտի նեյրոնների քանակ:
Կոդ գրելիս, եթե ցանկանանք հետևյալ վարիանսը ապահովել մեզ հարկավոր է կշիռները սկզբնարժեքավորել հետևյալ յունիֆորմ բաշխումից, որի սահմանները գրված են փակագծերում:
