უკუპროპაგაციული მოდელი/წონების კორექტირების პროცედურა

სწავლის პროცესში წახნაგების წონების კორექტირების პროცედურა ნეირონულ ქსელში წარმოადგენს ერთ-ერთ უმთავრეს ამოცანას. ქვემოთ ნაჩვენებია თუ როგორ შეიძლება ამის გაკეთება მარტივი მათემატიკური გამოთვლით და იმ აქტივაციის ფუნქციით, რომელიც წინა თავშია განსაზღვრული

შეცდომის ზომა რედაქტირება

ვთქვათ, რომ ნეირონული ქსელის გამოსავალზე მიღებულია სიგნალი  . ჩვენ გვინდა რომ ქსელმა მოგვცეს სიგნალის მნიშვნელობა  , სადაც   აღნიშნავს გამოსავალ შრეზე ნეირონების რაოდენობას. იმისათვის რომ შევადაროთ მიღებული სიგნალი სასურველს, მოდით შემოვიღოთ შემდეგი შეცდომის ზომა:

 .

ეს არის განსხვავებათა კვადრატების ჯამი, ნორმირების კოეფიციენტი   საჭიროა, რომ შეიკვეცოს წარმოებისას.

ამ ზომაზე დაყრდნობით ჩვენ შეგვიძლია განვსაზღვროთ, თუ როდის არის სწავლის შედეგი მიღწეული. კერძოდ კი, თუ სრულდება   პირობა ყველა შესასწავლი სტრუქტურისთვის. აქ   არის წინასწარ შერჩეული მცირე რიცხვი.

წონის კორექტირების პრინციპი რედაქტირება

წონის დასაკორექტირებლად უნდა მივმართოთ მეთოდს, რომლის მიხედვითაც ცალკეული წონის ცვლილების სიდიდე უნდა იყოს იმის პროპორციული თუ რამდენი წვლილი შეიტანა მან შეცდომის ზომაში. სხვა სიტყვებით,

 ,

სადაც   წარმოადგენს წახნაგის წონას, რომელიც აკავშირებს  -ურ და  -ურ ნეირონებს ორ მეზომელ შრეში.

გამოყვანა რედაქტირება

ჩვენი ძირითადი მიზანი ახლა არის   სიდიდის დათვლა.

შემდგომ განხილვაში ჩვენ ვიგულისხმებთ, რომ ჩვენი ქსელი შეიცავს მხოლოდ ერთ შიდა შრეს, თუმცა შედეგი ადვილი განსაზოგადებელია ნებისმიერი რაოდენობა შიდა შრისათვის. აგრეთვე წახნაგთა წონაში   ვიგულისმხებთ, რომ პირველი ინდექსი აღნიშნავს მარცხენა შრეში, ხოლო მეორე ინდექსი მარჯვენა შრეში მდებარე ნეირონს. წახნაგის წონის აღნიშვნა   გამოიყენება როგორც შემომავალი და შიდა, ასევე შიდა და გამავალი შრეების დამაკავშირებელ წახნაგებს, თუ ეს არ იწვევს გაუგებრობას; ხოლო თუ საჭიროა შიდა და გამავალი შრეების დამაკავშირებელი წახნაგის ცხადად გამოყოფა, უკანასკნელი აღინიშნება  -თი.

ჩავწეროთ,

(*)  .

ამ გამოსახულების მარჯვენა მხარეში მეორე წევრი საკმაოდ ადვილი მისაღებია, ამისთვის ის კიდევ დავშალოთ,  . რადგან  , წინა განყოფილებაში ნაჩვენები  -ის თვისების მიხედვით  ; ხოლო   გამოსახულების ყველა წევრი გვაძლევს ნულს  -ზე დიფერენცირებისას, გარდა   წევრისა, შესაბამისად  . თუ შევაჯამებთ,

 .

(*) განტოლების მარჯვენა მხარეში პირველი წევრი შეიცავს დამოკიდებულებას არქიტექტურულ ნაწილზე. არსობრივად   არის ცდომილების ცვლილების სიდიდე რომელიმე ნეირონის გამომავალი სიგნალის მიმართ. თუ ეს ნეირონი იმყოფება გამომავალ შრეზე, მაშინ  , და გვაქვს

 .

როდესაც ნეირონი იმყოფება შიდა შრეზე, მაშინ მისი გამომავალი სიგნალის ცვლილება იწვევს გამომავალი სიგნალის მნიშვნელობის შეცვლას ყველა გარე შრის ნეირონზეც, რომლებიც თავის მხრივ მოქმედებენ ცდომილების სიდიდეზე, ამიტომ შეგვიძლია წარმოვადგინოთ საძიებელი სიდიდე შემდეგი ჯამის სახით,  , სადაც აჯამება მიდის   ინდექსით რომელიც შეესაბამება გარე შრის ნეირონებს.