Google-un ilk məxfiliyə yönəlmiş böyük dil modeli: VaultGemma!

Google Research, istifadəçi məlumatlarının qorunmasına yönəlmiş yeni VaultGenna adlı modelini (LLM) inkişaf etdirərək, süni intellektdə əhəmiyyətli bir addım atıb. VaultGemma adlanan model təlim məlumatlarının “saxlanılması” ehtimalını azaldan diferensial məxfilik üsullarından istifadə edir. Böyük AI modellərini inkişaf etdirən şirkətlər tez-tez yüksək keyfiyyətli təlim məlumatlarını tapmaqda çətinlik çəkirlər. İnternetdən məlumat toplayarkən istifadəçilərin həssas məlumatlarının təsadüfən modelə daxil edilməsi riski artır. Daha əvvəl müzakirə etdiyimiz kimi, LLM-lərin nəticələri qeyri-müəyyəndir; nə deyəcəklərini proqnozlaşdırmaq çox vaxt mümkün olmur.

Eyni girişlərdən istifadə edildikdə belə, çıxışlar dəyişə bilər və ya model təlim məlumatlarından bir şeyi birbaşa təkrarlaya bilər.Təbii ki, həssas məlumat modelin təliminə daxil edilərsə, o, modelin çıxışlarında sözbəsöz təkrarlana bilər və potensial olaraq istifadəçi məxfiliyini poza bilər. Bundan əlavə, müəllif hüquqları ilə qorunan məzmunun modelə daxil edilməsi tərtibatçılar üçün ayrıca problem yarada bilər. Diferensial məxfilik təlim zamanı modelə kalibrlənmiş təsadüfi səs-küy əlavə etməklə bu cür “yaddaş” risklərini azaldır. Bununla belə, bu üsul modelin dəqiqliyinə və hesablama tələblərinə təsir göstərə bilər. Google Araşdırma komandası diferensial məxfiliyin model miqyası qanunlarına təsirini araşdıraraq, səs-küy və məlumat arasında düzgün tarazlığın performans üçün çox vacib olduğunu ortaya qoydu. Bu araşdırma VaultGemma-nın yaradılmasına səbəb olub.