როგორ გამართა კატამ სტაბილური დიფუზია (2023)

ხელოვნური ინტელექტის ისტორიაში გამართვის ერთ-ერთ ყველაზე მოულოდნელ ისტორიაში, სახლის კატა უნებლიედ დაეხმარა ინჟინრებს სტაბილური დიფუზიის გამოსახულების გენერირების მილსადენში კრიტიკული ფარული სივრცის დამახინჯების იდენტიფიცირებაში. 2023 წლის ინციდენტი გახდა საეტაპო საქმის შესწავლა იმის შესახებ, თუ როგორ შეუძლია რეალურ სამყაროში არაპროგნოზირებადმა შეყვანამ გამოავლინოს ხარვეზები, რომლებიც სტრუქტურირებული ტესტირების ათასობით საათს მთლიანად გამოტოვებს.

რა მოხდა სინამდვილეში კატასთან და სტაბილურ დიფუზიასთან?

2023 წლის დასაწყისში, მანქანათმცოდნეობის ინჟინერმა, რომელიც სახლიდან მუშაობდა, შენიშნა რაღაც უჩვეულო. მათმა კატამ, სტაბილური დიფუზიის ტრენინგის დროს კლავიატურაზე გასეირნების შემდეგ, შეუერთდა უაზრო სიმბოლოების სერიას. გაფუჭებული შედეგების ან შეცდომის გამოშვების ნაცვლად, მოდელმა შექმნა სურათების სერია თანმიმდევრული და უაღრესად სპეციფიკური ვიზუალური არტეფაქტით - განმეორებადი ტესელაციის ნიმუში, რომელიც არ უნდა არსებობდეს სწრაფი შეყვანის გათვალისწინებით.

ეს არ იყო შემთხვევითი ხმაური. შაბლონმა გამოავლინა მანამდე გამოუვლენელი მიკერძოება მოდელის ჯვარედინი ყურადღების შრეებში, კონკრეტულად, თუ როგორ ამუშავებდა U-Net არქიტექტურა გარკვეული ნიშნების კომბინაციებს, რომლებიც ცდება ნორმალურ ლინგვისტურ საზღვრებს. კატის კლავიატურის შერევამ ეფექტიანად შექმნა საპირისპირო მოთხოვნა, რომლის გამოცდა არც ერთ ადამიანს არ უფიქრია, აჩვენა მოდელის CLIP ტექსტის ენკოდერის ინტეგრაციის ხარვეზი, რომელიც გავლენას ახდენდა სივრცითი ურთიერთობების გამოთვლაზე დენოიზირების პროცესში.

საინჟინრო ჯგუფმა შემდეგი კვირები გაატარა არტეფაქტის ძირეულ მიზეზზე: მცურავი წერტილის დამრგვალების პრობლემა ლატენტური დიფუზიის განრიგში, რომელიც გამოიხატებოდა მხოლოდ სპეციფიკური ტოკენიზაციის კიდეების შემთხვევაში. შესწორებამ გააუმჯობესა გამოსახულების თანმიმდევრულობა ყველა მოთხოვნის ტიპში, დაახლოებით 3-4%-ით, რაც მნიშვნელოვანი მოგებაა გენერაციული AI-ის შესრულებაში.

რატომ იჭერს არატრადიციული შეყვანის შეცდომებს, რომლებსაც QA გუნდები გამოტოვებენ?

სტრუქტურირებული ტესტირება მიჰყვება ადამიანურ ლოგიკას. ინჟინრები წერენ სატესტო შემთხვევებს მომხმარებლის მოსალოდნელი ქცევის, ზღვრული შემთხვევების, რომელთა წარმოდგენა შეუძლიათ და წარუმატებლობის ცნობილ რეჟიმებზე დაყრდნობით წინა გამეორებებიდან. მაგრამ პროგრამული უზრუნველყოფა - განსაკუთრებით AI სისტემები მილიარდობით პარამეტრით - შეიცავს შესაძლო მდგომარეობების კომბინატორულ აფეთქებას, რომელსაც ვერც ერთი ტესტირების ჩარჩო სრულად ვერ ფარავს.

"ყველაზე საშიში შეცდომები არ არის ის, ვინც იმალება კოდში, რომელიც არ გამოგიცდიათ. ისინი იმალება იმ კოდში, რომელიც თქვენ შეამოწმეთ არასწორი ვარაუდებით." — ეს პრინციპი, რომელიც დიდი ხანია გასაგებია ტრადიციულ პროგრამულ ინჟინერიაში, ექსპონენტურად უფრო კრიტიკულია მანქანური სწავლების სისტემებში, სადაც შეყვანის სივრცე ფაქტობრივად უსასრულოა.

კატის ინციდენტმა გააძლიერა ის, რაც ქაოსის ინჟინერიის პრაქტიკოსებმა წლების განმავლობაში იცოდნენ: რანდომიზებული, არაპროგნოზირებადი მონაცემები ავლენს სისტემურ სისუსტეებს, რასაც მეთოდური ტესტირება არ შეუძლია. ეს არის იგივე პრინციპი ფუზ ტესტირების უკან, სადაც მიზანმიმართულად არასწორად ჩამოყალიბებული მონაცემები მიეწოდება სისტემებს დაუცველობების გამოსავლენად. აქ განსხვავება ის იყო, რომ ფუზერს ოთხი ფეხი და კუდი ჰქონდა.

რა გამოავლინა ეს ხელოვნური ინტელექტის გამართვის გამოწვევების შესახებ?

გენერაციული AI მოდელების გამართვა ფუნდამენტურად განსხვავდება ტრადიციული პროგრამული უზრუნველყოფის გამართვისგან. როდესაც ჩვეულებრივი აპლიკაცია ვერ ხერხდება, თქვენ მიიღებთ შეცდომის ჟურნალს, დასტის კვალს, რეპროდუცირებადი გზას. როდესაც ხელოვნური ინტელექტის მოდელი აწარმოებს დახვეწილად არასწორ შედეგებს, მარცხი შეიძლება შეუმჩნეველი დარჩეს თვეების განმავლობაში, რადგან არ არსებობს ერთი "სწორი" პასუხი, რომლის შედარებაც შესაძლებელია.

• ფარული სივრცის გაუმჭვირვალობა: დიფუზიის მოდელებში შიდა წარმოდგენები საკმაოდ რთულია ინტერპრეტაცია, რაც ართულებს გამომავალი არტეფაქტების მიკვლევას კონკრეტულ გამოთვლით შეფერხებამდე.
• მოთხოვნის სენსიტიურობა: ტექსტის შეყვანის უმნიშვნელო ცვალებადობამ შეიძლება გამოიწვიოს ძალიან განსხვავებული შედეგები, რაც ნიშნავს, რომ შეცდომები შეიძლება აღმოჩნდეს მხოლოდ ვიწრო და არაპროგნოზირებად პირობებში.
• შეფასების სუბიექტურობა: გაზომვადი სიზუსტით კლასიფიკაციის ამოცანებისაგან განსხვავებით, გამოსახულების გენერირების ხარისხი ნაწილობრივ სუბიექტურია, რაც საშუალებას აძლევს დახვეწილ დეგრადაციას ავტომატური შემოწმების გზით გადაიტანოს.
• კასკადური დამოკიდებულებები: ტექსტის დაშიფვრის ერთი ხარვეზი შეიძლება გავრცელდეს ჯვარედინი ყურადღების მექანიზმის, დენოიზირების გრაფიკის და VAE დეკოდერის მეშვეობით, რაც ძირეული მიზეზის ანალიზს უკიდურესად რთულს ხდის.
• სავარჯიშო მონაცემთა ჩახლართულობა: მოდელის არქიტექტურაში არსებული შეცდომებისა და ტრენინგის მონაცემებიდან მემკვიდრეობით მიღებული მიკერძოებების გარჩევა მოითხოვს აბლაციის ფრთხილად შესწავლას, რომელიც შრომატევადი და გამოთვლითი ძვირია.

როგორ იმოქმედა ამ ინციდენტმა ხელოვნური ინტელექტის განვითარების პრაქტიკაზე?

კატის გამართვის ამბავი, თუმცა იუმორისტული იყო ერთი შეხედვით, გამოიწვია რამდენიმე კონკრეტული ცვლილება, თუ როგორ უახლოვდებიან ხელოვნური ინტელექტის გუნდები ხარისხის უზრუნველყოფას. მას შემდეგ მრავალმა ორგანიზაციამ გააფართოვა ფუზ ტესტირების პროტოკოლები გენერაციული მოდელებისთვის, კონკრეტულად აერთიანებს შემთხვევით და საპირისპირო ნიშნის თანმიმდევრობებს, რომლებიც ბაძავენ არალინგვისტურ შეყვანას. ზოგიერთი გუნდი ახლა აწარმოებს ავტომატიზირებულ "კლავიატურაზე გასეირნების" სიმულაციებს, როგორც მათი უწყვეტი ინტეგრაციის მილსადენების ნაწილი.

ინციდენტმა ასევე განაახლა ინტერესი დიფუზიური მოდელების ინტერპრეტაციის ინსტრუმენტების მიმართ. ვიზუალური არტეფაქტი ნაკლებად აშკარა რომ ყოფილიყო - ფერთა დახვეწილი ცვლა და არა თამამი ცვლა - ის შესაძლოა განუსაზღვრელი დროით შეუმჩნეველი დარჩენილიყო. ამან უბიძგა საზოგადოებას შექმნას უკეთესი ავტომატური ანომალიების გამოვლენა გენერირებული შედეგებისთვის, სისტემები, რომლებსაც შეუძლიათ სტატისტიკური დარღვევების მონიშვნა მაშინაც კი, როცა ცალკეული სურათები ზედაპირულად ნორმალურად გამოიყურება.

გუნდებისთვის, რომლებიც მართავენ კომპლექსურ სამუშაო პროცესებს ხელოვნური ინტელექტის განვითარების, პროდუქტის გამეორებისა და ხარისხის უზრუნველყოფის მიმართულებით, მსგავსი ინციდენტები ხაზს უსვამს ცენტრალიზებული ოპერატიული ხილვადობის საჭიროებას. როდესაც ხარვეზი მოიცავს ტექსტის ენკოდერს, განრიგს და დეკოდერს, გამოძიების თვალყურის დევნება მიმოფანტულ ხელსაწყოებსა და გათიშულ საკომუნიკაციო არხებზე ქმნის ხახუნის საკუთარ ფენას.

ხშირად დასმული კითხვები

Sable Diffusion cat-ის გამართვის ინციდენტი რეალური მოვლენა იყო?

ძირითადი ამბავი დაფუძნებულია 2023 წლის ხელოვნური ინტელექტის ინჟინერიის საზოგადოების ფართოდ გაზიარებულ ანგარიშზე. მიუხედავად იმისა, რომ კონკრეტული დეტალები გარკვეულწილად მითოლოგიზირებულია ხელახლა თხრობისას, ძირითადი ტექნიკური სცენარი - კლავიატურის შემთხვევითი შეყვანა, რომელიც ავლენს ფარული სივრცის ხარვეზს - კარგად არის დოკუმენტირებული და შეესაბამება წარუმატებლობის მოდელების ცნობილ რეჟიმებს diffu-ში. მსგავსი შემთხვევითი აღმოჩენები მოხდა პროგრამული უზრუნველყოფის ინჟინერიის ისტორიაში.

შეუძლია თუ არა fuzz ტესტირებას საიმედოდ აღმოაჩინოს შეცდომები გენერაციულ AI მოდელებში?

Fuzz-ის ტესტირება ეფექტურია გარკვეული კატეგორიის შეცდომების დასაფიქსირებლად, განსაკუთრებით ისეთებთან, რომლებიც დაკავშირებულია შეყვანის ანალიზთან, ტოკენიზაციის ზღურბლებთან და რიცხვითი სტაბილურობის საკითხებთან. თუმცა, ეს არ არის ვერცხლის ტყვია გენერაციული AI-სთვის. იმის გამო, რომ ეს მოდელები აწარმოებენ ალბათურ შედეგებს და არა დეტერმინისტულს, იმის განსაზღვრა, თუ რა არის „მარცხი“ ფაზ-ტესტის დროს, მოითხოვს ანომალიის აღმოჩენის დახვეწილ სისტემებს და არა მარტივ დაშვების/ჩავარდნის მტკიცებას.

როგორ მართავენ პროფესიონალური AI გუნდები რთულ სისტემებში გამართვის სამუშაო ნაკადებს?

AI გუნდების უმეტესობა ეყრდნობა ექსპერიმენტების თვალთვალის პლატფორმების, ცენტრალიზებული აღრიცხვის, ერთობლივი დოკუმენტაციისა და სტრუქტურირებული პროექტის მენეჯმენტის კომბინაციას. მთავარი გამოწვევა არის მიკვლევადობის შენარჩუნება - კონკრეტული გამომავალი არტეფაქტის დაკავშირება მოდელის ვერსიასთან, ტრენინგის მონაცემებთან, ჰიპერპარამეტრებთან და კოდის ჩაბარებასთან, რომელმაც შექმნა იგი. გუნდები, რომლებიც აერთიანებენ ამ სამუშაო ნაკადებს ერთიან ოპერაციულ სისტემებში, მნიშვნელოვნად ნაკლებ დროს ხარჯავენ კოორდინაციაზე და მეტ დროს პრობლემის რეალურ გადაჭრაზე.

გაამარტივეთ თქვენი ოპერაციული სირთულე

მიუხედავად იმისა, ამუშავებთ ხელოვნური ინტელექტის მოდელებს ან მართავთ რაიმე სხვა რთულ ბიზნეს ოპერაციას, ფრაგმენტული ხელსაწყოები ქმნის ფრაგმენტულ აზროვნებას. Mewayz-ი აერთიანებს 207 ინტეგრირებულ მოდულს ერთ ბიზნეს ოპერაციულ სისტემაში, რომელსაც ენდობა 138 000-ზე მეტი მომხმარებელი - თქვენს გუნდს აძლევს ცენტრალიზებულ ხილვადობას, რომელიც საჭიროა პრობლემების წყაროს მიკვლევისთვის, პასუხების კოორდინაციისთვის და უფრო სწრაფად გადაადგილებისთვის. დაიწყეთ უფასო საცდელი ვერსია app.mewayz.com-ზე და ნახეთ, როგორია ერთიანი ოპერაციები.