Мысық тұрақты диффузияны қалай түзетеді (2023)

AI тарихындағы ең күтпеген жөндеу жұмыстарының бірінде үй мысығы байқаусызда инженерлерге тұрақты диффузияның кескін генерациясындағы маңызды жасырын кеңістік бұрмалануын анықтауға көмектесті. 2023 жылғы оқиға болжанбайтын нақты деректер мыңдаған сағаттық құрылымдық тестілеуді толығымен өткізіп жіберетін кемшіліктерді қалай ашатыны туралы маңызды оқиға болды.

Мысық пен тұрақты диффузиямен шын мәнінде не болды?

2023 жылдың басында үйден жұмыс істейтін машиналық оқыту инженері ерекше нәрсені байқады. Олардың мысығы «Тұрақты диффузия» жаттығуы кезінде пернетақтаны басып өтіп, жедел топтамаға мағынасыз кейіпкерлер қатарын енгізді. Бұзылған нәтижелерді шығарудың немесе қате жіберудің орнына, модель дәйекті және жоғары спецификалық көрнекі артефакті бар кескіндер сериясын жасады — жылдам енгізулер кезінде болмауы керек болатын қайталанатын тесселляция үлгісі.

Бұл кездейсоқ шу емес еді. Үлгі модельдің кросс-зейін деңгейлерінде бұрын анықталмаған ауытқуды, әсіресе U-Net архитектурасы қалыпты лингвистикалық шекаралардан тыс белгілі бір таңбалауыш комбинацияларды қалай өңдейтінін анықтады. Мысықтың пернетақтаны өңдеуі ешбір адам тестілеушісі байқап көрмеген қарсыластық шақыруды тиімді жасады, бұл модельдің CLIP мәтіндік кодтаушы интеграциясының ақауын жою процесі кезінде кеңістіктік қатынастардың қалай есептелетініне әсер еткен кемшілігін көрсетті.

Инженерлік топ артефакттың түпкі себебін іздеуге келесі апталарды жұмсады: жасырын диффузияны жоспарлаушыдағы қалқымалы нүктелі дөңгелектеу мәселесі, ол тек белгілі бір токенизация жиегі жағдайында ғана көрінеді. Түзету генеративті AI өнімділігін айтарлықтай арттырып, барлық шақыру түрлері бойынша кескіннің үйлесімділігін шамамен 3-4%-ға жақсартты.

Неліктен дәстүрлі емес кірістер QA командалары жібермейтін қателерді ұстайды?

Құрылымдық тестілеу адам логикасына сәйкес келеді. Инженерлер күтілетін пайдаланушы әрекетіне, олар елестете алатын шеткі жағдайларға және алдыңғы итерациялардағы белгілі сәтсіздік режимдеріне негізделген сынақ жағдайларын жазады. Бірақ бағдарламалық жасақтама, әсіресе миллиардтаған параметрлері бар AI жүйелері — ешбір сынақ жүйесі толық қамти алмайтын ықтимал күйлердің комбинаторлық жарылысынан тұрады.

"Ең қауіпті қателер сіз сынамаған кодта жасырылған қателер емес. Олар қате болжамдармен тексерген кодта жасырылған қателер." — Дәстүрлі бағдарламалық қамтамасыз ету инженериясында бұрыннан түсінілетін бұл принцип енгізу кеңістігі тиімді шексіз болатын машиналық оқыту жүйелерінде экспоненциалды түрде маңыздырақ болады.

Мысық оқиғасы хаос-инженерлік практиктердің жылдар бойы білетінін нығайтты: рандомизацияланған, болжанбайтын кірістер әдістемелік тестілеу мүмкін емес жүйелік әлсіздіктерді көрсетеді. Бұл осалдықтарды ашу үшін әдейі бұрмаланған деректер жүйелерге жіберілетін fuzz тестісінің артында бірдей принцип. Мұндағы айырмашылық фузердің төрт аяғы мен құйрығы болды.

Бұл AI түзету қиындықтары туралы нені көрсетті?

Генеративті AI үлгілерін жөндеу дәстүрлі бағдарламалық құралды жөндеуден түбегейлі ерекшеленеді. Кәдімгі қолданба сәтсіз болғанда, сіз қателер журналын, стек ізін, қайталанатын жолды аласыз. AI моделі өте қате нәтижелер бергенде, сәтсіздік бірнеше ай бойы байқалмай қалуы мүмкін, өйткені салыстыруға болатын жалғыз «дұрыс» жауап жоқ.

• Жасырын кеңістіктің мөлдірлігі: Диффузиялық модельдердегі ішкі көріністерді түсіндіру қиын, сондықтан шығыс артефактілерін белгілі бір есептеу ақауларына дейін қадағалау қиынға соғады.
• Жедел сезімталдық: Мәтінді енгізудегі шамалы ауытқулар әртүрлі нәтижелерді шығаруы мүмкін, яғни қателер тар және болжауға болмайтын жағдайларда ғана пайда болуы мүмкін.
• Бағалаудың субъективтілігі: Өлшенетін дәлдігі бар жіктеу тапсырмаларынан айырмашылығы, кескінді құру сапасы жартылай субъективті болып табылады, бұл автоматтандырылған тексерулер арқылы нәзік нашарлауларға мүмкіндік береді.
• Каскадтық тәуелділіктер: Мәтіндік кодтағыштың бір ақауы айқас назар аудару механизмі, жою жоспарлағышы және VAE декодері арқылы таралып, түбірлік себептерді талдауды өте күрделі етеді.
• Жаттығу деректерінің шатасуы: Модель архитектурасындағы қателер мен жаттығу деректерінен мұраланған ауытқуларды ажырату көп уақытты қажет ететін және есептеу үшін қымбат болатын мұқият абляциялық зерттеулерді қажет етеді.

Бұл оқиға AI әзірлеу тәжірибесіне қалай әсер етті?

Мысықтың күйін келтіру оқиғасы күлкілі болғанымен, AI топтарының сапа кепілдігіне қалай қарайтынында бірнеше нақты өзгерістерге түрткі болды. Содан бері көптеген ұйымдар генеративті модельдер үшін өздерінің айқын емес тестілеу протоколдарын кеңейтті, атап айтқанда, тілдік емес енгізулерді имитациялайтын кездейсоқ және қарсылас таңбалау тізбегін біріктірді. Кейбір командалар енді үздіксіз біріктіру құбырларының бөлігі ретінде автоматтандырылған "пернетақтамен жүру" модельдеулерін іске қосады.

Оқиға сонымен қатар диффузиялық модельдерге арналған интерпретация құралдарына деген қызығушылықты арттырды. Егер визуалды артефакт азырақ айқын болса - қалың тесселден гөрі нәзік түс ауысуы - ол белгісіз уақытқа дейін байқалмай қалуы мүмкін еді. Бұл қауымдастықты генерацияланған нәтижелер үшін жақсырақ автоматтандырылған аномалияны анықтауды дамытуға итермеледі, тіпті жеке кескіндер қалыпты болып көрінсе де, статистикалық бұзушылықтарды белгілей алатын жүйелер.

AI әзірлеу, өнімді қайталау және сапаны қамтамасыз ету бойынша күрделі жұмыс процестерін басқаратын командалар үшін мұндай оқиғалар орталықтандырылған операциялық көріну қажеттілігін көрсетеді. Қате мәтіндік кодтаушыны, жоспарлаушыны және декодерді қамтитын кезде, шашыраңқы құралдар мен ажыратылған байланыс арналары бойынша тергеуді қадағалау өзінің үйкеліс деңгейін жасайды.

Жиі қойылатын сұрақтар

Тұрақты диффузиялық мысықтарды жөндеу оқиғасы нақты оқиға болды ма?

Негізгі оқиға 2023 жылы AI инженерлік қауымдастығының кең таралған тіркелгісіне негізделген. Қайта айту кезінде нақты мәліметтер біршама мифтелген болса да, негізгі техникалық сценарий — жасырын кеңістік қатесін ашатын кездейсоқ пернетақта енгізуі — жақсы құжатталған және диффузиялық модельдер архитектурасындағы белгілі сәтсіздік режимдеріне сәйкес келеді. Осыған ұқсас кездейсоқ жаңалықтар бағдарламалық жасақтама жасау тарихында орын алған.

Тестілеу генеративті AI үлгілеріндегі қателерді сенімді түрде анықтай ала ма?

Fuzz тесті қателердің белгілі бір санаттарын, әсіресе енгізуді талдауға, таңбалаудың шеткі жағдайларына және сандық тұрақтылық мәселелеріне қатыстыларды анықтауда тиімді. Дегенмен, бұл генеративті AI үшін күміс оқ емес. Бұл модельдер детерминирленген емес, ықтималдық нәтижелерді шығаратындықтан, бұлыңғыр тестілеу кезінде «сәтсіздік» болып табылатын нәрсені анықтау қарапайым өту/сәтсіз растаулардан гөрі күрделі аномалияларды анықтау жүйелерін қажет етеді.

Кәсіби AI топтары күрделі жүйелердегі жөндеу жұмыс үрдістерін қалай басқарады?

Жетілген AI командаларының көпшілігі экспериментті бақылау платформаларының, орталықтандырылған журналдың, бірлескен құжаттаманың және құрылымдық жобаны басқарудың тіркесіміне сүйенеді. Негізгі міндет – қадағаланымдылықты сақтау — белгілі бір шығыс артефактін үлгі нұсқасына қосу, оқу деректері, гиперпараметрлер және оны жасаған кодты орындау. Бұл жұмыс процестерін бірыңғай операциялық жүйелерге біріктіретін топтар үйлестіру бойынша қосымша шығындарға айтарлықтай аз уақыт жұмсайды және нақты мәселелерді шешуге көбірек уақыт жұмсайды.

Операциялық күрделілігіңізді жеңілдетіңіз

AI үлгілерін түзетіп жатсаңыз немесе кез келген басқа күрделі бизнес операциясын басқарсаңыз да, фрагменттелген құралдар бөлшектелген ойлауды тудырады. Mewayz 207 біріктірілген модульдерді 138 000-нан астам пайдаланушылар сенетін бір іскерлік операциялық жүйеге қосады, бұл сіздің командаңызға мәселелерді олардың көзіне іздеу, жауаптарды үйлестіру және жылдамырақ қозғалу үшін қажет орталықтандырылған көріністі береді. app.mewayz.com сайтында тегін сынақ нұсқасын бастаңыз және біріктірілген операциялардың қалай болатынын көріңіз.