Hvernig köttur kembi í stöðugri dreifingu (2023)

Í einni af óvæntustu villuleitarsögu gervigreindarsögunnar hjálpaði húsköttur óvart verkfræðingum að bera kennsl á mikilvæga dulda plássröskun í myndframleiðslu Stable Diffusion. Atvikið árið 2023 varð tímamótatilviksrannsókn á því hvernig ófyrirsjáanlegt raunverulegt inntak getur afhjúpað galla sem þúsundir klukkustunda af skipulögðum prófunum missa algjörlega.

Hvað gerðist eiginlega með köttinn og hesthúsið?

Snemma árs 2023 tók vélanámsverkfræðingur að heiman eftir einhverju sérkennilegu. Kötturinn þeirra, eftir að hafa gengið yfir lyklaborðið á Stable Diffusion þjálfunarhlaupi, setti streng af vitlausum stöfum í skyndilotu. Í stað þess að framleiða skakka úttak eða henda villu, bjó líkanið til röð mynda með samkvæmum og mjög sértækum sjónrænum gripum – endurtekið tessellation mynstur sem hefði ekki átt að vera til miðað við hvetjandi inntak.

Þetta var ekki tilviljunarkennd hávaði. Mynstrið leiddi í ljós áður ógreinda hlutdrægni í krossathyglislögum líkansins, sérstaklega í því hvernig U-Net arkitektúrinn vann ákveðnar táknsamsetningar sem féllu utan eðlilegra tungumálamarka. Lyklaborðsþeyting kattarins hafði í raun skapað andstæðingshraða sem engum mannlegum prófunaraðilum hafði dottið í hug að prófa, og afhjúpaði galla í samþættingu CLIP textakóðara líkansins sem hafði áhrif á hvernig staðbundin tengsl voru reiknuð í afneitununarferlinu.

Verkfræðiteymið eyddi næstu vikum í að rekja gripinn aftur til rótarorsökarinnar: sléttunarvandamál með flotpunkta í dulda dreifingaráætluninni sem kom aðeins fram í sérstökum jaðartilvikum. Lagfæringin bætti myndsamhengi í öllum boðtegundum um áætluð 3-4%, sem er verulegur ávinningur í frammistöðu gervigreindar.

Hvers vegna grípa óhefðbundin inntak villur sem QA lið sakna?

Skipulagðar prófanir fylgja rökfræði manna. Verkfræðingar skrifa próftilvik byggð á væntanlegri hegðun notenda, jaðartilvikum sem þeir geta ímyndað sér og þekktum bilunarhamum frá fyrri endurteknum. En hugbúnaður - sérstaklega gervigreind kerfi með milljarða færibreyta - inniheldur samsetta sprengingu mögulegra ríkja sem engin prófunarrammi getur náð að fullu yfir.

"Hættulegustu villurnar eru ekki þær sem leynast í kóða sem þú hefur ekki prófað. Það eru þær sem leynast í kóða sem þú prófaðir með röngum forsendum." — Þessi meginregla, sem lengi hefur verið skilin í hefðbundinni hugbúnaðarverkfræði, verður veldishraða í vélanámskerfum þar sem inntaksrýmið er í raun óendanlegt.

Kattatvikið styrkti það sem sérfræðingar í óreiðuverkfræði hafa vitað í mörg ár: slembiraðað, ófyrirsjáanlegt inntak sýnir kerfisbundna veikleika sem aðferðafræðilegar prófanir geta ekki. Það er sama reglan á bak við fuzz próf, þar sem vísvitandi vansköpuð gögn eru færð inn í kerfi til að afhjúpa veikleika. Munurinn hér var sá að fuzzer var með fjóra fætur og hala.

Hvað leiddi þetta í ljós um AI kembiforrit?

Kembiforrit á generative AI módelum er í grundvallaratriðum frábrugðið því að kemba hefðbundinn hugbúnað. Þegar hefðbundið forrit mistekst færðu villuskrá, staflaspor, endurgerðanlega leið. Þegar gervigreind líkan framleiðir lúmskt rangt úttak getur bilunin farið óséð í marga mánuði vegna þess að það er ekkert eitt „rétt“ svar til að bera saman við.

• Ógegnsæi dulds rýmis: Innri framsetningin í dreifingarlíkönum er alræmt erfitt að túlka, sem gerir það erfitt að rekja úttaksgripi aftur til sérstakra reiknibilana.
• Hvaðsnæmni: Minniháttar breytingar á textainnslátt geta framleitt mjög mismunandi úttak, sem þýðir að villur geta aðeins komið upp á yfirborðið við þröngar og ófyrirsjáanlegar aðstæður.
• Súlægni mats: Ólíkt flokkunarverkefnum með mælanlegri nákvæmni eru myndgæði að hluta til huglæg, sem gerir lúmskum niðurbrotum kleift að renna í gegnum sjálfvirkar athuganir.
• Fæðandi ósjálfstæði: Einn galli í textakóðaranum getur breiðst út í gegnum krossathygliskerfin, tímasetningaráætlunina og VAE afkóðarann, sem gerir grunnorsakagreiningu mjög flókna.
• Þjálfunargögn flækja: Að greina á milli galla í líkanarkitektúrnum og hlutdrægni sem erfist frá þjálfunargögnum krefst vandlegrar brottnámsrannsókna sem eru tímafrekar og reikningslega dýrar.

Hvernig hefur þetta atvik haft áhrif á gervigreindarþróunaraðferðir?

Sagan um kembiforrit kattarins, þótt gaman væri á yfirborðinu, olli nokkrum áþreifanlegum breytingum á því hvernig gervigreindarteymi nálgast gæðatryggingu. Margar stofnanir hafa síðan útvíkkað fuzz prófunarsamskiptareglur sínar fyrir kynslóðarlíkön, sérstaklega með tilviljunarkenndum og andstæðingum táknröðum sem líkja eftir ómálvíslegum inntakum. Sum teymi keyra nú sjálfvirka "lyklaborðsgöngu" uppgerð sem hluta af samfelldu samþættingarleiðslum sínum.

Atvikið endurnýjaði einnig áhuga á túlkunartækjum fyrir dreifingarlíkön. Ef sjónrænni gripurinn hefði verið minna augljós - fíngerð litabreyting frekar en djörf tessellation - gæti það hafa farið óséður endalaust. Þetta hefur ýtt samfélaginu í átt að því að þróa betri sjálfvirka fráviksgreiningu fyrir framleidd úttak, kerfi sem geta flaggað tölfræðilegum óreglulegum hætti jafnvel þegar einstakar myndir virðast yfirborðslega eðlilegar.

Fyrir teymi sem stjórna flóknu verkflæði yfir gervigreindarþróun, endurtekningu vöru og gæðatryggingu, undirstrika atvik eins og þessi þörfina fyrir miðlægan sýnileika í rekstri. Þegar galli nær yfir textakóðarann, tímaáætlunina og afkóðarann, skapar það sitt eigið lag af núningi að fylgjast með rannsókninni yfir dreifð verkfæri og ótengdar samskiptaleiðir.

Algengar spurningar

Var villuleitaratvik Stable Diffusion cat raunverulegur atburður?

Kjarnasagan er byggð á víðtækri frásögn frá gervigreindarverkfræðingasamfélaginu árið 2023. Þótt sértækar upplýsingar hafi verið að einhverju leyti goðsagnakenndar í endursögn, þá er undirliggjandi tæknilega atburðarásin – handahófskennd lyklaborðsinnsláttur sem afhjúpar dulda plássvillu – vel skjalfest og í samræmi við þekkta bilunarhama í dreifingarlíkönum. Svipaðar uppgötvanir fyrir slysni hafa átt sér stað í gegnum sögu hugbúnaðarverkfræðinnar.

Geta fuzz-prófun á áreiðanlegan hátt náð í villur í kynslóðar gervigreindum gerðum?

Fúzzprófun er áhrifarík til að ná ákveðnum flokkum villa, sérstaklega þá sem tengjast inntaksþáttun, táknabrúnstilfellum og tölulegum stöðugleikavandamálum. Hins vegar er það ekki silfurkúla fyrir generative AI. Vegna þess að þessi líkön gefa af sér líkindaúttak frekar en ákveðinn, krefst þess að skilgreina hvað telst „bilun“ við fuzzprófun háþróuð fráviksgreiningarkerfi frekar en einfaldar staðhæfingar sem standast/falla.

Hvernig stjórna fagleg gervigreind teymi kembiverkflæði í flóknum kerfum?

Flest þroskuð gervigreind teymi treysta á blöndu af vettvangi fyrir mælingar á tilraunum, miðlægri skráningu, samvinnuskjölum og skipulagðri verkefnastjórnun. Lykiláskorunin er að viðhalda rekjanleika - að tengja ákveðinn úttaksgrip við gerð líkansins, þjálfunargögn, ofurfæribreytur og kóða sem framleiddi hann. Teymi sem sameina þessi verkflæði í sameinuð rekstrarkerfi eyða umtalsvert minni tíma í samhæfingarkostnað og meiri tíma í raunverulega úrlausn vandamála.

Einfaldaðu rekstrarflækju þína

Hvort sem þú ert að kemba gervigreind módel eða stjórna öðrum flóknum viðskiptarekstri, þá skapa sundurtekin verkfæri sundurleita hugsun. Mewayz kemur með 207 samþættar einingar í eitt viðskiptastýrikerfi sem yfir 138.000 notendur treysta – sem gefur teyminu þínu þann miðlæga sýnileika sem þarf til að rekja vandamál til uppruna þeirra, samræma viðbrögð og fara hraðar. Byrjaðu ókeypis prufuáskrift þína á app.mewayz.com og sjáðu hvernig sameinuð starfsemi líður.