Муур тогтвортой тархалтыг хэрхэн зассан бэ (2023)

Хиймэл оюун ухааны түүхэн дэх хамгийн санаанд оромгүй дибаг хийх түүхүүдийн нэгэнд гэрийн муур Тогтвортой тархалтын зураг үүсгэх шугаман дахь орон зайн ноцтой гажуудлыг тодорхойлоход инженерүүдэд санамсаргүйгээр тусалсан байна. 2023 оны үйл явдал нь бодит ертөнц дэх урьдчилан тааварлашгүй орцууд нь олон мянган цагийн бүтэцтэй туршилтын явцад бүхэлдээ орхигдуулдаг алдаа дутагдлыг хэрхэн илчилж болохыг харуулсан чухал жишээ болсон.

Муур ба тогтвортой тархалтад яг юу тохиолдсон бэ?

2023 оны эхээр гэрээсээ ажиллаж байсан машин сургалтын инженер нэгэн өвөрмөц зүйлийг анзаарчээ. Тэдний муур "Тогтвортой тархалт" сургалтын үеэр гар дээгүүр алхаж, олон утгагүй дүрүүдийг шуурхай багц болгон оруулав. Загвар нь будлиантай гаралт гаргах эсвэл алдаа гаргахын оронд тууштай, өндөр өвөрмөц харааны олдвор бүхий цуврал зургуудыг үүсгэсэн.

Энэ нь санамсаргүй дуу чимээ биш байсан. Энэхүү загвар нь загварын хөндлөнгийн анхаарлын давхаргууд, ялангуяа U-Net архитектур нь ердийн хэл шинжлэлийн хил хязгаараас гадуур тодорхой токен хослолуудыг хэрхэн боловсруулдаг талаар урьд өмнө илрүүлээгүй хэвийх байдлыг илрүүлсэн. Муурын гарыг нухсан нь ямар ч хүний туршигчийн бодож байгаагүй сөрөг дохиог бий болгож, загварын CLIP текст кодлогчийн интеграцчлалын алдааг илрүүлсэн бөгөөд энэ нь саармагжуулах явцад орон зайн харилцааг хэрхэн тооцоолоход нөлөөлсөн.

Инженерийн баг дараагийн долоо хоногуудыг олдворын үндсэн шалтгааныг хайж олоход зарцуулсан: далд тархалтын хуваарьт хөвөх цэгийн дугуйралтын асуудал нь зөвхөн тодорхой токенизацийн ирмэгийн тохиолдлуудад илэрдэг. Засвар хийснээр мэдээллийн бүх төрлийн зургийн уялдаа холбоог ойролцоогоор 3-4%-иар сайжруулсан нь хиймэл оюун ухааны бүтээмжийг мэдэгдэхүйц нэмэгдүүлсэн.

Уламжлалт бус оролтууд яагаад QA-ын багуудад алдаа гаргадаг вэ?

Бүтцийн тест нь хүний логикийг дагаж мөрддөг. Инженерүүд хэрэглэгчийн хүлээгдэж буй зан байдал, тэдний төсөөлж чадах захын тохиолдол, өмнөх давталтаас мэдэгдэж буй бүтэлгүйтлийн горимд үндэслэн туршилтын тохиолдлыг бичдэг. Гэхдээ програм хангамж, ялангуяа олон тэрбум параметр бүхий хиймэл оюун ухааны системүүд нь ямар ч туршилтын хүрээ бүрэн хамарч чадахгүй байж болох төлөвүүдийн хослолыг агуулдаг.

"Хамгийн аюултай алдаанууд бол таны туршиж үзээгүй кодонд нуугдаж байгаа алдаанууд биш. Тэд таны буруу таамаглалаар туршиж үзсэн кодонд нуугдаж байгаа алдаанууд юм." — Уламжлалт програм хангамжийн инженерчлэлд эртнээс ойлгогддог энэхүү зарчим нь оролтын орон зай үр дүнтэй хязгааргүй байдаг машин сургалтын системд илүү чухал болж байна.

Муурын хэрэг явдал нь эмх замбараагүй инженерийн мэргэжилтнүүдийн олон жилийн турш мэддэг байсан зүйлийг бататгасан: санамсаргүй байдлаар, урьдчилан таамаглах аргагүй орцууд нь арга зүйн туршилт хийж чадахгүй системийн сул талыг илрүүлдэг. Энэ нь эмзэг байдлыг илрүүлэхийн тулд зориудаар алдаатай өгөгдлийг системд оруулдаг fuzz тестийн ард байдаг зарчим юм. Энд байгаа ялгаа нь фузер дөрвөн хөлтэй, сүүлтэй байсан.

Энэ нь хиймэл оюун ухааны дибаг хийх сорилтуудын талаар юуг харуулсан бэ?

Гүйцэтгэх AI загваруудыг дибаг хийх нь уламжлалт програм хангамжийг дибаг хийхээс үндсэндээ ялгаатай. Уламжлалт програм бүтэлгүйтсэн тохиолдолд та алдааны бүртгэл, стекийн ул мөр, дахин давтагдах замыг авах болно. AI загвар нь үл тоомсорлон буруу гаралт гаргах үед алдаа нь хэдэн сарын турш анзаарагдахгүй байж болно, учир нь харьцуулах ганц "зөв" хариулт байдаггүй.

• Нуугдмал орон зайн тунгалаг байдал: Тархалтын загваруудын дотоод дүрслэлийг тайлбарлахад хэцүү байдаг тул гаралтын олдворуудыг тодорхой тооцооллын алдаанаас улбаатай болгоход хэцүү болгодог.
• Шуурхай мэдрэмж: Текстийн оролтын бага зэргийн өөрчлөлтүүд нь маш өөр гаралтыг үүсгэж болох бөгөөд энэ нь зөвхөн нарийн бөгөөд урьдчилан таамаглах боломжгүй нөхцөлд алдаа гарч болзошгүй гэсэн үг юм.
• Үнэлгээний субъектив байдал: Хэмжих боломжтой нарийвчлал бүхий ангиллын ажлуудаас ялгаатай нь зураг үүсгэх чанар нь хэсэгчлэн субьектив шинж чанартай байдаг тул автоматжуулсан шалгалтын явцад үл ялиг доройтол гарах боломжийг олгодог.
• Цаскадын хамаарлууд: Текст кодлогчийн нэг дутагдал нь хөндлөнгийн анхаарлын механизм, ялгаруулах хуваарьлагч болон VAE декодлогчоор дамжин тархаж, үндсэн шалтгааны шинжилгээг маш төвөгтэй болгодог.
• Сургалтын өгөгдлийн орооцолдол: Загварын бүтэц дэх алдаанууд болон сургалтын өгөгдлөөс удамшсан гажуудлыг хооронд нь ялгахын тулд цаг хугацаа их шаарддаг бөгөөд тооцооллын хувьд өндөр өртөгтэй нямбай арилгах судалгаа шаардлагатай.

Энэ явдал хиймэл оюун ухааныг хөгжүүлэх практикт хэрхэн нөлөөлсөн бэ?

Муурын дибаг хийх түүх нь өнгөн талдаа инээдтэй мэт боловч AI багууд чанарын баталгаажуулалтад хэрхэн хандах талаар хэд хэдэн тодорхой өөрчлөлтүүдийг бий болгосон. Үүний дараа олон байгууллага хэл шинжлэлийн бус оролтыг дуурайдаг санамсаргүй болон эсрэг тэсрэг токен дарааллыг тусгайлан нэгтгэсэн generative загваруудад зориулсан бүдэг бадаг тестийн протоколуудыг өргөжүүлэв. Зарим багууд одоо тасралтгүй интеграцийн шугамын нэг хэсэг болгон автоматжуулсан "гараар алхах" симуляцийг ажиллуулж байна.

Энэ үйл явдал мөн тархалтын загварт зориулсан тайлбарлах хэрэгслүүдийн сонирхлыг дахин сэргээв. Хэрэв харааны олдвор нь тод бус өнгөний шилжилтээс илүү тодорхой бус байсан бол энэ нь тодорхойгүй хугацаанд анзаарагдахгүй байж магадгүй юм. Энэ нь олон нийтийг үүсгэсэн гаралтуудад илүү сайн автоматжуулсан гажиг илрүүлэх системийг хөгжүүлэхэд түлхэц өгч, бие даасан зургууд нь өнгөцхөн хэвийн харагдаж байсан ч статистикийн зөрчлийг тэмдэглэж чаддаг систем юм.

Хиймэл оюун ухааны хөгжүүлэлт, бүтээгдэхүүний давталт, чанарын баталгаа зэрэг нарийн төвөгтэй ажлын урсгалыг удирдаж буй багуудын хувьд үүнтэй төстэй тохиолдлууд нь үйл ажиллагааны төвлөрсөн харагдах байдлын хэрэгцээг онцолж өгдөг. Алдаа нь текст кодлогч, хуваарьлагч болон декод тайлагчийг хамарсан үед тархсан хэрэгслүүд болон салгагдсан холбооны сувгуудаар мөрдөн шалгах ажиллагааг хянах нь өөрийн үрэлтийн давхаргыг үүсгэдэг.

Байнга асуудаг асуултууд

Stable Diffusion муурны дибаг хийх явдал бодит үйл явдал байсан уу?

Үндсэн түүх нь 2023 онд хиймэл оюун ухааны инженерийн нийгэмлэгийн өргөн хуваалцсан бүртгэл дээр үндэслэсэн болно. Хэдийгээр тодорхой нарийн ширийн зүйлийг дахин ярихдаа зарим талаараа үлгэр домог болгон тайлбарласан боловч үндсэн техникийн хувилбар буюу санамсаргүй гар оролт нь сансрын алдааг илчлэх нь маш сайн баримтжуулсан бөгөөд тархалтын загварын архитектурт мэдэгдэж буй бүтэлгүйтлийн горимуудтай нийцдэг. Үүнтэй төстэй санамсаргүй нээлтүүд програм хангамжийн инженерчлэлийн түүхэнд тохиолдож байсан.

Fuzz test нь хиймэл оюун ухаант загваруудын алдааг найдвартай илрүүлж чадах уу?

Fuzz тест нь тодорхой ангиллын алдааг илрүүлэхэд үр дүнтэй байдаг, ялангуяа оролтын задлан шинжилгээ, токенжуулалтын захын тохиолдол, тоон тогтвортой байдлын асуудалтай холбоотой. Гэсэн хэдий ч энэ нь хиймэл оюун ухаанд зориулсан мөнгөн сум биш юм. Эдгээр загварууд нь тодорхойлогдохоос илүү магадлалын үр дүнг гаргадаг тул бүдэг бадаг туршилтын явцад "бүтэлгүйтэл" гэж юу болохыг тодорхойлох нь энгийн дамжуулалт/бүтэлгүйтлийн баталгаа гэхээсээ илүү нарийн төвөгтэй гажиг илрүүлэх системийг шаарддаг.

Мэргэжлийн AI багууд нарийн төвөгтэй системүүдийн дибаг хийх ажлын урсгалыг хэрхэн удирддаг вэ?

Ихэнх төлөвшсөн AI багууд туршилтыг хянах платформ, төвлөрсөн бүртгэл, хамтын баримт бичиг, бүтэц зохион байгуулалттай төслийн менежментийн хослолд тулгуурладаг. Гол сорилт бол мөрдөж болохуйц байдлыг хадгалах явдал юм - тодорхой гаралтын олдворыг загвар хувилбар, сургалтын өгөгдөл, гиперпараметр, түүнийг үүсгэсэн кодын үүрэгт холбох. Эдгээр ажлын урсгалыг нэгдсэн үйлдлийн систем болгон нэгтгэдэг багууд зохицуулалтын нэмэлт зардалд хамаагүй бага цаг зарцуулж, бодит асуудлыг шийдвэрлэхэд илүү их цаг зарцуулдаг.

Үйл ажиллагааны нарийн төвөгтэй байдлыг хялбаршуулна уу

Та хиймэл оюун ухааны загваруудыг дибаг хийж байгаа эсвэл бусад нарийн төвөгтэй бизнесийн үйл ажиллагааг удирдаж байгаа эсэхээс үл хамааран хуваагдмал хэрэгслүүд нь хуваагдмал сэтгэлгээг бий болгодог. Mewayz нь 207 нэгдсэн модулиудыг 138,000 гаруй хэрэглэгчдийн итгэмжлэгдсэн нэг бизнесийн үйлдлийн системд оруулж, асуудлыг эх сурвалж руу нь хайж олох, хариу арга хэмжээг зохицуулах, илүү хурдан шилжихэд шаардлагатай төвлөрсөн харагдах байдлыг танай багт өгдөг. Үнэгүй туршилтаа app.mewayz.com-оос эхлүүлж, нэгдсэн ажиллагаа ямар байгааг хараарай.