SkillsBench: Fakafuofua'i 'a e founga 'oku ngaue lelei ai 'a e ngaahi taukei 'o e fakafofonga 'i he ngaahi ngaue kehekehe

"Ko e fakafuofua 'oku 'ikai fekau'aki ia mo hono kumi 'o e fakafofonga haohaoa — 'oku fekau'aki ia mo e mahino pe ko e ha 'a e ngaahi malava 'oku falala'anga fe'unga ke faka'otometiki 'i he fua pea 'oku kei fie ma'u 'a e tokanga'i 'e he tangata. Ko e faikehekehe ko ia 'oku ne fakamatala'i 'a e feitu'u 'oku mo'ui ai 'a e mahu'inga fakapisinisi mo'oni."

'Oku anga fefe hono sivi'i 'e he SkillsBench 'a e ngaahi founga mo e ngaahi founga ngaue 'a e Fakafofonga Tefito?

'Oku sivi'i 'e he benchmark 'a e kau fakafofonga 'i he ngaahi tafa'aki tefito kehekehe. 'I he tu'unga 'o e founga ngaue, 'Oku sivisivi'i 'e he SkillsBench 'a e founga 'oku tokanga'i ai 'e he kau fakafofonga 'a e parsing fakahinohino, tauhi 'o e tu'unga, faka'aonga'i 'o e me'angaue, mo e formatting 'o e output. 'Oku 'ikai ko ha ngaahi 'ulungaanga fakalukufua 'eni — 'oku nau liliu hangatonu ki he pe 'e lava 'e ha tokoni AI 'o falala'anga hono fa'u ha fokotu'u 'a e kalaieni, fakalelei'i 'a e ngaahi lekooti fakapa'anga, pe hala ha tikite poupou 'o 'ikai ha fakatonutonu 'a e tangata.

Ko e sivi'i 'o e founga ngaue 'oku fakatefito ia 'i he fakakakato 'o e ngaue 'o e ngaahi tafoki lahi, 'a ia kuo pau ke tauhi 'e ha fakafofonga 'a e fehokotaki 'i he ngaahi sitepu hokohoko. Hange ko 'eni, 'e fie ma'u nai 'e ha workflow CRM ha fakafofonga ke ne ma'u ha lekooti fetu'utaki, kolosi-fakafekau'aki ia mo e hisitōlia 'o e fakatau, fa'u ha 'imeili muimui, pea tohi 'a e fetu'utaki — kotoa ko ha seini 'e taha 'oku fehokotaki. SkillsBench 'oku ne fakafuofua'i 'a e kau fakafofonga 'i he tu'o lahi 'o e fakakakato 'o e ngaahi seini ko 'eni 'o 'ikai ha derailment, toe feinga 'a e ngaahi loop, pe ngaahi outputs hallucinated.

Ko e ngaahi tafa'aki mahu'inga 'o e sivi 'i he SkillsBench 'oku kau ai 'a e:

• Tu'unga 'o e fakakakato 'o e ngaue: Ko e peseti 'o e ngaahi ngaue kuo fakakakato mei he ngata'anga ki he ngata'anga 'o 'ikai ha fakafepaki'i 'e he nima pe fakatonutonu 'o e ngaahi fehalaaki.
• Muimui ki he fakahinohino: Ko e anga 'o e muimui tonu 'a e fakafofonga ki he ngaahi fakangatangata mahino, ngaahi fie ma'u 'o e fakafotunga, mo e ngaahi fakangatangata 'o e 'atakai.
• Ko e tu'uma'u 'a e konisitutone: Pe 'oku tauhi 'e he fakafofonga 'a e fakamatala fekau'aki 'i he ngaahi fetu'utaki sitepu lahi 'o 'ikai mole 'a e konisitutone kimu'a.
• Totonu 'o e fakataha'i 'o e me'angaue: Ko e falala'anga 'o e ngaahi ui API 'i tu'a, ngaahi fehu'i 'o e database, mo e ngaahi fetu'utaki 'o e sevesi 'a e paati hono tolu 'oku kamata 'e he fakafofonga.
• Maaka fakalukufua: Ko e anga hono lelei 'o e fakahoko 'i he ngaahi vahenga ngaue kuo ako'i 'oku hiki ki he ngaahi tu'unga fo'ou, 'i tu'a mei he tufaki'anga koloa 'oku te'eki ke sio ki ai 'a e fakafofonga kimu'a.

Ko e hā ʻoku talamai ʻe he ngaahi ola ʻo hono fakahoko ʻo e Māmani Moʻoní Fekauʻaki mo e Ngaahi Fakangatangata ʻo e Fakafofonga ʻo e AI?

Kuo 'asi mai 'a e ngaahi ola 'o e SkillsBench 'i he kamata'anga 'o ha founga tu'uma'u: ko e tokolahi taha 'o e kau fakafofonga 'oku nau ma'u lelei 'a e ngaahi ngaue 'oku mavahe, 'oku 'i ai 'a e domain 'e taha ka 'oku nau degrade lahi 'i he taimi 'oku fie ma'u ai 'e he ngaahi ngaue ke fakataha'i 'a e 'ilo 'i he ngaahi domain kehekehe. Mahalo 'e tokanga'i 'e ha fakafofonga ha vakai'i 'o e tohi fakalao 'aki 'a e 94% tonu ka 'oku holo hifo ki he 71% 'i he taimi 'oku fakahu ai 'a e ngaue tatau 'i loto 'i ha workflow onboarding 'o e client 'oku lahi ange 'o kau ai 'a e fakamatala fakapa'anga mo e logic fakataimi-tepile.

Ko e founga faka'auha ko 'eni 'oku 'i ai hono ngaahi nunu'a 'aonga. Ko e ngaahi pisinisi 'oku nau deploy 'a e kau fakafofonga 'o 'ikai ke nau benchmarking kinautolu 'i he ngaahi workflows fakatahataha'i 'oku nau fa'a 'ilo'i 'a e ngaahi poini 'o e ta'elavame'a hili pe 'enau fakatupu 'a e ngaahi fehalaaki 'oku fehangahangai mo e kasitomaa pe ngaahi fakamatala 'oku 'ikai ke fe'unga. 'Oku mahino 'a e lesoni 'o e fakahoko — 'oku totonu ke fakamo'oni'i 'a e kau fakafofonga 'o 'ikai ngata pe 'i he nofo mavahe ka 'i loto 'i he tu'unga fakangaue pau 'a ia te nau lele ai.

Ko e ngaahi tu'unga 'oku nau poupou'i 'a e modular, composable workflows — hange ko e Mewayz mo hono 207-module 'o e 'atakai — 'oku ne 'omi ha 'atakai sivi fakanatula ki he fa'ahinga faka'ilonga fakakonisitutone ko 'eni. 'I he taimi 'oku tokanga'i ai 'e he module takitaha ha ngaue kehekehe pea fetu'utaki 'a e kau fakafofonga mo e ngaahi module ko ia 'o fakafou 'i he ngaahi interfaces kuo faka'uhinga'i, 'oku faingofua ange 'a e fakamavahe'i 'o e ta'elavame'a pea 'oku 'asi mai 'a e ngaahi ava 'o e fakahoko ngaue kimu'a pea nau toki fakatahataha'i ki he ngaahi palopalema fakangaue lalahi ange.

'Oku anga fefe hono fakafehoanaki 'e he SkillsBench 'a e ngaahi founga 'a e AI Agent 'i he ngaahi 'Akiteki Kehekehe?

Ko e taha 'o e ngaahi tokoni mahu'inga taha 'a e SkillsBench ko 'ene 'analaiso fakafehoanaki 'i he ngaahi 'atakai 'o e kau fakafofonga: kau fakafofonga 'o e sipinga 'e taha, ngaahi paipa 'o e kau fakafofonga lahi, ngaahi sisitemi retrieval-augmented, mo e ngaahi fa'unga 'o e me'angaue-faka'aonga'i 'oku nau takitaha fakahaa'i 'a e ngaahi fakamatala kehekehe 'o e fakahoko ngaue. 'Oku hehema 'a e kau fakafofonga 'o e sipinga 'e taha ke vave taha mo tu'uma'u taha 'i he ngaahi ngaue faingofua ka 'oku nau taa'i 'a e ngaahi fakangatangata fefeka 'i he ngaahi ngaue faingata'a, sitepu lahi. 'Oku fakahaa'i 'e he ngaahi paipa 'o e kau fakafofonga lahi 'a e fakahoko 'o e silingí ma'olunga ange ka 'oku nau fakafe'iloaki mai 'a e ngaahi fakatu'utamaki 'o e fakamafola 'o e fehokotaki'anga mo e ta'elavame'a.

Retrieval-augmented to'utangata (RAG) 'a e ngaahi sisitemi 'oku nau fakahoko lelei tautautefito ki he ngaahi ngaue 'oku lahi 'a e 'ilo 'a ia 'oku fakafalala ai 'a e tonu 'i he ma'u 'o e fakamatala lolotonga, domain-pau. Ngaahi fa'unga 'o hono faka'aonga'i 'o e me'angaue — 'a ia 'e lava ke ui ai 'e he kau fakafofonga 'a e APIs 'i tu'a, lele 'a e code, pe fehu'i 'a e ngaahi fakamatala — outperform 'a e ngaahi founga fakatupu ma'a 'i he ngaahi ngaue fokotu'utu'u ka 'oku fie ma'u 'a e tokanga'i 'o e fehalaaki fefeka ke ta'ofi 'a e ngaahi ta'elavame'a cascading 'i he taimi 'oku fakafoki mai ai 'e he ngaahi me'angaue 'a e ngaahi outputs ta'e'amanekina.

Ki he ngaahi pisinisi 'oku nau sivi'i 'a e ngaahi me'angaue 'o e AI, 'Oku 'omi 'e he SkillsBench 'a e makatu'unga faka'empirical ke fakafehoanaki 'a e 'atakai ke faka'aonga'i 'a e keisi kae 'ikai ko e defaulting ki ha me'a pe 'oku manakoa taha. Ko e taumu'a 'oku 'ikai ko e fakafofonga fakapotopoto taha — ko e taha 'aonga falala'anga taha ia ki ho'o ngaahi fie ma'u pau 'o e workflow.

Ko e hā ha fakamoʻoni fakaʻepisitolo kuo fakatupu ʻe he SkillsBench ki he kau Fai Tuʻutuʻuni Pisinisí?

'I he ngaahi sivi 'o e SkillsBench kuo pulusi, 'oku 'i ai ha ngaahi me'a 'oku ma'u 'oku tu'u mavahe 'oku fekau'aki fakahangatonu mo e ngaahi tu'utu'uni 'o e ohi 'o e pisinisi. 'Uluakí, 'oku lahi ange ma'u pe 'a e variance 'o e fakahoko 'i he ngaahi fa'ahinga ngaue 'i he variance 'o e fakahoko 'i he kau fakafofonga 'o e kau foaki — 'uhinga ko e me'a 'oku ke kole ki he fakafofonga ke ne fai 'oku mahu'inga ange ia 'i he fakafofonga 'oku ke fili. Uá, 'oku outperform 'e he kau fakafofonga 'oku 'i ai 'enau ngaahi malava mahino 'o e me'angaue-ui 'a e kau fakafofonga vave-pe 'i he ngaahi ngaue fakapisinisi fokotu'utu'u 'aki 'a e ngaahi tafa'aki 'o e 20-35% 'i he tu'unga fakakakato. Tolu, 'oku correlates 'a e fakahoko 'o e benchmark 'i he fakafuofua ka 'oku 'ikai ke haohaoa mo e fakahoko 'o e ngaohi'anga koloa, 'o fakamamafa'i 'a e mahu'inga 'o e fakamo'oni'i 'o e domain-pau kimu'a pea toki fakahoko kakato.

Ko e ngaahi me'a ko 'eni 'oku fokotu'u mai 'oku totonu ke 'inivesi 'a e ngaahi kautaha 'i he ngaahi paipa sivi'i 'o e ngaue-pau kimu'a pea toki scaling 'a e ohi 'o e AI — pea 'oku mahu'inga 'a e ngaahi langa fakalakalaka 'oku nau poupou'i 'a e kau fakafofonga ko ia 'o hange ko e ngaahi sipinga 'iate kinautolu pe. Ko ha sisitemi ngaue pisinisi mo e ngaahi modules 'oku fakamatala'i mahino, APIs, mo e tafe 'a e fakamatala 'oku ne fakatupu 'a e scaffolding 'oku ne faka'ata 'a e kau fakafofonga ke fakahoko ofi ange ki he'enau malava faka'ilonga kae 'ikai ko e regressing 'i he ngaahi 'atakai 'oku kovi hono fokotu'utu'u.

Ngaahi Fehuʻi ʻoku Faʻa ʻEke

'Oku fe'unga nai 'a e SkillsBench ki he fanga ki'i pisinisi pe ko e ngaahi fakahokohoko 'o e AI 'a e kautaha pe?

'Oku ngaue 'aki 'a e ngaahi tefito'i mo'oni 'o e SkillsBench 'i ha fa'ahinga me'afua pe. Na'a mo e fanga ki'i pisinisi 'oku nau faka'otometiki ha nima 'o e workflows 'oku nau ma'u 'aonga mei he mahino 'a e ngaahi malava 'o e fakafofonga 'oku falala'anga 'a e ngaohi-mateuteu versus kei 'ahi'ahi. 'Oku kau 'i he laipeli ngaue 'a e benchmark 'a e ngaahi scenario 'oku fekau'aki mo e ngaahi timi 'o e toko nima 'o hange ko e ngaahi timi 'o e toko nima afe, 'o 'ai ia ko ha fakamo'oni 'aonga tatau ai pe pe ko e lahi 'o e kautaha.

Ko e hā hono lahi ʻo e taimi ʻoku totonu ke toe sivisiviʻi ai ʻe he ngaahi pisinisí ʻenau ngaahi meʻangāue fakafofonga AI ʻo fakaʻaongaʻi ʻa e ngaahi fakamatala fakafuofua?

'Oku vave 'a e tupulaki 'a e ngaahi malava 'o e sipinga 'o e AI, pea 'e lava ke liliu lahi 'a e ngaahi tu'unga 'o e benchmark 'i loto 'i ha matapa sio'ata 'o e mahina 'e ono 'i hono tukuange 'e he kau foaki 'a e ngaahi fakafo'ou. Ko ha cadence 'aonga ki he lahi taha 'o e ngaahi pisinisi ko e vakai'i fakakuata 'o e fakamatala fakafuofua ki ha fa'ahinga me'angaue AI 'oku fakahu 'i he ngaahi ngaue mahu'inga, mo e sivi'i ad hoc 'i ha taimi pe 'oku fakaha ai 'e ha tokotaha 'oku ne 'oatu ha sipinga lahi pe fakafo'ou 'o e malava.

'E lava nai ke tomu'a tala 'e he ola 'o e SkillsBench 'a e founga 'e fakahoko ai 'e ha fakafofonga 'i loto 'i ha tu'unga pisinisi pau?

Ko e ngaahi ola 'o e fakafuofua ko ha kamata'anga malohi ka 'oku 'ikai ko ha fakafuofua kakato. 'Oku fakafalala 'a e fakahoko 'o e ngaohi'anga koloa 'i he founga 'oku fakataha'i ai 'e he fakafofonga mo ho'o ngaahi fokotu'utu'u fakamatala pau, APIs, mo e logic 'o e workflow. Ko e ngaahi tu'unga mo e ngaahi 'atakai 'o e module kuo fakatohi lelei — hange ko e Mewayz — fakasi'isi'i 'a e 'ava 'i he vaha'a 'o e fakahoko 'o e benchmark mo e fakahoko 'o e ngaohi 'aki hono 'oange 'a e kau fakafofonga 'o e ngaahi interfaces ma'a, tu'uma'u ke nau ngaue mo ia.

Mateuteu ke 'ai 'a e AI-powered 'a e ola lelei ke ngaue 'i he kotoa 'o ho'o ngaue fakapisinisi? Mewayz 'oku ne fakataha'i 'a e ngaahi module makehe 'e 207 ki ha OS pisinisi 'e taha 'oku fehokotaki, 'o 'oatu ki ho'o timi mo ho'o kau fakafofonga AI 'a e 'atakai fokotu'utu'u 'oku nau fie ma'u ke fakahoko 'i honau lelei taha. Kau atu ki he kau faka'aonga'i 'o e 138,000 'oku 'osi lele 'a e ngaahi ngaue 'atamai lelei ange — kamata 'i he $19/mahina pe. Kamata ho'o fononga Mewayz he 'aho ni 'i he app.mewayz.com pea vakai ki he me'a 'e lava ke fai 'e ha OS pisinisi fakatahataha'i kakato ki ho'o tupulaki.