Apache Arrow o lilemo li 10

Apache Arrow, sethala sa nts'etsopele ea lipuo tse fapaneng bakeng sa data ea mohopolong, e keteka selemo sa eona sa bo-10 ka 2026 - ketsahalo ea bohlokoahali e tšoaeang lilemo tse leshome tsa ho fetola mokhoa oo likhoebo tsa sejoale-joale li sebetsang, ho arolelana le ho sekaseka lintlha ka bongata. Ho tloha qalong ea eona e le mokhoa oa ho hopola, Arrow e se e le e 'ngoe ea likarolo tsa mantlha tsa pokello ea data ea sejoale-joale, e fana ka lisebelisoa tse khutsitseng tseo bahlahisi le bahlahlobisisi ba limilione ba itšetlehileng ka tsona letsatsi le letsatsi.

Hantle-ntle Motsu oa Apache ke Eng, 'me Hobaneng o ne o le Bohlokoa ho Tloha Letsatsing la Pele?

Apache Arrow e hlahile ka lebaka la tsieleho e bonolo empa e tebileng: sesebelisoa se seng le se seng sa data se ne se bua puo e fapaneng ea ka hare. Pandas e ne e e-na le moralo oa eona oa mohopolo. Spark o ne a e-na le e 'ngoe. R o ne a e-na le e 'ngoe hape. Nako le nako ha data e tsamaea lipakeng tsa litsamaiso, e ne e tlameha ho hlophisoa, e tlosoe, le ho hlophisoa bocha - ts'ebetso e ileng ea chesa lipotoloho tsa CPU, ea senya mohopolo, le ho eketsa latency ho lipeipi tseo lihlopha li neng li hloka ho potlaka.

Tlhahiso ea Motsu e ne e le ntle haholo: hlalosa mokhoa o le mong, o tloaelehileng oa memori ea kholomo eo puo efe kapa efe kapa nako ea ho sebetsa e ka baloang ntle le ho kopitsa kapa ho e fetola. Ha sengoloa sa Python se fana ka data ho laeborari ea Rust ka Arrow, ha ho phetoho e etsahalang. Likotoana tse leqepheng la tsona lia tšoana. Tšebelisano-'moho ena ea zero e bile phetoho e kholo lefatšeng leo boenjiniere ba data bo neng bo ntse bo eketseha ka bongata.

Lilemong tsa eona tsa pele, Arrow e ile ea hohela litlatsetso tse tsoang lihlopheng tse ka morao ho Pandas, Dremio, Wes McKinney, le libapali tse kholo tsa cloud infrastructure. Taba ea hore e fumane lengolo la Apache incubation ka 2016 ka tšehetso e pharalletseng ea indasteri e bontšitse hore sechaba sa data se hlokometse hore sena e ne e se mofuta o mong feela - e ne e le boiteko ba ho rarolla bothata ba tsamaiso maemong a meralo.

Apache Arrow e bile teng joang lilemong tse leshome tse fetileng?

Lilemo tse leshome, Arrow e feta hole sebopeho sa memori. Morero o atolohile ho ba tikoloho e ruileng ea litlhaloso le ts'ebetsong:

• Sefofane sa Motsu: Tsamaiso ea sepalangoang ea data e sebetsang hantle haholo e hahiloeng ho gRPC, e nolofalletsang data ea Arrow ho tsamaea lipakeng tsa lits'ebeletso ka lebelo la terata ntle le ho seriale.
• Arrow Flight SQL: Keketso e lumellang marang-rang ho pepesa likhokahano tsa SQL ho sebelisa Arrow Flight, e putlamisa mokhoa oa khale oa ho lata sephetho hore e be molatsoana o le mong o sebetsang hantle.
• Apache Arrow DataFusion: Enjine ea potso ea Rust-native e sebelisang Arrow joalo ka sebopeho sa eona sa memori ea tlhaho, e nolofalletsang litlhahlobo tse kenelletseng ntle le ts'ebetso e arohaneng ea bobolokelo.
• ADBC (Khokahano ea Bobolokelo ba Motsu): API ea khokahanyo ea polokelo ea polokelo e entsoeng ka morao ho ODBC le JDBC empa e le ea Arrow, e lumellang lits'ebetso ho botsa database le ho fumana liphetho ka kotloloho ka mokhoa oa Motsu.
• Fomete ea IPC ea Motsu: Faele le fomete ea ho phallela e lumellang hore data ea Arrow e tsoele pele le ho fapanyetsanoa ho pholletsa le lits'ebetso le metjhini e nang le ts'ebetso e ts'oanang ea likopi tsa zero.

Hohle tse 13 tsa ho kenya tshebetsong puo ya semmuso - ho kenyeletswa C++, Java, Go, Rust, Python, JavaScript, C#, le tse ding - Arrow e fihletse mofuta wa ho amohelwa ha tikoloho le tikoloho eo merero e mengata e bulehileng e lorang feela ka yona. Lilaebrari tse kang Polars, DuckDB, le InfluxDB 3.0 li hahile lienjineri tsohle tsa tsona ho pota-pota sebopeho sa "Arrow columnar", ha se e nke e le lera le sebelisanang hantle empa e le setšoantšo sa bona sa mantlha sa data.

"Apache Arrow ha ea ka ea etsa hore data e potlake ho tsamaea - e hlalositse bocha hore na data layer ea sethala sa khoebo e ka shebahala joang. Ha lisebelisoa tsa motheo li nyamela ho ea ka litekanyetso, lihahi li ka tsepamisa maikutlo ho boleng."

Tlhahiso ea khoebo ea Arrow e bonahala haholo likarolong tse peli: ho fokotsa litšenyehelo le lebelo la ho pheta-pheta. Lihlopha tse kileng tsa etsa tekanyetso ea lihora tsa ho lieha ha lipeipi bakeng sa motsamao oa data o fapaneng hona joale li lekanya ka li-milliseconds. Litlhahlobo tse neng li hloka lihlopha tse inehetseng tsa polokelo ea data li se li ka sebetsa ka har'a li-server tsa kopo li sebelisa DataFusion kapa DuckDB. Phokotso ea litšenyehelo ea ts'ebetso e ka lekanyetsoa - 'me likhoebong tse sebetsang ka bongata, e bohlokoa.

Bakeng sa litsamaiso tsa sejoale-joale tsa ts'ebetso ea khoebo joalo ka Mewayz, e kopanyang likarolo tse 207 tsa CRM, papatso, khoebo ea elektronike, kemiso, le analytics sethaleng se le seng, lithuto tsa meralo ea Arrow li bohlokoa haholo. Kemelo e tloaelehileng ea data ea kahare, motsamao o atlehileng lipakeng tsa lits'ebeletso, le ho arolelana likopi tsa zero lipakeng tsa li-module ke thepa ea boenjiniere e lumellang sistimi ea 207-module hore e lule e momahane ebile e potlakile ntle le ho fetoha bohlasoa bo ferekaneng ba likhokahano tsa bespoke.

Moaho oa Arrow o Bapisa Joang le Mekhoa ea Setso ea Phapanyetsano ea Lintlha?

Pele ho Motsu, lifomate tse ka sehloohong tse fapanyetsanoang li ne li shebane le mela: CSV, JSON, le mabenkele a melang a amanang. Libopeho tsena lia baloa, 'me lia tenyetseha empa ha li sebetse hantle bakeng sa mosebetsi o mongata o hlahlobang likholomo ho pholletsa le mela e limilione. Ho bala kholomo e le 'ngoe ho tsoa ho CSV ho bolela ho arola mola o mong le o mong. Ho bala kholomo ho tsoa tafoleng ea Motsu ho bolela ho hlahloba mohopolo o le mong - ts'ebetso e tlatsang li-cache tsa CPU le melemo ho tsoa ho SIMD vectorization.

Ha ho bapisoa Parquet, motsoala ea haufi haholo oa Arrow, khetho ea bohlokoa ke mohopolong o bapisoang le ts'ebetso ea "disk". Parquet e hatelloa haholo ebile e lokiselitsoe ho boloka le ho bala ka tatellano. Arrow e ntlafalitsoe bakeng sa komporo e sebetsang - ke mokhoa oo u o sebelisang ha data e ntse e phela 'me e ntse e sebetsoa, ​​​​eseng ha e lutse ho disk. Ha e le hantle, litsamaiso tsa sejoale-joale tsa data li sebelisa ka bobeli: Parquet bakeng sa polokelo, Motsu bakeng sa ho bala, ka phetoho e sebetsang lipakeng tsa tsona.

Thuto bakeng sa baetsi ba software ea khoebo ke hore khetho ea sebopeho ha se qeto e sa nke lehlakore. Polokelo e shebaneng le mela e etsa hore transaction e ngole kapele. Kemelo ea mohopolo oa kholamo e etsa hore ho baloe ka potlako. Sethala se seng se hōlile se sebetsana le tsona ka bobeli, se tsamaisa data ka boemeli bo nepahetseng ka nako e nepahetseng - hantle mofuta oa lisebelisoa tse sa bonahaleng tse etsang phapang lipakeng tsa sethala se lekanyang le se sa se boneng.

Lilemo Tse Leshome Tse Tlang li shebahala Joang Bakeng sa Apache Arrow?

Tlhaloso ea Arrow e lebisa ho tebello e tebileng le maemo a pharaletseng. Ha mesebetsi ea AI le ea ho ithuta ka mochini e fetoha bohareng ba ts'ebetso ea khoebo, sebopeho sa kholomo sa Arrow se ikamahanya ka tlhaho le boemeli ba tensor bo sebelisoang ho meralo ea ML. Merero e se e ntse e hlahloba Arrow e le borokho lipakeng tsa data ea khoebo ea tabular le liphaephe tsa ML tsa tensor-native, ho fokotsa phetoho e holimo eo hajoale e liehisang liphaephe tsa likarolo tsa AI.

Boikitlaetso ba ADBC bo fana ka tlhahiso ya bokamoso moo khoutu ya kopo e botsang bobolokelo bofe kapa bofe mme e fumana sephetho ka sebopeho se ka sebediswang ka kakaretso, ntle le makgabane a ikgethang ka mokganni kapa lekgetho la seriale. Bakeng sa li-platform tsa SaaS tse laolang mehloli e fapaneng ea data ho bareki ba likete, mofuta ona oa maemo a marang-rang ke oa motheo joalo ka ha HTTP e ne e le lits'ebeletso tsa marang-rang.

Lipotso Tse Botsoang Hangata

Na Apache Arrow ke database kapa fomete ea faele?

Apache Arrow ha se database kapa fomete e bonolo ea faele - ke lintlha tse ikhethileng bakeng sa boemeli ba data bo ka har'a memori, hammoho le lelapa la liprothokholo le lisebelisoa tse amanang. E nahane e le puo e arolelanoang eo li-database tse fapaneng, lienjineri tsa lipotso, le lipuo tsa mananeo kaofela li ka buang ka tlhaho, ho tlosa phetolelo e tloaelehileng e etsahalang ha data e tšela meeli ea tsamaiso.

Na Apache Arrow e nka sebaka sa Parquet?

Che - Motsu le Parquet li rarolla mathata a fapaneng 'me li sebetsa hantle hammoho. Parquet e ntlafalitsoe bakeng sa polokelo e hatelletsoeng, e sebetsang hantle ka har'a disk mme ke eona e ka sehloohong ea faele ea faele bakeng sa matša a data. Arrow e ntlafalitsoe bakeng sa khomphutha ea mohopolong le ho arolelana data ka har'a sistimi ntle le ho kopitsa. Sistimi ea sejoale-joale ea data hangata e boloka data joalo ka Parquet ebe e e kenya ka har'a sebopeho sa Arrow bakeng sa ts'ebetso e sebetsang.

Apache Arrow e amana joang le sethala sa software ea khoebo?

Bakeng sa liforomo tse kopaneng tsa khoebo, melao-motheo ea meralo ea Arrow - boemeli bo tloaelehileng ba data ba kahare, ho arolelana likopi tsa zero lipakeng tsa likarolo, le phihlello e sebetsang ea tlhahlobo - e susumetsa ka kotloloho hore na sistimi ea li-module tse ngata e ka hola hantle hakae ntle le ho bokella molato oa kopanyo. Lipolanete tse kenyang melao-motheo ena ka hare ho naha li ka eketsa ts'ebetso ntle le ho eketsa ho rarahana.

Ho Mewayz, re thehile sistimi ea tšebetso ea li-module tse 207 e sebelisoang ke likhoebo tse fetang 138,000 lefatšeng ka bophara, e kopanyang tsohle ho tloha ho CRM le ho bapatsa ka lengolo-tsoibila ho isa khoebong ea e-commerce le analytics sethaleng se le seng se momahaneng. Joalo ka mokhoa oa Arrow oa lits'ebetso tsa data, re lumela hore software e kholo ea khoebo e lokela ho se bonahale ka ho rarahana ha eona le ho totobala ka boleng ba eona. Merero e qala ho $19 feela ka khoeli.

Qala teko ea hau ea mahala ho app.mewayz.com 'me u utloe hore na khoebo e kopaneng ea OS e ikutloa joang - e thehiloe holim'a filosofi e tšoanang le e entseng hore Apache Arrow e be ea bohlokoa haholo: etsa mosebetsi o boima oa maemo a motheo e le hore lihahi li ka tsepamisa maikutlo ho tse bohlokoa.