Apache Arrow yra 10 metų

2026 m. „Apache Arrow“, atvirojo kodo kelių kalbų kūrimo platforma, skirta atmintyje saugomiems duomenims, švenčia savo 10 metų jubiliejų – tai yra svarbus įvykis, skaičiuojantis dešimtmetį, kai pasikeitė, kaip šiuolaikinės įmonės plačiai apdoroja, dalijasi ir analizuoja duomenis. Nuo savo kuklios ištakos kaip stulpelio atminties formato specifikacija, Arrow išaugo į vieną iš pagrindinių šiuolaikinės duomenų krūvos sluoksnių, tyliai maitinančių įrankius, kuriais kasdien pasitiki milijonai kūrėjų ir analitikų.

Kas tiksliai yra „Apache Arrow“ ir kodėl tai buvo svarbu nuo pirmos dienos?

Apache Arrow gimė iš paprasto, bet didelio nusivylimo: kiekvienas duomenų įrankis kalbėjo skirtinga vidine kalba. Pandos turėjo savo atminties išdėstymą. Spark turėjo kitą. R turėjo dar vieną. Kiekvieną kartą, kai duomenys buvo perkelti iš vienos sistemos į kitą, jie turėjo būti serijiniai, deserializuoti ir iš naujo suformatuoti – tai procesas, kuris sudegino procesoriaus ciklus, eikvoja atmintį ir padidino vamzdynų delsą, todėl komandos turėjo veikti greitai.

Arrow pasiūlymas buvo elegantiškas: apibrėžkite vieną standartizuotą stulpelių atminties formatą, kurį bet kokia kalba ar vykdymo laikas galėtų nuskaityti nekopijuojant ar nekonvertuojant. Kai Python scenarijus perduoda duomenis Rust bibliotekai per rodyklę, jokia transformacija neįvyksta. Puslapio bitai yra vienodi. Šis nulinės kopijos suderinamumas buvo tikrai revoliucinis pasaulyje, kuriame duomenų inžinerija tapo vis labiau poliglotiška.

Pirmaisiais savo veiklos metais „Arrow“ prisidėjo iš „Pandas“, „Dremio“, Wes McKinney ir pagrindinių debesų infrastruktūros žaidėjų komandų. Tai, kad 2016 m. ji baigė „Apache“ inkubaciją su tokia plačia pramonės parama, rodo, kad duomenų bendruomenė pripažino, kad tai ne tik kitas formatas – tai buvo bandymas išspręsti sisteminę infrastruktūros problemą.

Kaip „Apache Arrow“ pasikeitė per pastarąjį dešimtmetį?

Po dešimties metų „Arrow“ yra daug daugiau nei atminties formatas. Projektas išsiplėtė į turtingą susijusių specifikacijų ir įgyvendinimų ekosistemą:

• Arrow Flight: didelio našumo duomenų perdavimo protokolas, sukurtas naudojant gRPC, leidžiantis „Arrow“ duomenims judėti tarp paslaugų laidiniu greičiu be nuoseklumo.
• Arrow Flight SQL: plėtinys, leidžiantis duomenų bazėms atskleisti SQL sąsajas naudojant Arrow Flight, sutraukiant tradicinį užklausos, rezultato ir gavimo ciklą į vieną efektyvų srautą.
• Apache Arrow DataFusion: „Rust“ užklausų variklis, kuris naudoja „Arrow“ kaip savo atminties formatą, leidžiantį atlikti įterptąją analizę be atskiro duomenų bazės proceso.
• ADBC (Arrow Database Connectivity): duomenų bazės ryšio API, sumodeliuota pagal ODBC ir JDBC, tačiau naudojama rodyklėje, leidžianti programoms atlikti duomenų bazių užklausas ir gauti rezultatus tiesiogiai rodyklės formatu.
• Arrow IPC formatas: failas ir srautinio perdavimo formatas, leidžiantis išsaugoti „Arrow“ duomenis ir jais keistis procesuose ir įrenginiuose tokiu pat efektyvumu be kopijų.

13 oficialių kalbų diegimų, įskaitant C++, Java, Go, Rust, Python, JavaScript, C# ir kt., Arrow pasiekė tokį ekosistemų pritaikymą, apie kurį dauguma atvirojo kodo projektų tik svajoja. Tokios bibliotekos kaip „Polars“, „DuckDB“ ir „InfluxDB 3.0“ sukūrė visus savo variklius pagal „Arrow“ stulpelių formatą, laikydamos jį ne sąveikos sluoksniu, o kaip savo pagrindinių duomenų reprezentacija.

Kokį realų poveikį „Arrow“ padarė duomenimis pagrįstoms įmonėms?

„Apache Arrow“ ne tik pagreitino duomenų judėjimą – ji iš naujo apibrėžė, kaip gali atrodyti verslo platformos duomenų sluoksnis. Kai infrastruktūra išnyksta į standartus, kūrėjai gali sutelkti dėmesį į vertę.“

Arrow poveikis verslui labiausiai matomas dviejose srityse: išlaidų mažinimo ir iteracijos greičio. Komandos, kurios kažkada numatė kelias valandas duomenų perdavimo tarp sistemų duomenims perduoti, dabar matuoja milisekundėmis. „Analytics“, kuriai reikėjo tam skirtų duomenų saugyklų grupių, dabar gali būti įdėta į taikomųjų programų serverius, naudojant „DataFusion“ arba „DuckDB“. Veiklos sąnaudų sumažėjimas yra išmatuojamas, o įmonėms, veikiančioms dideliu mastu, jis yra reikšmingas.

Šiuolaikinėms verslo operacinėms sistemoms, tokioms kaip „Mewayz“, kurios į vieną platformą integruoja 207 modulius, apimančius CRM, rinkodarą, el. prekybą, planavimą ir analizę, „Arrow“ architektūros pamokos yra labai svarbios. Standartizuotas vidinis duomenų atvaizdavimas, efektyvus judėjimas tarp paslaugų ir dalijimasis tarp modulių be kopijų – tai būtent tos inžinerinės savybės, kurios leidžia 207 modulių sistemai išlikti nuosekliai ir greitai, netampant susipainiojusia pagal užsakymą sukurtų integracijų netvarka.

Kaip Arrow architektūra palyginama su tradiciniais duomenų mainų metodais?

Prieš „Arrow“ dominuojantys mainų formatai buvo orientuoti į eilutes: CSV, JSON ir reliacinės eilučių parduotuvės. Šie formatai yra skaitomi ir lankstūs, tačiau labai neefektyvūs atliekant analitinius darbo krūvius, kurie nuskaito stulpelius milijonuose eilučių. Vieno stulpelio skaitymas iš CSV reiškia kiekvienos eilutės analizę. Rodyklės lentelės stulpelio nuskaitymas reiškia vieną gretimos atminties nuskaitymą – operaciją, kuri prisotina procesoriaus talpyklos linijas ir teikia naudos iš SIMD vektorizacijos.

Palyginti su Parquet, artimiausiu Arrow pusbroliu, pagrindinis skirtumas yra atmintis ir disko optimizavimas. Parketas yra labai suspaustas ir optimizuotas saugojimui ir nuosekliam skaitymui. Rodyklė yra optimizuota aktyviam skaičiavimui – tai formatas, kurį naudojate, kai duomenys yra gyvi ir apdorojami, o ne tada, kai jie yra diske. Praktiškai šiuolaikinės duomenų sistemos naudoja abu: parketą saugojimui, rodyklę skaičiavimui ir efektyvų konvertavimą tarp jų.

Pamoka verslo programinės įrangos architektams yra ta, kad formato pasirinkimas nėra neutralus sprendimas. Į eilutes orientuota saugykla leidžia greitai rašyti operacijas. Stulpelis atmintyje leidžia greitai nuskaityti analitinius duomenis. Subrendusi platforma tvarko abu dalykus, tinkamu momentu nukreipdama duomenis per tinkamą atvaizdą – būtent tokią nematomą infrastruktūrą, kuri išskiria platformą, kuri keičiasi, ir tos, kurios ne.

Kaip „Apache Arrow“ atrodo kitas dešimtmetis?

Arrow trajektorija rodo gilesnį įterpimą ir platesnį standartizavimą. Kadangi dirbtinio intelekto ir mašininio mokymosi darbo krūviai tampa esminiais verslo operacijomis, „Arrow“ stulpelių formatas natūraliai suderinamas su tenzorių vaizdiniais, naudojamais ML sistemose. Projektuose jau tiriama, kad „Arrow“ būtų tiltas tarp lentelių verslo duomenų ir tensorinių ML konvejerių, sumažinant transformacijos išlaidas, kurios šiuo metu lėtina AI funkcijų konvejerius.

ADBC iniciatyva siūlo ateitį, kai programos kodas pateikia užklausas bet kurioje duomenų bazėje ir gauna rezultatus visuotinai naudojamu formatu, be tvarkyklei būdingų keistenybių ar serializacijos mokesčių. „SaaS“ platformose, valdančiose įvairius duomenų šaltinius tūkstančiams klientų, toks ryšio lygmens standartizavimas yra toks pat svarbus kaip ir HTTP žiniatinklio paslaugoms.

Dažniausiai užduodami klausimai

Ar „Apache Arrow“ yra duomenų bazė ar failo formatas?

Apache Arrow nėra nei duomenų bazė, nei paprastas failo formatas – tai atmintyje esančių stulpelių duomenų atvaizdavimo specifikacija kartu su susijusių protokolų ir įrankių šeima. Pagalvokite apie tai kaip apie bendrą kalbą, kurią skirtingos duomenų bazės, užklausų varikliai ir programavimo kalbos gali kalbėti savo gimtąja kalba, pašalindami vertimo išlaidas, kurios paprastai atsiranda, kai duomenys peržengia sistemos ribas.

Ar „Apache Arrow“ pakeičia parketą?

Ne – rodyklė ir parketas išsprendžia įvairias problemas ir geriausiai veikia kartu. Parketas yra optimizuotas suspaustam, efektyviam saugojimui diske ir yra dominuojantis stulpelių failų formatas duomenų ežeruose. Arrow yra optimizuotas skaičiavimams atmintyje ir tarpsisteminiam duomenų dalijimuisi nekopijuojant. Šiuolaikinės duomenų sistemos paprastai saugo duomenis kaip parketą ir įkelia juos į Arrow formatą, kad būtų galima juos apdoroti.

Kaip „Apache Arrow“ susijusi su verslo programinės įrangos platformomis?

Integruotose verslo platformose „Arrow“ architektūriniai principai – standartizuotas vidinis duomenų pateikimas, dalijimasis tarp komponentų be kopijų ir efektyvi analitinė prieiga – tiesiogiai veikia kelių modulių sistemos mastelį, nekaupiant integracijos skolų. Platformos, kurios internalizuoja šiuos principus, gali suteikti daugiau funkcionalumo proporcingai nesudėdamos sudėtingumo.

Mewayz sukūrėme 207 modulių verslo operacinę sistemą, kurią naudoja daugiau nei 138 000 įmonių visame pasaulyje, integruodami viską nuo CRM ir rinkodaros el. paštu iki el. prekybos ir analizės vienoje nuoseklioje platformoje. Kaip ir „Arrow“ požiūris į duomenų infrastruktūrą, manome, kad puiki verslo programinė įranga turėtų būti nematoma dėl sudėtingumo ir akivaizdžios vertės. Planai prasideda tik nuo 19 USD per mėnesį.

Pradėkite nemokamą bandomąją versiją adresu app.mewayz.com ir patirkite, kaip jaučiasi tikrai integruota verslo OS – sukurta remiantis ta pačia filosofija, dėl kurios Apache Arrow buvo būtina: atlikite sunkų darbą infrastruktūros lygiu, kad kūrėjai galėtų sutelkti dėmesį į tai, kas svarbu.