Apache Arrow on 10 vuotta vanha

Apache Arrow, avoimen lähdekoodin monikielinen muistitiedon kehitysalusta, täyttää 10 vuotta vuonna 2026. Tämä on virstanpylväs, joka on vuosikymmen, kun nykyaikaiset yritykset ovat muuttaneet tapaa, jolla nykyaikaiset yritykset käsittelevät, jakavat ja analysoivat dataa laajasti. Sen vaatimattomasta alkuperästään pylväsmäisenä muistimuotospesifikaationa, Arrow on kasvanut yhdeksi nykyaikaisen tietopinon perustavimmista kerroksista, hiljaisesti toimivista työkaluista, joihin miljoonat kehittäjät ja analyytikot luottavat joka päivä.

Mikä Apache Arrow oikein on ja miksi sillä oli merkitystä ensimmäisestä päivästä lähtien?

Apache Arrow syntyi yksinkertaisesta mutta syvästä turhautumisesta: jokainen datatyökalu puhui erilaista sisäistä kieltä. Pandalla oli oma muistiasetelmansa. Sparkilla oli toinen. R:llä oli vielä toinen. Joka kerta kun dataa siirrettiin järjestelmien välillä, se oli sarjoitettava, sarjoitettava ja alustettava uudelleen – prosessi, joka poltti suorittimen jaksoja, kulutti muistia ja lisäsi putkiin viivettä, jota tiimien piti olla nopeita.

Arrow'n ehdotus oli tyylikäs: määritä yksi standardoitu sarakemuistimuoto, jonka mikä tahansa kieli tai ajonaika voisi lukea ilman kopioimista tai muuntamista. Kun Python-skripti luovuttaa tiedot Rust-kirjastoon Arrown kautta, muutosta ei tapahdu. Sivun bitit ovat samat. Tämä nollakopiointiyhteensopivuus oli todella vallankumouksellinen maailmassa, jossa tietotekniikka muuttui yhä monikielisemmäksi.

Ensimmäisinä vuosinaan Arrow keräsi panoksia Pandasin, Dremion, Wes McKinneyn ja suurten pilviinfrastruktuurin toimijoilta. Se, että se valmistui Apache-inkubaatiosta vuonna 2016 niin laajalla teollisuuden tuella, osoitti, että tietoyhteisö ymmärsi, että tämä ei ollut vain yksi muoto – se oli yritys ratkaista systeeminen ongelma infrastruktuuritasolla.

Miten Apache Arrow on kehittynyt viimeisen vuosikymmenen aikana?

Kymmenen vuoden kuluttua Arrow on paljon enemmän kuin muistimuoto. Projekti on laajentunut rikkaaksi ekosysteemiksi siihen liittyvien spesifikaatioiden ja toteutusten kanssa:

• Arrow Flight: gRPC:hen rakennettu korkean suorituskyvyn tiedonsiirtoprotokolla, jonka avulla Arrow-tiedot voivat liikkua palveluiden välillä langannopeudella ilman sarjoittamista.
• Arrow Flight SQL: Laajennus, jonka avulla tietokannat voivat paljastaa SQL-rajapintoja käyttämällä Arrow Flightia, jolloin perinteinen kysely-tulos-haku -sykli tiivistyy yhdeksi tehokkaaksi virraksi.
• Apache Arrow DataFusion: Rust-natiivi kyselymoottori, joka käyttää Arrowa alkuperäisenä muistimuotonaan, mikä mahdollistaa upotetun analytiikan ilman erillistä tietokantaprosessia.
• ADBC (Arrow Database Connectivity): Tietokantayhteyden sovellusliittymä, joka on mallinnettu ODBC:n ja JDBC:n mukaan, mutta Arrow-natiivi, jonka avulla sovellukset voivat tehdä kyselyitä tietokannoista ja vastaanottaa tuloksia suoraan Arrow-muodossa.
• Arrow IPC -muoto: tiedosto- ja suoratoistomuoto, jonka avulla Arrow-tiedot voidaan säilyttää ja vaihtaa prosessien ja koneiden välillä samalla kopiottomuudella.

13 virallisen kielen toteutuksessa – mukaan lukien C++, Java, Go, Rust, Python, JavaScript, C# ja monet muut – Arrow on saavuttanut sellaisen ekosysteemien välisen käyttöönoton, josta useimmat avoimen lähdekoodin projektit vain haaveilevat. Kirjastot, kuten Polars, DuckDB ja InfluxDB 3.0, ovat rakentaneet koko moottorinsa Arrow-sarakemuodon ympärille, eikä se ole käsitellyt sitä yhteentoimivuuskerroksena vaan ydintietoesitystään.

Mikä reaalimaailmallinen vaikutus Arrowilla on ollut tietoihin perustuviin yrityksiin?

"Apache Arrow ei vain nopeuttanut tietojen liikkumista – se määritti uudelleen, miltä yritysalustan tietokerros voisi näyttää. Kun infrastruktuuri katoaa standardeihin, rakentajat voivat keskittyä arvoon."

Arrown vaikutus liiketoimintaan on näkyvin kahdella alueella: kustannusten vähentämisessä ja iterointinopeudessa. Tiimit, jotka aiemmin budjetoivat tunteja putkien viiveen järjestelmien väliseen tiedonsiirtoon, mittaavat nyt millisekunteina. Erillisiä tietovarastoklustereita vaativaa analytiikkaa voidaan nyt suorittaa upotettuna DataFusion- tai DuckDB-sovelluspalvelimiin. Toimintakustannusten aleneminen on mitattavissa – ja mittakaavassa toimiville yrityksille se on merkittävä.

Mewayzin kaltaisille nykyaikaisille yrityskäyttöjärjestelmille, jotka yhdistävät 207 moduulia, jotka kattavat CRM:n, markkinoinnin, verkkokaupan, aikataulutuksen ja analytiikan yhdeksi alustaksi, Arrown arkkitehtuurioppitunnit ovat erittäin tärkeitä. Standardoitu sisäinen tietojen esitys, tehokas liikkuminen palvelujen välillä ja kopiointiton jakaminen moduulien välillä ovat juuri niitä suunnitteluominaisuuksia, joiden avulla 207 moduulin järjestelmä pysyy yhtenäisenä ja nopeana ilman, että siitä tulee räätälöityjen integraatioiden sotkuinen sotku.

Miten Arrown arkkitehtuuri verrataan perinteisiin tiedonsiirtomenetelmiin?

Ennen Arrowa vallitsevat vaihtomuodot olivat rivisuuntautuneita: CSV, JSON ja relaatiorivivarastot. Nämä muodot ovat luettavia ja joustavia, mutta erittäin tehottomia analyyttisissä työkuormissa, jotka skannaavat sarakkeita miljoonilta riveiltä. Yhden sarakkeen lukeminen CSV-tiedostosta tarkoittaa jokaisen rivin jäsentämistä. Sarakkeen lukeminen Arrow-taulukosta tarkoittaa yhtä jatkuvaa muistiskannausta – toimintoa, joka kyllästää suorittimen välimuistin rivit ja hyötyy SIMD-vektorisoinnista.

Verrattuna Parquetiin, Arrown lähimpään serkuun, tärkein ero on muistin ja levyn optimointi. Parketti on erittäin pakattu ja optimoitu varastointia ja peräkkäisiä lukuja varten. Arrow on optimoitu aktiiviseen laskentaan – se on muoto, jota käytät, kun tiedot ovat elossa ja niitä käsitellään, ei silloin, kun ne ovat levyllä. Käytännössä nykyaikaiset tietojärjestelmät käyttävät molempia: Parketti varastointiin, Arrow laskentaan ja tehokas muunnos niiden välillä.

Yritysohjelmistoarkkitehtien oppitunti on, että muodon valinta ei ole neutraali päätös. Rivisuuntautunut tallennus nopeuttaa tapahtumien kirjoittamista. Sarakemainen muistiesitys tekee analyyttisestä lukemisesta nopeaa. Aikuinen alusta käsittelee molempia ja reitittää tiedot oikean esityksen kautta oikealla hetkellä – juuri sellaisen näkymätön infrastruktuurin kautta, joka erottaa skaalautuvan alustan ja ei.

Miltä Apache Arrown seuraava vuosikymmen näyttää?

Arrown liikerata osoittaa kohti syvempää upottamista ja laajempaa standardointia. Tekoälyn ja koneoppimisen työkuormien tullessa keskeisiksi liiketoiminnalle Arrown sarakemuoto linjautuu luonnollisesti ML-kehyksissä käytettyjen tensoriesitysten kanssa. Projekteissa tutkitaan jo Arrowa siltana taulukkomuotoisten yritystietojen ja tensorinatiivien ML-putkien välillä, mikä vähentää muunnoskustannuksia, jotka tällä hetkellä hidastavat tekoälyominaisuuksien kulkua.

ADBC-aloite ehdottaa tulevaisuutta, jossa sovelluskoodi tekee kyselyitä mistä tahansa tietokannasta ja vastaanottaa tulokset yleisesti kulutettavassa muodossa ilman kuljettajakohtaisia omituisia omituisia otuksia tai sarjointiveroja. SaaS-alustoilla, jotka hallitsevat erilaisia tietolähteitä tuhansilta asiakkailta, tällainen liitettävyystason standardointi on yhtä perustavaa laatua kuin HTTP oli verkkopalveluissa.

Usein kysytyt kysymykset

Onko Apache Arrow tietokanta vai tiedostomuoto?

Apache Arrow ei ole tietokanta eikä yksinkertainen tiedostomuoto – se on määritys muistissa olevalle sarakemuotoiselle tietojen esitykselle sekä joukko siihen liittyviä protokollia ja työkaluja. Ajattele sitä jaettuna kielenä, jota eri tietokannat, kyselykoneet ja ohjelmointikielet voivat kaikki puhua äidinkielenään, mikä eliminoi käännöstyön, jota tavallisesti syntyy, kun tiedot ylittävät järjestelmän rajoja.

Korvaako Apache Arrow parketin?

Ei – Arrow ja Parketti ratkaisevat erilaisia ongelmia ja toimivat parhaiten yhdessä. Parketti on optimoitu pakattuun, tehokkaaseen levytallennustilaan, ja se on hallitseva saraketiedostomuoto datajärville. Arrow on optimoitu muistin sisäiseen laskentaan ja järjestelmien väliseen tietojen jakamiseen ilman kopioimista. Nykyaikaiset tietojärjestelmät tallentavat tiedot tyypillisesti Parkettina ja lataavat ne Arrow-muotoon aktiivista käsittelyä varten.

Miten Apache Arrow liittyy yritysohjelmistoalustoihin?

Integroiduissa liiketoimintaympäristöissä Arrown arkkitehtoniset periaatteet – standardoitu sisäinen tietojen esitys, kopioton jakaminen komponenttien välillä ja tehokas analyyttinen käyttöoikeus – vaikuttavat suoraan siihen, kuinka hyvin monimoduulijärjestelmä voi skaalata ilman integraatiovelkaa. Nämä periaatteet sisäistävät alustat voivat lisätä toimintoja ilman, että ne lisäävät suhteellisesti monimutkaisuutta.

Olemme Mewayzillä rakentaneet 207 moduulin yrityskäyttöjärjestelmän, jota käyttää yli 138 000 yritystä ympäri maailmaa ja joka yhdistää kaiken CRM:stä ja sähköpostimarkkinoinnista sähköiseen kaupankäyntiin ja analytiikkaan yhdeksi yhtenäiseksi alustaksi. Kuten Arrown lähestymistapa tietoinfrastruktuuriin, uskomme, että mahtavien yritysohjelmistojen tulee olla monimutkaisuudeltaan näkymättömiä ja arvoltaan ilmeisiä. Suunnitelmat alkavat vain 19 $/kk.

Aloita ilmainen kokeiluversio osoitteessa app.mewayz.com ja koe, miltä todella integroitu yrityskäyttöjärjestelmä tuntuu – joka perustuu samaan filosofiaan, joka teki Apache Arrowsta välttämättömän: tee kovaa työtä infrastruktuurin tasolla, jotta rakentajat voivat keskittyä olennaiseen.