Apache Arrow hà 10 anni

"Apache Arrow ùn hà micca solu fattu a dati più veloce per spustà - hà ridefinitu ciò chì a capa di dati di una piattaforma cummerciale puderia esse. Quandu l'infrastruttura sparisce in i standard, i custruttori ponu fucalizza nantu à u valore."

L'impattu cummerciale di Arrow hè più visibile in duie zone: a riduzione di i costi è a velocità di iterazione. E squadre chì una volta pianificavanu ore di latenza di pipeline per u muvimentu di dati di u sistema trasversale misuranu avà in millisecondi. L'analisi chì necessitava clusters di magazzini di dati dedicati ponu avà eseguite incrustate in i servitori di l'applicazioni cù DataFusion o DuckDB. A riduzione di i costi operativi hè misurabile - è per l'imprese chì operanu à scala, hè significativa.

Per i sistemi operativi di l'affari muderni cum'è Mewayz, chì integranu 207 moduli chì coprenu CRM, marketing, e-commerce, pianificazione è analisi in una sola piattaforma, e lezioni di architettura di Arrow sò assai pertinenti. A rapprisintazioni di dati interni standardizati, u muvimentu efficiente trà i servizii, è a spartera senza copia trà i moduli sò esattamente e proprietà di l'ingegneria chì permettenu à un sistema di 207 moduli di mantene coerente è veloce senza diventà un missing intricatu di integrazioni su misura.

Cumu si paraguna l'architettura di Arrow à l'Approcci tradiziunali di scambii di dati?

Prima di Arrow, i formati di interscambiu dominanti eranu orientati à fila: CSV, JSON è magazzini di fila relazionale. Questi formati sò leggibili è flessibili, ma assai inefficaci per i carichi di travagliu analiticu chì scannanu e colonne in milioni di file. A lettura di una sola colonna da un CSV significa analizà ogni fila. A lettura di una colonna da una tavola Arrow significa una sola scansione di memoria contigua - una operazione chì satura e linee di cache di CPU è benefiziu da a vectorizazione SIMD.

Paragunatu à Parquet, u cuginu più vicinu di Arrow, a distinzione chjave hè in memoria versus ottimisazione in u discu. U parquet hè altamente cumpressu è ottimizzatu per u almacenamentu è letture sequenziali. Arrow hè ottimizatu per u calculu attivu - hè u formatu chì aduprate quandu e dati sò vivi è esse processati, micca quandu sò in u discu. In pratica, i sistemi di dati muderni utilizanu tutti dui: Parquet per u almacenamentu, Arrow per u calculu, cun cunversione efficace trà elli.

A lezziò per l'architetti di u software cummerciale hè chì a scelta di formatu ùn hè micca una decisione neutrale. L'almacenamiento orientatu à a fila rende a scrittura transazionale veloce. A rapprisintazioni colonnare in memoria rende letture analitiche veloci. Una piattaforma matura gestisce i dui, indirizzendu e dati attraversu a rapprisintazioni ghjusta à u mumentu propiu - esattamente u tipu d'infrastruttura invisibile chì face a diferenza trà una piattaforma chì scala è una chì ùn hè micca.

Chì si vede u prossimu decenniu per Apache Arrow?

A trajectoria di Arrow punta à un incrustazione più profonda è una standardizazione più larga. Siccomu i carichi di travagliu di l'intelligenza artificiale è di l'apprendimentu automaticu diventanu cintrali per l'operazioni cummerciale, u formatu columnare di Arrow si allinea naturalmente cù e rapprisentazione di tensori utilizati in i quadri ML. I prughjetti sò digià esploratu Arrow cum'è un ponte trà i dati di l'affari tabulari è i pipeline ML tensor-native, riducendu a soprappiù di trasfurmazioni chì rallenta attualmente i pipelines di funzioni AI.

L'iniziativa ADBC suggerisce un futuru induve u codice di l'applicazione interroga qualsiasi basa di dati è riceve risultati in un formatu universale di cunsumu, senza capricci specifichi di driver o tasse di serializazione. Per e plataforme SaaS chì gestiscenu diverse fonti di dati à traversu millaie di clienti, stu tipu di standardizazione in u livellu di cunnessione hè fundamentu cum'è HTTP era per i servizii web.

Domande Frequenti

Apache Arrow hè una basa di dati o un furmatu di schedariu ?

Apache Arrow ùn hè nè una basa di dati nè un furmatu di fugliale simplice - hè una specificazione per una rapprisintazioni di dati in colonna in memoria, cù una famiglia di protokolli è arnesi cunnessi. Pensate à questu cum'è una lingua cumuna chì e diverse basa di dati, i motori di ricerca è i linguaggi di prugrammazione ponu tutti parlà nativamente, eliminendu l'overhead di traduzzione chì normalmente si trova quandu i dati attraversanu i limiti di u sistema.

Apache Arrow rimpiazza Parquet ?

No - Arrow è Parquet risolve diversi prublemi è travaglianu megliu inseme. Parquet hè ottimizatu per un almacenamentu cumpressu è efficiente nantu à u discu è hè u formatu di fugliale di colonna dominante per i laghi di dati. Arrow hè ottimizatu per u calculu in memoria è a spartera di dati di u sistema senza copia. Sistemi di dati muderni tipicamente magazzini dati cum'è Parquet è carica lu in furmatu Arrow per trasfurmazioni attivu.

Cumu Apache Arrow hè pertinente à e plataforme di software cummerciale?

Per e piattaforme di cummerciale integrate, i principii architettonici di Arrow - rapprisintazioni di dati interni standardizati, spartera senza copia trà cumpunenti, è accessu analiticu efficiente - influenzanu direttamente quantu un sistema multi-modulu pò scala senza accumulà u debitu di integrazione. I plataformi chì interiorizanu questi principii ponu aghjunghje funziunalità senza aghjunghje cumplessità proporzionalmente.

In Mewayz, avemu custruitu un sistema operatore cummerciale di 207 moduli utilizatu da più di 138 000 imprese in u mondu sanu, integrendu tuttu da CRM è email marketing à e-commerce è analisi in una piattaforma coerente. Cum'è l'approcciu di Arrow à l'infrastruttura di dati, credemu chì un grande software cummerciale deve esse invisibili in a so cumplessità è evidenti in u so valore. I piani cumincianu da solu $ 19 / mese.

Inizia a vostra prova gratuita in app.mewayz.com è sperimentate ciò chì si sente un SO cummerciale veramente integratu - custruitu annantu à a stessa filosofia chì hà fattu Apache Arrow indispensabile: fate u travagliu duru à u livellu di l'infrastruttura per chì i custruttori ponu fucalizza nantu à ciò chì importa.