Trys talpyklos sluoksniai tarp pasirinkimo ir disko

Kai jūsų programa suaktyvina teiginį SELECT, ši užklausa beveik niekada nepaliečia besisukančio disko ar net neapdorotos „flash“ saugyklos – ji praeina per tris skirtingus talpyklos sluoksnius, kurie tyliai nustato, ar jūsų atsakymas gaunamas per mikrosekundes, ar milisekundes. Šių sluoksnių supratimas yra skirtumas tarp verslo platformos, kuri lengvai keičiasi, ir platformos, kuri užsifiksuoja esant realiam apkrovimui.

Kas nutinka tą akimirką, kai jūsų programa paliekama SELECT užklausa?

Kai jūsų programa siunčia SELECT užklausą, ji patenka į konvejerį, kurio dauguma kūrėjų niekada netikrina. Duomenų bazės variklis perima užklausą prieš įvykstant įvesties / išvesties sistemai, analizuodamas SQL į vidinį vykdymo planą ir nedelsdamas peržiūrėdamas savo pirmąją gynybos liniją: užklausos rezultatų talpyklą. Jei neseniai buvo atlikta identiška užklausa su identiškais parametrais, variklis gali grąžinti talpykloje saugomą rezultatų rinkinį nepaliesdamas nė vieno duomenų puslapio. Tai kartais vadinama užklausos talpykla arba rezultatų talpykla, o didelio skaitymo ir mažai rašymo darbo krūviuose, pvz., analizės informacijos suvestinėse ir ataskaitų teikimo moduliuose, ji gali visiškai pašalinti didžiąją disko nuskaitymo dalį.

Svarbiausia įžvalga yra ta, kad užklausos talpykla yra labai jautri duomenų mutacijoms. Bet koks INSERT, ATNAUJINTI arba DELETE pagrindinėje lentelėje padaro negaliojančius atitinkamus talpykloje saugomus rezultatus. Štai kodėl daug rašymo reikalaujančios operacijų sistemos dažnai visiškai išjungia užklausos talpyklą ir pasikliauja gilesniais sluoksniais.

Kas yra buferinis baseinas ir kodėl jis svarbesnis, nei manote?

Antrasis talpyklos sluoksnis – ir, ko gero, pats svarbiausias gamybinėse sistemose – yra buferis (vadinamas bendrinamu buferiu PostgreSQL, InnoDB buferio telkiniu MySQL). Tai yra RAM sritis, kurią duomenų bazės variklis naudoja neseniai pasiektiems duomenų puslapiams laikyti. Kai užklausos negalima pateikti iš rezultatų talpyklos, variklis patikrina, ar reikiami duomenų puslapiai jau yra buferio telkinyje, prieš pradėdamas bet kokį disko skaitymą.

Buferinis telkinys veikia laikinio ir erdvinio lokalumo principu: tikėtina, kad neseniai pasiekti duomenys bus vėl pasiekti, o duomenys, saugomi šalia pasiekiamų duomenų, greičiausiai bus greitai pasiekti. Duomenų bazių administratoriai nustato buferio telkinio dydį kaip vieną didžiausių konfigūravimo sprendimų, kuriuos jie priima. Per mažas buferio telkinys sukelia nuolatinį puslapio išstūmimą ir sukelia reiškinį, vadinamą thrashing, kai sistema praleidžia daugiau laiko tvarkydama talpyklos praleidimus, nei vykdydama užklausas.

Pagrindinė įžvalga: daugumoje OLTP darbo krūvių gero dydžio buferio telkinys reiškia, kad 95–99 % visų nuskaitytų duomenų yra aptarnaujama iš RAM. Darbinis rinkinys – jūsų duomenų poaibis, kurį užklausos dažnai liečia – dažnai yra daug mažesnis nei bendras duomenų bazės dydis. Buferio telkinio dydžio nustatymas, kad jis atitiktų jūsų darbo rinkinį, o ne visą duomenų rinkinį, yra vienintelis didžiausią grąžą duodantis derinimo veiksmas, kurį galite atlikti.

Kaip operacinės sistemos talpykla užpildo tarpą tarp RAM ir disko?

Net tada, kai trūksta pačios duomenų bazės buferio telkinio, užklausa dar nėra skirta tikram disko nuskaitymui. Operacinė sistema palaiko puslapio talpyklą (taip pat vadinamą failų sistemos talpykla), branduolio valdomos RAM, kuri saugo skaitymo ir rašymo buferį, kad blokuotų įrenginių. Kai duomenų bazės modulis prašo puslapio, kurio nėra jo buferio telkinyje, OS branduolys patikrina savo puslapio talpyklą prieš duodamas fizinę įvesties / išvesties komandą saugyklos valdikliui.

Šis trečiasis sluoksnis yra beveik nematomas programų kūrėjams, tačiau yra labai svarbus sistemose, kuriose duomenų bazės buferio telkinys yra nepakankamai aprūpintas. OS puslapio talpykla yra bendrinama visuose procesuose, todėl ji konkuruoja su jūsų programų serveriu, žiniatinklio serveriu ir bet kokia kita programine įranga, veikiančia tame pačiame pagrindiniame kompiuteryje. Specialiuose duomenų bazių serveriuose ši konkurencija yra minimali, o OS talpykla suteikia prasmingą antrosios galimybės buferį. Bendrinamuose pagrindiniuose kompiuteriuose arba sudėtiniuose rodiniuose su siaurais atminties apribojimais OS talpykla dažnai yra per maža, kad padėtų.

Kuris talpyklos sluoksnis yra atsakingas už didžiausią našumo laimėjimą praktiškai?

Realiose gamybos sistemose buferio telkinys dominuoja našumo rezultatuose. Štai kodėl kiekvienas sluoksnis skirtingai veikia įvairiais naudojimo atvejais:

• Užklausos rezultatų talpykla: didžiausias privalumas, kai naudojami sunkiai skaitomi, dažniausiai statiniai duomenų rinkiniai – ataskaitų teikimo užklausos, talpyklos informacijos suvestinės, viešojo turinio galutiniai taškai. Nenaudinga ant lentelių, kuriose daug rašoma.
• Duomenų bazės buferis: universalus darbinis arkliukas. Čia pirmiausia reikia suderinti kiekvieną gamybos duomenų bazės serverį. Efektyviai tvarko ir atsitiktinės, ir nuoseklios prieigos šablonus.
• OS puslapio talpykla: suteikia saugos tinklą, kai buferio telkinys yra per mažas. Taip pat labai padeda nuosekliai nuskaitant dideles lenteles, kurios kitu atveju iškeltų karštus puslapius iš buferio telkinio.
• Saugyklos valdiklio talpykla (aparatinės įrangos sluoksnis): ketvirtas, dažnai nepastebimas sluoksnis – NVMe SSD ir RAID valdikliai palaiko įmontuotą rašymo talpyklą su akumuliatoriaus arba kondensatoriaus atsargine kopija. Tai apsaugo patvarumą neprarandant rašymo pralaidumo fsync delsos sąskaita.
• Programų lygmens talpykla („Redis“, „Memcached“): yra visiškai virš duomenų bazės, talpykloje saugo nuosekliuosius užklausų rezultatus arba apskaičiuotus objektus, kad iš viso nepatektų į duomenų bazę – idealiai tinka kelių nuomininkų SaaS platformoms, aptarnaujančioms tūkstančius vienu metu dirbančių vartotojų.

Kaip šiuolaikinės verslo platformos gali panaudoti talpyklos architektūrą, kad būtų užtikrintas patikimumas?

Įmonėms, kurios naudojasi daugybe funkcinių modulių – CRM, projektų valdymo, el. prekybos, analizės – talpyklos architektūra tiesiogiai lemia platformos reagavimą, kai auga komandos. Platformos, sukurtos remiantis gerai išdėstyta talpyklos strategija, gali aptarnauti dešimtis tūkstančių vienu metu dirbančių vartotojų be proporcingų infrastruktūros išlaidų. Svarbiausia yra sukurti duomenų prieigos šablonus, laikančius talpyklos ribas: išlaikyti mažus karštus duomenis ir nuspėti prieigos modelius, naudoti skaitymo kopijas buferio telkinio apkrovai paskirstyti ir pritaikyti programos lygmens talpyklą, pvz., Redis, prieš duomenų bazę, kad galiniai taškai teiktų identiškus duomenis keliems vartotojams vienu metu.

Mewayz sukurtas vadovaujantis būtent šia filosofija. Su 207 integruotais verslo moduliais, kuriuose dirba daugiau nei 138 000 vartotojų, platformos duomenų sluoksnis sukurtas taip, kad didžioji dalis nuskaitymų būtų aptarnaujama iš talpyklos – greitas atsako laikas ir nuspėjamos infrastruktūros sąnaudos, nesvarbu, ar naudojate 19 USD per mėnesį pradinį planą, ar 49 USD per mėnesį profesionalų lygį.

Dažniausiai užduodami klausimai

Ar užklausų talpyklos išjungimas visada pagerina duomenų bazės našumą?

Ne visada, bet dažniausiai tai daroma esant dideliam darbo krūviui. Užklausos talpykla reikalauja visuotinio mutex, kad būtų išlaikytas nuoseklumas, o tai tampa kliūtimi esant dideliam lygiagretumui. Dėl šios priežasties „MySQL 8.0“ visiškai pašalino užklausos talpyklą. „PostgreSQL“ niekada neįdiegė integruotos užklausų talpyklos, o pasikliaudavo buferio telkiniu ir programos sluoksnio talpyklomis. Jei skaitymo ir rašymo santykis yra didelis, o užklausos labai pasikartoja, užklausų talpykla gali duoti realią naudą – kitu atveju derinimo pastangas investuokite į buferio telkinį.

Kaip sužinoti, ar mano buferio baseinas yra tinkamo dydžio?

Stebėkite buferio telkinio įvykių santykį: puslapių užklausų, pateiktų iš telkinio, procentą, palyginti su užklausomis, kurias reikia nuskaityti diske. Jei OLTP darbo krūvis mažesnis nei 95 %, tai yra signalas padidinti telkinio dydį. „MySQL“ pateikite užklausą SHOW ENGINE INNODB STATUS ir pažiūrėkite į buferio telkinio pataikymo rodiklį. „PostgreSQL“ rodinyje pg_statio_user_tables rodomi krūvos blokai, nuskaitomi iš disko, o ne teikiami iš buferio telkinio. Siekite, kad visas darbo rinkinys, o ne visas duomenų rinkinys, būtų RAM atmintyje.

Koks ryšys tarp talpyklos sluoksnių ir kelių nuomininkų SaaS patikimumo?

Kelių nuomininkų „SaaS“ talpyklos sluoksniai užkerta kelią „triukšmingų kaimynų“ problemoms, kai vieno nuomininko didelė užklausų apkrova pablogina visų kitų nuomininkų našumą. Nuomininkui žinomas programų kaupimas talpykloje su TTL pagrįstu negaliojančiu išsaugo kiekvieno nuomininko karštus duomenis Redis, drastiškai sumažindamas didelių paskyrų buferio telkinį. Duomenų bazės lygio ryšio telkimas kartu su šiltu buferio telkiniu užtikrina, kad bet kurios atskiros paskyros serijos veikla neištrintų bendrinamų puslapių iš talpyklos ir nesukeltų delsos šuolių visoje platformoje.

Talpyklos sluoksniai nėra duomenų bazės smulkmenos – jie yra architektūrinis pamatas, skiriantis platformas, kurios greitai išlieka dideliais kiekiais, nuo tų, kurioms reikia nuolatinio infrastruktūros gaisro gesinimo. Jei kuriate arba valdote verslą, kuriam reikia platformos, jau optimizuotos šiai realybei, naršykite Mewayz adresu app.mewayz.com – 207 modulius, vieną nuoseklią platformą, sukurtą taip, kad veiktų patikimai nuo pirmojo vartotojo iki šimtatūkstantinio.