Trei straturi de cache între Select și disc

Când aplicația dvs. declanșează o instrucțiune SELECT, acea interogare aproape că nu atinge niciodată un disc care se rotește sau chiar un spațiu de stocare flash brut - trece prin trei straturi distincte de cache care determină în tăcere dacă răspunsul dvs. ajunge în microsecunde sau milisecunde. Înțelegerea acestor straturi este diferența dintre o platformă de afaceri care se extinde fără efort și una care se cade sub sarcina reală.

Ce se întâmplă în momentul în care o interogare SELECT părăsește aplicația dvs.?

În momentul în care aplicația dvs. trimite o interogare SELECT, aceasta intră într-o conductă pe care majoritatea dezvoltatorilor nu o inspectează niciodată. Motorul bazei de date interceptează cererea înainte ca orice I/O să apară, analizând SQL-ul într-un plan de execuție intern și consultând imediat prima linie de apărare: cache-ul rezultat al interogării. Dacă a fost executată recent o interogare identică cu parametri identici, motorul poate returna un set de rezultate stocat în cache fără a atinge o singură pagină de date. Aceasta este uneori numită cache de interogări sau cache de rezultate, iar în cazul sarcinilor de lucru cu citire ridicată și scriere redusă - cum ar fi tablourile de bord de analiză și modulele de raportare - poate elimina în totalitate marea majoritate a citirilor de pe disc.

Perspectiva critică aici este că memoria cache a interogărilor este foarte sensibilă la mutațiile datelor. Orice INSERT, UPDATE sau DELETE din tabelul de bază invalidează rezultatele relevante din cache. Acesta este motivul pentru care sistemele tranzacționale grele de scriere dezactivează adesea complet memoria cache de interogări și se bazează în schimb pe straturile mai profunde.

Ce este grupul tampon și de ce contează mai mult decât credeți?

Al doilea strat de cache – și probabil cel mai important în sistemele de producție – este buffer pool (numit tampon partajat în PostgreSQL, pool-ul de buffer InnoDB în MySQL). Aceasta este o regiune de RAM pe care motorul bazei de date o folosește pentru a păstra paginile de date accesate recent. Când o interogare nu poate fi difuzată din memoria cache a rezultatelor, motorul verifică dacă paginile de date necesare sunt deja rezidente în pool-ul de buffer înainte de a emite orice citire de disc.

Baferul de memorie tampon funcționează pe principiul localității temporale și spațiale: este posibil ca datele accesate recent să fie accesate din nou, iar datele stocate în apropierea datelor accesate este probabil să fie accesate în curând. Administratorii bazelor de date ajustează dimensiunea pool-ului de buffer ca fiind una dintre deciziile de configurare cu cel mai mare efect de pârghie pe care le iau. Un grup de buffer prea mic provoacă evacuarea constantă a paginii, producând un fenomen numit thrashing, în care sistemul petrece mai mult timp gestionând erorile de cache decât executând interogări.

Perspectivă cheie: în majoritatea sarcinilor de lucru OLTP, un pool de buffer-uri bine dimensionat înseamnă că 95–99% din toate citirile de date sunt difuzate din RAM. Setul de lucru - subsetul de date pe care interogările îl ating frecvent - este adesea mult mai mic decât dimensiunea totală a bazei de date. Dimensionarea pool-ului de buffer pentru a se potrivi setului dvs. de lucru, nu întregului set de date, este singura acțiune de reglare cu cea mai mare randament pe care o puteți efectua.

Cum umple cache-ul sistemului de operare golul dintre RAM și disc?

Chiar și atunci când propriul pool de buffer-uri a bazei de date lipsește, o interogare nu este încă destinată unei citiri adevărate de disc. Sistemul de operare menține o cache a paginii (numită și cache a sistemului de fișiere), o regiune a memoriei RAM gestionată de kernel care pune în tampon citirile și scrierea pentru blocarea dispozitivelor. Când motorul bazei de date solicită o pagină care este absentă din pool-ul său de buffer, nucleul sistemului de operare își verifică propriul cache de pagină înainte de a lansa o comandă fizică I/O către controlerul de stocare.

Acest al treilea strat este în mare parte invizibil pentru dezvoltatorii de aplicații, dar profund important pe sistemele în care pool-ul de buffer-uri de bază de date este insuficient furnizat. Cache-ul paginii OS este partajat în toate procesele, astfel încât concurează cu serverul dvs. de aplicații, serverul web și orice alt software care rulează pe aceeași gazdă. Pe serverele de baze de date dedicate, această competiție este minimă, iar memoria cache a sistemului de operare oferă un buffer semnificativ pentru a doua șansă. Pe gazdele partajate sau containerele cu limite strânse de memorie, memoria cache a sistemului de operare este adesea prea mică pentru a fi de ajutor.

Ce strat de cache este responsabil pentru cele mai multe câștiguri de performanță în practică?

În sistemele de producție din lumea reală, grupul de tampon domină rezultatele de performanță cu o marjă largă. Iată de ce fiecare strat contribuie diferit în diferite cazuri de utilizare:

• Memoria cache a rezultatelor interogării: cel mai mare beneficiu pentru seturile de date cu citire grea, în mare parte statice — interogări de raportare, tablouri de bord stocate în cache, puncte finale de conținut public. Inutil pe mese grele de scris.
• Bafer de memorie tampon al bazei de date: calul de lucru universal. Fiecare server de baze de date de producție ar trebui reglat aici mai întâi. Gestionează eficient atât modelele de acces aleatoriu, cât și secvenţial.
• Cache-ul paginii sistemului de operare: oferă o plasă de siguranță atunci când pool-ul de buffer este subdimensionat. De asemenea, ajută în mod semnificativ în timpul scanărilor secvențiale ale tabelelor mari, care altfel ar elimina paginile fierbinți din pool-ul de buffer.
• Cache-ul controlerului de stocare (stratul hardware): un al patrulea strat, adesea trecut cu vederea — SSD-urile NVMe și controlerele RAID mențin cache-urile de scriere la bord cu backup de baterie sau condensator. Acest lucru protejează durabilitatea fără a sacrifica viteza de scriere în detrimentul latenței fsync.
• Cache la nivel de aplicație (Redis, Memcached): se află deasupra bazei de date în întregime, memorând în cache rezultatele interogărilor seriate sau obiectele calculate pentru a evita deloc atingerea bazei de date - ideal pentru platformele SaaS cu mai mulți locatari care deservesc mii de utilizatori concurenți.

Cum pot platformele de afaceri moderne să folosească arhitectura cache pentru fiabilitate la scară?

Pentru companiile care operează pe mai multe module funcționale — CRM, management de proiect, comerț electronic, analiză — arhitectura cache determină direct capacitatea de răspuns a platformei pe măsură ce echipele se dezvoltă. Platformele construite pe o strategie de cache bine stratificată pot deservi zeci de mii de utilizatori concurenți fără costuri proporționale ale infrastructurii. Cheia constă în proiectarea modelelor de acces la date care respectă limitele memoriei cache: păstrarea datelor fierbinți mici și a modelelor de acces previzibile, utilizarea replicilor citite pentru a distribui încărcarea pool-ului de buffer și poziționarea unui cache la nivel de aplicație, cum ar fi Redis, în fața bazei de date pentru punctele finale care servesc date identice pentru mai mulți utilizatori simultan.

Mewayz este proiectat cu exact această filozofie în minte. Cu 207 module de afaceri integrate care alimentează peste 138.000 de utilizatori, stratul de date al platformei este proiectat astfel încât majoritatea covârșitoare a citirilor să fie furnizate din cache - păstrând timpii de răspuns rapid și costurile de infrastructură previzibile, indiferent dacă utilizați planul de pornire de 19 USD/lună sau nivelul profesional de 49 USD/lună.

Întrebări frecvente

Dezactivarea cache-ului de interogări îmbunătățește întotdeauna performanța bazei de date?

Nu întotdeauna, dar în cazul sarcinilor de lucru grele de scriere se întâmplă de obicei. Cache-ul de interogări necesită un mutex global pentru a menține consistența, care devine un blocaj în condiții de concurență ridicată. MySQL 8.0 a eliminat în întregime memoria cache a interogărilor din acest motiv. PostgreSQL nu a implementat niciodată un cache de interogări încorporat, bazându-se în schimb pe pool-ul de buffer și pe stocarea în cache a nivelului de aplicație. Dacă raportul dvs. de citire-scriere este mare și interogările sunt foarte repetitive, un cache de interogări poate oferi câștiguri reale - în caz contrar, investiți acel efort de reglare în pool-ul de buffer.

Cum știu dacă pool-ul meu tampon este dimensionat corect?

Monitorizați rata de accesare a pool-ului de buffer: procentul de solicitări de pagină servite din grup față de cele care necesită citire pe disc. Un raport de accesare sub 95% pe o sarcină de lucru OLTP este un semnal de creștere a dimensiunii pool-ului. În MySQL, interogați SHOW ENGINE INNODB STATUS și uitați-vă la rata de atingere a pool-ului de buffer. În PostgreSQL, vizualizarea pg_statio_user_tables expune blocurile heap citite de pe disc versus servite din pool-ul de buffer. Urmărește-ți să păstrezi întregul tău set de lucru, nu întregul setul de date, rezident în RAM.

Care este relația dintre straturile de cache și fiabilitatea SaaS cu mai mulți locatari?

În SaaS multi-locatari, straturile de cache previn problemele „vecinului zgomotos” în care sarcina mare de interogări a unui locatar degradează performanța pentru toți ceilalți chiriași. Memorarea în cache a aplicațiilor în funcție de locatar cu invalidare bazată pe TTL păstrează datele fierbinți pentru fiecare locatar în Redis, reducând drastic presiunea pool-ului de buffer de la conturile mari. Gruparea de conexiuni la nivel de bază de date combinată cu un pool de buffer cald asigură că activitatea de explozie din orice cont unic nu șterge paginile partajate din cache și nu provoacă creșteri ale latenței pe platformă.

Straturile de cache nu sunt trivialități ale bazelor de date – ele reprezintă fundamentul arhitectural care separă platformele care rămân rapid la scară de cele care necesită infrastructură constantă de stingere a incendiilor. Dacă construiți sau conduceți o afacere care are nevoie de o platformă deja optimizată pentru aceste realități, explorați Mewayz la app.mewayz.com — 207 de module, o singură platformă coerentă, construită pentru a funcționa fiabil de la primul utilizator până la suta de mii.