Tri vrstvy vyrovnávacej pamäte medzi výberom a diskom

Keď vaša aplikácia spustí príkaz SELECT, tento dopyt sa takmer nikdy nedotkne rotujúceho disku alebo dokonca nespracovaného flash úložiska – prechádza cez tri rôzne vrstvy vyrovnávacej pamäte, ktoré ticho určujú, či vaša odpoveď príde v mikrosekundách alebo milisekundách. Pochopenie týchto vrstiev je rozdiel medzi obchodnou platformou, ktorá sa bez námahy škáluje, a platformou, ktorá sa láme pri skutočnej záťaži.

Čo sa stane v okamihu, keď SELECT dotaz opustí vašu aplikáciu?

Vo chvíli, keď vaša aplikácia odošle dopyt SELECT, vstúpi do procesu, ktorý väčšina vývojárov nikdy nekontroluje. Databázový stroj zachytí požiadavku skôr, ako dôjde k akémukoľvek I/O, analyzuje SQL do interného plánu vykonávania a okamžite konzultuje svoju prvú líniu obrany: vyrovnávaciu pamäť výsledkov dotazu. Ak bol nedávno vykonaný identický dotaz s rovnakými parametrami, nástroj môže vrátiť množinu výsledkov uloženú vo vyrovnávacej pamäti bez toho, aby sa dotkol jedinej stránky s údajmi. Niekedy sa to nazýva vyrovnávacia pamäť dopytov alebo vyrovnávacia pamäť výsledkov a pri pracovných zaťaženiach s vysokým čítaním a nízkym zápisom – ako sú analytické panely a moduly prehľadov – môže úplne eliminovať veľkú väčšinu čítaní disku.

Kritickým poznatkom je, že vyrovnávacia pamäť dopytov je veľmi citlivá na zmeny údajov. Akékoľvek INSERT, UPDATE alebo DELETE proti základnej tabuľke znehodnotia relevantné výsledky uložené vo vyrovnávacej pamäti. To je dôvod, prečo transakčné systémy náročné na zápis často úplne deaktivujú vyrovnávaciu pamäť dotazov a namiesto toho sa spoliehajú na hlbšie vrstvy.

Čo je fond vyrovnávacej pamäte a prečo na ňom záleží viac, ako si myslíte?

Druhou vrstvou vyrovnávacej pamäte – a pravdepodobne najdôležitejšou v produkčných systémoch – je oblasť vyrovnávacej pamäte (nazývaná zdieľaná vyrovnávacia pamäť v PostgreSQL, oblasť vyrovnávacej pamäte InnoDB v MySQL). Toto je oblasť pamäte RAM, ktorú databázový nástroj používa na uchovávanie nedávno prístupných dátových stránok. Keď nie je možné poskytnúť dotaz z vyrovnávacej pamäte výsledkov, pred spustením akéhokoľvek čítania z disku modul skontroluje, či sa požadované dátové stránky už nachádzajú v oblasti vyrovnávacej pamäte.

Pool vyrovnávacej pamäte funguje na princípe časovej a priestorovej lokality: údaje, ku ktorým sa nedávno pristupovalo, budú pravdepodobne znovu prístupné a údaje uložené v blízkosti prístupných údajov budú pravdepodobne čoskoro prístupné. Správcovia databáz vylaďujú veľkosť vyrovnávacej pamäte ako jedno z najvyšších konfiguračných rozhodnutí, ktoré robia. Príliš malá oblasť vyrovnávacej pamäte spôsobuje neustále odstraňovanie stránok, čo vedie k javu nazývanému thrashing, pri ktorom systém trávi viac času správou chýbajúcich vyrovnávacích pamätí než vykonávaním dopytov.

Kľúčový prehľad: Pri väčšine pracovných zaťažení OLTP znamená, že dobre veľká oblasť vyrovnávacej pamäte znamená, že 95 – 99 % všetkých čítaní údajov sa obsluhuje z pamäte RAM. Pracovná množina – podmnožina vašich údajov, ktorých sa dotazy skutočne často dotýkajú – je často oveľa menšia ako celková veľkosť databázy. Dimenzovanie oblasti vyrovnávacej pamäte tak, aby vyhovovalo vašej pracovnej množine, nie celej množine údajov, je jedinou akciou ladenia s najvyššou návratnosťou, ktorú môžete vykonať.

Ako vyrovnávacia pamäť operačného systému vypĺňa medzeru medzi RAM a diskom?

Aj keď sa vynechá oblasť vyrovnávacej pamäte databázy, dotaz ešte nie je určený na skutočné čítanie z disku. Operačný systém udržiava vyrovnávaciu pamäť stránok (nazývanú aj vyrovnávacia pamäť súborového systému), oblasť pamäte RAM spravovanej jadrom, ktorá ukladá čítania a zápisy do vyrovnávacej pamäte blokovaným zariadeniam. Keď databázový stroj požaduje stránku, ktorá chýba v jeho oblasti vyrovnávacej pamäte, jadro operačného systému skontroluje svoju vlastnú vyrovnávaciu pamäť stránok pred vydaním fyzického I/O príkazu radiču úložiska.

Táto tretia vrstva je do značnej miery neviditeľná pre vývojárov aplikácií, ale je veľmi dôležitá v systémoch, kde je nedostatočne poskytovaná oblasť vyrovnávacej pamäte databázy. Vyrovnávacia pamäť stránky OS je zdieľaná vo všetkých procesoch, takže konkuruje vášmu aplikačnému serveru, webovému serveru a akýmkoľvek iným softvérom spusteným na rovnakom hostiteľovi. Na vyhradených databázových serveroch je táto konkurencia minimálna a vyrovnávacia pamäť OS poskytuje zmysluplnú vyrovnávaciu pamäť druhej šance. Na zdieľaných hostiteľoch alebo kontajneroch s obmedzenými pamäťovými limitmi je vyrovnávacia pamäť OS často príliš malá na to, aby pomohla.

Ktorá vrstva vyrovnávacej pamäte je v praxi zodpovedná za najvyšší výkon?

V reálnych produkčných systémoch dominuje oblasť vyrovnávacej pamäte nad výsledkami výkonu s veľkým náskokom. Tu je dôvod, prečo každá vrstva prispieva rôznym prípadom použitia:

• Vyrovnávacia pamäť výsledkov dotazu: Najvyššia výhoda pri čítaní náročných, väčšinou statických množín údajov – dotazov na vytváranie prehľadov, informačných panelov uložených vo vyrovnávacej pamäti, koncových bodov verejného obsahu. Neužitočné na tabuľkách náročných na zápis.
• Oblasť vyrovnávacej pamäte databázy: Univerzálny pracant. Každý produkčný databázový server by mal byť najprv vyladený tu. Efektívne zvláda náhodné aj sekvenčné prístupy.
• Vyrovnávacia pamäť stránky OS: Poskytuje bezpečnostnú sieť, keď je oblasť vyrovnávacej pamäte poddimenzovaná. Výrazne pomáha aj pri sekvenčných skenovaniach veľkých tabuliek, ktoré by inak vytlačili horúce stránky z vyrovnávacej pamäte.
• Cache radiča úložného priestoru (hardvérová vrstva): Štvrtá, často prehliadaná vrstva – NVMe SSD a radiče RAID udržiavajú vstavané vyrovnávacie pamäte pre zápis so zálohou batérie alebo kondenzátora. To chráni odolnosť bez obetovania priepustnosti zápisu na úkor latencie fsync.
• Vyrovnávacia pamäť na aplikačnej vrstve (Redis, Memcached): Nachádza sa úplne nad databázou a ukladá do vyrovnávacej pamäte serializované výsledky dotazov alebo vypočítané objekty, aby sa zabránilo zasiahnutiu databázy – ideálne pre platformy SaaS s viacerými nájomníkmi, ktoré slúžia tisíckam súbežných používateľov.

Ako môžu moderné obchodné platformy využiť architektúru vyrovnávacej pamäte pre spoľahlivosť vo veľkom rozsahu?

V prípade firiem, ktoré pracujú s mnohými funkčnými modulmi – CRM, projektový manažment, elektronický obchod, analytika – architektúra vyrovnávacej pamäte priamo určuje odozvu platformy s rastom tímov. Platformy postavené na dobre vrstvenej stratégii vyrovnávacej pamäte môžu slúžiť desiatkam tisíc súbežných používateľov bez proporcionálnych nákladov na infraštruktúru. Kľúčom je navrhovanie vzorov prístupu k údajom, ktoré rešpektujú hranice vyrovnávacej pamäte: udržiavanie malých údajov a predvídateľnosť vzorov prístupu, používanie čítacích replík na distribúciu zaťaženia vyrovnávacej pamäte a umiestnenie vyrovnávacej pamäte na aplikačnej vrstve, ako je Redis, pred databázu pre koncové body, ktoré poskytujú rovnaké údaje viacerým používateľom súčasne.

Mewayz je navrhnutý presne s touto filozofiou. S 207 integrovanými podnikovými modulmi, ktoré poháňajú viac ako 138 000 používateľov, je dátová vrstva platformy navrhnutá tak, aby sa prevažná väčšina čítaní vykonávala z vyrovnávacej pamäte – čím sa udržiava rýchly čas odozvy a predvídateľné náklady na infraštruktúru, či už používate štartovací plán 19 USD/mesiac alebo profesionálnu úroveň 49 USD/mesiac.

Často kladené otázky

Zlepší zakázanie vyrovnávacej pamäte dotazov vždy výkon databázy?

Nie vždy, ale pri záťaži s veľkým množstvom zápisu sa to zvyčajne deje. Vyrovnávacia pamäť dotazov vyžaduje globálny mutex na udržanie konzistencie, čo sa pri vysokej súbežnosti stáva prekážkou. MySQL 8.0 z tohto dôvodu úplne odstránil vyrovnávaciu pamäť dotazov. PostgreSQL nikdy neimplementoval vstavanú vyrovnávaciu pamäť dotazov, namiesto toho sa spolieha na oblasť vyrovnávacej pamäte a vyrovnávaciu pamäť na aplikačnej vrstve. Ak je váš pomer čítania a zápisu vysoký a vaše dotazy sa veľmi opakujú, vyrovnávacia pamäť dotazov môže priniesť skutočné zisky – v opačnom prípade investujte toto ladiace úsilie do oblasti vyrovnávacej pamäte.

Ako zistím, či má oblasť vyrovnávacej pamäte správnu veľkosť?

Monitorujte pomer prístupov k oblasti vyrovnávacej pamäte: percento žiadostí o stránky obsluhovaných z oblasti v porovnaní s požiadavkami na čítanie z disku. Pomer prístupov pod 95 % pri pracovnom zaťažení OLTP je signálom na zvýšenie veľkosti fondu. V MySQL zadajte dotaz ZOBRAZIŤ STAV ENGINE INNODB STATUS a pozrite sa na mieru zásahov do vyrovnávacej pamäte. V PostgreSQL pohľad pg_statio_user_tables odhaľuje bloky haldy načítané z disku v porovnaní s obsluhovanými z oblasti vyrovnávacej pamäte. Zamerajte sa na to, aby sa celá vaša pracovná súprava – nie celá súprava údajov – nachádzala v pamäti RAM.

Aký je vzťah medzi vrstvami vyrovnávacej pamäte a spoľahlivosťou SaaS pre viacerých nájomníkov?

V systéme SaaS pre viacerých nájomníkov vrstvy vyrovnávacej pamäte zabraňujú problémom s „hlučným susedom“, keď veľké zaťaženie dopytom jedného nájomníka znižuje výkon pre všetkých ostatných nájomníkov. Ukladanie aplikácií do vyrovnávacej pamäte so zreteľom na nájomníkov so zneplatňovaním založeným na TTL uchováva horúce údaje jednotlivých nájomníkov v Redis, čím sa drasticky znižuje tlak na vyrovnávaciu pamäť z veľkých účtov. Zdieľanie pripojení na úrovni databázy v kombinácii s teplou oblasťou vyrovnávacej pamäte zaisťuje, že nárazová aktivita z akéhokoľvek jedného účtu nevyprázdni zdieľané stránky z vyrovnávacej pamäte a nespôsobí skoky latencie na celej platforme.

Vrstvy vyrovnávacej pamäte nie sú databázovými drobnosťami – sú architektonickým základom, ktorý oddeľuje platformy, ktoré zostávajú rýchle v rozsahu, od tých, ktoré vyžadujú neustále hasenie infraštruktúry. Ak budujete alebo prevádzkujete firmu, ktorá potrebuje platformu, ktorá je už optimalizovaná pre tieto skutočnosti, preskúmajte Mewayz na app.mewayz.com — 207 modulov, jedna koherentná platforma, postavená tak, aby spoľahlivo fungovala od vášho prvého používateľa až po vašu stotisícinu.