Три кеш слоя между Select и Disk

Когато вашето приложение задейства оператор SELECT, тази заявка почти никога не докосва въртящ се диск или дори необработена флаш памет — тя преминава през три отделни кеш слоя, които безшумно определят дали отговорът ви пристига след микросекунди или милисекунди. Разбирането на тези слоеве е разликата между бизнес платформа, която се мащабира без усилие, и такава, която се огъва при натоварване в реалния свят.

Какво се случва в момента, в който SELECT заявка напусне вашето приложение?

В момента, в който вашето приложение изпрати заявка SELECT, то влиза в конвейер, който повечето разработчици никога не проверяват. Механизмът на базата данни прихваща заявката, преди да се случи какъвто и да е I/O, анализира SQL във вътрешен план за изпълнение и незабавно се консултира с първата си линия на защита: кеша на резултатите от заявката. Ако наскоро е била изпълнена идентична заявка с идентични параметри, машината може да върне кеширан набор от резултати, без да докосва нито една страница с данни. Това понякога се нарича кеш за заявки или кеш за резултати и при работни натоварвания с голямо четене и ниско записване – като табла за управление на анализи и модули за отчитане – може да елиминира изцяло по-голямата част от четенията на диска.

Критичното прозрение тук е, че кешът на заявките е силно чувствителен към мутации на данни. Всяко INSERT, UPDATE или DELETE срещу основната таблица обезсилва съответните кеширани резултати. Ето защо транзакционните системи, натоварени с много запис, често дезактивират изцяло кеша на заявките и вместо това разчитат на по-дълбоките слоеве.

Какво представлява буферният пул и защо е по-важен, отколкото си мислите?

Вторият кеш слой — и може би най-важният в производствените системи — е буферният пул (наричан споделен буфер в PostgreSQL, InnoDB буферен пул в MySQL). Това е област от RAM, която машината на базата данни използва, за да съхранява наскоро достъпни страници с данни. Когато заявка не може да бъде обслужена от кеша с резултати, машината проверява дали необходимите страници с данни вече са резидентни в буферния пул, преди да издаде каквото и да е четене на диск.

Буферният пул работи на принципа на времева и пространствена локалност: данните, достъпни наскоро, вероятно ще бъдат достъпни отново, а данните, съхранявани близо до достъпните данни, вероятно ще бъдат достъпни скоро. Администраторите на бази данни настройват размера на буферния пул като едно от най-ефективните конфигурационни решения, които вземат. Буферният пул, който е твърде малък, причинява постоянно изхвърляне на страници, създавайки феномен, наречен разбиване, при който системата прекарва повече време в управление на пропуски в кеша, отколкото в изпълнение на заявки.

Ключова информация: В повечето работни натоварвания на OLTP добре оразмерен буферен пул означава, че 95–99% от всички четения на данни се обслужват от RAM. Работният набор - подмножеството от вашите данни, които заявките всъщност докосват често - често е много по-малък от общия размер на базата данни. Оразмеряването на вашия буферен пул, за да пасне на вашия работен набор, а не на целия ви набор от данни, е единственото действие за настройка с най-висока възвръщаемост, което можете да предприемете.

Как кешът на операционната система запълва празнината между RAM и диск?

Дори когато собственият буферен пул на базата данни липсва, заявката все още не е предназначена за истинско четене на диска. Операционната система поддържа кеш на страниците (наричан още кеш на файловата система), област от управлявана от ядрото RAM, която буферира четене и запис към блокиращи устройства. Когато механизмът на базата данни поиска страница, която отсъства от нейния буферен пул, ядрото на ОС проверява собствения си кеш на страници, преди да издаде физическа I/O команда към контролера за съхранение.

Този трети слой е до голяма степен невидим за разработчиците на приложения, но е изключително важен за системи, където буферният пул на базата данни е недостатъчно осигурен. Кешът на страницата на OS се споделя между всички процеси, така че се конкурира с вашия сървър за приложения, уеб сървър и всеки друг софтуер, работещ на същия хост. На специализираните сървъри на бази данни тази конкуренция е минимална и кешът на операционната система осигурява значим буфер за втори шанс. На споделени хостове или контейнери с тесни ограничения на паметта кешът на операционната система често е твърде малък, за да помогне.

Кой кеш слой е отговорен за най-много подобрения в производителността на практика?

В производствените системи в реалния свят буферният пул доминира резултатите от производителността с голяма разлика. Ето защо всеки слой допринася по различен начин в различните случаи на употреба:

• Кеширане на резултати от заявки: Най-голяма полза при интензивни за четене, предимно статични набори от данни — заявки за отчитане, кеширани табла за управление, крайни точки на публично съдържание. Безполезен за таблици с голямо натоварване.
• Буферен пул на база данни: Универсалният работен кон. Всеки производствен сървър на база данни трябва първо да бъде настроен тук. Обработва ефективно както произволни, така и последователни модели на достъп.
• Кеш на страницата на ОС: Осигурява предпазна мрежа, когато буферният пул е недостатъчен. Също така помага значително по време на последователни сканирания на големи таблици, които иначе биха изхвърлили горещи страници от пула на буферите.
• Кеш на контролера за съхранение (хардуерен слой): Четвърти, често пренебрегван слой — NVMe SSD и RAID контролерите поддържат вградени кешове за запис с резервно копие на батерия или кондензатор. Това предпазва издръжливостта, без да жертва пропускателната способност за запис за сметка на забавянето на fsync.
• Кеш на приложния слой (Redis, Memcached): Намира се изцяло над базата данни, кешира сериализирани резултати от заявки или изчислени обекти, за да се избегне изобщо засягането на базата данни — идеално за SaaS платформи с множество клиенти, обслужващи хиляди потребители едновременно.

Как модерните бизнес платформи могат да използват архитектурата на кеша за надеждност в мащаб?

За фирми, работещи в много функционални модули — CRM, управление на проекти, електронна търговия, анализи — архитектурата на кеша директно определя отзивчивостта на платформата, докато екипите растат. Платформите, изградени на базата на добре наслоена кеш стратегия, могат да обслужват десетки хиляди едновременни потребители без пропорционални инфраструктурни разходи. Ключът е в проектирането на модели за достъп до данни, които зачитат границите на кеша: запазване на горещи данни малки и модели на достъп предвидими, използване на реплики за четене за разпределяне на натоварването на буферния пул и позициониране на кеш на ниво приложение като Redis пред базата данни за крайни точки, които обслужват идентични данни на множество потребители едновременно.

Mewayz е проектиран с мисъл точно за тази философия. С 207 интегрирани бизнес модула, захранващи над 138 000 потребители, слоят данни на платформата е проектиран така, че преобладаващата част от четенията да се обслужват от кеша - поддържане на бързо време за реакция и предсказуеми инфраструктурни разходи, независимо дали използвате начален план от $19/месец или професионално ниво от $49/месец.

Често задавани въпроси

Деактивирането на кеша на заявките винаги ли подобрява производителността на базата данни?

Не винаги, но при тежки натоварвания на запис обикновено го прави. Кешът на заявките изисква глобален мютекс за поддържане на последователност, което се превръща в пречка при висока едновременност. MySQL 8.0 премахна изцяло кеша на заявките поради тази причина. PostgreSQL никога не е прилагал вграден кеш на заявки, разчитайки вместо това на пула на буферите и кеширането на приложния слой. Ако съотношението ви за четене към запис е високо и вашите заявки са силно повтарящи се, кешът на заявките може да осигури реални печалби — в противен случай инвестирайте това усилие за настройка в пула на буферите.

Как да разбера дали моят буферен пул е правилно оразмерен?

Наблюдавайте коефициента на попадение в пула на буфера: процентът на заявките за страници, обслужвани от пула спрямо тези, които изискват четене на диск. Коефициентът на попадение под 95% при натоварване на OLTP е сигнал за увеличаване на размера на пула. В MySQL потърсете SHOW ENGINE INNODB STATUS и вижте честотата на попадения в буферния пул. В PostgreSQL, изгледът pg_statio_user_tables разкрива купчина блокове, прочетени от диск спрямо обслужвани от буферния пул. Стремете се да запазите целия си работен набор — не пълния набор от данни — постоянно в RAM.

Каква е връзката между слоевете на кеша и надеждността на SaaS с множество клиенти?

В SaaS с много клиенти кеш слоевете предотвратяват проблеми с „шумни съседи“, при които голямото натоварване на заявки на един клиент влошава производителността на всички останали клиенти. Кеширането на приложения, съобразено с клиента, с TTL-базирано обезсилване запазва горещи данни за всеки клиент в Redis, като драстично намалява натиска на буферния пул от големи акаунти. Обединяването на връзки на ниво база данни, съчетано с топъл буферен пул, гарантира, че пакетната активност от който и да е отделен акаунт не изтрива споделените страници от кеша и не причинява пикове на забавяне в платформата.

Кеш слоевете не са любопитни факти за бази данни — те са архитектурната основа, която разделя платформите, които остават бързи в мащаб, от тези, които изискват постоянно пожарогасене на инфраструктурата. Ако изграждате или управлявате бизнес, който се нуждае от платформа, вече оптимизирана за тези реалности, разгледайте Mewayz на app.mewayz.com — 207 модула, една съгласувана платформа, създадена да работи надеждно от първия ви потребител до стохилядния.