Мен Өндүрүш базабызды таштадым жана азыр AWS үчүн 10% көбүрөөк төлөйм

Паник баскычынан жан дүйнө тынчтыгына чейин

Бул шейшемби күнү эртең менен жана мен саат 9га чейин кирген жалгыз инженер болчумун. Жөнөкөй маалыматтарды оңдоо, же мен ойлодум. Бир туура эмес буйрук кийинчерээк жана өндүрүштүк маалымат базасы - биздин тиркеменин жүрөгү - жок болду. Бузулган эмес, жайлабаган, бирок толугу менен, коркунучтуу бош. Менин чекемден чыккан муздак тер биздин мониторинг эскертүүлөрүбүздүн муздак жымжырттыгына салыштырганда эч нерсе эмес. Түбөлүктүү калыбына келтирүү аракеттеринен кийин, биз аны кайра алдык. Бирок сыноо бүтө элек болчу. Кызматты калыбына келтирүү үчүн биз көрүшүбүз керек болгон шашылыш чаралар AWS эсебибиздин туруктуу 10% га көбөйүшүнө алып келди, бул жалгыз, кымбат катаны дайыма эскертип турат. Бул тажрыйба мага азаптуу болсо да, инфраструктуранын морттугунун чыныгы баасы тууралуу катаал сабак берди.

Бир катанын домино эффектиси

Базаны өчүрүүнүн дароо кесепети таза хаос болду. Биздин биринчи приоритетибиз камдык көчүрмөдөн калыбына келтирүү болчу, бирок процесс күтүлгөндөн жайыраак болду. Иштебей калуу убактысын азайтуу үчүн, калыбына келтирүүнү тездетүү үчүн биз массалык, ашыкча камсыздалган RDS инстанциясын айлантууга туура келди. Андан кийин, кайра туташууга аракет кылып жаткан колдонуучулардын каптап кетишине каршы туруу үчүн колдонмо серверлерибизди убактылуу масштабдашыбыз керек болчу. 12 саатка жакын иштеген бул "шашылыш режим" инфраструктурасы укмуштуудай кымбат болгон. Дайындарды калыбына келтиргенден кийин дагы, туруктуулукту камсыз кылуу үчүн маалымат базасынын чоңураак нускасын бир жумага сактоо сунушталды. Паникадан келип чыккан бул убактылуу оңдоо туруктуу линияга айланды. Домино эффектиси айкын болду: адамдын бир катасы морт системаны ачып, тез оңдоонун баасы биздин операцияларга кайталануучу салык болуп калды.

Камдык көчүрмөлөрдөн тышкары: Морт системалардын реалдуу баасы

Бизде камдык көчүрмөлөр бар болчу. Техникалык жактан алганда биз эң аз дегендей кылып койдук. Бирок бекем система коопсуздук тармагына ээ болуу менен гана чектелбейт; бул колдонууга оңой, тез жана ишенимдүү коопсуздук тармагына ээ болуу жөнүндө. Биздин өлүмдөн кийинки олуттуу алсыз жактарыбыз аныкталды:

• Кол менен жасалган процесстер: Калыбына келтирүү процесси басым астында катага жакын болгон көп баскычтуу, кол менен текшерүү тизмеси болгон.
• Изоляциянын жоктугу: Бир чөйрөдө аткарылган буйрук өндүрүшкө оңой эле таасир этиши мүмкүн.
• Начар көрүнүү: Бизде системанын ден соолугунун жана аракеттерибиздин таасири боюнча так, дароо көрсөткүчтөр жок.
• Реактивдүү масштабдоо: Биздин инфраструктурабыз калыбына келтирүү иш-чарасын кол менен, кымбат баалуу кийлигишүүсүз чечүүгө туруктуу болгон эмес.

Чыныгы баасы 10% жогору AWS эсеби эле эмес. Бул инновациянын ордуна калыбына келтирүүгө сарпталган инженердик убакыттын бир нече сааты, кызыкдар тараптардын ишениминин бузулушу жана ал кайра кайталанышы мүмкүн деген коркуу болду.

"Инфраструктура карттардын үйү болбошу керек. Бир эле ката бүтүндөй бизнести операциялык жактан да, каржылык жактан да чөгөлөтүүгө күчү жетпеши керек."

Mewayz менен модулдук коопсуздук тармагын куруу

Окуя бизди бүт мамилебизди кайра карап чыгууга мажбур кылды. Бизге бекем гана эмес, модулдук жана башкара ала турган система керек болчу. Бул жерде биздин кабыл алууМевейзбаарын өзгөртө баштады. Монолиттүү, морт орнотуунун ордуна, биз модулдук компоненттер менен кура баштадык. Mewayz менен биз инфраструктурабызды – маалымат базаларынан серверсиз функцияларга чейин – өзүнчө камтылган, көп жолу колдонулуучу модулдар катары аныктай алдык. Бул модулдук өндүрүштү эң сонун чагылдырган обочолонгон сахналаштыруу чөйрөсүн түзө алабыз дегенди билдирет, бул бизге кооптуу операцияларды коопсуз сыноого мүмкүндүк берет. Андан да маанилүүсү, Mewayz'тин орнотуулар жана артка кайтаруулар үчүн орнотулган автоматташтырылгандыгы калыбына келтирүү процесстерин бир чыкылдатуу менен иштетип, кол каталарын жок кылууну билдирген. Биздин инфраструктура алдын ала айтууга боло турган жана эң негизгиси туруктуу болуп калды.

Булуттагы эсептерде төлөнүүчү сабак

Бул 10% AWS кошумча төлөмү мен азыр маанилүү билимге инвестиция катары көрүп жаткан төлөм. Бул бизге системаны долбоорлоо жана эксплуатациялык мыктылык боюнча бурчтарды кесүү жалган экономика экенин үйрөттү. Коркунучтуу, кымбат оңдоп-түзөөлөр башынан эле ийкемдүүлүк жана модулдук менен курулбагандын түздөн-түз натыйжасы. Mewayz сыяктуу платформага өтүү менен биз инфраструктурабызды милдеттенмеден ишенимдүү активге айландырдык. Модульдер тосмо катары иштешип, катастрофалык каталарды болтурбай, бир нерсе туура эмес болуп кетсе, калыбына келтирүү тез, автоматташтырылган жана чыгашасыз болушун камсыздайт. Чыныгы натыйжалуулук каталардан качуу эмес, аларга туруштук бере ала турган системаны куруу экенин билүү үчүн чоң бааны төлөдүм.

Көп берилүүчү суроолор

Паник баскычынан жан тынчтыгына чейин

Бул шейшемби күнү эртең менен жана мен саат 9га чейин кирген жалгыз инженер болчумун. Жөнөкөй маалыматтарды оңдоо, же мен ойлодум. Бир туура эмес буйрук кийинчерээк жана өндүрүштүк маалымат базасы - биздин тиркеменин жүрөгү - жок болду. Бузулган эмес, жайлабаган, бирок толугу менен, коркунучтуу бош. Менин чекемден чыккан муздак тер биздин мониторинг эскертүүлөрүбүздүн муздак жымжырттыгына салыштырганда эч нерсе эмес. Түбөлүктүү калыбына келтирүү аракеттеринен кийин, биз аны кайра алдык. Бирок сыноо бүтө элек болчу. Кызматты калыбына келтирүү үчүн биз көрүшүбүз керек болгон шашылыш чаралар AWS эсебибиздин туруктуу 10% га көбөйүшүнө алып келди, бул жалгыз, кымбат катаны дайыма эскертип турат. Бул тажрыйба мага азаптуу болсо да, инфраструктуранын морттугунун чыныгы баасы тууралуу катаал сабак берди.

Бир катанын домино эффектиси

Базаны өчүрүүнүн дароо кесепети таза хаос болду. Биздин биринчи приоритетибиз камдык көчүрмөдөн калыбына келтирүү болчу, бирок процесс күтүлгөндөн жайыраак болду. Иштебей калуу убактысын азайтуу үчүн, калыбына келтирүүнү тездетүү үчүн биз массалык, ашыкча камсыздалган RDS инстанциясын айлантууга туура келди. Андан кийин, кайра туташууга аракет кылып жаткан колдонуучулардын каптап кетишине каршы туруу үчүн колдонмо серверлерибизди убактылуу масштабдашыбыз керек болчу. 12 саатка жакын иштеген бул "шашылыш режим" инфраструктурасы укмуштуудай кымбат болгон. Дайындарды калыбына келтиргенден кийин дагы, туруктуулукту камсыз кылуу үчүн маалымат базасынын чоңураак нускасын бир жумага сактоо сунушталды. Паникадан келип чыккан бул убактылуу оңдоо туруктуу линияга айланды. Домино эффектиси айкын болду: адамдын бир катасы морт системаны ачып, тез оңдоонун баасы биздин операцияларга кайталануучу салык болуп калды.

Камдык көчүрмөлөрдөн тышкары: Морт системалардын реалдуу баасы

Бизде камдык көчүрмөлөр бар болчу. Техникалык жактан алганда биз эң аз дегендей кылып койдук. Бирок бекем система коопсуздук тармагына ээ болуу менен гана чектелбейт; бул колдонууга оңой, тез жана ишенимдүү коопсуздук тармагына ээ болуу жөнүндө. Биздин өлүмдөн кийинки олуттуу алсыз жактарыбыз аныкталды:

Mewayz менен модулдук коопсуздук тармагын куруу

Окуя бизди бүт мамилебизди кайра карап чыгууга мажбур кылды. Бизге бекем гана эмес, модулдук жана башкара ала турган система керек болчу. Бул жерде биздин Мевейзди кабыл алуубуз баарын өзгөртө баштады. Монолиттүү, морт орнотуунун ордуна, биз модулдук компоненттер менен кура баштадык. Mewayz менен биз инфраструктурабызды – маалымат базаларынан серверсиз функцияларга чейин – өзүнчө камтылган, көп жолу колдонулуучу модулдар катары аныктай алдык. Бул модулдук өндүрүштү эң сонун чагылдырган обочолонгон сахналаштыруу чөйрөсүн түзө алабыз дегенди билдирет, бул бизге кооптуу операцияларды коопсуз сыноого мүмкүндүк берет. Андан да маанилүүсү, Mewayz'тин орнотуулар жана артка кайтаруулар үчүн орнотулган автоматташтырылгандыгы калыбына келтирүү процесстерин бир чыкылдатуу менен иштетип, кол каталарын жок кылууну билдирген. Биздин инфраструктура алдын ала айтууга боло турган жана эң негизгиси туруктуу болуп калды.

Булуттагы эсептерде төлөнүүчү сабак

Бул 10% AWS кошумча төлөмү мен азыр маанилүү билимге инвестиция катары көрүп жаткан төлөм. Бул бизге системаны долбоорлоо жана эксплуатациялык мыктылык боюнча бурчтарды кесүү жалган экономика экенин үйрөттү. Коркунучтуу, кымбат оңдоп-түзөөлөр башынан эле ийкемдүүлүк жана модулдук менен курулбагандын түздөн-түз натыйжасы. Mewayz сыяктуу платформага өтүү менен биз инфраструктурабызды милдеттенмеден ишенимдүү активге айландырдык. Модульдер тосмо катары иштешип, катастрофалык каталарды болтурбай, бир нерсе туура эмес болуп кетсе, калыбына келтирүү тез, автоматташтырылган жана чыгашасыз болушун камсыздайт. Чыныгы натыйжалуулук каталардан качуу эмес, аларга туруштук бере ала турган системаны куруу экенин билүү үчүн чоң бааны төлөдүм.