Atsisakiau produkcijos duomenų bazės ir dabar už AWS moku 10 % daugiau

Nuo panikos mygtuko iki sielos ramybės

Tai buvo antradienio rytas, ir aš buvau vienintelis inžinierius, prisijungęs prieš 9 val. Paprastas duomenų taisymas, ar taip aš maniau. Vėliau buvo atlikta viena neapgalvota komanda, o gamybos duomenų bazė – pati mūsų programos šerdis – dingo. Ne sugadintas, nesulėtintas, bet visiškai, siaubingai tuščias. Šaltas prakaitas, išliejęs mano kaktą, buvo niekis, palyginti su stingdančia tyla iš mūsų stebėjimo įspėjimų. Po to, kas atrodė kaip amžinybė siautulingų atkūrimo pastangų, mes jį susigrąžinome. Tačiau išbandymas nesibaigė. Dėl neatidėliotinų priemonių, kurių turėjome imtis, kad atkurtume paslaugą, mūsų AWS sąskaita nuolat padidėjo 10 proc. – tai nuolatinis priminimas apie tą vienintelę brangiai kainuojančią klaidą. Ši patirtis, nors ir skausminga, išmokė mane žiaurios pamokos apie tikrąją infrastruktūros trapumo kainą.

Vienos klaidos domino efektas

Iš karto po duomenų bazės panaikinimo buvo visiškas chaosas. Mūsų pirmasis prioritetas buvo atkurti iš atsarginės kopijos, tačiau procesas buvo lėtesnis nei tikėtasi. Norėdami sumažinti prastovos laiką, turėjome sukurti didžiulį, per daug aprūpintą RDS egzempliorių, kad paspartintume atkūrimą. Tada mums reikėjo laikinai padidinti programų serverių mastelį, kad galėtume susidoroti su artėjančiu vartotojų, bandančių prisijungti, antplūdžiu. Ši „avarinio režimo“ infrastruktūra, veikianti beveik 12 valandų, buvo neįtikėtinai brangi. Net po to, kai atkūrėme duomenis, mums buvo patarta išlaikyti didesnį duomenų bazės egzempliorių savaitę, kad būtų užtikrintas stabilumas. Tas laikinas pataisymas, sukurtas iš panikos, tapo nuolatiniu eilutės elementu. Domino efektas buvo aiškus: viena žmogaus klaida atskleidė trapią sistemą, o greito pataisymo kaina tapo nuolatiniu mūsų operacijų mokesčiu.

Be atsarginių kopijų: tikroji pažeidžiamų sistemų kaina

Turėjome atsargines kopijas. Techniškai padarėme tik minimumą. Tačiau tvirta sistema reiškia ne tik apsauginį tinklą; svarbu turėti apsauginį tinklą, kurį būtų lengva, greita ir patikima naudoti. Mūsų pomirtinis atskleidė esminius trūkumus:

• Neautomatiniai procesai: atkūrimo procesas buvo kelių etapų rankinis kontrolinis sąrašas, kuris buvo linkęs į klaidas esant slėgiui.
• Izoliacijos trūkumas: komanda, paleista vienoje aplinkoje, gali pernelyg lengvai paveikti gamybą.
• Prastas matomumas: mums trūko aiškių, tiesioginių sistemos būklės ir mūsų veiksmų poveikio rodiklių.
• Reaktyvusis mastelio keitimas: mūsų infrastruktūra nebuvo pakankamai atspari atkūrimo įvykiui valdyti be rankinio brangaus įsikišimo.

Tikroji kaina buvo ne tik 10 % didesnė AWS sąskaita. Tai buvo valandos inžinerinio laiko, skirto atsigavimui, o ne naujovėms, suinteresuotųjų šalių pasitikėjimo erozija ir nuolatinė baimė, kad tai gali pasikartoti.

"Infrastruktūra neturėtų būti kortų namelis. Viena klaida neturėtų priversti viso verslo parklupdyti tiek veiklos, tiek finansiškai."

Modulinio saugos tinklo kūrimas naudojant „Mewayz“

Įvykis privertė mus permąstyti visą savo požiūrį. Mums reikėjo sistemos, kuri būtų ne tik tvirta, bet ir modulinė bei valdoma. Štai čia viskas pasikeitė, kai pradėjome naudoti Mewayz. Vietoj monolitinės, trapios sąrankos pradėjome kurti iš modulinių komponentų. Naudodami Mewayz galime apibrėžti savo infrastruktūrą – nuo ​​duomenų bazių iki funkcijų be serverio – kaip savarankiškus, daugkartinio naudojimo modulius. Šis moduliškumas reiškė, kad galime sukurti izoliuotas pastatymo aplinkas, puikiai atspindinčias gamybą ir leidžiančias saugiai išbandyti rizikingas operacijas. Dar svarbiau, kad „Mewayz“ įdiegta diegimo ir atkūrimo automatika leido atkūrimo procesus suaktyvinti vienu paspaudimu, pašalinant rankines klaidas. Mūsų infrastruktūra tapo nuspėjama ir, svarbiausia, atspari.

Pamoka, už kurią mokamos sąskaitos iš debesies

Šis 10 % AWS priedas yra mokestis, kurį dabar vertinu kaip investiciją į svarbų išsilavinimą. Tai mus išmokė, kad sistemos projektavimo ir eksploatavimo tobulumo mažinimas yra klaidinga ekonomika. Panikos kurstyti brangūs pataisymai yra tiesioginis rezultatas, kai nuo pat pradžių nebuvo sukurtas atsparumas ir moduliškumas. Perėję prie tokios platformos kaip „Mewayz“, savo infrastruktūrą iš įsipareigojimo pavertėme patikimu turtu. Moduliai veikia kaip apsauginiai turėklai, užkertantys kelią katastrofiškoms klaidoms ir užtikrinantys, kad jei kas nors nutiktų, atkūrimas būtų greitas, automatizuotas ir nereikalaujantis išlaidų. Sumokėjau didelę kainą, kad sužinočiau, kad tikras efektyvumas yra ne klaidų išvengimas, o joms atlaikančios sistemos sukūrimas.

Dažniausiai užduodami klausimai

Nuo panikos mygtuko iki sielos ramybės

Tai buvo antradienio rytas, ir aš buvau vienintelis inžinierius, prisijungęs prieš 9 val. Paprastas duomenų taisymas, ar taip aš maniau. Vėliau buvo atlikta viena neapgalvota komanda, o gamybos duomenų bazė – pati mūsų programos šerdis – dingo. Ne sugadintas, nesulėtintas, bet visiškai, siaubingai tuščias. Šaltas prakaitas, išliejęs mano kaktą, buvo niekis, palyginti su stingdančia tyla iš mūsų stebėjimo įspėjimų. Po to, kas atrodė kaip amžinybė siautulingų atkūrimo pastangų, mes jį susigrąžinome. Tačiau išbandymas nesibaigė. Dėl neatidėliotinų priemonių, kurių turėjome imtis, kad atkurtume paslaugą, mūsų AWS sąskaita nuolat padidėjo 10 proc. – tai nuolatinis priminimas apie tą vienintelę brangiai kainuojančią klaidą. Ši patirtis, nors ir skausminga, išmokė mane žiaurios pamokos apie tikrąją infrastruktūros trapumo kainą.

Vienos klaidos domino efektas

Iš karto po duomenų bazės panaikinimo buvo visiškas chaosas. Mūsų pirmasis prioritetas buvo atkurti iš atsarginės kopijos, tačiau procesas buvo lėtesnis nei tikėtasi. Norėdami sumažinti prastovos laiką, turėjome sukurti didžiulį, per daug aprūpintą RDS egzempliorių, kad paspartintume atkūrimą. Tada mums reikėjo laikinai padidinti programų serverių mastelį, kad galėtume susidoroti su artėjančiu vartotojų, bandančių prisijungti, antplūdžiu. Ši „avarinio režimo“ infrastruktūra, veikianti beveik 12 valandų, buvo neįtikėtinai brangi. Net po to, kai atkūrėme duomenis, mums buvo patarta išlaikyti didesnį duomenų bazės egzempliorių savaitę, kad būtų užtikrintas stabilumas. Tas laikinas pataisymas, sukurtas iš panikos, tapo nuolatiniu eilutės elementu. Domino efektas buvo aiškus: viena žmogaus klaida atskleidė trapią sistemą, o greito pataisymo kaina tapo nuolatiniu mūsų operacijų mokesčiu.

Be atsarginių kopijų: tikroji pažeidžiamų sistemų kaina

Turėjome atsargines kopijas. Techniškai padarėme tik minimumą. Tačiau tvirta sistema reiškia ne tik apsauginį tinklą; svarbu turėti apsauginį tinklą, kurį būtų lengva, greita ir patikima naudoti. Mūsų pomirtinis atskleidė esminius trūkumus:

Modulinio saugos tinklo kūrimas naudojant „Mewayz“

Įvykis privertė mus permąstyti visą savo požiūrį. Mums reikėjo sistemos, kuri būtų ne tik tvirta, bet ir modulinė bei valdoma. Štai čia mūsų „Mewayz“ priėmimas pradėjo viską pakeisti. Vietoj monolitinės, trapios sąrankos pradėjome kurti iš modulinių komponentų. Naudodami Mewayz galime apibrėžti savo infrastruktūrą – nuo ​​duomenų bazių iki funkcijų be serverio – kaip savarankiškus, daugkartinio naudojimo modulius. Šis moduliškumas reiškė, kad galime sukurti izoliuotas pastatymo aplinkas, puikiai atspindinčias gamybą ir leidžiančias saugiai išbandyti rizikingas operacijas. Dar svarbiau, kad „Mewayz“ įdiegta diegimo ir atkūrimo automatika leido atkūrimo procesus suaktyvinti vienu paspaudimu, pašalinant rankines klaidas. Mūsų infrastruktūra tapo nuspėjama ir, svarbiausia, atspari.

Pamoka, už kurią mokamos sąskaitos iš debesies

Šis 10 % AWS priedas yra mokestis, kurį dabar vertinu kaip investiciją į svarbų išsilavinimą. Tai mus išmokė, kad sistemos projektavimo ir eksploatavimo tobulumo mažinimas yra klaidinga ekonomika. Panikos kurstyti brangūs pataisymai yra tiesioginis rezultatas, kai nuo pat pradžių nebuvo sukurtas atsparumas ir moduliškumas. Perėję prie tokios platformos kaip „Mewayz“, savo infrastruktūrą iš įsipareigojimo pavertėme patikimu turtu. Moduliai veikia kaip apsauginiai turėklai, užkertantys kelią katastrofiškoms klaidoms ir užtikrinantys, kad jei kas nors nutiktų, atkūrimas būtų greitas, automatizuotas ir nereikalaujantis išlaidų. Sumokėjau didelę kainą, kad sužinočiau, kad tikras efektyvumas yra ne klaidų išvengimas, o joms atlaikančios sistemos sukūrimas.