Men ishlab chiqarish ma'lumotlar bazamizdan voz kechdim va endi AWS uchun 10% ko'proq to'layman

Vahima tugmasidan ko'ngil tinchligiga

Bu seshanba kuni ertalab edi va men ertalab soat 9 dan oldin tizimga kirgan yagona muhandis edim. Oddiy ma'lumotlarni tuzatish, yoki men shunday deb o'yladim. Keyinchalik bitta noto'g'ri buyruq va ishlab chiqarish ma'lumotlar bazasi - bizning ilovamizning asosiy qismi - yo'qoldi. Buzilmagan, sekinlashmagan, lekin butunlay, dahshatli darajada bo'sh. Peshonamdan chiqqan sovuq ter bizning kuzatuv ogohlantirishlarimizdagi sovuq sukunat bilan solishtirganda hech narsa emas edi. Abadiy tiklanish harakatlaridan so'ng, biz uni qaytarib oldik. Ammo sinov tugamadi. Xizmatni tiklash uchun ko‘rishimiz kerak bo‘lgan favqulodda choralar AWS hisob-kitobimizni doimiy ravishda 10% ga oshirishga olib keldi, bu yagona, qimmat xato haqida doimiy eslatma. Bu tajriba, garchi og'riqli bo'lsa-da, menga infratuzilma zaifligining haqiqiy narxi haqida shafqatsiz saboq berdi.

Birgina xatoning Domino ta'siri

Ma'lumotlar bazasini yo'q qilishdan so'ng darhol tartibsizlik bo'ldi. Bizning birinchi vazifamiz zaxiradan tiklash edi, lekin jarayon kutilganidan sekinroq kechdi. To'xtash vaqtini kamaytirish uchun biz qayta tiklashni tezlashtirish uchun katta, haddan tashqari ta'minlangan RDS nusxasini yaratishimiz kerak edi. Keyin, qayta ulanishga urinayotgan foydalanuvchilar oqimi bilan kurashish uchun dastur serverlarimizni vaqtinchalik kengaytirishimiz kerak edi. Taxminan 12 soat davomida ishlaydigan ushbu "favqulodda rejim" infratuzilmasi nihoyatda qimmatga tushdi. Maʼlumotlarni qayta tiklaganimizdan keyin ham barqarorlikni taʼminlash uchun bizga kattaroq maʼlumotlar bazasi namunasini bir hafta davomida saqlash tavsiya qilindi. Vahima tufayli paydo bo'lgan vaqtinchalik tuzatish doimiy qatorga aylandi. Domino effekti aniq edi: insonning bitta xatosi mo‘rt tizimni fosh qildi va tezkor tuzatish xarajatlari operatsiyalarimiz uchun takrorlanadigan soliqqa aylandi.

Zaxiradan tashqari: mo'rt tizimlarning haqiqiy narxi

Bizda zaxira nusxalar bor edi. Texnik jihatdan biz minimal darajada ishladik. Ammo mustahkam tizim bu faqat xavfsizlik tarmog'iga ega bo'lish emas; Bu foydalanish uchun qulay, tez va ishonchli xavfsizlik tarmog'iga ega bo'lish haqida. Bizning o'limdan keyingi muhim kamchiliklarimiz aniqlandi:

• Qo'lda ishlov berish: Qayta tiklash jarayoni bosim ostida xatolikka moyil bo'lgan ko'p bosqichli qo'lda nazorat ro'yxati edi.
• Izolyatsiya etishmasligi: Bitta muhitda bajariladigan buyruq ishlab chiqarishga juda oson ta'sir qilishi mumkin.
• Ko‘rinishning yomonligi: Bizda tizim salomatligi va harakatlarimiz ta’sirining aniq, tezkor ko‘rsatkichlari yetishmadi.
• Reaktiv masshtablash: Bizning infratuzilmamiz qayta tiklash tadbirini qo‘lda, qimmat aralashuvlarsiz hal qilish uchun yetarli darajada mustahkam emas edi.

Haqiqiy xarajat shunchaki 10% yuqori AWS hisobi emas edi. Bu innovatsiyalar o‘rniga qayta tiklashga sarflangan bir necha soat muhandislik vaqti, manfaatdor tomonlar ishonchining yo‘qolishi va bu yana sodir bo‘lishidan qo‘rqish edi.

"Infratuzilma kartalar uyi bo'lmasligi kerak. Bitta xato butun biznesni ham operatsion, ham moliyaviy tomondan tiz cho'ktirishga qodir bo'lmasligi kerak."

Mewayz bilan modulli xavfsizlik tarmog'ini qurish

Bu voqea bizni butun yondashuvimizni qayta ko‘rib chiqishga majbur qildi. Bizga nafaqat mustahkam, balki modulli va boshqariladigan tizim kerak edi. Bu erda bizning qabul qilishimizMewayzhamma narsani o'zgartira boshladi. Monolit, mo'rt o'rnatish o'rniga biz modulli komponentlar bilan qurishni boshladik. Mewayz yordamida biz o'z infratuzilmamizni - ma'lumotlar bazalaridan tortib serversiz funksiyalargacha - mustaqil, qayta foydalanish mumkin bo'lgan modullar sifatida belgilashimiz mumkin. Ushbu modullik biz ishlab chiqarishni mukammal aks ettiradigan, xavfli operatsiyalarni xavfsiz sinovdan o'tkazishga imkon beruvchi izolyatsiyalangan sahnalash muhitini yaratishimiz mumkinligini anglatadi. Eng muhimi, Mewayz-ning joylashtirish va orqaga qaytarish uchun o'rnatilgan avtomatizatsiyasi qayta tiklash jarayonlarini bir marta bosish bilan ishga tushirishni, qo'lda xatolarni bartaraf etishini anglatadi. Bizning infratuzilmamiz oldindan aytib bo‘ladigan va eng muhimi chidamli bo‘ldi.

Bulutli to'lovlarda to'langan dars

10% AWS qoʻshimcha toʻlovi men hozir muhim taʼlimga sarmoya sifatida qaraydigan toʻlovdir. Bu bizga tizim dizayni va ekspluatatsion mukammallikdagi burchaklarni kesish noto'g'ri iqtisod ekanligini o'rgatdi. Vahima qo'zg'atuvchi, qimmat tuzatishlar boshidan chidamlilik va modullilik bilan qurmaslikning bevosita natijasidir. Mewayz kabi platformaga o‘tish orqali biz infratuzilmamizni majburiyatdan ishonchli aktivga aylantirdik. Modullar qo'riqchi vazifasini bajaradi, halokatli xatolarning oldini oladi va agar biror narsa noto'g'ri bo'lsa, tiklanish tez, avtomatlashtirilgan va xarajatsiz bo'lishini ta'minlaydi. Haqiqiy samaradorlik xatolardan qochish emas, balki ularga bardosh bera oladigan tizim yaratish ekanligini bilish uchun katta narx to‘ladim.

Ko'p beriladigan savollar

Vahima tugmasidan ruh tinchligiga

Bu seshanba kuni ertalab edi va men ertalab soat 9 dan oldin tizimga kirgan yagona muhandis edim. Oddiy ma'lumotlarni tuzatish, yoki men shunday deb o'yladim. Keyinchalik bitta noto'g'ri buyruq va ishlab chiqarish ma'lumotlar bazasi - bizning ilovamizning asosiy qismi - yo'qoldi. Buzilmagan, sekinlashmagan, lekin butunlay, dahshatli darajada bo'sh. Peshonamdan chiqqan sovuq ter bizning kuzatuv ogohlantirishlarimizdagi sovuq sukunat bilan solishtirganda hech narsa emas edi. Abadiy tiklanish harakatlaridan so'ng, biz uni qaytarib oldik. Ammo sinov tugamadi. Xizmatni tiklash uchun ko‘rishimiz kerak bo‘lgan favqulodda choralar AWS hisob-kitobimizni doimiy ravishda 10% ga oshirishga olib keldi, bu yagona, qimmat xato haqida doimiy eslatma. Bu tajriba, garchi og'riqli bo'lsa-da, menga infratuzilma zaifligining haqiqiy narxi haqida shafqatsiz saboq berdi.

Birgina xatoning Domino effekti

Ma'lumotlar bazasini yo'q qilishdan so'ng darhol tartibsizlik bo'ldi. Bizning birinchi vazifamiz zaxiradan tiklash edi, lekin jarayon kutilganidan sekinroq kechdi. To'xtash vaqtini kamaytirish uchun biz qayta tiklashni tezlashtirish uchun katta, haddan tashqari ta'minlangan RDS nusxasini yaratishimiz kerak edi. Keyin, qayta ulanishga urinayotgan foydalanuvchilar oqimi bilan kurashish uchun dastur serverlarimizni vaqtinchalik kengaytirishimiz kerak edi. Taxminan 12 soat davomida ishlaydigan ushbu "favqulodda rejim" infratuzilmasi nihoyatda qimmatga tushdi. Maʼlumotlarni qayta tiklaganimizdan keyin ham barqarorlikni taʼminlash uchun bizga kattaroq maʼlumotlar bazasi namunasini bir hafta davomida saqlash tavsiya qilindi. Vahima tufayli paydo bo'lgan vaqtinchalik tuzatish doimiy qatorga aylandi. Domino effekti aniq edi: insonning bitta xatosi mo‘rt tizimni fosh qildi va tezkor tuzatish xarajatlari operatsiyalarimiz uchun takrorlanadigan soliqqa aylandi.

Zaxiradan tashqari: mo'rt tizimlarning haqiqiy narxi

Bizda zaxira nusxalar bor edi. Texnik jihatdan biz minimal darajada ishladik. Ammo mustahkam tizim bu faqat xavfsizlik tarmog'iga ega bo'lish emas; Bu foydalanish uchun qulay, tez va ishonchli xavfsizlik tarmog'iga ega bo'lish haqida. Bizning o'limdan keyingi muhim kamchiliklarimiz aniqlandi:

Mewayz bilan modulli xavfsizlik tarmog'ini qurish

Bu voqea bizni butun yondashuvimizni qayta ko‘rib chiqishga majbur qildi. Bizga nafaqat mustahkam, balki modulli va boshqariladigan tizim kerak edi. Bu erda Mevayzni qabul qilishimiz hamma narsani o'zgartira boshladi. Monolit, mo'rt o'rnatish o'rniga biz modulli komponentlar bilan qurishni boshladik. Mewayz yordamida biz o'z infratuzilmamizni - ma'lumotlar bazalaridan tortib serversiz funksiyalargacha - mustaqil, qayta foydalanish mumkin bo'lgan modullar sifatida belgilashimiz mumkin. Ushbu modullik biz ishlab chiqarishni mukammal aks ettiradigan, xavfli operatsiyalarni xavfsiz sinovdan o'tkazishga imkon beruvchi izolyatsiyalangan sahnalash muhitini yaratishimiz mumkinligini anglatadi. Eng muhimi, Mewayz-ning joylashtirish va orqaga qaytarish uchun o'rnatilgan avtomatizatsiyasi qayta tiklash jarayonlarini bir marta bosish bilan ishga tushirishni, qo'lda xatolarni bartaraf etishini anglatadi. Bizning infratuzilmamiz oldindan aytib bo‘ladigan va eng muhimi chidamli bo‘ldi.

Bulutli hisob-kitoblarda toʻlangan dars

10% AWS qoʻshimcha toʻlovi men hozir muhim taʼlimga sarmoya sifatida qaraydigan toʻlovdir. Bu bizga tizim dizayni va ekspluatatsion mukammallikdagi burchaklarni kesish noto'g'ri iqtisod ekanligini o'rgatdi. Vahima qo'zg'atuvchi, qimmat tuzatishlar boshidan chidamlilik va modullilik bilan qurmaslikning bevosita natijasidir. Mewayz kabi platformaga o‘tish orqali biz infratuzilmamizni majburiyatdan ishonchli aktivga aylantirdik. Modullar qo'riqchi vazifasini bajaradi, halokatli xatolarning oldini oladi va agar biror narsa noto'g'ri bo'lsa, tiklanish tez, avtomatlashtirilgan va xarajatsiz bo'lishini ta'minlaydi. Haqiqiy samaradorlik xatolardan qochish emas, balki ularga bardosh bera oladigan tizim yaratish ekanligini bilish uchun katta narx to‘ladim.