મેં અમારો પ્રોડક્શન ડેટાબેઝ છોડી દીધો અને હવે AWS માટે 10% વધુ ચૂકવો

ગભરાટના બટનથી મનની શાંતિ સુધી

તે મંગળવારની સવાર હતી, અને હું એકમાત્ર એન્જિનિયર હતો જે સવારે 9 વાગ્યા પહેલા લૉગ ઇન થયો હતો. એક સરળ ડેટા ફિક્સ, અથવા તેથી મેં વિચાર્યું. પાછળથી એક અયોગ્ય આદેશ, અને ઉત્પાદન ડેટાબેઝ-અમારી એપ્લિકેશનનું ખૂબ જ હૃદય-અદૃશ્ય થઈ ગયું. ભ્રષ્ટ નથી, ધીમું નથી, પરંતુ સંપૂર્ણપણે, ભયાનક રીતે ખાલી છે. મારા કપાળ પર જે ઠંડો પરસેવો ફાટી નીકળ્યો તે અમારા મોનિટરિંગ એલર્ટના ઠંડકભર્યા મૌનની સરખામણીમાં કંઈ નહોતું. ઉન્મત્ત પુનઃપ્રાપ્તિ પ્રયત્નોના અનંતકાળ જેવું લાગ્યું તે પછી, અમે તે પાછું મેળવ્યું. પરંતુ અગ્નિપરીક્ષા પૂરી થઈ ન હતી. સેવા પુનઃસ્થાપિત કરવા માટે અમારે જે કટોકટીના પગલાં લેવા પડ્યા હતા તેના કારણે અમારા AWS બિલમાં કાયમી 10% વધારો થયો, જે તે એકલ, મોંઘી ભૂલની સતત યાદ અપાવે છે. આ અનુભવ, પીડાદાયક હોવા છતાં, મને ઇન્ફ્રાસ્ટ્રક્ચરની નાજુકતાની સાચી કિંમત વિશે ઘાતકી પાઠ શીખવ્યો.

એક એક ભૂલની ડોમિનો ઇફેક્ટ

ડેટાબેઝને છોડી દેવાનું તાત્કાલિક પરિણામ શુદ્ધ અંધાધૂંધી હતું. અમારી પ્રથમ પ્રાથમિકતા બેકઅપમાંથી પુનઃસ્થાપિત કરવાની હતી, પરંતુ પ્રક્રિયા અપેક્ષા કરતા ધીમી હતી. ડાઉનટાઇમ ઘટાડવા માટે, પુનઃસંગ્રહને ઝડપી બનાવવા માટે અમારે એક વિશાળ, વધુ-જોગવાઈ કરેલ RDS દાખલો સ્પિન કરવો પડ્યો. તે પછી, પુનઃજોડાણ કરવાનો પ્રયાસ કરતા વપરાશકર્તાઓના તોળાઈ રહેલા પૂરને નિયંત્રિત કરવા માટે અમારે અસ્થાયી ધોરણે અમારા એપ્લિકેશન સર્વર્સને સ્કેલ કરવાની જરૂર છે. આ "ઇમરજન્સી મોડ" ઇન્ફ્રાસ્ટ્રક્ચર, લગભગ 12 કલાક ચાલતું હતું, તે અતિ ખર્ચાળ હતું. અમે ડેટા પુનઃસ્થાપિત કર્યા પછી પણ, અમને સ્થિરતા સુનિશ્ચિત કરવા માટે મોટા ડેટાબેઝ દાખલાને એક અઠવાડિયા માટે રાખવાની સલાહ આપવામાં આવી હતી. તે અસ્થાયી સુધારણા, ગભરાટમાંથી જન્મેલી, એક કાયમી લાઇન આઇટમ બની ગઈ. ડોમિનો ઇફેક્ટ સ્પષ્ટ હતી: એક માનવીય ભૂલે બરડ સિસ્ટમનો પર્દાફાશ કર્યો, અને ઝડપી સુધારાની કિંમત અમારી કામગીરી પર રિકરિંગ ટેક્સ બની ગઈ.

બિયોન્ડ બેકઅપ્સ: નાજુક સિસ્ટમ્સની વાસ્તવિક કિંમત

અમારી પાસે બેકઅપ હતા. તકનીકી રીતે, અમે એકદમ ન્યૂનતમ કર્યું હતું. પરંતુ એક મજબૂત સિસ્ટમ માત્ર સલામતી જાળ ધરાવવા વિશે નથી; તે સલામતી જાળ રાખવા વિશે છે જે ઉપયોગમાં સરળ, ઝડપી અને વિશ્વસનીય છે. અમારા પોસ્ટમોર્ટમમાં ગંભીર નબળાઈઓ જાહેર થઈ:

• મેન્યુઅલ પ્રક્રિયાઓ: પુનઃસ્થાપના પ્રક્રિયા બહુ-પગલાની, મેન્યુઅલ ચેકલિસ્ટ હતી જે દબાણ હેઠળ ભૂલ થવાની સંભાવના હતી.
• અલગતાનો અભાવ: એક વાતાવરણમાં ચાલતો આદેશ ઉત્પાદનને ખૂબ સરળતાથી અસર કરી શકે છે.
• નબળી દૃશ્યતા: અમારી પાસે સિસ્ટમના સ્વાસ્થ્યના સ્પષ્ટ, તાત્કાલિક સૂચકાંકો અને અમારી ક્રિયાઓની અસરનો અભાવ હતો.
• રિએક્ટિવ સ્કેલિંગ: મેન્યુઅલ, ખર્ચાળ હસ્તક્ષેપ વિના પુનઃપ્રાપ્તિ ઇવેન્ટને હેન્ડલ કરવા માટે અમારું ઇન્ફ્રાસ્ટ્રક્ચર એટલું સ્થિતિસ્થાપક ન હતું.

વાસ્તવિક કિંમત માત્ર 10% વધુ AWS બિલ ન હતી. તે ઈનોવેશનને બદલે રિકવરી, હિસ્સેદારોના વિશ્વાસનું ધોવાણ, અને તે ફરીથી થઈ શકે તેવો વિલંબિત ભય હતો.

"ઇન્ફ્રાસ્ટ્રક્ચર કાર્ડ્સનું ઘર ન હોવું જોઈએ. એક ભૂલમાં સમગ્ર વ્યવસાયને તેના ઘૂંટણિયે લાવવાની શક્તિ હોવી જોઈએ નહીં, ઓપરેશનલ અને નાણાકીય બંને રીતે."

મેવેઝ સાથે મોડ્યુલર સેફ્ટી નેટ બનાવવું

આ ઘટનાએ અમને અમારા સમગ્ર અભિગમ પર પુનર્વિચાર કરવાની ફરજ પાડી. અમને એવી સિસ્ટમની જરૂર હતી જે માત્ર મજબૂત જ નહીં પણ મોડ્યુલર અને વ્યવસ્થાપિત પણ હોય. આ તે છે જ્યાં અમારા મેવેઝને અપનાવવાથી બધું બદલાવા લાગ્યું. મોનોલિથિક, નાજુક સેટઅપને બદલે, અમે મોડ્યુલર ઘટકો સાથે નિર્માણ કરવાનું શરૂ કર્યું. Mewayz સાથે, અમે અમારા ઈન્ફ્રાસ્ટ્રક્ચરને વ્યાખ્યાયિત કરી શકીએ છીએ - ડેટાબેસેસથી સર્વરલેસ ફંક્શન્સ સુધી - સ્વ-સમાયેલ, ફરીથી વાપરી શકાય તેવા મોડ્યુલો તરીકે. આ મોડ્યુલારિટીનો અર્થ એ છે કે અમે અલગ સ્ટેજીંગ વાતાવરણ બનાવી શકીએ છીએ જે ઉત્પાદનને સંપૂર્ણ રીતે પ્રતિબિંબિત કરે છે, જે અમને જોખમી કામગીરીને સુરક્ષિત રીતે ચકાસવા દે છે. વધુ મહત્ત્વની વાત એ છે કે, ડિપ્લોયમેન્ટ્સ અને રોલબેક માટે મેવેઝના બિલ્ટ-ઇન ઓટોમેશનનો અર્થ એ છે કે મેન્યુઅલ ભૂલોને દૂર કરીને, એક ક્લિક સાથે પુનઃપ્રાપ્તિ પ્રક્રિયાઓ શરૂ થઈ શકે છે. અમારું ઇન્ફ્રાસ્ટ્રક્ચર અનુમાનિત અને સૌથી અગત્યનું, સ્થિતિસ્થાપક બન્યું.

ક્લાઉડ બિલ્સમાં ચૂકવેલ પાઠ

તે 10% AWS સરચાર્જ એ ફી છે જે હવે હું નિર્ણાયક શિક્ષણમાં રોકાણ તરીકે જોઉં છું. તે અમને શીખવ્યું કે સિસ્ટમ ડિઝાઇન અને ઓપરેશનલ શ્રેષ્ઠતા પરના ખૂણાઓને કાપવું એ ખોટું અર્થતંત્ર છે. ગભરાટ-ઇંધણ, ખર્ચાળ સુધારાઓ શરૂઆતથી જ સ્થિતિસ્થાપકતા અને મોડ્યુલારિટી સાથે ન બાંધવાનું સીધું પરિણામ છે. Mewayz જેવા પ્લેટફોર્મ પર સ્થાનાંતરિત કરીને, અમે અમારા ઇન્ફ્રાસ્ટ્રક્ચરને જવાબદારીમાંથી વિશ્વસનીય સંપત્તિમાં ફેરવી દીધું છે. મોડ્યુલો ગાર્ડરેલ તરીકે કામ કરે છે, આપત્તિજનક ભૂલોને અટકાવે છે અને જો કંઈક ખોટું થાય છે, તો પુનઃપ્રાપ્તિ ઝડપી, સ્વચાલિત અને ખર્ચ-સમાયેલ છે તેની ખાતરી કરે છે. મેં એ શીખવા માટે ખૂબ જ મોટી કિંમત ચૂકવી છે કે સાચી કાર્યક્ષમતા ભૂલોને ટાળવા વિશે નથી, પરંતુ એક એવી સિસ્ટમ બનાવવાની છે જે તેમને ટકી શકે.

વારંવાર પૂછાતા પ્રશ્નો

ગભરાટના બટનથી મનની શાંતિ સુધી

તે મંગળવારની સવાર હતી, અને હું એકમાત્ર એન્જિનિયર હતો જે સવારે 9 વાગ્યા પહેલા લૉગ ઇન થયો હતો. એક સરળ ડેટા ફિક્સ, અથવા તેથી મેં વિચાર્યું. પાછળથી એક અયોગ્ય આદેશ, અને ઉત્પાદન ડેટાબેઝ-અમારી એપ્લિકેશનનું ખૂબ જ હૃદય-અદૃશ્ય થઈ ગયું. ભ્રષ્ટ નથી, ધીમું નથી, પરંતુ સંપૂર્ણપણે, ભયાનક રીતે ખાલી છે. મારા કપાળ પર જે ઠંડો પરસેવો ફાટી નીકળ્યો તે અમારા મોનિટરિંગ એલર્ટના ઠંડકભર્યા મૌનની સરખામણીમાં કંઈ નહોતું. ઉન્મત્ત પુનઃપ્રાપ્તિ પ્રયત્નોના અનંતકાળ જેવું લાગ્યું તે પછી, અમે તે પાછું મેળવ્યું. પરંતુ અગ્નિપરીક્ષા પૂરી થઈ ન હતી. સેવા પુનઃસ્થાપિત કરવા માટે અમારે જે કટોકટીના પગલાં લેવા પડ્યા હતા તેના કારણે અમારા AWS બિલમાં કાયમી 10% વધારો થયો, જે તે એકલ, મોંઘી ભૂલની સતત યાદ અપાવે છે. આ અનુભવ, પીડાદાયક હોવા છતાં, મને ઇન્ફ્રાસ્ટ્રક્ચરની નાજુકતાની સાચી કિંમત વિશે ઘાતકી પાઠ શીખવ્યો.

એક એક ભૂલની ડોમિનો ઇફેક્ટ

ડેટાબેઝને છોડી દેવાનું તાત્કાલિક પરિણામ શુદ્ધ અંધાધૂંધી હતું. અમારી પ્રથમ પ્રાથમિકતા બેકઅપમાંથી પુનઃસ્થાપિત કરવાની હતી, પરંતુ પ્રક્રિયા અપેક્ષા કરતા ધીમી હતી. ડાઉનટાઇમ ઘટાડવા માટે, પુનઃસંગ્રહને ઝડપી બનાવવા માટે અમારે એક વિશાળ, વધુ-જોગવાઈ કરેલ RDS દાખલો સ્પિન કરવો પડ્યો. તે પછી, પુનઃજોડાણ કરવાનો પ્રયાસ કરતા વપરાશકર્તાઓના તોળાઈ રહેલા પૂરને નિયંત્રિત કરવા માટે અમારે અસ્થાયી ધોરણે અમારા એપ્લિકેશન સર્વર્સને સ્કેલ કરવાની જરૂર છે. આ "ઇમરજન્સી મોડ" ઇન્ફ્રાસ્ટ્રક્ચર, લગભગ 12 કલાક ચાલતું હતું, તે અતિ ખર્ચાળ હતું. અમે ડેટા પુનઃસ્થાપિત કર્યા પછી પણ, અમને સ્થિરતા સુનિશ્ચિત કરવા માટે મોટા ડેટાબેઝ દાખલાને એક અઠવાડિયા માટે રાખવાની સલાહ આપવામાં આવી હતી. તે અસ્થાયી સુધારણા, ગભરાટમાંથી જન્મેલી, એક કાયમી લાઇન આઇટમ બની ગઈ. ડોમિનો ઇફેક્ટ સ્પષ્ટ હતી: એક માનવીય ભૂલે બરડ સિસ્ટમનો પર્દાફાશ કર્યો, અને ઝડપી સુધારાની કિંમત અમારી કામગીરી પર રિકરિંગ ટેક્સ બની ગઈ.

બિયોન્ડ બેકઅપ્સ: નાજુક સિસ્ટમ્સની વાસ્તવિક કિંમત

અમારી પાસે બેકઅપ હતા. તકનીકી રીતે, અમે એકદમ ન્યૂનતમ કર્યું હતું. પરંતુ એક મજબૂત સિસ્ટમ માત્ર સલામતી જાળ ધરાવવા વિશે નથી; તે સલામતી જાળ રાખવા વિશે છે જે ઉપયોગમાં સરળ, ઝડપી અને વિશ્વસનીય છે. અમારા પોસ્ટમોર્ટમમાં ગંભીર નબળાઈઓ જાહેર થઈ:

મેવેઝ સાથે મોડ્યુલર સેફ્ટી નેટ બનાવવું

આ ઘટનાએ અમને અમારા સમગ્ર અભિગમ પર પુનર્વિચાર કરવાની ફરજ પાડી. અમને એવી સિસ્ટમની જરૂર હતી જે માત્ર મજબૂત જ નહીં પણ મોડ્યુલર અને વ્યવસ્થાપિત પણ હોય. આ તે છે જ્યાં મેવેઝને અપનાવવાથી બધું બદલવાનું શરૂ થયું. મોનોલિથિક, નાજુક સેટઅપને બદલે, અમે મોડ્યુલર ઘટકો સાથે નિર્માણ કરવાનું શરૂ કર્યું. Mewayz સાથે, અમે અમારા ઈન્ફ્રાસ્ટ્રક્ચરને વ્યાખ્યાયિત કરી શકીએ છીએ - ડેટાબેસેસથી સર્વરલેસ ફંક્શન્સ સુધી - સ્વ-સમાયેલ, ફરીથી વાપરી શકાય તેવા મોડ્યુલો તરીકે. આ મોડ્યુલારિટીનો અર્થ એ છે કે અમે અલગ સ્ટેજીંગ વાતાવરણ બનાવી શકીએ છીએ જે ઉત્પાદનને સંપૂર્ણ રીતે પ્રતિબિંબિત કરે છે, જે અમને જોખમી કામગીરીને સુરક્ષિત રીતે ચકાસવા દે છે. વધુ મહત્ત્વની વાત એ છે કે, ડિપ્લોયમેન્ટ્સ અને રોલબેક માટે મેવેઝના બિલ્ટ-ઇન ઓટોમેશનનો અર્થ એ છે કે મેન્યુઅલ ભૂલોને દૂર કરીને, એક ક્લિક સાથે પુનઃપ્રાપ્તિ પ્રક્રિયાઓ શરૂ થઈ શકે છે. અમારું ઇન્ફ્રાસ્ટ્રક્ચર અનુમાનિત અને સૌથી અગત્યનું, સ્થિતિસ્થાપક બન્યું.

ક્લાઉડ બિલ્સમાં ચૂકવવામાં આવેલ પાઠ

તે 10% AWS સરચાર્જ એ ફી છે જે હવે હું નિર્ણાયક શિક્ષણમાં રોકાણ તરીકે જોઉં છું. તે અમને શીખવ્યું કે સિસ્ટમ ડિઝાઇન અને ઓપરેશનલ શ્રેષ્ઠતા પરના ખૂણાઓને કાપવું એ ખોટું અર્થતંત્ર છે. ગભરાટ-ઇંધણ, ખર્ચાળ સુધારાઓ શરૂઆતથી જ સ્થિતિસ્થાપકતા અને મોડ્યુલારિટી સાથે ન બાંધવાનું સીધું પરિણામ છે. Mewayz જેવા પ્લેટફોર્મ પર સ્થાનાંતરિત કરીને, અમે અમારા ઇન્ફ્રાસ્ટ્રક્ચરને જવાબદારીમાંથી વિશ્વસનીય સંપત્તિમાં ફેરવી દીધું છે. મોડ્યુલો ગાર્ડરેલ તરીકે કામ કરે છે, આપત્તિજનક ભૂલોને અટકાવે છે અને જો કંઈક ખોટું થાય છે, તો પુનઃપ્રાપ્તિ ઝડપી, સ્વચાલિત અને ખર્ચ-સમાયેલ છે તેની ખાતરી કરે છે. મેં એ શીખવા માટે ખૂબ જ મોટી કિંમત ચૂકવી છે કે સાચી કાર્યક્ષમતા ભૂલોને ટાળવા વિશે નથી, પરંતુ એક એવી સિસ્ટમ બનાવવાની છે જે તેમને ટકી શકે.