Select तथा ​​Disk इत्येतयोः मध्ये त्रीणि Cache Layers

यदा भवतः अनुप्रयोगः SELECT कथनं प्रज्वालयति, तदा सा प्रश्नः प्रायः कदापि स्पिनिंग् डिस्कं वा कच्चं फ्लैश-भण्डारणं वा न स्पृशति — सा त्रयः विशिष्टाः कैश-स्तराः गच्छन्ति ये मौनेन निर्धारयन्ति यत् भवतः प्रतिक्रिया माइक्रोसेकेण्ड्-मध्ये वा मिलीसेकेण्ड्-मध्ये आगच्छति वा इति एतेषां स्तरानाम् अवगमनं अप्रयत्नेन स्केल-कृतस्य व्यापार-मञ्चस्य वास्तविक-जगतः भारस्य अधः बकल्-करणस्य च मध्ये अन्तरम् अस्ति ।

SELECT प्रश्नः यस्मिन् क्षणे भवतः अनुप्रयोगं त्यजति तस्मिन् क्षणे किं भवति?

यस्मिन् क्षणे भवतः अनुप्रयोगः SELECT प्रश्नं प्रेषयति, तस्मिन् क्षणे सः एकं पाइपलाइनं प्रविशति यत् अधिकांशः विकासकाः कदापि न निरीक्षन्ते । आँकडाधार इञ्जिनः कस्यापि I/O भवितुं पूर्वं अनुरोधं अवरुद्धं करोति, SQL इत्यस्य आन्तरिकनिष्पादनयोजनायां विश्लेषणं करोति तथा च तत्क्षणमेव तस्य प्रथमा रक्षापङ्क्तिं परामर्शं करोति: प्रश्नपरिणामसञ्चयः यदि समानमापदण्डयुक्तं समानं प्रश्नं अद्यतने निष्पादितम् आसीत्, तर्हि इञ्जिनं दत्तांशस्य एकं पृष्ठं न स्पृशन् संग्रहीतं परिणामसमूहं प्रत्यागन्तुं शक्नोति । एतत् कदाचित् प्रश्नसञ्चय अथवा परिणामसञ्चयम् इति उच्यते, उच्चपठन-अल्पलेखन-कार्यभारयोः — विश्लेषण-डैशबोर्ड्-रिपोर्टिंग्-मॉड्यूल्-इत्यादिषु — एतत् डिस्क-पठनस्य विशाल-बहुमतं पूर्णतया निराकर्तुं शक्नोति ।

अत्र महत्त्वपूर्णा अन्वेषणं यत् प्रश्नसञ्चयः दत्तांश-उत्परिवर्तनस्य प्रति अत्यन्तं संवेदनशीलः अस्ति । अन्तर्निहितसारणीविरुद्धं यत्किमपि INSERT, UPDATE, अथवा DELETE इत्येतत् प्रासंगिकं संग्रहीतं परिणामं अमान्यं करोति । अत एव लेखन-भारयुक्ताः व्यवहार-प्रणाल्याः प्रायः प्रश्न-सञ्चयं सम्पूर्णतया निष्क्रियं कुर्वन्ति, तस्य स्थाने गहनतर-स्तरानाम् उपरि अवलम्बन्ते ।

बफर पूलः किम् अस्ति तथा च भवतः चिन्तनात् अधिकं किमर्थं महत्त्वपूर्णम्?

द्वितीयः सञ्चयस्तरः — तथा च तर्कतः उत्पादनप्रणालीषु सर्वाधिकं महत्त्वपूर्णः — बफरपूलः (PostgreSQL मध्ये साझाबफरः इति कथ्यते, MySQL मध्ये InnoDB बफरपूलः) एषः RAM इत्यस्य एकः प्रदेशः अस्ति यस्य उपयोगं दत्तांशकोश-इञ्जिनं सद्यः एव अभिगतानि दत्तांशपृष्ठानि धारयितुं करोति । यदा परिणामसञ्चयात् प्रश्नः सेवितुं न शक्यते तदा इञ्जिनं किमपि डिस्कपठितं निर्गन्तुं पूर्वं आवश्यकदत्तांशपृष्ठानि पूर्वमेव बफरपूले निवसन्ति वा इति परीक्षते ।

बफर-पूलः कालगत-स्थानिक-स्थानीयतायाः सिद्धान्ते कार्यं करोति: अद्यतनकाले अभिगतानां दत्तांशस्य पुनः अभिगमनस्य सम्भावना वर्तते, अभिगमितदत्तांशस्य समीपे संगृहीतदत्तांशस्य च शीघ्रमेव अभिगमनस्य सम्भावना वर्तते दत्तांशकोशप्रशासकाः बफरपूलस्य आकारं तेषां कृते उच्चतम-उत्तोलनविन्यासनिर्णयेषु अन्यतमरूपेण ट्यूनयन्ति । अत्यल्पः बफरपुलः नित्यं पृष्ठनिष्कासनं जनयति, येन thrashing इति घटना उत्पद्यते, यत्र प्रणाली प्रश्नान् निष्पादयितुं अपेक्षया cache misses प्रबन्धने अधिकं समयं यापयति ।

Key Insight: अधिकांशेषु OLTP कार्यभारेषु, सुआकारस्य बफर-पूलस्य अर्थः अस्ति यत् सर्वेषां आँकडा-पठानां 95–99% भागः RAM तः सेव्यते । कार्यसमूहः — भवतः दत्तांशस्य उपसमूहः यः प्रश्नाः वास्तवतः बहुधा स्पृशन्ति — प्रायः कुलदत्तांशकोशाकारात् दूरं लघुः भवति । भवतः कार्यसमूहस्य अनुरूपं भवतः बफर-पूलस्य आकारः, न तु भवतः सम्पूर्णः दत्तांशसमूहः, एकः उच्चतम-प्रतिफलन-ट्यूनिङ्ग-क्रिया भवता कर्तुं शक्यते ।

ऑपरेटिंग् सिस्टम् कैशे RAM तथा Disk इत्येतयोः मध्ये अन्तरं कथं पूरयति?

यदा दत्तांशकोशस्य स्वस्य बफर-पूलः गम्यते तदा अपि, सच्चिदानन्द-डिस्क-पठनाय प्रश्नः अद्यापि न नियतः । प्रचालनतन्त्रं पृष्ठसञ्चयम् (सञ्चिकातन्त्रसञ्चयम् इति अपि उच्यते) परिपालयति, कर्नेल्-प्रबन्धितस्य RAM इत्यस्य प्रदेशः यः अवरुद्धयन्त्राणां कृते पठनं लेखनं च बफरं करोति यदा दत्तांशकोश-इञ्जिन् स्वस्य बफर-पूलात् अनुपस्थितं पृष्ठं अनुरोधयति तदा OS कर्नेल् भण्डारणनियन्त्रकं प्रति भौतिकं I/O आदेशं निर्गन्तुं पूर्वं स्वस्य पृष्ठसञ्चयस्य जाँचं करोति ।

इदं तृतीयस्तरं अनुप्रयोगविकासकानाम् कृते बहुधा अदृश्यं भवति परन्तु यत्र दत्तांशकोशबफरपूलः न्यूनप्रावधानः भवति तत्र प्रणालीषु गहनतया महत्त्वपूर्णः अस्ति । OS पृष्ठसञ्चयः सर्वेषु प्रक्रियासु साझाः भवति, अतः सः भवतः अनुप्रयोगसर्वर, जालसर्वर, अन्येन च सॉफ्टवेयरेन सह स्पर्धां करोति यत् एकस्मिन् एव होस्ट् मध्ये चाल्यते । समर्पितेषु दत्तांशकोशसर्वरेषु एषा स्पर्धा न्यूनतमा भवति, तथा च OS-सञ्चयः सार्थकं द्वितीय-अवसर-बफरं प्रदाति । साझीकृत-होस्ट्-मध्ये अथवा कठिन-स्मृति-सीमा-युक्तेषु पात्रेषु, OS-सञ्चयः प्रायः साहाय्यार्थं अतिलघुः भवति ।

व्यावहारे सर्वाधिकं प्रदर्शनस्य विजयस्य उत्तरदायी कः Cache Layer अस्ति?

वास्तविक-जगत्-उत्पादन-प्रणालीषु बफर-पूलः विस्तृत-अन्तरेण कार्य-प्रदर्शन-परिणामेषु आधिपत्यं करोति । अत्र प्रत्येकं स्तरः उपयोगप्रकरणेषु भिन्नरूपेण योगदानं किमर्थं ददाति:

इति
• प्रश्नपरिणामसञ्चयम्: पठनीय-भारयुक्तेषु, अधिकतया स्थिरदत्तांशसमूहेषु सर्वोच्चलाभः — रिपोर्टिंग् प्रश्नाः, संग्रहीत-डैशबोर्ड्, सार्वजनिकसामग्री-अन्तबिन्दवः लेखन-भारयुक्तेषु सारणीषु निष्प्रयोजनम्।
• दत्तांशकोशबफरपूलः: सार्वभौमिकः कार्याश्वः । प्रत्येकं उत्पादनदत्तांशकोशसर्वरं प्रथमं अत्र ट्यून् कर्तव्यम् । यादृच्छिकं क्रमिकं च अभिगमप्रतिमानं कुशलतया सम्पादयति ।
• OS पृष्ठसञ्चयः: यदा बफर-पूलस्य आकारः न्यूनः भवति तदा सुरक्षाजालं प्रदाति । अपि च बृहत्सारणीनां क्रमिकस्कैन्-काले महत्त्वपूर्णतया सहायकं भवति यत् अन्यथा बफर-पूलात् उष्णपृष्ठानि निष्कासयिष्यति ।
• भण्डारणनियन्त्रकसञ्चयम् (हार्डवेयरस्तरः): चतुर्थः, प्रायः उपेक्षितः स्तरः — NVMe SSDs तथा RAID नियन्त्रकाः बैटरी अथवा संधारित्रप्रतिरक्षणेन सह जहाजे लेखनसञ्चयस्य परिपालनं कुर्वन्ति एतेन fsync विलम्बस्य व्ययेन write throughput इत्यस्य त्यागं विना स्थायित्वस्य रक्षणं भवति ।
• अनुप्रयोग-स्तर-सञ्चयम् (Redis, Memcached): दत्तांशकोशस्य पूर्णतया उपरि उपविशति, क्रमाङ्कित-प्रश्न-परिणामान् वा गणित-वस्तूनाम् वा संग्रहणं करोति यत् दत्तांशकोशं सर्वथा प्रहारं न करोति — सहस्राणि समवर्ती-उपयोक्तृणां सेवां कुर्वतां बहु-किरायेदार-SaS-मञ्चानां कृते आदर्शम् ।

आधुनिकव्यापारमञ्चाः स्केले विश्वसनीयतायै कैशे आर्किटेक्चरस्य कथं लाभं ग्रहीतुं शक्नुवन्ति?

बहुषु कार्यात्मकमॉड्यूलेषु संचालितव्यापाराणां कृते — CRM, परियोजनाप्रबन्धनम्, ई-वाणिज्यम्, विश्लेषणं — कैश आर्किटेक्चर प्रत्यक्षतया मञ्चस्य प्रतिक्रियाशीलतां निर्धारयति यथा यथा दलाः वर्धन्ते सुस्तरीय-सञ्चय-रणनीत्या निर्मिताः मञ्चाः आनुपातिक-अन्तर्निर्मित-व्ययस्य विना दशसहस्राणि समवर्ती-उपयोक्तृणां सेवां कर्तुं शक्नुवन्ति । कुञ्जी दत्तांशप्रवेशप्रतिमानानाम् परिकल्पना अस्ति ये संग्रहसीमानां सम्मानं कुर्वन्ति: उष्णदत्तांशं लघुं कृत्वा अभिगमप्रतिमानं पूर्वानुमानीयं कृत्वा, बफरपूलभारं वितरितुं पठितप्रतिकृतीनां उपयोगः, तथा च एकत्रितरूपेण बहुभ्यः उपयोक्तृभ्यः समानदत्तांशं सेवमानानां अन्त्यबिन्दून् कृते दत्तांशकोशस्य पुरतः Redis इव अनुप्रयोग-स्तर-सञ्चयस्य स्थापनम्।

मेवेज् इत्यस्य वास्तुकला एतदेव दर्शनं मनसि कृत्वा निर्मितम् अस्ति । 138,000 उपयोक्तृभ्यः शक्तिं दत्तवन्तः 207 एकीकृतव्यापारमॉड्यूलानि सन्ति, मञ्चस्य आँकडास्तरः एतादृशं डिजाइनं कृतम् अस्ति यत् पठनस्य प्रचण्डबहुमतं कैशतः परोक्षितं भवति — प्रतिक्रियासमयं द्रुतं कृत्वा आधारभूतसंरचनायाः व्ययः पूर्वानुमानीयः भवति यत् भवान् $19/मासस्य आरम्भयोजनायां चालयति वा $49/मासस्य व्यावसायिकस्तरस्य वा।

प्रायः पृष्टाः प्रश्नाः

किं प्रश्नसञ्चयस्य निष्क्रियीकरणेन सर्वदा दत्तांशकोशस्य कार्यक्षमता सुधरति?

सदा न, परन्तु लेखन-भारयुक्तानां कार्यभारानाम् कृते सामान्यतया करोति । प्रश्नसञ्चयस्य स्थिरतां निर्वाहयितुम् वैश्विकम्यूटेक्सस्य आवश्यकता भवति, यत् उच्चसमवर्ततायाः अन्तर्गतं अटङ्कं भवति । MySQL 8.0 इत्यनेन अस्य कारणात् प्रश्नसञ्चयं पूर्णतया निष्कासितम् । PostgreSQL इत्यनेन कदापि अन्तःनिर्मितं क्वेरी-सञ्चयं कार्यान्वितं न कृतम्, तस्य स्थाने बफर-पूलस्य अनुप्रयोग-स्तरस्य च संग्रहणस्य उपरि अवलम्बितम् । यदि भवतः पठन-लेखन-अनुपातः अधिकः अस्ति तथा च भवतः प्रश्नाः अत्यन्तं पुनरावर्तकाः सन्ति तर्हि प्रश्न-सञ्चयः वास्तविकं लाभं दातुं शक्नोति — अन्यथा, तत् ट्यूनिङ्ग-प्रयत्नः बफर-पूले निवेशयन्तु ।

मम बफर पूलस्य आकारः सम्यक् अस्ति वा इति अहं कथं जानामि?

भवतः बफर-पूल-हिट्-अनुपातस्य निरीक्षणं कुर्वन्तु: पूलतः सेवितानां पृष्ठ-अनुरोधानाम् प्रतिशतं वर्सेस् येषां डिस्क-पठनस्य आवश्यकता भवति । OLTP कार्यभारस्य उपरि 95% तः न्यूनः हिट् अनुपातः पूलस्य आकारं वर्धयितुं संकेतः भवति । MySQL मध्ये SHOW ENGINE INNODB STATUS इति प्रश्नं कृत्वा बफर पूल हिट् रेट् पश्यन्तु । PostgreSQL मध्ये, pg_statio_user_tables दृश्यं डिस्कतः पठितानां ढेरखण्डानां विरुद्धं बफरपूलतः परोक्षितान् उजागरयति । भवतः सम्पूर्णं कार्यसमूहं — न तु भवतः पूर्णदत्तांशसमूहं — RAM मध्ये निवासं कर्तुं लक्ष्यं कुर्वन्तु ।

सञ्चयस्तरस्य बहु-किरायेदार-SaS-विश्वसनीयतायाः च मध्ये कः सम्बन्धः अस्ति ?

बहु-किरायेदार SaaS मध्ये, कैश-स्तराः "कोलाहलपूर्ण-परिजनस्य" समस्यां निवारयन्ति यत्र एकस्य किरायेदारस्य भारी प्रश्नभारः अन्येषां सर्वेषां किरायेदाराणां कृते कार्यक्षमतां न्यूनीकरोति । TTL-आधारित-अमान्यीकरणेन सह किरायेदार-जागरूक-अनुप्रयोग-कैशिंग् प्रति-किरायेदार-उष्ण-आँकडान् Redis मध्ये रक्षति, येन बृहत्-खातेभ्यः बफर-पूल-दाबं भृशं न्यूनीकरोति उष्णबफरपूलेन सह संयुक्तं दत्तांशकोशस्तरीयसंयोजनं सुनिश्चितं करोति यत् कस्मात् अपि एकस्मात् खातेन विस्फोटक्रियाकलापः साझीकृतपृष्ठानि संग्रहणात् न प्रक्षालयति तथा च मञ्चे विलम्बतास्पाइक् न जनयति ।

सञ्चयस्तराः दत्तांशकोशस्य सामान्यज्ञानाः न सन्ति — ते वास्तुशिल्पाः आधाराः सन्ति ये मञ्चान् पृथक् कुर्वन्ति ये स्केले द्रुतगत्या तिष्ठन्ति येषां नित्यं आधारभूतसंरचनानां अग्निनिवारणस्य आवश्यकता भवति यदि भवान् एतादृशं व्यवसायं निर्माति वा चालयति यस्य एतेषां वास्तविकतानां कृते पूर्वमेव अनुकूलितं मञ्चस्य आवश्यकता वर्तते, app.mewayz.com इत्यत्र Mewayz अन्वेष्टुम् — 207 मॉड्यूल्स्, एकं सुसंगतं मञ्चं, यत् भवतः प्रथमप्रयोक्तृतः भवतः शतसहस्रतमपर्यन्तं विश्वसनीयरूपेण कार्यं कर्तुं निर्मितम्।