Di Panagtutunos: Ti Kaso a Panagadal iti Panag-optimisar ti Panagaramid

Ti panagdaliasat ti panagoptimisar ti panagaramid ti Discord ket agtaktakder a kas maysa kadagiti kaaduan a makaisuro a pagarigan iti moderno nga inhenieria ti software, a mangipakpakita no kasano a ti maysa a plataporma ket maka-scale manipud kadagiti rinibu aginggana kadagiti ginasut a riwriw nga agar-aramat a saan a mangisakripisio ti kapartak wenno panagtalek. Babaen ti panangsukimat kadagiti pangngeddeng ti inhenieria ti Discord — manipud kadagiti panagiyakar ti database aginggana kadagiti aktual nga oras nga arkitektura ti panagmensahe — dagiti negosio ket makaala kadagiti napaneknekan nga estratehia para iti panagbangon kadagiti plataporma nga agaramid iti sidong ti presion.

Ania dagiti Pangruna a Mekanismo a Pabilgen ti Panagaramid ti Discord iti Skala?

Ti imprastruktura ti Discord ket naibangon iti pilosopia ti inggagara a panagtagilako ti inhenieria. Idi damo a naibangon iti Python ken MongoDB, ti plataporma ket napardas a nakasango kadagiti tengnged ti botelia bayat a bimtak ti base ti agar-aramatna. Ti grupo ti inhenieria ket nangaramid ti kritikal nga arkitektura a pangngeddeng: umadayo manipud iti monolitiko a bunton nga agturong iti maysa nga arkitektura a naipangpangruna iti serbisio, a mangpabalin kadagiti indibidual a paset nga ag-scale nga agwaywayas.

Iti kangrunaan a paset ti panagaramid ti Discord ket ti panagusar na ti Elixir ken ti Erlang BEAM a birtual a makina para iti aktual nga oras a panagmensahe a suson. Ti BEAM VM ket nairanta a naibangon para kadagiti aggigiddan, a makaandur iti biddut a sistema — eksakto no ania ti kasapulan ti maysa a plataporma a mangasikaso kadagiti binilion a mensahe iti kada aldaw. Kabayatanna, ti API a suson ti Discord ket idi kamaudiananna ket naisurat manen iti Rust, a nangitukon ti kinatalged ti memoria ken ti asideg-a-sero-nga-ngato a panagaramid a ti Python ket saan laeng a makatunos iti sukog.

Ti resulta ket maysa a sistema a sadiay dagiti minilion nga aggigiddan a koneksion ti WebSocket ket mataginayon babaen dagiti sub-50ms nga oras ti panagited ti mensahe, urayno bayat ti kangatuan a panagusar. Daytoy ket saan idi nga aksidente — daytoy ket produkto ti maulit-ulit a panagpropil, ti pannakailasin ti tengnged ti botelia, ken dagiti naipuntiria a panagsurat manen kadagiti kaaduan a na-stress a paset ti sistema.

Kasano a Nasolbar ti Discord ti Kaaduan a Agdindinamag a Database Bottleneck-na?

Maysa kadagiti kaaduan a nadokumento iti publiko a karit ti inhenieria ti Discord ket mairaman ti Cassandra, ti naiwarwaras a database nga inus-usar na a mangidulin ti pakasaritaan ti mensahe. Bayat ti panagdakkel ti plataporma, ti read latency ket bimmaba unay — saan a gapu ta ti Cassandra ket maysa idi a nakurapay a pili, ngem gapu ta dagiti padron ti panagusar ti Discord ket pundamental a nagbalbaliw. Dagiti napudot a panagbingbingay, a sadiay ti saan a proporsional a bilang dagiti panagbasa ket naikonsentrar kadagiti espesipiko a nodo ti datos, ket nakaigapuan dagiti di maipakpakauna a panagbannayat.

Ti sungbat ti grupo ti inhenieria ket maysa a naisangsangayan a panagiyakar iti ScyllaDB, ti maysa a Cassandra-a maitunos a database a naisurat iti C++. Ti panagiyakar ket nangkissay ti p99 read latency manipud iti 40–125ms nga agpababa aginggana kadagiti maymaysa a digit a milisegundos kadagiti kaaduan a kaso. Napatpateg pay, daytoy ket nangkissay ti kinarikut ti panagpataray ti panagituray ti kumpol, a nangwayawaya kadagiti rekurso ti inhenieria tapno mangipamaysa iti panagrang-ay ti tampok imbes a ti panagpuor ti imprastruktura.

"Ti kasayaatan a panagoptimisar ti panagaramid ket saan a kanayon a ti kaaduan a teknikal a sopistikado — daytoy ket isu ti mangkissay ti kinarikut bayat a direkta a mangtaming ti tengnged ti botelia a mangpataud ti ut-ot ti agar-aramat." — Ti prinsipio a pinasingkedan babaen ti estoria ti panagiyakar ti database ti Discord.

Daytoy a kaso ket mangiladawan ti kritikal a leksion para iti ania man a dumakdakkel a plataporma: ti umno nga alikamen para iti maysa a tukad ti panagdakkel ket mabalin nga agbalin a di umiso nga alikamen para iti sumaganad. Ti agtultuloy a panagbenchmark ken ti kinatulok nga umakar ket saan a pagilasinan ti nakapuy a panagplano — dagitoy ket pagilasinan ti kinanataengan ti inhenieria.

Ania dagiti Pudno a Lubong a Leksion iti Panagpatungpal a Mabalin nga Iyaplikar dagiti Negosyo?

Ti panagdaliasat ti panagoptimisar ti Discord ket saan idi a puro a teoretiko — daytoy ket nangpataud ti maysa a grupo dagiti matulad nga aramid a maipakat iti ania man a negosio a naiturong babaen ti software. Dagiti kaaduan a maaramid a takeaway ket mairaman ti:

• Profile sakbay ti panag-optimize: Ti panagsusuppiat ket kankanayon a nangilasin kadagiti eksakto a tengnged ti botelia babaen ti panagrukod imbes a ti panagipapan, a manglapped ti nasayang a panagregget kadagiti saan a kritikal a dana.
• Pilien dagiti pagsasao nga umuna ti panaggigiddan para kadagiti I/O-nadagsen a karga ti trabaho: Ti panagakar iti Elixir para iti panagruta ti mensahe ket nangkissay iti CPU overhead a dakkel no maidilig kadagiti modelo ti thread-per-connection.
• Isina ti pagipempenan manipud iti panagkuenta: Babaen ti panangisina ti pagipempenan ti mensahe manipud iti aktual nga oras a panagited a sapasap, ti Discord ket nangpabalin ti tunggal maysa a sapasap nga ag-scale nga agwaywayas a naibatay iti espesipiko a padron ti kargana.
• Abrasaen ti inkremental a panagiyakar kadagiti big-bang a panagsurat manen: Dagiti kritikal a sistema ket naiyakar a serbisio babaen ti serbisio, a mangkissay ti peggad ken mangipalubos ti agtultuloy a panangipaneknek kadagiti ganansia ti panagaramid.
• Nasapa a mangpuonan iti pannakapaliiw: Ti abilidad ti discord a mangduktal kadagiti panagsubli ket napardas a nagtaud manipud iti nauneg a panagpuonan iti naiwarwaras a panagsurot, dagiti dashboard ti metriko, ken dagiti impraestruktura ti panagalerto a naibangon sakbay a napasamak dagiti krisis.

Kasano a Maidilig ti Panag-asidegan ti Discord kadagiti Alternatibo ti Industria?

Ti modelo ti panagoptimisar ti Discord ket agdumaduma a makaipapaay iti kaipapanan no kasano a dagiti plataporma a kas ti Slack ken Microsoft Teams ket inasitganda dagiti kapada a karit. Ti Slack, kas pagarigan, ket nagsanud unay iti maysa a Node.js-based a stack ken panagmanehar ti WebSocket iti aplikasion a suson, nga umawat ti nangatngato a memoria nga overhead a kasukat ti kinapamiliar ti developer. Dagiti grupo, a sinuportaran babaen ti imprastruktura ti Azure ti Microsoft, ket nangala ti maysa nga enterprise-first a wagas — a nangipangpangruna ti panagtungpal ken ti kalawa ti panagtipon ngem ti raw latency performance.

Ti naidumaduma ti Discord ket ti kinatulokna a mangampon kadagiti saan unay a kangrunaan a teknolohia — Elixir, Rust, ScyllaDB — idi dagitoy a teknolohia ket naipakita a nasaysayaat a maibagay kadagiti espesipiko a parikut. Daytoy a pragmatiko imbes nga ideolohiko a wagas iti panagpili ti teknolohia ket nangpataud kadagiti masukatan a ganansia a saan a kasapulan ti paktoria a plataporma a panagsurat manen iti ania man a maymaysa a punto ti panawen.

Para kadagiti negosio a mangtingiting kadagiti bukodda a plataporma a stack, ti pagarigan ti Discord ket napigsa a makisuppiat a maibusor iti "resume-driven development" — panagpili kadagiti teknolohia para iti dayawda iti industria imbes a maibagayda iti parikut. Ti saludsod ket pulos a "ania ti nalatak?" ngem "ania ti mangrisut iti daytoy nga espesipiko a pannakalapped ti panagaramid?"

Ania nga Empirikal nga Ebidensia ti Mangpaneknek nga Agtrabaho dagiti Estratehia ti Panag-optimisar ti Discord?

Dagiti resulta dagiti pangngeddeng ti inhenieria ti Discord ket nadokumento ken marukod. Kalpasan ti panagiyakar ti ScyllaDB, ti Discord ket nangipadamag ti 10x a pannakakissay ti bilang ti nodo bayat nga aggigiddan a mangpasayaat ti latensia. Ti panagsurat manen ti Rust API ket nangikkat kadagiti sibubukel a kategoria dagiti bug a mainaig iti memoria bayat a mangkissay kadagiti oras ti sungbat ti serbisio. Ti panagited ti mensahe iti sukog ket kankanayon nga agtartaray iti baba ti 50ms a pagrukodan urayno bayat dagiti nangruna a pasamak ti panagay-ayam — dagiti kanito a dati a nangparigat ti sistema aginggana kadagiti limitasionna.

Idi 2023, ti Discord ket agproseso ti nasurok nga 4 bilion a minuto ti boses a komunikasion iti inaldaw iti ballasiw ti nasurok a 19 a riwriw nga aktibo a serbidor. Dagitoy ket saan a dagiti metriko ti kinaubbaw — dagitoy ket ebidensia a dagiti pangngeddeng ti arkitektura a naaramid babaen ti presion ti inhenieria ket nangpataud kadagiti nalagda, a mangpakaro kadagiti pagimbagan ti panagaramid iti panaglabas ti panawen.

Dagiti Masansan a Saludsod

Apay a nag-migrate ti Discord manipud iti Python aginggana iti Rust para iti API layer-na?

Ti Global Interpreter Lock (GIL) ti Python ket pundamental a manglimitar ti abilidadna a mangipatungpal ti pudno nga aggigiddan a kodigo, a mangpartuat kadagiti throughput ceilings a nagbalin nga ad-adda a problemado bayat a dimmakkel ti tomo ti kiddaw ti API ti Discord. Ti Rust ket nangitukon ti maipada a produktibidad ti developer para iti kodigo ti lebel ti sistema nga awan ti runtime overhead, panagsardeng ti panagkolekta ti basura, wenno dagiti limitasion ti panaggigiddan ti Python — a mangpataud ti maysa nga API a suson nga agpada a naparpartak ken ad-adda a maipadto iti sidong ti karga.

Ania ti kadakkelan nga aramiden dagiti plataporma ti biddut ti panagoptimisar ti panagaramid iti sukog?

Ti kadawyan a biddut ket ti panag-optimisar a nasapa ken nalawa imbes a mangpuntiria ti espesipiko, nasukatan a tengnged ti botelia a pakaigapuan ti panagdadael. Ti inhenieria ti panagaramid ket kaepektibuan no maiturong babaen ti panagpropil ti datos ken dagiti metriko ti epekto ti agar-aramat. Ti discord ket kankanayon a nagballigi babaen ti panangilasin ti maymaysa a kangatuan-nga-epekto a pagbeddengan — ti database latency, API throughput, WebSocket concurrency — ken panangrisut daytoy nga espesipiko sakbay nga umakar iti sumaganad.

Kasano a ti maysa a plataporma iti lebel ti negosio ket mayaplikar dagiti leksion ti panagaramid ti Discord nga awan dagiti rekurso ti inhenieria ti empresa?

Epektibo ti panagkissay dagiti prinsipio. Ania man a plataporma ket mabalinna nga ipatungpal ti panagremienta ti panagpaliiw, dagiti puntos ti panagpatingga ti propil iti sidong ti realistiko a karga, ken mangaramid kadagiti inkremental a pangngeddeng ti stack a naibatay iti datos imbes a dagiti default. Dagiti amin-iti-maysa a plataporma a mangabstrakto ti kinarikut ti impraestruktura — ti panangtaming ti panag-cache, aktual nga oras a komunikasion, ken panagidulin ti datos iti lebel ti plataporma — ket mangipalubos kadagiti dumakdakkel a negosio a magunggonaan manipud iti nasayaat nga arkitektura a saan a kasapulan a bangonen manen daytoy a mismo.

Ti panagadal ti kaso ti panagoptimisar ti panagaramid ti Discord ket mangpaneknek a ti natalged a sukog ket magun-od babaen dagiti nairanta, dagiti datos-a-naidasig nga arkitektural a pangngeddeng — saan a babaen ti panangipuruak kadagiti rekurso kadagiti parikut. Basta agpatpatarayka iti plataporma ti komunikasion wenno multi-module a sistema ti panagpataray ti negosio, agpapada dagiti prinsipio: agrukod a di agsarday, agsina a nasaririt, ken agpili kadagiti ramit a maitunos iti aktual a parikut.

No agsapsapul ti negosiom iti plataporma a mangyaplikar kadagitoy a prinsipio iti ruar ti kahon — panangtaming iti panagaramid, pannakapadakkel, ken kinarikut ti panagpataray tapno maipamaysam ti panagdur-as — sukisokenyo ti Mewayz ita nga aldaw. Iti 207 a naikaykaysa a modulo, 138,000+ nga agar-aramat, ken dagiti plano a mangrugi laeng iti $19/bulan, ti Mewayz ket naibangon a maitunos iti negosiom manipud iti umuna nga aldaw.