Python tipo tikrintuvo palyginimas: tuščio konteinerio išvada

Kodėl tušti konteineriai pažeidžia „Python“ tipo tikrintuvus – ir ką galite padaryti?

Python laipsniško spausdinimo sistema labai subrendo po to, kai PEP 484 2015 m. pristatė tipo užuominas. Šiandien milijonai kūrėjų pasitiki statiniais tipo tikrintuvais, kad gautų klaidas prieš jas pradedant gaminti. Tačiau yra subtilus, varginantis tipo sistemos kampelis, kuris vis tiek trikdo net patyrusius inžinierius: kokio tipo yra tuščias konteineris? Kai rašote x = [] be komentaro, tipo tikrintuvas turi atspėti, o skirtingi tikrintojai atspėja skirtingai. Dėl šio skirtumo kyla didelių problemų komandoms, prižiūrinčioms dideles kodų bazes, kai perjungus arba sujungus tipo tikrintuvus per naktį gali atsirasti šimtai netikėtų klaidų.

Šiame straipsnyje paaiškinama, kaip keturi pagrindiniai Python tipo tikrintuvai – mypy, pyright, pytype ir pyre – apdoroja tuščio konteinerio išvadas, kodėl jie nesutinka ir kokias praktines strategijas galite naudoti norėdami parašyti saugaus tipo Python, nepaisant jūsų pasirinkto įrankio.

Pagrindinė problema: tušti konteineriai iš esmės yra dviprasmiški

Apsvarstykite šią nekenksmingą Python eilutę: results = []. Ar rezultatai yra sąrašas[int]? sąrašas[str]? sąrašas[dict[str, Any]]? Be papildomo konteksto tikrai nėra galimybės žinoti. Python vykdymo laikui nerūpi – sąrašai iš prigimties yra nevienalyčiai, tačiau statinio tipo tikrintuvai turi priskirti konkretų tipą kiekvienam kintamajam, kad galėtų atlikti savo darbą. Tai sukuria esminę įtampą tarp Python dinaminio lankstumo ir garantijų, kurias bando suteikti statinė analizė.

Problemos junginiai su žodynais ir rinkiniais. Tuščias {} iš tikrųjų išanalizuojamas kaip diktas, o ne kaip rinkinys, kuris prideda sintaksės dviprasmiškumo, be tipo lygio dviprasmiškumo. O įdėtieji sudėtiniai rodiniai – pagalvokite apie defaultdict(list) arba results = {k: [] for k in keys – padidina išvadų variklius iki jų ribų. Kiekvienas tipo tikrintuvas sukūrė savo euristiką, o skirtumai yra svarbesni, nei dauguma kūrėjų supranta.

Gamybos sistemose, apdorojančiose realius darbo krūvius – ar tai būtų CRM, tvarkantis klientų įrašus, ar sąskaitų faktūrų išrašymo modulis, generuojantis eilutės elementus, ar analizės dujotiekis, kaupiantis metriką – tušti konteineriai nuolat rodomi kaip inicijavimo šablonai. Neteisingas jų tipas ne tik įspėja apie nešvarumus; jis gali užmaskuoti tikras klaidas, kurios prasiskverbia į vykdymo laiką.

Mypy: atidėta išvada su numanomu bet kokiu

Mypy, seniausia ir plačiausiai priimta Python tipo tikrinimo priemonė, gana švelniai žiūri į tuščius konteinerius. Kai funkcija aprėpia x = [], ji bando atidėti tipo sprendimą ir nustatyti elemento tipą iš tolesnio naudojimo. Jei rašysite x = [] ir x.append(42), mypy padarys išvadą list[int]. Ši „prisijungimo“ strategija stebėtinai gerai veikia paprastais atvejais, kai konteineris yra užpildytas toje pačioje srityje.

Tačiau mypy elgesys labai pasikeičia priklausomai nuo konteksto ir griežtumo nustatymų. Modulio apimtyje (aukščiausio lygio kodas) arba kai sudėtinis rodinys perduodamas kitai funkcijai prieš užpildant, mypy dažnai grįžta į sąrašą[Bet koks]. Po žyma --strict tai suaktyvina klaidą, bet numatytuoju režimu ji praeina tyliai. Tai reiškia, kad komandos, veikiančios mypy be griežto režimo, gali sukaupti daugybę netiesiogiai įvestų konteinerių, kurie veikia kaip pabėgimo liukai iš tipo sistemos, o tai pažeidžia jos paskirtį.

Ypač subtilus elgesys: senesnės nei 0,990 „mypy“ versijos kartais viduje nuveda sąrašas[Nežinomas], o tada priskiriant išplečiamas iki sąrašas[Bet]. Po 0.990 išvada buvo sugriežtinta, tačiau pakeitimas sulaužė stebėtinai daug realaus pasaulio kodų bazių, kurios rėmėsi leistinu elgesiu to nesuvokdamos. Tai pasikartojanti tema – tuščio konteinerio išvados pakeitimai yra vieni labiausiai trikdančių tipo tikrintuvo atnaujinimų, nes šablonai yra tokie visur.

Autorių teisės: griežta išvada ir „nežinomas“ tipas

Pyright, sukurta Microsoft ir aprūpinti Pylance VS Code, laikosi iš esmės kitokios filosofinės pozicijos. Užuot tyliai grįžęs prie Bet koks, autorių teisės išskiria Nežinomas (tipas, kuris dar nenustatytas) ir Bet koks (aiškus tipo tikrinimo atsisakymas). Kai rašote x = [] griežtu autorių teisių režimu, išvedamas sąrašas[Nežinomas] ir pranešama apie diagnostiką, todėl jūs turite pateikti komentarą.

Pyright taip pat agresyviau žiūri į apimties siaurinimą. Jei rašote:

• x = [], po kurio yra x.append("labas") – autorių teisės daro išvadą, kad sąrašas[str]
• x = [], po kurio yra x.append(1), tada x.append("labas") – autorių teisės daro išvadą, kad sąrašas[int | str]
• x = [] tiesiogiai perduota funkcijai, kuri tikisi list[int] – pagal iškvietimo svetainės kontekstą autorių teisės nustato list[int].
• x = [] grąžinta iš funkcijos be grąžinimo tipo anotacijos – autorių teisės praneša apie klaidą, o ne spėlioja

Dėl šios dvikryptės išvados (naudojant ir vėlesnį naudojimą, ir laukiamus tipus iš skambučių svetainių) „pyright“ yra daug tikslesnė nei „mypy“ tuščių konteinerių atveju. Kompromisas yra daugiažodiškumas: pagal kelių atvirojo kodo perkėlimo ataskaitų analizę, griežtasis autorių teisių režimas žymi maždaug 30–40 % daugiau problemų įprastoje nekomentuoto kodo bazėje, palyginti su griežtu mypy režimu. Komandoms, kuriančioms sudėtingas vidines sistemas – tarkime, platformą, valdančią 207 tarpusavyje sujungtus modulius, apimančius CRM, atlyginimų apskaičiavimą ir analizę – autorių teisių griežtumas užfiksuoja subtilius sąsajos neatitikimus, kurių nepastebėtų švelnios išvados.

Pytype ir Pyre: mažiau važinėti keliai

„Google“ pytype yra bene pragmatiškiausias. Vietoj to, kad būtų reikalaujama pateikti komentarus arba grįžti prie Bet koks, pytype naudoja visos programos analizę, kad stebėtų, kaip sudėtinis rodinys naudojamas peržengiant funkcijų ribas. Jei vienoje funkcijoje sukuriate tuščią sąrašą ir perduodate jį kitai, kuri prideda sveikuosius skaičius, pytype dažnai gali išvaduoti list[int] be jokių komentarų. Ši kryžminių funkcijų išvada yra brangi skaičiuojant – pytype yra daug lėtesnis nei mypy arba pyright didelėse kodų bazėse, tačiau ji sukuria mažiau klaidingų teigiamų rezultatų nekontuotame kode.

Pytype taip pat pristato "dalinių tipų" sąvoką tuščioms talpykloms. Naujai sukurtas [] įgauna dalinį tipą, kuris palaipsniui tobulinamas, kai tikrintuvas vis dažniau naudojamas. Tai konceptualiai elegantiška, tačiau gali būti pateikiami klaidinantys klaidos pranešimai, kai nepavyksta visiškai išspręsti dalinio tipo, pvz., kai tuščias konteineris teka per kelias funkcijas, tačiau jis niekada nėra užpildytas.

Tuo tarpu Metos ugnis priartėja prie mypy elgesio, bet su griežtesniais numatytais nustatymais. „Pyre“ vertina x = [] kaip sąrašą[nežinomas] ir daugeliu atvejų reikalauja anotacijos. Pyre skiriasi tuo, kad tvarko tuščius žodyno žodžius, naudojamus kaip kwargs – tai įprasta žiniatinklio sistemose. „Pyre“ turi specialią logiką, leidžiančią iš raktinių žodžių argumentų kontekstų nustatyti žodynų tipus ir sumažinti anotacijų naštą sistemose, kuriose yra daug kodų. Atsižvelgiant į tai, kad daugumoje šiuolaikinių žiniatinklio programų konfigūracijai ir užklausoms tvarkyti naudojamas intensyvus žodyno išpakavimas, toks pragmatiškumas pasiteisina.

Poveikis realiam pasauliui: kai daroma išvada apie skirtumus

Tipų tikrintuvų skirtumai gali atrodyti akademiški, kol nepatiriate jų gamybos kodų bazėje. Apsvarstykite įprastą verslo programų modelį: duomenų struktūros, kuri užpildoma sąlygiškai, inicijavimas.

Pavojingiausi tušti sudėtiniai rodiniai nėra tie, kurių tipo tikrintuvų žyma – jie tyliai praeina su numanomu Bet kuriuo tipu, todėl nesuderinami duomenys gali kauptis be įspėjimo, kol pasroviui esanti funkcija sugenda vykdymo metu su tipo klaida, kurios kilmės beveik neįmanoma atsekti.

Konkretus pavyzdys: „fintech“ startuolio komanda pranešė, kad praleido tris dienas derindama gamybos problemą, kai tuščias sąrašas, inicijuotas mokėjimo apdorojimo funkcijoje, „mypy“ buvo nustatytas kaip sąrašas[Bet koks]. Sąraše turėjo būti dešimtainiai objektai valiutos sumoms, tačiau kodo kelias buvo pridėtas slankiosios reikšmės. Mypy švelnus sprendimas tyliai tai leido. Klaida pasirodė tik tada, kai apvalinimo klaidos plaukiojančioje aritmetikoje sukėlė 0,01 USD neatitikimą 12 000 sąskaitų faktūrų partijoje. Jei jie būtų naudoję autorių teises griežtuoju režimu arba tiesiog komentuodami tuščią sąrašą kaip sąrašas[dešimtainis], klaida būtų užfiksuota kūrimo metu.

Mewayz, kur platforma apdoroja sąskaitų faktūrų išrašymą, darbo užmokesčio skaičiavimus ir finansinę analizę daugiau nei 138 000 naudotojų paskyrų, toks tipo saugos skirtumas nėra teorinis – tai skirtumas tarp teisingų darbo užmokesčio skaičiavimų ir brangių perskaičiavimų. Griežta spausdinimo drausmė, susijusi su konteinerio inicijavimu, yra viena iš tų „nuobodžių“ inžinerinių metodų, kurie užkerta kelią įdomiems gamybos incidentams.

Geriausia gynybinio konteinerio inicijavimo praktika

Nepriklausomai nuo to, kokio tipo tikrintuvą naudoja jūsų komanda, yra konkrečių strategijų, kaip visiškai pašalinti tuščio konteinerio dviprasmiškumą. Tikslas yra niekada nepasikliauti išvadomis dėl tuščių konteinerių – padarykite aiškų tipą, kad jūsų kodas būtų nešiojamas visuose tikrintuvuose ir būtų apsaugotas nuo išvadų elgesio pokyčių įvairiose versijose.

1. Visada komentuoti tuščius sudėtinio rodinio kintamuosius. Vietoj results = [] parašykite results: list[int] = []. Nedidelės išsamumo išlaidos yra nereikšmingos, palyginti su sutaupytu derinimo laiku. Ši vienintelė praktika pašalina maždaug 80 % tuščio konteinerio išvadų problemų.
2. Sudėtingiems sudėtiniams rodiniams naudokite gamyklines funkcijas. Vietoj cache = {} parašykite funkciją, pvz., def make_cache() -> dict[str, list[UserRecord]]: return {}. Grąžinimo tipo anotacija daro numatytą tipą nedviprasmišką ir savaime dokumentuojamą.
3. Netrivialiems tipams teikite pirmenybę įvestiems konstruktoriams, o ne literalams. Parašykite elementus: set[int] = set(), o ne pasikliaukite rinkinio supratimo išvada. Jei naudojate defaultdict ir Counter, visada pateikite tipo parametrą: counts: Counter[str] = Counter().
4. Konfigūruokite griežtą tipo tikrintuvo režimą naujam kodui. Tiek mypy, tiek pyright palaiko konfigūraciją pagal failą arba katalogą. Įgalinkite griežtą naujų modulių tikrinimą, palaipsniui perkeldami seną kodą. Tai apsaugo nuo naujų netiesiogiai įvestų konteinerių kaupimosi.
5. Pridėkite tipo tikrintuvo palyginimą prie CI konvejerio. Kodų bazėje paleidus mypy ir pyright išvadų skirtumai nustatomi anksti. Jei šablonas įveikia vieną tikrintuvą, o kitą – tai signalas, kad tipas nėra pakankamai aiškus.

Didesnis vaizdas: tipo tikrinimas kaip komandos praktika

Išvada apie tuščią konteinerį galiausiai yra didesnio Python tipo sistemos iššūkio mikrokosmosas: įtampa tarp patogumo ir saugos. Python filosofija „mes visi sutinkame suaugusieji“ puikiai veikia kuriant prototipus ir scenarijus, tačiau gamybos sistemoms, aptarnaujančioms tūkstančius vartotojų, reikia griežtesnių garantijų. Tai, kad keturi pagrindiniai tipo tikrintuvai nesutaria dėl tokio pagrindinio dalyko, kaip [] tipas, pabrėžia, kad Python tipavimo ekosistema vis dar bręsta.

Inžinierių komandoms, kuriančioms sudėtingas platformas – nesvarbu, ar valdote keletą mikro paslaugų, ar integruotą sistemą su šimtais tarpusavyje sujungtų modulių, pvz., „Mewayz“ verslo OS – praktinis patarimas yra aiškus: nepasikliaukite išvadomis apie tuščius konteinerius, pasirinkite tipo tikrintuvą ir griežtai jį sukonfigūruokite, o tipo anotacijas laikykite mašininiais dokumentais, kuriuos galima patikrinti. Penkias minutes, praleistas rašant sąrašą[sąskaitą faktūrą], o ne [], sutaupysite valandų derinimo, kai keičiasi kodų bazė.

Kadangi PEP 696 (numatytieji tipo parametrai) ir PEP 695 (tipo parametrų sintaksė) ir toliau patenka į naujesnes Python versijas, aiškaus spausdinimo ergonomika ir toliau tobulės. Atotrūkis tarp „anotuoto“ ir „nekotuoto“ Python sumažės. Tačiau iki tos dienos aiškūs konteinerių tipai išlieka viena didžiausių IG praktikų Python kūrėjo įrankių rinkinyje – tai maža disciplina, pagal kurią mokamos sudėtinės palūkanos už kiekvieną modulį, kiekvieną sprintą ir kiekvieną gamybos diegimą.

Dažniausiai užduodami klausimai

Kodėl tipo tikrintuvai negali susitarti dėl tuščio sąrašo tipo?

Kai rašote „x = []“, tipo tikrintuvas turi nustatyti tipą be aiškių užuominų. Skirtingi tikrintuvai naudoja skirtingas strategijas: kai kurios daro išvadą „sąrašas[Bet]“ (bet ko sąrašas), o kiti gali nustatyti konkretesnį, bet neteisingą tipą, pvz., „sąrašas[nėra]“. Dėl šio universalaus standarto nebuvimo jie nesutaria. Projektams, kuriuose naudojami keli tikrintuvai, šis nenuoseklumas gali sukelti didelį galvos skausmą, sulaužant analizę viename įrankyje, o kitame.

Koks yra paprasčiausias būdas ištaisyti tuščio konteinerio klaidas?

Paprasčiausias sprendimas yra pateikti aiškaus tipo anotaciją. Vietoj „my_list = []“, parašykite „mano_sąrašas: list[str] = []“, kad aiškiai nurodytumėte numatomą tipą. Tai pašalina visus tipo tikrintuvo neaiškumus ir užtikrina nuoseklų įvairių įrankių, pvz., „mypy“, „Pyright“ ir „Pyre“, elgesį. Ši praktika rekomenduojama atliekant visus tuščio konteinerio inicijavimus, kad būtų išvengta išvadų klaidų.

Kaip tvarkyti tuščius konteinerius pagal klasės apibrėžimus?

Tai dažna problema, nes klasėse esančius komentarus reikia tvarkyti specialiai. Turite naudoti „iš __ateities__ importo komentarų“ importą arba „ClassVar“ anotaciją, jei sąrašas skirtas kaip klasės atributas. Pavyzdžiui, `klasė MyClass: mano_sąrašas: ClassVar[sąrašas[str]] = []`. Be to tipo tikrintuvui gali būti sunku teisingai nustatyti tipą, todėl gali atsirasti klaidų.

Ar yra įrankių, padedančių valdyti šias spausdinimo problemas dideliuose projektuose?

Taip, išplėstinės tipo tikrintuvai, tokie kaip „Pyright“ (kuris suteikia „Pylance“ galią VS kode), ypač gerai tvarko sudėtingas išvadas. Didelėse kodų bazėse tokios platformos kaip „Mewayz“ (siūlo 207 analizės modulius už 19 USD per mėnesį) gali užtikrinti gilesnį, nuoseklesnį tipo tikrinimą ir padėti taikyti anotacijų praktiką visoje komandoje, taip sumažinant straipsnyje aptartus nenuoseklumus.