Python түрін тексеру құралын салыстыру: бос контейнер туралы қорытынды

Неліктен бос контейнерлер Python түріндегі дойбыларды бұзады - және бұл туралы не істей аласыз?

Python-ның бірте-бірте теру жүйесі 2015 жылы PEP 484 типтік кеңестерді енгізгеннен бері айтарлықтай жетілді. Бүгінде миллиондаған әзірлеушілер қателерді өндіріске жеткізбес бұрын анықтау үшін статикалық типті тексеру құралдарына сенеді. Бірақ типті жүйенің тіпті тәжірибелі инженерлерді де қинайтын нәзік, көңілсіз бұрышы бар: бос контейнердің қандай түрі бар? Аннотациясыз x = [] деп жазғанда, тип тексерушісі болжау керек — және әртүрлі дойбылар басқаша болжайды. Бұл алшақтық үлкен кодтық базаларды қолдайтын командалар үшін нақты мәселелерді тудырады, мұнда түр тексерушілерін ауыстыру немесе біріктіру бір түнде жүздеген күтпеген қателерді тудыруы мүмкін.

Бұл мақалада Python типіндегі төрт негізгі тексеру құралдарының — mypy, pyright, pytype және pyre — бос контейнерлік қорытындыны қалай өңдейтіні, олар неліктен келіспейді және құрал таңдауыңызға қарамастан типті қауіпсіз Python жазу үшін қандай практикалық стратегияларды қолдануға болатынын қарастырады.

Негізгі мәселе: бос контейнерлер анық емес

Бұл зиянсыз Python желісін қарастырыңыз: нәтижелері = []. нәтижелер тізім[int] ме? тізім[str]? тізім[dict[str, Any]]? Қосымша контекстсіз білудің шын мәнінде мүмкіндігі жоқ. Python жұмыс уақыты маңызды емес - тізімдер табиғаты бойынша біркелкі емес - бірақ статикалық типті тексерушілер өз жұмысын орындау үшін әрбір айнымалыға нақты түрді тағайындауы керек. Бұл Python динамикалық икемділігі мен статикалық талдау қамтамасыз етуге тырысатын кепілдіктер арасында негізгі шиеленісті тудырады.

Мәселе сөздіктермен және жинақтармен біріктіріледі. Бос {} шын мәнінде жиын емес, дикт ретінде талданады, ол тип деңгейіндегі екіұштылықтың үстіне синтаксистік екіұштылықты қосады. Ал кірістірілген контейнерлер — defaultdict(list) немесе нәтижелерді = {k: [] for k in keys} деп ойлаңыз — қорытындылау механизмдерін өз шегіне дейін итеріңіз. Әрбір тексеруші өз эвристикасын әзірледі және айырмашылықтар көптеген әзірлеушілер түсінетіннен де маңыздырақ.

Нақты жұмыс жүктемелерін өңдейтін өндіріс жүйелерінде — тұтынушы жазбаларын өңдейтін CRM, жол элементтерін жасайтын шот-фактура модулі немесе көрсеткіштерді біріктіретін аналитикалық құбыр желісі болсын — бос контейнерлер баптандыру үлгілері ретінде үнемі пайда болады. Олардың түрлерін қате алу тек линтер туралы ескертулерді тудырмайды; ол орындалу уақытына өтіп кететін шынайы қателерді жасыра алады.

Mypy: Кез келген жасырын түрде кейінге қалдырылған қорытынды

Mypy, ең көне және кең таралған Python типті тексеру құралы бос контейнерлерге салыстырмалы түрде жұмсақ көзқарасты қолданады. Функция аумағында x = [] кездескенде, ол түр шешімін кейінге қалдыруға және кейінгі пайдаланудан элемент түрін шығаруға әрекет жасайды. Егер x = [] сосын x.append(42) деп жазсаңыз, mypy list[int] нәтижесін шығарады. Бұл «қосылу» стратегиясы контейнер бір аумақта толтырылған қарапайым жағдайлар үшін таңқаларлық жақсы жұмыс істейді.

Алайда, mypy әрекеті контекст пен қатаңдық параметрлеріне байланысты күрт өзгереді. Модуль ауқымында (жоғары деңгейлі код) немесе контейнер толтырылмас бұрын басқа функцияға жіберілгенде, mypy жиі тізім[Кез келген]ге қайтады. --strict жалаушасы астында бұл қатені тудырады, бірақ әдепкі режимде ол үнсіз өтеді. Бұл mypy қызметін қатаң режимсіз іске қосатын командалар тип жүйесінен шығу люктері ретінде әрекет етіп, оның мақсатын бұзатын ондаған жасырын терілген контейнерлерді жинақтай алады дегенді білдіреді.

Бір ерекше нәзік әрекет: 0,990-ға дейінгі mypy нұсқалары кейде ішкі тізімді[Белгісіз] шығарады, содан кейін тапсырма бойынша тізім[Кез келген] болып кеңейеді. 0,990-ден кейін қорытынды күшейтілді, бірақ бұл өзгеріс рұқсат етуші мінез-құлыққа сенген нақты әлемдегі кодтық базалардың таңқаларлық санын бұзды. Бұл қайталанатын тақырып — бос контейнер қорытындысына жасалған өзгертулер ең қиын түрдегі тексеруші жаңартулардың бірі болып табылады, себебі үлгілер өте кең таралған.

Питорлық құқық: Қатаң қорытынды және "Белгісіз" түрі

Microsoft әзірлеген және VS Code жүйесінде Pylance-ті қамтамасыз ететін Pyright принципі басқаша философиялық ұстанымға ие. Кез келгенге үнсіз оралудың орнына, авторлық құқық Белгісіз (әлі анықталмаған түр) және Кез келген (түрді тексеруден анық бас тарту) арасында ажыратады. Авторлық құқықтың қатаң режимінде x = [] деп жазғанда, ол тізім[Белгісіз] шығарылады және диагностика туралы хабарлайды, бұл сізді аннотация беруге мәжбүр етеді.

Сонымен қатар, авторлық құқық қолдану аясын тарылту туралы агрессивті. Жазсаңыз:

• x = [] одан кейін x.append("hello") — авторлық құқық list[str]
тұжырымын жасайды
• x = [] одан кейін x.append(1) содан кейін x.append("сәлем") — авторлық құқық list[int | str]
• x = [] тікелей list[int] күтетін функцияға өтті — авторлық құқық шақыру сайтының контекстінен list[int] тұжырымын жасайды
• x = [] қайтару түріндегі аннотациясыз функциядан қайтарылды — pyright болжаудан гөрі қате туралы хабарлайды

Бұл екі бағытты қорытынды (кейінгі пайдалануды да, қоңырау тораптарынан күтілетін түрлерді де пайдалана отырып) бос контейнерлер үшін mypy-ге қарағанда pyright мәнін айтарлықтай дәлірек етеді. Айырмашылық нақтылық болып табылады: бірнеше ашық бастапқы көшіру есептерінен алынған талдауға сәйкес, авторлық құқықтың қатаң режимі mypy қатаң режимімен салыстырғанда әдеттегі аннотацияланбаған код базасында шамамен 30-40% көбірек мәселелерді белгілейді. Күрделі серверлік жүйелерді құрастыратын командалар үшін (мысалы, CRM, жалақы және аналитиканы қамтитын 207 өзара байланысты модульдерді басқаратын платформа) үшін авторлық құқықтың қатаңдығы жұмсақ тұжырымды өткізіп жіберетін нәзік интерфейс сәйкессіздіктерін ұстайды.

Pytype және Pyre: аз жүретін жолдар

Google pytype ең прагматикалық тәсілді қабылдайды. Аннотацияларды талап етудің немесе Кез келгенге қайта оралудың орнына, pytype контейнерді функция шекаралары арқылы қалай пайдаланылатынын бақылау үшін бүкіл бағдарлама талдауын пайдаланады. Егер сіз бір функцияда бос тізім жасап, оны бүтін сандарды қосатын басқасына өткізсеңіз, pytype жиі list[int] дегенді ешбір аннотациясыз шығара алады. Бұл кросс-функция тұжырымы есептеу үшін қымбат — pytype үлкен кодтық базалардағы mypy немесе pyright қарағанда айтарлықтай баяу, бірақ ол аннотацияланбаған кодта жалған позитивтерді аз шығарады.

Pytype сонымен қатар бос контейнерлер үшін "жартылай түрлер" түсінігін ұсынады. Жаңадан жасалған [] жартылай түрін алады, өйткені тексеруші көбірек қолданыс табады. Бұл концептуалды түрде талғампаз, бірақ ішінара түрін толық шешу мүмкін болмаған кезде, мысалы, бос контейнер бірнеше функциялар арқылы толтырылмай ағып жатқанда, шатастыратын қате туралы хабарларды тудыруы мүмкін.

Мета pyre, бұл арада, mypy әрекетіне жақынырақ, бірақ қатаң әдепкі параметрлермен. Pyre x = [] тізім[белгісіз] ретінде қарастырады және көптеген контексттерде аннотацияны қажет етеді. Пиренің ерекшеленетін жері оның кваргтар ретінде пайдаланылатын бос сөздік литералдарын өңдеуінде — веб-фремворктердегі жалпы үлгі. Pyre-де кілт сөздің аргумент контексттерінен сөздік түрлерін шығару үшін арнайы регистрлік логика бар, бұл құрылымдық ауыр кодтық базаларда аннотация жүктемесін азайтады. Қазіргі заманғы веб-қосымшалардың көпшілігі конфигурациялау және сұрауларды өңдеу үшін сөздікті ашуды көп қолдануды қажет ететінін ескерсек, бұл прагматизм дивидендтер береді.

Нақты әлем әсері: қорытындының дивергенциясы шағу кезінде

Өндірістік код базасында қолданылмайынша, тексеру құрылғыларының түрлері арасындағы айырмашылықтар академиялық болып көрінуі мүмкін. Іскерлік қолданбалардағы жалпы үлгіні қарастырыңыз: шартты түрде толтырылатын деректер құрылымын инициализациялау.

Ең қауіпті бос контейнерлер дойбы түріндегі жалаушалар емес — олар болжалды кез келген түрімен үнсіз өтетін контейнерлер болып табылады, бұл төменгі ағындық функция орындалу уақытында бастапқы орнын анықтау мүмкін емес TypeErrorмен істен шыққанша, сәйкес келмейтін деректерді ескертусіз жинақтауға мүмкіндік береді.

Нақты мысал: финтех стартапындағы топ өндіріс мәселесін жөндеуге үш күн жұмсағанын хабарлады, мұнда төлемді өңдеу функциясында инициализацияланған бос тізім mypy арқылы тізім[Кез келген] деп шығарылды. Тізімде валюта сомаларына арналған Ондық нысандары болуы керек еді, бірақ оның орнына код жолы float мәндерін қосып отырды. Мыпының жұмсақ тұжырымы бұған үнсіз мүмкіндік берді. Қате тек қалқымалы арифметикадағы дөңгелектеу қателері 12 000 шот-фактуралар топтамасында $0,01 сәйкессіздік тудырған кезде пайда болды. Егер олар қатаң режимде авторлық құқықты пайдаланса немесе бос тізімге жай ғана тізім[Ондық] деп түсініктеме берсе, қате әзірлеу кезінде ұсталып қалар еді.

Платформа шот-фактураны, жалақыны есептеуді және қаржылық талдауды 138 000+ пайдаланушы тіркелгісінде өңдейтін Mewayz-те қауіпсіздік түріндегі бұл айырмашылық теориялық емес — бұл жалақыны дұрыс есептеу мен қымбат қайта есептеулер арасындағы айырмашылық. Контейнерді инициализациялауға қатысты қатаң теру тәртібі қызықты өндірістік оқиғаларды болдырмайтын «қызықсыз» инженерлік тәжірибелердің бірі болып табылады.

Қорғаныс контейнерін инициализациялаудың үздік тәжірибелері

Топыңыз қандай тексеруші түрін пайдаланатынына қарамастан, бос контейнердегі түсініксіздікті толығымен жоюдың нақты стратегиялары бар. Мақсат - бос контейнерлер үшін қорытындыға ешқашан сенбеу — кодыңыз барлық тексергіштерде тасымалданатын және нұсқалар арасындағы қорытынды мінез-құлық өзгерістеріне иммунитет болатындай түрін анық етіңіз.

1. Әрқашан бос контейнер айнымалы мәндерін түсіндіріңіз. нәтижелер = [] орнына нәтижелер: list[int] = [] деп жазыңыз. Кішкене егжей-тегжейлі шығындар үнемделген жөндеу уақытымен салыстырғанда шамалы. Бұл жалғыз тәжірибе бос контейнер шығару мәселелерінің шамамен 80%-ын жояды.
2. Күрделі контейнерлер үшін зауыттық функцияларды пайдаланыңыз. cache = {} орнына, def make_cache() -> dict[str, list[UserRecord]]: қайтару {} сияқты функцияны жазыңыз. Қайтару түрінің аннотациясы тағайындалған түрді бірмәнді және өзін-өзі құжаттайтын етеді.
3. Тривиальды емес түрлер үшін литералдардан гөрі терілген конструкторларды артықшылық беріңіз. Жиынды түсіну туралы қорытындыға сүйенбей, элементтерді: set[int] = set() деп жазыңыз. defaultdict және Counter үшін әрқашан түр параметрін қамтамасыз етіңіз: саналар: Counter[str] = Counter().
4. Жаңа код үшін тип тексерушінің қатаң режимін конфигурациялаңыз. mypy және pyright екеуі де файл немесе каталог конфигурациясын қолдайды. Бұрынғы кодты біртіндеп көшіру кезінде жаңа модульдерді қатаң тексеруді қосыңыз. Бұл жаңа жанама түрде терілген контейнерлердің жиналуын болдырмайды.
5. Түр тексерушісін салыстыруды CI конвейеріне қосыңыз. Код базасында mypy және pyright екеуін де іске қосу қорытынды алшақтықты ерте анықтайды. Егер үлгі бір тексерушіден өтіп, бірақ екіншісінен өтпесе, бұл түр жеткілікті түрде анық емес деген сигнал.

Үлкен сурет: Топтық тәжірибе ретінде типті тексеру

Бос контейнер туралы қорытынды - бұл Python типті жүйедегі үлкен мәселенің микрокосмасы: ыңғайлылық пен қауіпсіздік арасындағы шиеленіс. Python-ның «бәріміз ересектермен келісеміз» философиясы прототиптеу және сценарийлер үшін тамаша жұмыс істейді, бірақ мыңдаған пайдаланушыларға қызмет көрсететін өндіріс жүйелеріне күшті кепілдіктер қажет. Төрт негізгі типтегі дойбылардың [] түрі сияқты қарапайым нәрседе келіспегені Python теру экожүйесінің әлі де жетіліп келе жатқанын көрсетеді.

Күрделі платформаларды құрастыратын инженерлік командалар үшін – бірнеше микросервистерді немесе Mewayz іскерлік операциялық жүйесі сияқты өзара байланысты жүздеген модульдері бар интеграцияланған жүйені басқарсаңыз да – практикалық кеңес қарапайым: бос контейнерлер туралы қорытындыға сенбеңіз, типті тексеру құралын таңдап, оны қатаң түрде конфигурациялаңыз және құжат түрін машинада болмайды деп есептеңіз. [] орнына тізім[Шот-фактура] жазуға жұмсалған бес минут кодтық база масштабталған кезде жөндеуден бірнеше сағат үнемдейді.

PEP 696 (әдепкі түр параметрлері) және PEP 695 (түр параметрінің синтаксисі) Python-ның жаңа нұсқаларына енуді жалғастырған сайын, анық терудің эргономикасы жақсара береді. «Аннотацияланған» және «аннотацияланбаған» Python арасындағы алшақтық тарылады. Бірақ сол күнге дейін ашық контейнер түрлері Python әзірлеушісінің құралдар жинағындағы ең жоғары ROI тәжірибелерінің бірі болып қала береді — бұл әрбір модуль, әрбір спринт және әрбір өндіріс орнында күрделі пайыз төлейтін шағын пән.

Жиі қойылатын сұрақтар

Неге теру дойбылары бос тізімнің түрімен келісе алмайды?

`x = []` деп жазғанда, түр тексерушісі нақты кеңестерсіз түрді шығаруы керек. Әртүрлі дойбылар әртүрлі стратегияларды пайдаланады: кейбіреулері «тізім[Кез келген]» (кез келген нәрсенің тізімі), ал басқалары «тізім[Ешбір]» сияқты нақтырақ, бірақ қате түрін шығаруы мүмкін. Бұл әмбебап стандарттың жоқтығы олардың келіспеуінің себебі. Бірнеше тексерушіні пайдаланатын жобалар үшін бұл сәйкессіздік бір құралда талдауды бұзу, екіншісінде өту кезінде үлкен бас ауруы болуы мүмкін.

Бос контейнер қателерін түзетудің ең қарапайым жолы қандай?

Ең қарапайым шешім - анық түрдегі аннотацияны қамтамасыз ету. «менің_тізім = []` орнына, жоспарланған түрді нақты жариялау үшін «менің_тізім: тізім[str] = []` деп жазыңыз. Бұл mypy, Pyright және Pyre сияқты әртүрлі құралдарда дәйекті әрекетті қамтамасыз ететін түр тексерушісінің барлық анық еместігін жояды. Бұл тәжірибе қорытынды қателерді болдырмау үшін барлық бос контейнерді инициализациялау үшін ұсынылады.

Сынып анықтамалары ішінде бос контейнерлерді қалай өңдеуге болады?

Бұл жалпы мәселе, себебі сыныптар ішіндегі аннотациялар арнайы өңдеуді қажет етеді. Тізім сынып атрибуты болуы керек болса, `from __future__ import annotations` импортын немесе `ClassVar` аннотациясын пайдалануыңыз керек. Мысалы, `MyClass класы: менің_тізім: ClassVar[тізім[str]] = []`. Бұл болмаса, тип тексерушісі қателерге әкеліп соқтыратын түрін дұрыс шығара алмайды.

Үлкен жобаларда осы теру мәселелерін басқаруға көмектесетін құралдар бар ма?

Иә, Pyright (VS кодындағы Pylance мүмкіндігін береді) сияқты кеңейтілген типтегі дойбылар күрделі тұжырымдарды өңдеуде әсіресе жақсы. Үлкен кодтық базалар үшін Mewayz сияқты платформалар (айына $19 тұратын 207 талдау модулін ұсынады) тереңірек, дәйекті типті тексеруді қамтамасыз етеді және мақалада талқыланған сәйкессіздіктерді азайта отырып, бүкіл командаңызда аннотация тәжірибесін қолдануға көмектеседі.