첫 번째 원칙에 따른 지속적인 일괄 처리(2025)

첫 번째 원칙에 따른 연속 배치(2025)

연속 일괄 처리는 슬롯이 확보되는 순간 활성 처리 일괄 처리에 새 요청을 삽입하여 작업 간의 유휴 컴퓨팅 주기를 제거함으로써 하드웨어 처리량을 최대화하는 동적 추론 예약 기술입니다. 첫 번째 원칙을 통해 이를 이해하면 2025년에 대규모로 배포되는 모든 고성능 AI 서비스 시스템의 기본 아키텍처가 된 이유를 알 수 있습니다.

연속 일괄 처리란 정확히 무엇이며 정적 일괄 처리는 왜 실패했습니까?

지속적인 일괄 처리를 이해하려면 먼저 일괄 처리가 대체한 내용을 이해해야 합니다. 기존의 정적 일괄 처리는 고정된 수의 요청을 그룹화하여 단일 단위로 처리하고 전체 일괄 처리가 완료된 후에만 새 요청을 수락합니다. 치명적인 결함은 대규모 언어 모델이 가변 길이의 토큰을 생성한다는 것입니다. 한 요청은 20개의 토큰 후에 종료될 수 있고 동일한 배치의 다른 요청은 2,000개의 토큰에 대해 실행될 수 있습니다. 클러스터의 모든 GPU는 새 작업이 시작되기 전에 가장 긴 시퀀스가 ​​완료되기를 기다리며 유휴 상태로 있습니다.

획기적인 2022년 논문 "Orca: 변환기 기반 생성 모델을 위한 분산 서비스 시스템"에서 최초로 소개된 연속 일괄 처리는 이러한 제약을 완전히 해소합니다. 요청 수준이 아닌 반복 수준에서 작동합니다. 모델을 통과하는 모든 단일 전달 이후 스케줄러는 시퀀스가 ​​시퀀스 끝 토큰에 도달했는지 여부를 확인합니다. 그렇다면 해당 슬롯은 즉시 회수되어 대기열에 있는 요청에 할당됩니다. 즉, 기다리거나 낭비되는 일이 없습니다. 배치 구성은 모든 디코드 단계마다 유동적으로 변경되어 하드웨어 활용도를 항상 이론상 최대치에 가깝게 유지합니다.

KV 캐시는 시스템 수준에서 연속 배치와 어떻게 상호 작용합니까?

키-값 캐시는 변환기 추론을 다루기 쉽게 만드는 메모리 구조입니다. 처리된 모든 토큰에 대해 모델은 후속 토큰이 중복 계산을 반복하지 않도록 유지해야 하는 주의 키와 값을 계산합니다. 정적 일괄 처리 시스템에서 KV 캐시 할당은 간단합니다. 즉, 일괄 처리의 모든 요청에 ​​대한 최대 시퀀스 길이에 비례하여 메모리를 예약합니다.

지속적인 일괄 처리는 이를 우아하게 복잡하게 만듭니다. 요청이 예측할 수 없는 시간에 배치에 들어오고 나가기 때문에 시스템은 고정된 연속 메모리 블록을 사전 할당할 수 없습니다. 이것이 바로 2023년에 도입된 vLLM의 PagedAttention이 프로덕션 배포의 지속적인 일괄 처리와 분리될 수 없게 된 이유입니다. PagedAttention은 운영 체제에서 가상 메모리 페이징 모델을 빌려 KV 캐시를 동일한 크기의 비연속 블록으로 나눕니다. 가상 메모리 페이지가 물리적 RAM에 분산되어 있는 것처럼 시퀀스의 캐시 페이지는 GPU 메모리에 분산될 수 있습니다. 그 결과 조각화로 인한 메모리 낭비가 거의 0에 가까워지며, 이는 추가 하드웨어 투자 없이 더 높은 배치 크기와 더 높은 처리량으로 직접 변환됩니다.

지속적인 일괄 처리 작업을 수행하는 핵심 예약 메커니즘은 무엇입니까?

세 가지 상호 의존적인 일정 결정이 모든 연속 배치 시스템을 관리합니다.

선점 정책: 메모리 압력이 높고 우선 순위가 높은 새 요청이 도착하면 스케줄러는 실행 중인 우선 순위가 낮은 시퀀스를 선점할지, KV 캐시를 CPU RAM으로 교체할지, 아니면 나중에 처음부터 다시 계산할지 결정해야 합니다. 스왑 기반 선점은 계산을 보존하지만 PCIe 대역폭을 소비합니다. 재계산은 GPU 주기를 낭비하지만 메모리를 깨끗하게 유지합니다.

승인 제어: 스케줄러는 새 요청의 KV 캐시가 전체 세대 수명 동안 사용 가능한 메모리에 적합한지 여부를 예측해야 합니다. 과소평가하면 메모리 부족 충돌이 발생합니다. 과대평가하면 불필요하게 대기열이 부족해집니다. 최신 시스템은 프로파일링된 길이 분포와 예약 버퍼를 사용하여 이러한 위험의 균형을 맞춥니다.

청크 미리 채우기: 사용자의 입력 프롬프트를 처리하는 미리 채우기 단계는 컴퓨팅에 바인딩되어 있으며 GPU를 독점하여 이미 실행 중인 시퀀스에 대한 디코드 단계를 지연시킬 수 있습니다. 청크 미리 채우기는 긴 프롬프트를 고정 크기로 분할합니다.

Related Posts

• DJB의 암호학적 오디세이: 코드 영웅에서 표준 비판자로
• CXMT, DDR4 칩을 시장 평균 가격의 절반 수준에 공급 중
• 메타프로젝트 수행
• IRS, '효율성' 개편으로 IT 직원 40%, 기술 리더 80% 잃어