FlashPrefill V2, 128K 프리필 병목을 얼마나 줄였나

장문맥 대형 언어 모델을 서비스할 때는 사용자가 보낸 문맥을 처음 처리하는 프리필 단계가 병목이 될 수 있다. 문맥 길이가 늘어날수록 어텐션 연산량이 제곱으로 증가하기 때문이다. 2026년 8월 20일 공개된 논문은 이 문제를 겨냥한 블록 희소 프리필 어텐션 기술 FlashPrefill V2를 제시했다. 연구진은 NVIDIA H20 GPU의 128K 문맥 평가에서 FlashAttention-2 대비 FP8 최대 47.26배, BF16 최대 27.19배의 속도 향상을 보고했다.¹

무엇이 달라졌나

FlashPrefill V2 논문은 블록 희소 어텐션을 실용적인 장문맥 LLM 프리필과 서빙에 적용한다. 높은 희소도에서 생길 수 있는 근사 오차를 줄이기 위해 평균 보정항을 사용하며, PackGQA 메모리 접근, 워프 특화, 핑퐁 파이프라이닝을 결합한다. 또한 FP8 추론, 페이지드 KV 캐시, 연속 배칭을 지원하고 SGLang 같은 현대적 추론 프레임워크의 어텐션 백엔드로 통합할 수 있도록 설계됐다.

핵심 성능 수치는 128K 문맥에서 나왔다. NVIDIA H20 GPU 기준으로 FlashAttention-2와 비교했을 때 FP8에서는 최대 47.26배, BF16에서는 최대 27.19배 빨랐다고 논문은 보고한다.¹ 제공된 배경 정보에 따르면 FP8에서는 FlashAttention-3/4에 맞춘 밀집 기준선과 비교해도 30.49배의 속도 향상을 기록했다.

배경

AI 인프라는 대형 언어 모델의 학습과 추론을 떠받치는 하드웨어, 런타임, 최적화 기술을 포괄한다. 이 가운데 장문맥 추론의 프리필 단계에서는 긴 입력 전체에 대한 어텐션 계산이 필요하며, 문맥 길이에 따라 연산 부담이 빠르게 커진다. FlashPrefill V2는 모든 어텐션 블록을 동일하게 계산하는 대신 블록 희소 방식을 사용해 이 병목을 줄이려는 접근이다.

이 기술은 대형 언어 모델의 장문맥 처리 자체를 새로 정의하기보다는, 기존 서빙 환경에서 프리필 어텐션을 더 효율적으로 실행하는 데 초점을 둔다. 페이지드 KV 캐시와 연속 배칭 지원은 실제 추론 시스템에서 사용하는 메모리 관리 및 요청 처리 방식과의 결합을 염두에 둔 특징이다.

왜 중요한가

보고된 최대 속도 향상이 실제 서비스에서도 재현된다면, 긴 문맥을 처음 읽는 구간의 처리 시간을 크게 줄일 가능성이 있다. 특히 FP8과 BF16을 모두 평가했다는 점은 서로 다른 정밀도 설정에서 블록 희소 프리필의 성능을 살펴볼 근거를 제공한다. 다만 이 문맥에서 확인할 수 있는 수치는 NVIDIA H20 GPU와 128K 문맥의 최대 결과이므로, 곧바로 모든 모델·하드웨어·요청 패턴에 같은 개선이 적용된다고 해석해서는 안 된다.¹

또한 단순한 커널 수준의 아이디어에 머물지 않고 FP8, 페이지드 KV 캐시, 연속 배칭, 추론 프레임워크 통합을 함께 고려했다는 점에서 실용적인 AI 인프라 기술을 지향한다. 이는 장문맥 서빙 최적화를 평가할 때 계산 속도뿐 아니라 기존 런타임과의 결합 가능성도 중요하다는 맥락을 보여준다.

한계와 남은 질문

제공된 자료만으로는 평균 지연시간과 꼬리 지연시간, 처리량, 메모리 사용량, 정확도 손실의 구체적인 수치를 알 수 없다. 최대 속도 향상이 어떤 모델, 배치 크기, 희소도, 입력 분포에서 측정됐는지도 이 문맥에는 상세히 제시되지 않았다. H20 이외 GPU에서의 성능, 더 짧거나 더 긴 문맥에서의 변화, 실제 다중 사용자 서비스 부하에서의 효과 역시 확인할 수 없다.

블록 희소 근사가 모델 출력 품질에 미치는 영향과 평균 보정항이 다양한 작업에서 얼마나 안정적으로 작동하는지도 남은 질문이다. 따라서 47.26배와 27.19배는 특정 평가에서 보고된 최대값으로 읽어야 하며, 운영 환경 도입 전에는 대상 모델과 하드웨어에서 별도 검증이 필요하다.¹

관련 지식

• FlashPrefill V2
• FlashPrefill V2: Block-Sparse Prefill Attention for Long-Context LLM Serving
• AI 인프라
• 대형 언어 모델

출처

각주

1. 「FlashPrefill V2: Block-Sparse Prefill Attention for Long-Context LLM Serving」, arXiv, 2026년 8월 20일. https://arxiv.org/abs/2608.19758 ↩ ↩² ↩³ ↩⁴