分子シミュレーション＆インフォマティクス 用語解説

vllm  [ぶいえるえるえむ] [vllm]

vLLM は、大規模言語モデル（LLM）の推論処理を効率的に実行するためのオープンソース推論エンジンであり、カリフォルニア大学バークレー校の研究グループを中心に開発されている。大量のリクエストを扱うサーバ用途を想定して設計されており、メモリ管理と並列処理の最適化によって、条件が整った環境では高いスループットを実現できる点が特徴である。

vLLM の中核となる PagedAttention は、OS の仮想メモリ管理の仕組みを応用してキーバリューキャッシュ（KV Cache）を効率的に扱う手法であり、メモリ断片化を抑えながら多数のリクエストを同時に処理しやすくする。これにより、複数ユーザーが利用するサービング環境での推論性能が向上する。一方で、その効果はモデル規模・ハードウェア性能・バッチサイズなどの条件に依存し、小規模環境や単発推論では恩恵が限定的となる場合がある。