分子シミュレーション＆インフォマティクス 用語解説

Attention  [あてんしょん] [Attention]

Attention（注意機構）とは、深層学習モデルが入力データの中から「どの部分が重要か」を自動的に判断し、そこに重点を置いて処理する仕組みである。文章や画像など、複数要素が相互に関係するデータを扱う際に有効で、文脈理解や特徴抽出の精度を高める役割を持つ。自然言語処理で発展した技術だが、現在では音声、画像、時系列データなど幅広い分野で利用されている。

Attention は、入力の要素同士の関連度を計算し、関連が強いものほど高い重みを与えて取り扱うという考え方に基づく。これにより、モデルは文脈を広く参照しながら重要な情報を選び取り、効率的に学習できる。Transformer が高い性能を発揮する理由の一つも、この注意機構による情報選択の仕組みにある。

Attention には、入力内部の関係を分析する Self-Attention や、翻訳モデルで使われるエンコーダーとデコーダー間の Attention などの種類があるが、基本的な考え方は「重要な部分に注目する」という一点に集約される。