テクノロジー

自然言語処理に使われるLSTM（長・短期記憶）とは？

LSTMは、AIが自然言語を処理する際に使われる仕組みです。従来のニューラルネットワークを改良して作られたLSTMは、文章の生成や音声認識などさまざまな技術に応用されています。

この記事ではLSTMの概要やRNN、GRUなどほかの手法との違い、LSTMの仕組みなどについて解説します。LSTMの特徴について理解を深めたい方は、ぜひ参考にしてください。

LSTM（長・短期記憶）とは

LSTMとは、AIが機械学習を行うための仕組みであるニューラルネットワークの一種です。LSTMは「Long Short Term Memory」の略称で、日本語では「長・短期記憶」と訳されます。

他のニューラルネットワークと同様に、LSTMは入力された情報をもとに、機械学習モデルを構築することが可能です。LSTMが開発される以前のニューラルネットワークでは、長い文章データなどの学習に課題がありました。従来のニューラルネットワークの弱点を補強し、長いデータでも高い精度で学習できるようになったことがLSTMの特長です。

LSTMとRNNの違い

LSTMは、RNNと呼ばれるニューラルネットワークを改良したものです。RNNは「Recurrent Neural Network」の略称で、日本語では「回帰型ニューラルネットワーク」と訳されます。RNNは、時間に伴って変化するデータを学習できることが特徴です。音声認識や株価の予測などにRNNが応用されています。

LSTMとRNNの違いは、記憶セルと呼ばれる仕組みの有無です。RNNには記憶セルが無く、ニューラルネットワークのある層で計算された情報がそのまま次の層へと引き継がれます。一方、LSTMには記憶セルがあり、入力された情報の一部を保ったまま機械学習を行うことが可能です。

記憶セルを持たないRNNでは、数多くの層で計算が行われる過程で「勾配」と呼ばれる特徴量が消失し、機械学習が進まなくなってしまう問題がありました。LSTMは記憶セルに必要なデータを残しながら計算を行うことで、勾配消失問題を解決しています。

RNNの詳しい仕組みについては、下記の記事でご覧いただけます。
・自然言語処理に使われるRNN（リカレントニューラルネットワーク）とは

LSTMとGRUの違い

GRUはLSTMと似た機能を持つニューラルネットワークです。GRUは「Gated Recurrent Unit」の略称で、日本語では「ゲート付き回帰型ユニット」と訳されます。

GRUとLSTMの違いは、入力情報の一部を保持しながら計算を行うための仕組みです。LSTMは記憶セルを用いて情報を保持することに対して、GRUはゲートと呼ばれる構造のみで同様の処理を行うことができます。

GRUには記憶セルが無いため、LSTMと比べると構造がシンプルです。学習対象のデータによっては、GRUの方がLSTMよりも高速に機能する場合があります。ただし、学習の精度に差がでるケースもあるため、状況に応じて適切な方を選ぶことが重要です。

LSTMの構成・仕組み

LSTMは忘却ゲート、入力ゲート、出力ゲートという3つの仕組みによって学習を行います。LSTMを構成する各部分の役割は次のとおりです。

忘却ゲート

忘却ゲートでは、入力された情報をもとに、記憶セルに保存されているデータをどれだけ忘れるかが決定されます。機械学習のプロセスにおいて、記憶セルのデータをすべて消去する必要がある場合、忘却ゲートから出力される数値は0です。一方、記憶セルのデータをすべて残しておく場合は1が出力されます。記憶セルのデータを忘れる度合いに応じて、0から1までの値を出力することが忘却ゲートの機能です。

入力ゲート

入力ゲートは、入力された情報の中から、新たに記憶セルに保存するべき情報を決定します。また、シグモイド関数と呼ばれる仕組みで、各入力の重要度を0から1の範囲の値で決めることも入力ゲートの役割です。入力ゲートで算出された値は記憶セルのデータと掛け合わされ、出力ゲートへと引き渡されます。

出力ゲート

出力ゲートの役割は、最終的に出力する情報の決定です。入力ゲートまでで処理された情報に対して、重要度に応じた重みづけを行い、出力するデータを計算します。

LSTMはこれらのプロセスを通じて保持すべきデータを取捨選択し、高い精度で機械学習を行うことが可能です。

LSTMはRNNを改良したニューラルネットワークです。入力情報の一部を記憶する仕組みにより、文章生成などの自然言語処理を実現できます。LSTMの特徴を知り、AIの機械学習プロセスについての理解を深めましょう。

日立ソリューションズ・クリエイトでは、既存のシステムにAIの機能を追加し、企業の課題解決を支援する「AIプラス」を提供しています。技術継承・人材不足・業務の自動化、効率化、標準化でお悩みの場合には、ぜひ一度ご相談ください。