AI・機械学習

自然言語処理（NLP）において、単語の表現方法はモデルの性能に大きな影響を与えます。以前は、単語を「局所表現」で表す方法が一般的でしたが、現在では「分散表現」として単語ベクトル（Word Embedding）を利用することが標準となっていま...

Transformerとは Transformerは、自然言語処理（NLP）や他の機械学習タスクにおいて非常に重要なモデルの一種です。2017年にVaswaniらによって提案されたこのモデルは、機械翻訳などのタスクで広く使われ、従来のRNN...