自然言語処理

自然言語処理の常識Transformerとは【Seq2Seq、Attentionなどの重要モデルを解説】

2021年11月25日自然言語処理

自然言語処理の最新モデルの多くはTransformerをベースとしています。ここではTransformerの源流ともいえるSeq2Seqや、自己注意機構Attentionの仕組みについても解説しています。自然言語処理を学ぶ上では避けては通れない重要なモデルなので、しっかりと理解しましょう！

ニューラルネットワークの応用モデルRNN・LSTM【時系列データを扱う手法を解説】

2021年11月25日自然言語処理

ニューラルネットワークは現在最も使われている機械学習の手法となっています。今回はその中でも時系列データに特化したRNN(Recurrent Neural Network)というネットワークを紹介します。また時系列データに関する長期的な記憶を実現したRNNの改良版であるLSTMについても説明します。

自然言語処理の基礎知識とWord2Vec【カウントベースと推論ベースの手法の違いを解説】

2021年11月23日自然言語処理

自然言語処理は、機械学習の中でも私たち人間が普段使っている自然言語から意味を解析する、といったことを目的とした技術です。ニューラルネットワークをベースとしてモデルを学習していきますので、多少そちらの知識が必要となってきます。ここでは自然言語処理の最初の一歩となる、カウントベースと推論ベースのふたつの手法について見ていきます。