はてなブックマーク

この記事では自然言語処理について自分が勉強したことを書いた記事についてまとめていきます。 単語の切り出し作業 形態素解析 MeCab N-gram 自然言語をベクトルにする Bag of Words TF-IDF Word2Vec GloVe テキスト分類 Cosine Similarity Sparse Composite Document Vectors Deep Learning 言語モデル seq2seq 単語の切り出し作業 自然言語を用いて機械学習をするにはテキストから単語を切り出す作業が必要になります。その作業は形態素解析もしくはN-Gramが用いられます。 形態素解析 MeCab 形態素解析のツールであるMeCabの紹介。 www.pytry3g.com N-gram www.pytry3g.com 自然言語をベクトルにする 自然言語をベクトルに変換する方法について書いた記事

Bag of Wordsについて書いてみます。 ほとんどの機械学習は入力として数値データを与えなければなりません。そのため、自然言語処理において自然言語で書かれたデータを何らかの形で数値に変換する必要があります。Bag of Wordsはそのための一つの方法になります。 Bag of Wordsって何？ 1. 数値変換 2. one hot vector 3. 足し合わせる pythonでの実装 gensimで実装 scikit-learnを使った実装 あわせて読みたい ゼロから作るDeepLearning おわり Bag of Wordsって何？ Bag of Wordsというのは自然言語処理において自然言語（人間が日常で使用している言語）で記述されたデータ、つまり文をベクトルで表現する方法のことです。 Bag of Wordsは次の３ステップで作ることができます。 数値変換 one h

近年、テスラの自動運転やAmazonのAlexaといったAI関連のニュースをよく目にするようになりましたが、これらのニュースを見てAIに興味をもち自分でも何か作ってみたいと考えるようになった方がいるでしょう。 そんな方にお勧めなのがGoogle Colaboratoryです。 今のAIにはDeep Learningという技術が使われていて、Deep Learningを行うためにはそれなりのマシンスペックが必要になってきますが、Google Colaboratoryを使えばスペックの心配をする必要はありませんし、必要な環境は全て揃っていて初心者の方でもすぐにAIプログラミングを始めることができます。 本記事ではGoogle Colaboratoryの導入方法から使用方法について紹介します。 Google Colaboratoryとは 使ってみる 環境設定 基本的な使い方 コードの実行 シェル