「こんなに画期的な商品なのに、なぜ売れないんだー！」 多くの経営者や広告担当者がこのような悩みを抱えているのではないでしょうか。現代は残念ながら、良い商品を作れば評価される・売れる、という時代ではなくなってしまいました。 では、そんな時代に商品を売るにはどうしたら良いのでしょう。 もちろん、広告を出すことは1つの方法です。 しかし、どんな内容の広告を出せば良いのか。その商品を求める人にはどんな人がいるのか。 効果的に広告を出すためにも、このような分析をしっかり行なう必要があります。 今回は、そんな時に有効な分析手法として「テキストマイニング」について解説します。 テキストマイニングの意味 テキストマイニングとは、文字列を対象としたマイニング(採掘)のことであり、テキストデータを対象にし、文章や数値を分析する手法のことです。 具体的に、テキストマイニングで分析するデータの例としては、顧客から

今回の目的 前回までに青空文庫から梶井基次郎の著作をダウンロードしたり、形態素解析を行うためにMeCabをインストールしたりしてきました。今回は、いよいよこのデータを使って文章を生成してみます。といっても、まだディープラーニングの分野には踏み込むことはしません。ここでは「マルコフ連鎖」と呼ばれる手法を使って、文章を生成してみるだけです。 実際にはこんな文章が生成されました。 そして私は友の反省の為の金を貸してくれました。 何しろ俺は大嫌いなんだよ。 あの窓の外で、孫にあたる人間を集めてゐた。 一台の赤い実が目にも堪えることのない、早く返事をしながら涙をためた。 正直なところ、「うーむ」という文章も多いのですが、失敗も含めてやってみることが大事です（生成されたものが短文であれば、日本語としても解釈できるものもありますが、長文になると意味不明なものにしかなりませんでした）。 文章を生成するだけ

こんにちは！こーたろーです。 本日も【図解速習DEEP LEARNING】の自然言語処理を行っていきます。 今回は、seq2seq（sequence to sequence）を使って、スペイン語から英語へ翻訳してみます。 必要なライブラリのインポート データセットをダウンロードする データセットの前処理 前処理の定義 使用データセットの制限による実行時間短縮 tf.dataデータセットの作成 モデルを作成 GRUを定義 エンコーダを定義 デコーダを定義 エンコーダ・デコーダ作成 オプティマイザーと損失関数を定義 チェックポイントを定義し、学習途中の状態を保存できるようにする モデルの学習 モデルを評価 翻訳用の関数を定義する チェックポイントデータの呼び出し 翻訳し、モデルを確認 今回は、英語文とスペイン語文をペアであたえるように教師学習を行い、スペイン語文の入力を行ったときに、モデルが、

BERTなどの自然言語のモデルの仕組みについてぼんやりと理解していませんか？ 本ドキュメントを利用することで自然言語処理における分散表現の仕組みが理解できます。 昨今の自然言語処理技術において大きな役割を担う単語の分散表現について、Google collaborate を利用することで特別な環境構築をする必要なくサンプルコードを実行してもらい、仕組みを実感してもらえます。 基本的には本ドキュメントをDLして、サンプルコードを実行していく流れとなります。 .ipynbと.pdfの二種類の形式で用意しているのでサンプルを改造しながら分散表現のロジックを掴むことができます。 ぜひご購入ください。 BERTなどの自然言語のモデルの仕組みについてぼんやりと理解していませんか？ 本ドキュメントを利用することで自然言語処理における分散表現の仕組みが理解できます。 昨今の自然言語処理技術において大きな役割