ニューラルネットワークを使った自然言語処理の歴史を理解する
では、今回は今まで見てきたモデルを中心に、自然言語処理の発展の歴史を確認していきたいと思います。 最近話題のBERTやその発展形であるXLNetなども歴史を追っていくと、どこがどうすごいのか、どういった経緯で考え出されたアイデアなのかということがわかり、より理解が深まると思います。 ニューラルネットワークによる自然言語処理の前知識 まず、直接的にニューラルネットワークを使った自然言語処理ではありませんが、非常に大きな影響を与えたモデルや考え方を予め説明しておきます。 時系列データ処理としての再帰的ニューラルネットワーク(Recurrent Neural Network; RNN)の誕生 - 1997年 時系列データにおいて将来の数値を予測するためのモデルとしてRNN(Recurrent Neural Network)というものが提案されました。これは、インプットを時系列の過去データとして将
長文を３行ぐらいで纏めてくれるエンジン IMAKITAを作ってみました - コンピュータ将棋 Qhapaq
まさかのGigazineデビューをしました。ありがとうございます！！ gigazine.net 唐突ですが皆様は偉い人の長話に苛々したことはないでしょうか。言いたいことは短いのに枝葉をつけた長文を送られるのにウンザリしたことはないでしょうか。 そんな皆様の声（？）を受けて、長文を３行ぐらいで纏めてくれる（厳密には、文章全体の中で特に重要度の高い文を抽出してくれる）エンジン IMAKITAを作ってみました。 https://www.qhapaq.org/imakita/ 使い方： ・テキストボックスに文章を入れる（日本語は「。」/「！」/「？」、中国語は「。」区切り、英語、スペイン語、ドイツ語、フランス語、ポルトガル語、イタリア語は「.」区切り。日本語のみ改行も区切る機能を試験的に導入中） ・Squeezeボタンを押す ・結果を楽しむ 使用上の注意： ・無保証です ・文章が長すぎると落ちます
ニューラルネットワークでFXの予測を試してみた。 - Qiita
前置き 基本初心者ですので調べ切れていない部分は思い込みでやっています。 ばかちんなので動かしてみないとわかりまてん。 今回は学習できてない場合どうなるかわかりました。 参考 Artificial neural networks approach to the forecast of stock marketprice movements 環境 Windows10 Python 3.5.2 keras2.0 + TensorFlow1.3 jupyter 次のcloseを予測してみる データ 通貨 : USD_JPY 足 : 日足 CSV読むところから from keras.models import Sequential from keras.layers import Dense, Dropout, Activation from keras.optimizers import Adam
Python LSTM (Long Short-Term Memory Network) for Stock Predictions
Data Visualization Now let's see what sort of data you have. You want data with various patterns occurring over time. plt.figure(figsize = (18,9)) plt.plot(range(df.shape[0]),(df['Low']+df['High'])/2.0) plt.xticks(range(0,df.shape[0],500),df['Date'].loc[::500],rotation=45) plt.xlabel('Date',fontsize=18) plt.ylabel('Mid Price',fontsize=18) plt.show() This graph already says a lot of things. The spe
Kerasを用いたディープラーニング（LSTM）による株価予測
ご注意：本記事は、＠IT／Deep Insider編集部（デジタルアドバンテージ社）が「deepinsider.jp」というサイトから、内容を改変することなく、そのまま「＠IT」へと転載したものです。このため用字用語の統一ルールなどは＠ITのそれとは一致しません。あらかじめご了承ください。 誰でもディープラーニングの時代 昨今、ディープラーニングの話を聞かない日はない。バズワードだった時期はとうに過ぎ、今や、実用化フェーズといっても過言ではない。 しかし、ディープラーニングの原理自体は非常に単純である。本質は、n次元ベクトル空間内の点の集合を、超平面で仕切って見せることである。しかも、計算をやってくれるライブラリが、何種類も公開されている。TensorFlowなどがそうであるが、ここにきて、Kerasというさらにコーディングが簡単なライブラリが発表されており、個人ベースでのディープラーニン
ログイン - はてな
パスワードを忘れた方はパスワードの再設定を行ってください。 うまくログインできない方はお問い合わせをご覧いただき、Cookieの設定をご確認ください。
Deep Learningで遊ぶ(3): LSTM-RNNで夏目漱石っぽい文章の生成にトライしてみる - 渋谷駅前で働くデータサイエンティストのブログ
そう言えばこのシリーズ長らく放置してました（汗）。いよいよこのブログもネタ切れが著しくなってきたので、今更そんな古いネタやるのかよと怒られるのを承知で「単に自分がやってみたかったから」というだけの理由で今更感のあるネタをやることにします。ということで、今回のネタはLSTM-RNN (Long short-term memory Recurrent neural network)です。いつも通り完全に自分専用の備忘録としてしか書いていませんので、ちゃんと勉強したい人は他のもっときちんとした資料*1や書籍*2やソース*3を当たってください。。。 超絶大ざっぱなLSTM-RNNの説明 ぶっちゃけ以下のQiitaの記事と人工知能学会の深層学習本あたりを読めば十分という気もしますが*4、我が家には色々LSTM-RNNについて解説した書籍があるのでそちらも読みながら超絶大ざっぱかつ適当に説明しておきま
挑戦！ word2vecで自然言語処理（Keras＋TensorFlow使用）
ご注意：本記事は、＠IT／Deep Insider編集部（デジタルアドバンテージ社）が「deepinsider.jp」というサイトから、内容を改変することなく、そのまま「＠IT」へと転載したものです。このため用字用語の統一ルールなどは＠ITのそれとは一致しません。あらかじめご了承ください。 ディープラーニングと自然言語処理 画像認識や音声認識の分野では、すでに圧倒的ともいえる成果を誇っているのがディープラーニングである。猫画像識別のニュースに驚かされてからわずか数年のうちに、例えば「GAN（Generative Adversarial Network）」という技術が開発されていて、これを使うと、文字どおり何もないところから写真と見まがう画像を生成することができる。まさに、「十分に進歩した科学は魔法と区別がつかない」。 では、ディープラーニングのもう一方の有力分野である自然言語処理の状況はど
【Day-18】時系列のディープラーニング、RNNのまとめとKeras実装 - プロクラシスト
データ分析ガチ勉強アドベントカレンダー 18日目。 Kerasの使い方を復習したところで、今回は時系列データを取り扱ってみようと思います。 時系列を取り扱うのにもディープラーニングは用いられていて、RNN(Recurrent Neural Net)が主流。 今回は、RNNについて書いた後、Kerasで実際にRNNを実装してみます。 今日の参考書はこの本！ 詳解 ディープラーニング ~TensorFlow・Kerasによる時系列データ処理~ 作者:巣籠 悠輔発売日: 2017/05/30メディア: 単行本（ソフトカバー） RNNとは 通常のNeural Networkとの違い 誤差逆伝播法のアルゴリズム 勾配消失の工夫 : LSTMやGRU LSTM GRU 自然言語をにぎわすAttention Model Keras実装 データの変形、入力 学習モデル構築 学習と予測 結果 まとめ RNN
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Deep Learning for Multivariate Time Series Forecasting using Apache MXNet
https://blogs.rstudio.com/tensorflow/posts/2017-12-20-time-series-forecasting-with-recurrent-neural-networks/
Recurrentレイヤー - Keras Documentation