汎用言語表現モデルBERTを日本語で動かす(PyTorch) - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 今DL for NLP界で、BERTというモデルが話題です。PyTorchによる実装が公開されていたので、日本語Wikipediaコーパスに適用してみました。 コードはこちらに公開しております。 2018/11/27 作成したBERTのモデルを使って内部動作の観察とその考察を行いました。単語の潜在表現獲得の部分で感動的な結果を見せてくれました。ご興味あればご覧ください↓ https://qiita.com/Kosuke-Szk/items/d49e2127bf95a1a8e19f この記事ではBERTのポイントの解説と、ポイントごとの実
ゼロから作るDeep Learning ❷
コンピュータの専門書としては異例の大ヒットを記録した『ゼロから作るDeep Learning』の続編。第2弾の本書では、自然言語処理や時系列データ処理に焦点を当て、ディープラーニングを使ってさまざまな問題に挑みます。word2vecやRNN（リカレントニューラルネットワーク）、LSTMやGRU、seq2seqやAttention……ディープラーニングを支えるこれら最先端の技術を実装レベルでマスターできます。前作同様、やさしい言葉で分かりやすくをモットーに、高度に見える技術の裏側をじっくり説明し、実際に作ることで理解を深めます。最後までコンセプトは変わらない。ゼロから作る！ 関連ファイル サンプルコード 学習済みの重みファイル（6章、7章） 正誤表 ここで紹介する正誤表には、書籍発行後に気づいた誤植や更新された情報を掲載しています。以下のリストに記載の年月は、正誤表を作成し、増刷書籍を印刷し
教師なし学習は機械翻訳に魔法をかけるか？ - ディープラーニングブログ
つい先週，機械翻訳で驚くべき進展がありました． 教師なし機械翻訳がヤバい進化を遂げててびっくりした．たった半年でBLEUスコアを15から25に改善したのブレイクスルーでは？https://t.co/SVQlYYu2Pt 教師なし学習でこのクオリティの機械翻訳できるのまじで感動するし，ちょっと語っていい？ pic.twitter.com/fBllGtTkgb— Ryobot | りょぼっと (@_Ryobot) 2018年4月23日 要約すると教師なし学習でもひと昔前の教師あり学習の機械翻訳に匹敵する性能を獲得できたというのです．この記事では機械翻訳を知らない初心者にもわかるように魔法のような教師なし機械翻訳の仕組みを説明したいと思います． 教師あり学習の限界 機械翻訳はディープラーニングを適用することで急激に進歩した分野の１つだと思います．Google 翻訳はニューラル機械翻訳を導入するこ
Searching for Activation Functions
The choice of activation functions in deep networks has a significant effect on the training dynamics and task performance. Currently, the most successful and widely-used activation function is the Rectified Linear Unit (ReLU). Although various hand-designed alternatives to ReLU have been proposed, none have managed to replace it due to inconsistent gains. In this work, we propose to leverage auto
【Day-17】DeepLearning系ライブラリ、『Keras』の使い方まとめ(2.x対応版) - プロクラシスト
【最終更新 : 2017.12.17】 ※以前書いた記事がObsoleteになったため、2.xできちんと動くように書き直しました。 データ分析ガチ勉強アドベントカレンダー 17日目。 16日目に、1からニューラルネットを書きました。 それはそれでデータの流れだとか、活性化関数の働きだとか得るものは多かったのですが、Kerasと言うものを使ってみて、何て素晴らしいんだと感動してしまいました 今まで苦労して数十行書いていたものが、わずか3行で書ける！ 正直、スクラッチで書く意味って、理解にはいいけど研究や分析には必要あんまないんですよね。車輪の再発明になるし。 と言うわけで、使えるものはどんどん使っていこうスタンスで、今日はKerasの紹介です！ Tutorial+気になった引数を掘り下げて補足のような感じで書いています。 ちなみに、各部のコード以下をつなぎ合わせるとmnistの分類器が動くよ
深層学習を超えた手法とは何か : 思考のカケラ
最近、深層学習の精度を超えた手法が発表されています。 今回は、昨日（6月17日）ニュースになったDeepmindによるPredictron（自動計画＋強化学習）も含めて、紹介します。
PCANetを実装してみた - Qiita
PCANetというニューラルネットワークを実装しました。 論文 (arXiv) 実装 (GitHub) PCANetの概要 PCANetはその名の通り，ネットワークの重みをPCA(主成分分析)によって計算するCNNの一種です。 利点 PCANetには次のような特徴があります。 PCAで重みを計算するため学習が非常に高速である PCANetそのものの学習は教師ラベルを必要としない 調整が必要なハイパーパラメータが無い モデルが比較的単純なため実装しやすい 教師ラベルを必要としない PCANetは，画像から切り出したパッチをベクトルとみなし，その主成分をネットワークの重みとしています。 一般的なCNNでは，目標とする出力とネットワークの出力の差をネットワーク全体に逆伝搬することで学習を行っています。一方でPCANetは画像さえ与えられればあとはPCAをかけるだけで学習ができてしまうため，教師ラ
DNC (Differentiable Neural Computers) の概要 + Chainer による実装 - Qiita
こんにちは．@yos1up と申します．好きな食べ物は，緑色のキノコです． 2016/10/12に DeepMind が Nature に投稿した論文，Hybrid computing using a neural network with dynamic external memory にて提案されているニューラルネットワークモデル DNC (Differentiable Neural Computers) を，大急ぎで Chainer で実装してみました． DNC について DNC は，先述の論文で提案された新しいニューラルネットワークで，その情報処理能力の高さが期待されています．論文中では，グラフ上の最短経路タスクやちょっとしたパズルのタスクなど，従来ニューラルネットワークでは学習不可能と思われていたタスクが DNC で学習できており，その情報処理能力の高さがうかがい知れます． DN
DeepLearningで上司を認識して画面を隠す - Qiita
背景 仕事をしているとき、業務に関係ない情報を閲覧していることって誰でもありますよね？ そんなときに背後にボスが忍び寄っていると気まずい思いをします。もちろん急いで画面を切り替えれば良いのですが、そういう動作は逆に怪しまれることになりますし、集中しているときは気がつかないこともあります。そこで怪しまれずに画面を切り替えるために、ボスが近づいてきたことを自動的に認識して画面を隠すシステムを作ってみました。 具体的にはKerasを用いてボスの顔を機械学習し、カメラを用いて近づいてきたことを認識して画面を切り替えています。 ミッション ミッションはボスが近づいてきたら自動的に画面を切り替えることです。 状況は以下のような感じです。 ボスの席から私の席まではだいたい6,7mくらいです。ボスが席をたってから、4,5秒で私の席に到達します。したがって、この間に画面を隠す必要があるわけです。時間的余裕は
プライベートブログ › ログイン
このサイトは、オーナーによりプライベートサイトとして設定されています。このサイトを見るには、次の2つが必要です。 WordPress.com のアカウント。アカウントをお持ちではありませんか ?メールアドレスとパスワードさえあれば、こちらでご登録いただけます。サイトオーナーの承認。アカウントを作成したら、ログインしてもう一度この画面を表示し、招待をリクエストしてください。いずれもすでにお持ちでしたら、すばらしい ! こちらでログインしてください
ブラウザから手軽に深層学習AIを教育できるオープンソースソフトウェア
ブラウザから手軽に深層学習AIを教育できるオープンソースソフトウェア You can train a deep neural network on your web browser 2015.12.24 Updated by Ryo Shimizu on December 24, 2015, 06:00 am JST 先日発表した深層学習(ディープラーニング)をWebブラウザ上から手軽に行うためのオープンソース・ソフトウェア、「DEEPstation(ディープステーション)」をついに公開しました。現在、Githubより誰でもダウンロードして使用することが出来ます(https://github.com/uei/deepstation)。 DEEPstationは、ディープラーニングを手軽に実験するためのGUIベースのアプリケーションで、以下のような特徴があります。 国産ディープラーニングフレ
わかるLSTM ～ 最近の動向と共に - Qiita
Machine Learning Advent Calendar 2015 第14日です。去年のAdvent Calendarで味をしめたので今年も書きました。質問、指摘等歓迎です。 この記事の目的 ここ2～3年のDeep Learningブームに合わせて、リカレントニューラルネットワークの一種であるLong short-term memory(LSTM)の存在感が増してきています。LSTMは現在Google Voiceの基盤技術をはじめとした最先端の分野でも利用されていますが、その登場は1995年とそのイメージとは裏腹に歴史のあるモデルでもあります。ところがLSTMについて使ってみた記事はあれど、詳しく解説された日本語文献はあまり見当たらない。はて、どういうことでしょうか。 本記事ではLSTMの基礎をさらいつつ、一体全体LSTMとは何者なのか、LSTMはどこに向かうのか、その中身をまとめ
Theano で Deep Learning <6>: 制約付きボルツマンマシン <前編> - StatsFragments
DeepLearning 0.1 Documentation の第六回は 制約付きボルツマンマシン (Restricted Boltzmann Machines / 以降 RBM) 。RBM は オートエンコーダとはまた別の事前学習法。かなり分量があるので、とりあえず元文書 前半のRBM の仕組みまで。 RBM を理解しにくいポイントは 2 つあるかなと思っていて、 この構造 (グラフィックモデル) であるメリットはあるのか？ 学習 (Contrastive Divergence) で何をやってんのか？ というとこではないかと。最初、自分は 2 がまったくわからなかった。2 は "とりあえずできそうな構造 / 方法でやってみたらなんかうまくいった" 感があって、理由がいまいちはっきりしないところがある。 目次 DeepLearning 0.1 について、対応する記事のリンクを記載。 第一回
Theano で Deep Learning <3> : 畳み込みニューラルネットワーク - StatsFragments
Python Theano を使って Deep Learning の理論とアルゴリズムを学ぶ会、第三回。今回で教師あり学習の部分はひと段落。 目次 DeepLearning 0.1 について、対応する記事のリンクを記載。 第一回 MNIST データをロジスティック回帰で判別する 英 第二回 多層パーセプトロン 英 第三回 畳み込みニューラルネットワーク (今回) 英 第四回 Denoising オートエンコーダ 英 第五回 多層 Denoising オートエンコーダ 英 第六回の準備1 networkx でマルコフ確率場 / 確率伝搬法を実装する - 第六回の準備2 ホップフィールドネットワーク - 第六回 制約付きボルツマンマシン 英 Deep Belief Networks 英 Hybrid Monte-Carlo Sampling 英 Recurrent Neural Network
深層学習入門
4. 深層学習 • 英語ではDeep Learning • 特徴の数段の組み合わせを考慮することでより複雑 な現象を学習する仕組み • 神経網回路(ニューラル・ネットワーク)の層を重ねる ことで学習することが殆ど • 人間の脳の仕組みに似ている？ • とにかく，様々な認識タスクで大幅に良い精度を示 しており，Google, Facebook,Microsoft,…など多くの企 業が研究開発をしている． 4 6. 6 報道 Deep Learning in the News 13! Researcher Dreams Up Machines That Learn Without Humans 06.27.13 Scientists See Promise in Deep-Learning Programs John Markoff November 23, 2012 Google!taps!
実装ディープラーニング
cvpaper.challengeはコンピュータビジョン分野の今を映し、トレンドを創り出す挑戦です。論文サマリ・アイディア考案・議論・実装・論文投稿に取り組み、凡ゆる知識を共有しています。 http://xpaperchallenge.org/cv/ 本資料はViEW2021チュートリアルセッション「最新研究の始め方」のプレゼン素材です。また、xpaper.challengeの2020年末ワークショップとしてプレゼンした「研究効率化Tips」の拡張版です。本資料では3社12研究室300ページにわたるノウハウの詰め合わせです。 VIEW2021のチュートリアルセッションでは時間の制限があるため、こちらの資料から一部抜粋して発表を行うことになりますが、VIEW2021チュートリアルセッションの方にも足を運んでいただければ幸いです。 VIEW2021チュートリアルセッション：http://vie
Deep learning made easy - FastML
As usual, there’s an interesting competition at Kaggle: The Black Box. It’s connected to ICML 2013 Workshop on Challenges in Representation Learning, held by the deep learning guys from Montreal. There are a couple benchmarks for this competition and the best one is unusually hard to beat1 - only less than a fourth of those taking part managed to do so. We’re among them. Here’s how. The key ingred
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Deep Learning
長文日記