ニューラルネットを高速化する手段としてのスパース化 | 射撃しつつ前転
近年の大規模ニューラルネットワークを用いたシステムの運用には、GPUがほぼ必須であると考えられている。 しかし、プロダクションシステムがAWSなどのクラウド上に置かれている場合、GPUを使ったニューラルネットワークは使いづらい。AWS EC2のGPUインスタンスは高額だし、AzureやGCEは今のところGPUインスタンスを提供していない。という訳で、学習時にはGPUを使っても構わないのだが、テスト時にはCPUでもそこそこ高速に動いてくれるネットワークが構築できると嬉しい。 最近のニューラルネットワークの計算が重たいのは、2D Convolutionの計算量がとても大きいからである。高速に動かすためには、とにかく計算量を減らさないといけない。 考えられる方向は3つ存在する。1つ目がConvolution自体の高速化、2つ目が計算の低精度化、３つ目がスパース化である。 Convolution自
固有値，固有ベクトルの求め方
■固有値，固有ベクトルを求めるには 与えられた正方行列Aの固有値，固有ベクトルを求めるには，次のようにすればよい． (1) 行列Aの固有方程式
Jupyter Notebookを起動するとAttributeError: type object 'IOLoop' has no attribute 'initialized'とエラーが出る
Jupyterをインストール後、Jupyter Notebookを起動すると、下記のようなエラーが出てしまいます。 AttributeError: type object 'IOLoop' has no attribute 'initialized' GitHubにはissueがすでに上がっているそうで、 https://github.com/ipython/ipython/issues/8374 下記コマンドを実行して、tornadoというソフトをダウングレードすることで、一時的に回避できるそうです。 pip3 uninstall tornado pip3 install tornado==4.5.3
Sponsors | 全脳アーキテクチャ若手の会
全脳アーキテクチャ若手の会は、脳や人工知能、そしてそれらが与える影響について興味がある、すべての方のためのコミュニティです。
わかるLSTM ～ 最近の動向と共に - Qiita
Machine Learning Advent Calendar 2015 第14日です。去年のAdvent Calendarで味をしめたので今年も書きました。質問、指摘等歓迎です。 この記事の目的 ここ2～3年のDeep Learningブームに合わせて、リカレントニューラルネットワークの一種であるLong short-term memory(LSTM)の存在感が増してきています。LSTMは現在Google Voiceの基盤技術をはじめとした最先端の分野でも利用されていますが、その登場は1995年とそのイメージとは裏腹に歴史のあるモデルでもあります。ところがLSTMについて使ってみた記事はあれど、詳しく解説された日本語文献はあまり見当たらない。はて、どういうことでしょうか。 本記事ではLSTMの基礎をさらいつつ、一体全体LSTMとは何者なのか、LSTMはどこに向かうのか、その中身をまとめ
【機械学習】ChainerでGoogLeNetから画像をファインチューニングでお手軽学習【わずか22行で】:電脳ヒッチハイクガイド:電脳空間カウボーイズZZ(電脳空間カウボーイズ) - ニコニコチャンネル:生活
みんな深層学習してるかな? さて、GoogLeNetとか、みんな好きかな?オレはわりと好き。 なにしろプリトレインドモデルがあるからお手軽なんだよね。そこが好き。 あと、なにしろalexnetはデカすぎる。 なんでこんなにデカイんだ、という感じ。まあ1GBくらいなんだけど、Raspberry Piだと普通に読み込めないほど巨大なのよね。 しかし自分で作ったニューラル・ネットワークにImageNetのILSVRC2012を学習させようとするとやばいことになる。 なんということでしょう。 この圧倒的絶望感 SSDonlyでこのスピードですからね。 9日経っても1エポックすら進んでいないとは 一説によると、GoogleのGPU(TPU?)ファームは3万GPU(Maxwell世代だと合計約1億2千万コア)あるらしく、1000GPU(300万コア)でILSVRC2012の学習に1日かかるらしい。 火
Residual Network(ResNet)の理解とチューニングのベストプラクティス
Residual Network（ResNet）とは ResNetのアイデア Shortcut Connectionの導入 Bottleneckアーキテクチャ ResNetの最適化ベストプラクティス Optimizerの選定 Batch Normalizationの位置 Post Activation vs Pre Activation Wide Residual Network まとめ 参考 2015年のImageNetコンペティションとCOCOセグメンテーションの最良モデルとしてDeep Residual NetworksがMicrosoft Researchから提案され、最大1000層以上の深いニューラルネットワークを構築することが可能となった。 本記事では、 Residual Networkとは何か Residual Networkのチューニング方法 Residual Networ
nico-opendata - Dwango Media Village(ドワンゴメディアヴィレッジ,dmv)
nico-opendata niconicoでは、学術分野における技術発展への寄与を目的として、 研究者の方を対象に各種サービスのデータを公開しています。 ニコニコ動画コメント等データセット (株)ドワンゴ及び(有)未来検索ブラジルと国立情報学研究所が協力して研究者に提供しているデータセットです。 ニコニコ動画コメント等のデータが利用可能です。 利用申請フォーム※国立情報学研究所へリンクします ニコニコ大百科データ (株)ドワンゴ及び(有)未来検索ブラジルと国立情報学研究所が協力して研究者に提供しているデータセットです。 ニコニコ大百科のデータが利用可能です。 利用申請フォーム※国立情報学研究所へリンクします Nico-Illustデータセット Comicolorization: Semi-Automatic Manga Colorization Chie Furusawa*、Kazuyu
GPUによるAIの高速化――新たなコンピューティング・モデルの誕生 | NVIDIA
先日、ヤン・ルカン（Yann LeCun）氏に招かれ、ニューヨーク大学で“The Future of AI”の立ち上げシンポジウムで講演をしてきました。この分野をリードする人々が大勢集まり、AIの現状とその進歩について語りあうすばらしい会でした。今日は、そこでお話ししたことをご紹介しましょう。ディープラーニングとは新しいコンピューティング・モデルが必要な新しいソフトウェア・モデルであること、GPUアクセラレーテッド・コンピューティングがAI研究者に普及しているのはなぜか、AIは爆発的に普及しつつありますがNVIDIAはその普及を継続的に推進していること、そして、登場から長い年月が経過した今、AIの普及が始まったのはなぜか、をお話させていただきました。 ビッグバン コンピュータというものが登場して以来、ずっと、AIは、最後のフロンティアだと考えられてきました。この50年間、人間と同じように世
ドクター苫米地ブログ − Dr. Hideto Tomabechi Official Weblog : 紀伊国屋新宿本店５階で私が推薦する書籍フェアが開催されている - ライブドアブログ
2008年06月28日13:59 カテゴリ 紀伊国屋新宿本店５階で私が推薦する書籍フェアが開催されている 紀伊国屋書店新宿本店５階で、私が推薦する書籍２０冊のフェアが開催中。レジ前にカートがある。 推薦する書籍２０冊は以下。過去のいくつかの書籍の参考文献でもある。これらの書籍は、紀伊国屋のWebサイトからも購入ができる。 『賀川豊彦〜愛と社会正義を追い求めた生涯〜』（ロバート・シルジェン著 賀川豊彦記念松沢資料館監訳／新教出版社／4,200円） 『数学の限界 』（グレゴリー・チャイティン著 黒川利明訳／エスアイビーアクセス／3,150円） 『純粋理性批判』（カント著 篠田英雄訳／岩波文庫／798円） 『名指しと必然性〜様相の形而上学と心身問題〜』（ソール・Ａ.クリプキ著 八木沢敬・野家啓一訳／産業図書／2,835円） 『監獄の誕生〜監視と処罰〜』（ミシェル・フーコー著 田村俶訳／新潮社／5
自然言語処理における類似度学習(機械学習における距離学習)について - 武蔵野日記
Twitter でグラフ理論に関する話題が上がっていたので、最近調べている距離学習(distance metric learning)について少しまとめてみる。カーネルとか距離(類似度)とかを学習するという話(カーネルというのは2点間の近さを測る関数だと思ってもらえれば)。 この分野では Liu Yang によるA comprehensive survey on distance metric learning (2005) が包括的なサーベイ論文として有名なようだが、それのアップデート(かつ簡略)版として同じ著者によるAn overview of distance metric learning (2007) が出ているので、それをさらに簡略化してお届けする(元論文自体本文は3ページしかないし、引用文献のあとに表が2ページあって、それぞれ相違点と共通点がまとまっているので、これを見ると非
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
シグモイド関数の１次微分
【公式】NexTech Week 2024｜人、企業、世界の「未来」を変える展示会
Home
Model Zoo
“シン・ニホン”AI×データ時代における日本の再生と人材育成