ニューラルネットの積分表現理論――リッジレット変換とオラクルサンプリングによる3層パーセプトロンの学習の数値実験 - Qiita
概要 園田翔『深層ニューラルネットの積分表現理論』[3]という論文の中で「(浅い)ニューラルネットワークがしていることは 双対リッジレット変換 (の離散化)である」ということが解説されています． この論文では入力を一般の $m$ 次元にとり，活性化関数として ReLU やシグモイド関数を含む超関数のクラスに対して結果を与えています．が，そのぶんとても難しいです． 1 そういうわけで，本稿では上の論文で提案されている「オラクルサンプリング」という手法を 活性化関数として Gauss 核 $\eta(x) = \exp(-x^2/2)$ (急減少関数)を用い， $m = 1$ 次元の場合に限って 解説し，さらにその数値実験をしようと思います． (本稿を読む前に園田先生のスライド[2]に目を通しておくことをおすすめします．) 使ったもの Python 3.6.0 Chainer v3.1.0 O
ディープラーニングの研究が進めばAIのブラックボックス問題は解決しますか？
回答 (5件中の1件目) ディープラーニングは昔ニューラルネット（神経回路網）と言われていました。 モデルとなった神経回路網において、神経の結合、処理状態がわかれば考えていることがわかるのか？と言われればそれは無理ですね。これはブラックボックスです。 じゃ、考えていることがわかるようなニューラルネットは作れるかと問われれば、できないと断言はできない。 ちなみに三十年くらい前のAIの主要トピックスは。 エキスパートシステム これは専門家の知識を記述するもので内容はわかります。 ファジーシステム どこ行ったんでしょうね？ ニューラルネット でした。
データサイエンスや機械学習のチートシートを最も効率的に収集する方法 - Qiita
機械学習・データサイエンスのチートシート集、便利なものがたくさん出回っていますが、ちまちまブラウザからダウンロードしていたりしませんか？そんな貴方にお勧めなのがこちらのレポジトリ。 FavioVazquez/ds-cheatsheets https://github.com/FavioVazquez/ds-cheatsheets はい、クリックあるいはコマンド一つで100を超えるチートシートが一括でダウンロードできちゃいますね。以上、釣りタイトル失礼しました。 と、これだけではなんなので、個人的に有用性が高いと感じたものを、大きなサムネイル付きでまとめてみました。ソースとして、DataCamp及びRStudio公式ページの情報量は圧倒的なので、一読をお勧めします。 科学計算・データ操作・可視化 Python (NumPy/SciPy/Pandas/matplotlib/bokeh) Pyt
Deep Learningによる超解像の進歩
[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...
少ない学習データでも機械学習の効果を高める、NECが機械学習向け技術を開発
少ない学習データでも機械学習の効果を高める、NECが機械学習向け技術を開発：学習効果を高める3つの技術 NECは、学習データが少ない場合の機械学習効果を高める技術を開発した。データ収集の初期段階やデータ収集コストが高い環境のように十分な学習データが得られない状況でも、機械学習技術を活用できるという。 NECは2018年7月10日、学習用のデータ量が十分に得られていない段階からでも機械学習を活用可能とする技術を開発したと発表した。これらの一部は、NEC-産総研 人工知能連携研究室、国立情報学研究所、科学技術振興機構、統計数理研究所、Max Planck Institute for Intelligent Systemsとのオープンイノベーションによって得られた成果である。 最近はディープラーニングをはじめとする機械学習技術の利用が進んでいる。ただこれまでの機械学習技術では、その効果を十分に得
［37選］機械学習ライブラリやフレームワークは？ 国内AI活用サービスのアーキテクチャを大調査！
［37選］機械学習ライブラリやフレームワークは？ 国内AI活用サービスのアーキテクチャを大調査！ Webのアーキテクチャ大調査の第二弾は「AI活用サービス」編。プログラミング言語や機械学習のライブラリをはじめ、フレームワークやツールの選定・設計もサービスによって異なります。ぜひ参考にしてください。 2017年4月に掲載したアーキテクチャ大調査の第二弾！ 今回は、人工知能（機械学習、深層学習、画像処理など）を活用したWebサービス・アプリを提供しているベンチャーを中心に、36のサービスで使用されているプログラム言語やフレームワーク、その他さまざまな開発ツールなどをヒアリングのうえまとめました。選定理由を記述いただいた12のサービスでは、それもあわせて紹介しています。 前回との違いは、当然ですがTensorFlowやKerasといった機械学習のライブラリが挙げられていること。また、技術領域もH
【ディープラーニング】10時間でChainerの基本を身につける - あれもPython,これもPython
ディープラーニングは色々な知識が必要です。 「チュートリアル動かしました」で止まったままの人も多いでしょう。 そこで、自分がchainerを理解しながら動かした時の方法を書きます。 大前提 とは言ったものの、誰でも入門は無理なので。 以下が最低限の前提です。 数学:微分積分、行列、確率とか聞いても「ああ、あれね・・・」くらいには思う IT:Pythonがそれなりに分かる。numpyはそこそこ分かる。 機械学習:説明変数とか、目的変数とか分類とかが何となく分かる やる気:引っかかった時に、調べる気力がある ゴール chainerを自分で色々試せるレベルになる。 あくまで試せるレベルになるだけです。 それでも千里の道も一歩からです。 一緒に頑張りましょう。 ちなみになぜchainerか、というと、 入門者が触るには、バランスは良さそうに見えたからです。 最初の最初 ディープラーニングは歴史から
ライブラリーを使わずにPythonでニューラルネットワークを構築してみる - Qiita
コードはこちら: 全てのコードはGithub上のIpython Notebookでも公開しています。 この投稿では、1から3階層のシンプルなニューラルネットワークを構築します。出てくる全ての数学の解説はしませんが、可能な限り必要な部分は、わかりやすく説明したいと思います。数学の詳細が気になる方は、英語が多いですが参考になるリンクを下記で記載します。 ※この投稿の読者は最低限、微分と機械学習の基礎（クラシフィケーションや正則化など）を知っていると仮定します。更にGradient Descent（勾配降下法）のような最適化技術を知っていれば、なお良しです。ただ上記を知らなくても、ニューラルネットワークに興味のある方なら楽しめる内容だと思います。 それではまず、なぜライブラリーを使わずに一からニューラルネットワークを構築する必要があるのでしょうか？後の投稿でPyBrainやTensorflowの
Mathematics of Deep Learning
Recently there has been a dramatic increase in the performance of recognition systems due to the introduction of deep architectures for representation learning and classification. However, the mathematical reasons for this success remain elusive. This tutorial will review recent work that aims to provide a mathematical justification for several properties of deep networks, such as global optimalit
トピックモデル（LDA）で初学者に分かりづらいポイントについての解説 - Taste of Tech Topics
こんにちは。 信号処理で使っていた数学の知識を生かして、 機械学習関連の仕事をしている２年目の@maron8676です。 こちらは機械学習と数学 Advent Calendarの11日目の記事となります。 qiita.com トピックモデルの学習で初学者に分かりづらいポイントについての解説をしていきます。 機械学習における数学の重要性 機械学習を利用してアプリケーションを作る際に、数学の知識は重要です。 機械学習の便利なライブラリは多くリリースされていますが、適切に使用するにはパラメータチューニングが必要だったり、 最新の手法を動かしたい場合は自分で数式を読んで理解し、開発しないといけません。 というわけなので、数学は大事です。機械学習でアプリケーションを作るみなさん数学を勉強しましょう。 トピックモデル トピックモデルとは何か トピックモデルは潜在的意味を推定するためのモデルです。 トピ
scikit-learn から学ぶ機械学習の手法の概要 - Qiita
前回、株式の時系列データを分析する話で、後半にちょっとだけ機械学習の話をしました。今日は機械学習ライブラリ scikit-learn に触れます。 scikit-learn といえば以前にも簡単なクラスタリングの例をあげたり、サポートベクトルマシンやクラスタリングで問題を解く、 TF-IDF を計算する、回帰モデルの可視化、 DBSCAN によるクラスタリングといったことをしてきましたが、あらためてライブラリの機能を整理します。 機械学習と言うと難しい数学を駆使するイメージがつきまといますが、完成度の高いライブラリを使えば利用者が機械学習の手法そのものを実装しなくても利用することはできます。もちろん手法の内容に対する理解は必要ですが、せっかく scikit-learn という事実上デファクトとも言えるライブラリが存在するのですから、これを使うところから入門していくのが良いかと思います。 以
ヒトの直感的理解は単変量モデルまで、直感を超えたければ多変量モデルへ - 渋谷駅前で働くデータサイエンティストのブログ
ちょっと前に「ワインの味わいとデータサイエンス」というお題で話してきたわけですが。 実は「単変量モデルという名の還元主義」vs.「多変量モデルに基づくデータサイエンス」というテーマを一貫して置いていたのですが、あまりそこにスポットライトが当たることはなかったなぁという印象を壇上では抱いていたのでした。ということで、ここでは改めてブログ記事の形で少し詳細に論じてみようかと思います。 なお今回使うデータは面倒なので先にRワークスペースとしてGitHubに置いてあります。DLしてきてお手元のワーキングディレクトリに置いてロードしておきましょう。 ここでは基本的に赤ワインのデータを見たいので、"winequality_red_blog.RData"を使います。白ワインのデータが別にありますが、こちらは以下のアプローチをお読みになった後で皆さん自身で試してもらえればと思います。 定量的に科学するとい
興味がない時には沢山見かけるがいざ欲しい時に限って見つからない：日本のデータサイエンティスト＆機械学習エンジニアブーム - 渋谷駅前で働くデータサイエンティストのブログ
我らが業界の雄*1、てつろーさんが新たなweb連載記事を始められたようです。 このタイトルが、流石は業界経験の長いお方だけあって非常に鋭いところを突いているなと個人的には感じています。で、完全に奇遇ながら実は6月8日に旧知の友人の依頼でプレイベートな講演会に登壇してきたのですが、その時も「あれから日本のデータサイエンティスト（そして機械学習エンジニア）ってどうなったんだっけ」という話題をしてきたということもあり。。。ということで、久しぶりに与太話でもしてみようかと思います。 首都圏のデータサイエンティストと機械学習エンジニアは合わせて大体500人ぐらいいる（私見） 大多数の「自称」データサイエンティストはこの4年間のブームの栄枯盛衰の中で現れては消えるというのを散々繰り返してきたように思いますが（笑）、現実に日々の業務として明確にデータ分析を、しかも統計学や機械学習のスキルを駆使して行って
第二世代人工知能の亡霊がもたらす”AIの冬”
第二世代人工知能の亡霊がもたらす"AIの冬" AI Winter is coming!! 2016.11.21 Updated by Ryo Shimizu on November 21, 2016, 15:49 pm JST 日立が公開した「汎用人工知能」のプロモーションビデオが日本のAI業界で悪い意味での注目を集めています。 このビデオでは、日立は自社で開発したAI技術「H(エイチ)」を、「汎用人工知能」と自称しています。 しかし、「汎用人工知能」は、通常、AGI(Artificial General Intelligence)の訳とされ、人工知能研究のメインストリームでは、GoogleやFacebookなどを含めて「まだ世界の誰も開発に成功していない」ものとされています。 ビデオに登場する株式会社日立製作所、研究開発グループ技師長の矢野和夫氏によれば、このH(エイチ)は、「(カスタマ
機械学習モデルフォーマットの話：さようならPMML、こんにちはPFA
2. ⾃⼰紹介 l ⽐⼾将平（HIDO Shohei） l Twitter ID: @sla l 専⾨：データマイニング、機械学習 l 経歴： l 2006-2012: IBM東京基礎研究所データ解析グループ l 機械学習のアルゴリズム研究開発（主に異常検知） l 2012-2014: 株式会社Preferred Infrastructure l ⼤規模オンライン分散機械学習基盤Jubatusチームリーダー l 2014-: 株式会社Preferred Networks l 2015-: Preferred Networks America, Inc. @ シリコンバレー l Chief Research Officer 2
Web開発におけるコンピュータサイエンス - 機械学習編2 - Hatena Developer Blog
この教科書は、はてなサマーインターンの講義資料として作成されたものです: https://github.com/hatena/Hatena-Textbook 機械学習編1（基礎編）では、最も初歩的な分類器である単純パーセプトロンを題材に、機械学習の基本について勉強しました。機械学習編2（実用編）では、実問題に機械学習を適用する上でのコツや、各種の機械学習アルゴリズムの使い分け、高次元データへの対処法、といったトピックについて解説していきます。 実問題に機械学習を適用する タスクを定義する データを特徴ベクトルに変換する 評価方法を決める 正解データの正例と負例は均等に ベースラインとなる手法を実装する 実データに向き合うときの心構え 機械学習のワークフロー 1. 前処理 データセット作成 サンプリング 特徴抽出 欠損値・欠測値への対応 値のスケーリング 特徴選択 次元削減 2. 学習 モデ
人工知能のカレンダー | Advent Calendar 2015 - Qiita
About reserved postingIf you register a secret article by the day before the same day, it will be automatically published around 7:00 on the same day. About posting periodOnly articles submitted after November 1 of the year can be registered. (Secret articles can be registered anytime articles are posted.)
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
セキュリティ診断・検査のGMOサイバーセキュリティ byイエラエ
Deep Learning基礎講座演習コンテンツ 公開ページ
MATLABによる機械学習 - Twitter - MATLAB & Simulink