はてなブックマーク

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 原文のリンク Hybrid computing using a neural network with dynamic external memory (2016) 1. 要約と背景 DeepMind社（現Google子会社）は2016年10月27日に、全く新しいタイプの人工知能のフレームワークをNature論文に発表しました。その名も、DNC (Differential Neural Computer)といいます。 この人工知能の斬新な点は何と言っても外部記憶装置 (external memory)の存在です。これはヒトの海馬のような

外れ値検出 あるデータ点が全体の分布からどれくらい離れているか 例：正規分布における3σなど ※ 正規分布に従わない、複数変数の場合 One-class SVM: 割合$1-p$のサンプルを最小の体積に押し込める境界面を探す。（カーネル使えるので、複雑な境界面も分けられる） Local Outlier Factor: 　データ点から$k$番目に近い点までの距離を求め、スコアとする（外れている点は近傍に点がないため、スコアが大きくなる） LOFの長所：小クラスタリング（コミュニティ）が複数あっても適用しやすい 予測モデルを用いた外れ値検出：予測モデルの残差の分布から異常度スコアを算出 変化点検出 ノイズやピークでなく、急激に変化した点に注目する プロセス: 時系列推移に関するモデリング→スコアリング→スコアの平滑化→スコアに対するモデリング→スコアリング 異常状態検出 上と違い、複数の時系列

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

原文 ベクトル空間における言語特徴量の効率的推定(Efficient Estimation of Word Representations in Vector Space) Tomas Mikolov (2013) 1. 要約 「単語ベクトル(word vectors)」の効率的な学習方法の提示。Word2Vecというモデルに接続する考え方。 規模にして10億語超、語彙では100万語超の処理を試みる。 比較対象: 過去の言語処理規模では、1000万語レベルの処理が限界だった。 学習テクニックとして広く使われてきた手法は、次の3つである。 ①NNLM(Neural Network Language Model) 順伝播型NNを用いて、単語の特徴量を抽出する。教師データには、品詞タグ付けされたコーパスを用いる。 ②LSA(Latent Semantic Analysis) 精度はNNに劣る。教

はじめに ニューラルネットワークの実装を考えたことがある方なら、聞いたことがあるかもしれません。ニューラルネットワーク（以下NN）のモデリングの完成には、職人芸的処置が必要だと。具体的には、モデル化においてたくさん出てくるパラメータをどう設定するかという点です。 本記事では、NNにおけるパラメータの効率的な調整手順をまとめてみました。NNの理論については、ここで触れないので、各自お調べください。 概観 まず、留意していただきたい点が一つあります。それは、 「最適なパラメータをすぐに決められる一発公式のようなものはない」 ということです。 実際に、多くの研究者が論文において、自身のモデルに特有なパラメータ設定をしています。 この問題に対して、神の一手(a priori)をゲットするのは、難しいでしょう。 したがって、自身の経験と探索的アプローチの積極的活用がパラメータ設定の基本戦略になります

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

はじめに Qiita記事内で何番煎じか分かりませんが、TesnorFlowのCNNサンプルコードの解説記事を挙げさせていただきます。背景として、昨年１２月社内でTensorFlowによる深層学習モデルを勉強するというテーマが持ち上がりました。 資料の選定準備を私が担当しました。その中で、MNISTのサンプルコードを選んだ理由は、典型的なデータセット・サンプルの方が、コードの内容が入りやすいと判断したからでした。 一応、MNISTについても触れておきます。MNISTとは、0~9の数字手書き画像のデータベースです。 (↓こんな感じ) DLのテストでは、学習器がパターン認識で予測した数字と正解の数字を比べ、その正答率をパフォーマンス指標とします。LeCun教授(機械学習分野の第一人者)が管理しており、必要に応じて、ダウンロード可能です。 サンプルコードについて CNN学習器の構造は、公式のTut

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに テーマは「進化・発達と学習」でした。このテーマを扱う狙いは、汎用人工知能の設計に進化もしくは発達の要素を組み込むことです。あるいは、組み込むためのヒントを得ることです。 このコンセプトを聞いてしっくりこない場合は、「全脳」と「アーキテクチャ」それぞれの文言を理解するといいかもしれません。全脳はヒトの脳の器官・機能すべてを指します。いわば、全ての機能を携えた人工知能（汎用人工知能）の作成がこの文脈におけるゴールとなります。アーキテクチャはある種の"デザイン"に関連したことばです。直訳すると、「建築物・構築物」。すなわち、全脳人工

原文 DBMを用いた多形態データの学習(Multimodal Learning with Deep Boltzmann Machines) Nitish Srivastava (2012) 1. 要約／背景 画像と文字の混合データにDBMを適用したら、良好な結果を得られた。 テキストと画像では抽出データの型が異なるため、もともと併用が難しい テキスト→語数カウントベクトルであり、成分は離散的かつスパースである。 画像→ピクセルに分割し、各点の輝度をベクトルにまとめる。 SVMとLDA→混合データの認識に使われるが、教師データがない場合、特徴抽出ができない… 混合データによる学習イメージを下に示す。 画像をインプットした時に、意味(タグ登録してある)を選択識別する感じ。 2. 骨子の理論 分析過程の模式図を以下に示す。 ポイントは、画像の特徴とテキストの特徴をそれぞれ別のDBMで学習させるこ

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

原文タイトル 特徴抽出時の(自己符号化器の)明示的不変性(Contractive Auto-Encoders_Explicit Invariance During Feature Extraction) Salah Rifai (2011) 1. 要約 事前学習として、多くの教師なし学習手法が生み出されている中、著者は新しいタイプの自己符号化器を考案した。 名称は、縮小自己符号化器(CAE) 過学習を防ぐために、重みベクトルの更新に、あるペナルティ項を加える。これ自体は、過去の自己符号化器にも見られた(スパース正則化や重み減衰など)。 加える項目に、革新性がある。ヤコビアンをフロベニウス正規化した項を加える。詳細は、2.の理論の項に譲る。 2. 骨子の理論 はじめに、加えるべきペナルティ項を記載する； $$||J_f(x)||^2_F = \sum_{ij}(\frac{\partial

原文 強化学習における自己符号化器付き深層ニューラルネットワーク(Deep Auto-Encoder Neural Networks in Reinforcement Learning) Sascha Lange and Martin Riedmiller (2010) 1. 要約 (メモリ基盤の)バッチ強化学習(Reinforcement Learning; RL)アルゴリズムを考案した。これにより、自己符号化器でDNN (Deep Neural Network)を学習し、特徴空間を創出することができる。 メインの機械学習アルゴリズムは、MLP(Multi Layer Perceptions) 、いわゆる多層自己符号化器を使う。 2. 背景 強化学習は、次の2ステップからなる。 ①入力データから特徴を抽出する ②特徴空間から、教義(Policy)を学び、行動に落としこむ これまで、①は人