pythonによる深層学習[CNNフルスクラッチ編] - ぱろっくの日記
この記事は、このブログ内の機械学習の記事を読んでいたり、機械学習の知識をある程度持っていると読みやすいかもしれません。 また、かなり長くなってしまうので、数式の証明や意味などは特に説明しません。 深層学習とは 深層学習とは、「ニューラルネットワーク」と呼ばれる人間の脳の仕組みをコンピュータで再現するモデルを用いた機械学習のことです。 英語ではディープラーニングと呼ばれていて、人工知能ブームの真っ只中ですし聞いたことがある方が多いのではないでしょうか。 今回は、ニューラルネットワークの仕組みについて説明し、画像識別などによく用いられるニューラルネットワークであるCNNというものを紹介しようと思います。また、それをpythonで実装をしてみたいと思います。 なお、分かりやすく読んでいただけるように詳しい説明を省いたり通常の定義を噛み砕いて説明したりするので、本来の意味とずれてしまう説明がある可
![pythonによる深層学習[CNNフルスクラッチ編] - ぱろっくの日記](https://cdn-ak-scissors.b.st-hatena.com/image/square/eb3c127d4a3d964a6882597c18f3074391dce09f/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fp%2Fpalloc%2F20160720%2F20160720162710.jpg)
メモリスタ - Wikipedia
上記の表は、、、およびの微分の有意義な比率を全てカバーする。はの導関数であり、またはの積分であるため、をに、またはをに関連付けることができるデバイスはない。このことから、メモリスタは電荷に依存する抵抗であると推測できる。もしが定数の場合、オームの法則が得られる。ただし、が自明でない場合、とは時間とともに変化する可能性があるため、方程式は同等ではない。時間の関数として電圧を解くと、が得られる。この方程式はが電荷によって変化しない限り、メモリスタが電流と電圧の間で線形関係を定義することを示している。非ゼロ電流は時間変化する電荷を意味する。交流電流は(しかしながら)、の最大変化によってに大きな（英語版）変化を引き起こさない限り — 正味の電荷の移動を伴わずに測定可能な電圧を誘導することにより回路動作の線形依存性を明らかにすることができる。 さらに、電流が印加されない場合、メモリスタは静的である。
歴史：ReRAM - Wikipedia
ReRAM（英: resistive random access memory）は電圧の印加による電気抵抗の変化を利用した半導体メモリー。RRAM、抵抗変化型メモリなどとも呼ばれる。なおRRAMはシャープの登録商標である。 ReRAMは電圧印加による電気抵抗の大きな変化（電界誘起巨大抵抗変化、CER[1]効果）を利用しており、 電圧で書き換えるため（電流が微量で）消費電力が小さい 比較的単純な構造のためセル面積が約6F2（Fは配線の径で、数十nm程）と小さく、高密度化（=低コスト化）が可能 電気抵抗の変化率が数十倍にものぼり、多値化も容易 読み出し時間が10ナノ秒程度と、DRAM並に高速 といったデバイスとしての利点がある。 原理[編集] ReRAMのセル構造 電界誘起巨大抵抗変化には、金属酸化物と電極の界面での抵抗変化と、金属酸化物中での電導経路の抵抗変化の2種類の原理がある。このうち前
High Performance Computing Infrastructure
【富岳】スーパーコンピュータ｢富岳｣成果創出加速プログラム ｢富岳｣材料物理化学課題・｢富岳｣燃料電池課題 合同公開シンポジウム(成果報告会)のお知らせ 【富岳】「富岳」で⾼速電波バーストの再現に成功―宇宙最⼤の電波爆発の起源に迫る―(京都大学基礎物理学研究所、千葉大学国際高等研究基幹、東京大学大学院理学系研究科、九州大学大学院総合理工学研究院/hp200124、hp210164、hp220173、hp230204)
Summit
ORNL’s supercomputing program grew from humble beginnings to deliver the most powerful system ever seen. On the way, it has helped researchers deliver practical breakthroughs and new scientific knowledge in climate, materials, nuclear science, and a wide range of other disciplines. Learn more about the OLCF’s comprehensive suite of hardware and software resources for the creation, manipulation, an
Graph500 - Wikipedia
Graph500は、グラフ（ネットワーク構造）探査性能ベースのベンチマークに基づく高性能計算コンピュータのランキングである。 概要[編集] 高性能計算コンピュータのベンチマークとしてHPLやHPCG（Conjugate Gradient、共役勾配法）がよく用いられている。HPLとHPCGは、密行列もしくは疎行列を要素とする大規模な連立一次方程式を解くというベンチマークである。しかし、近年では高性能計算コンピュータを用いて大量のデータ処理を行う需要が高まってきている。そのような処理の性能の特性や必要とされるアーキテクチャの要件は、HPLやHPCGとは根本的に異なるため、新たな性能指標が必要になった[1]。 このような背景から、グラフ探査性能ベースのベンチマークに基づく性能ランキングであるGraph500が誕生した。Graph500では性能指標として、TEPS（Traversed Edges
SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and <1MB model sizeを読んだ | 射撃しつつ前転
SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and <1MB model size を読んだメモ。 最近の畳み込みニューラルネットは巨大化する傾向があり、メモリ消費量が大きい。メモリ消費量を減らしたい、というのがこの論文の目的である。SqueezeNetでは、Convolutionレイヤーを、SqueezeレイヤーとExpandレイヤーの2つの組み合わせで置き換える。Squeezeレイヤーは1x1のConvolutionであり、出力チャネル数が少ない（16〜64程度）のが特徴である。Expandレイヤーは1x1 Convolutionと3x3 Convolutionを横に並べたものである。GoogLeNetのInceptionモジュールに近い。 Squeezeレイヤーによって3x3 Convolutionに与える
なぜcuDNNのConvolutionは高速なのか | 射撃しつつ前転
cuDNNはNVIDIAが公開しているDeep Learning用のライブラリである。このライブラリを使うとCaffeやChainerなどのDeep Learning用のソフトウェアの速度が向上する。 この速度向上に寄与している最も大きな部分がConvolutionの高速化である。 個人的には、CPUでどこまで高速にConvolutionが実現できるのかに興味がある。本記事は、その準備段階として、どういう高速化戦略がありえるのかを調べたものである。 ConvolutionとはConvolutionは、日本語では畳み込みと呼ばれる操作である。畳み込み操作自体は何次元のデータ構造に対しても定義できるが、以下では、画像処理でよく使われる、二次元のConvolutionのみを考える。 何も考えずに普通にConvolutionを実装すると、以下の擬似コードのようになるだろう。ただし、簡単のため、境界
BLAS (Basic Linear Algebra Subprograms)
The BLAS (Basic Linear Algebra Subprograms) are routines that provide standard building blocks for performing basic vector and matrix operations. The Level 1 BLAS perform scalar, vector and vector-vector operations, the Level 2 BLAS perform matrix-vector operations, and the Level 3 BLAS perform matrix-matrix operations. Because the BLAS are efficient, portable, and widely available, they are commo
物理のいらない量子アニーリング入門 - Platinum Data Blog by BrainPad
本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 当社の社員が物理を専門としない人向けに量子アニーリングについて解説します！ こんにちは、A.I.開発部の太田です。 今回は量子アニーリングの簡単なシミュレータを作ってみたり、実際のD-Waveを使ってみた経験から、物理を専門としない人向けに量子アニーリングについて解説しようと思います。 （シミュレータのコードはgithubで公開しています。私自身、量子アニーリングについては最近勉強し始めたところなので、色々ご指摘いただけると幸いです。） さて、私の所属する部署の役割として、機械学習・人工知能関連の技術調査や社内への展開を行っており、その一環として昨年12月に早稲田大学の田中先生をお呼びして開催した量子アニーリング勉強会が社内で大変好評でした。 昨年度は量子アニーリングに関する一般書籍が発売
TSUBAME計算サービス | TSUBAME計算サービス
2017.07.24 : TSUBAME3.0 Q&A (8/25更新) 2017.07.07 : TSUBAME3.0運用開始以降のアプリケーションについて(8/2更新) 2017.06.29 : TSUBAMEの夏季縮退運転(ピークシフト)について(7/15追記) 2017.06.19 : 東工大TSUBAME3.0と産総研AAICが省エネ性能スパコンランキングで世界1位・3位を獲得 2017.05.09 : TSUBAME2.5移行運用で設定可能な有料サービスについて(7/26更新) 2017.04.04 : 2017年度のTSUBAMEの運用予定について(TSUBAME3.0)(7/26更新) 2017.02.17 : 東工大のスパコンTSUBAME3.0が今夏稼働開始―半精度演算性能47.2ペタフロップス、人工知能分野における需要急増へ対応― 2017.02.07 : 【最重要】
ホーム | 人工知能研究センター
MORE 2023.10.30 INFORMATION 京都大学と、インテリジェントバイオインフォマティクス研究チーム富井健太郎研究チーム長、中村良介総括研究主幹らの研究グループは共同で、海洋における植物プランクトンや従属栄養性の原生生物を含むプランクトンの群集タイプを衛星データから予測する機械学習モデルを開発しました。 将来的には、海洋生態系の詳細モニタリングや近未来予測、遺伝子資源の発見にも、衛星データを有効活用できると期待できます。詳しくはこちら。 2023.10.17 INFORMATION 産総研・東京工業大学・LLM-jp（国立情報学研究所主宰）が協力して、世界トップレベルの大規模言語モデル（LLM）の構築の開発を始めます。その第一歩として、LLM-jpが従来の国産LLMの10倍の規模を持つ1750億個のパラメタ数を持つLLMの構築に着手します。 産総研はLLM構築に必要な計算
人間の脳を解明するための国際プロジェクト「ヒューマン・ブレイン・プロジェクト」を支える大規模コンピューター環境「SpiNNaker」システムの実態に迫る
「ヒューマン・ブレイン・プロジェクト」(HBP)とは「人間の脳を解明し、コンピューター上に脳を作り出す」ことを目的に2013年から続く学際的研究プロジェクトです。そのサブプロジェクトである「SpiNNaker」プロジェクトは脳の働きをシミュレートするための大規模な並列コンピューティング環境であり、10億個のニューロンから構成されるネットワークをシミュレートしようとするものです。YouTubeのComputerphileチャンネルで投稿されているムービーを見ると、「SpiNNaker」システムの仕組みがよくわかるようになっています。 Research Groups: APT - Advanced Processor Technologies (School of Computer Science - The University of Manchester) http://apt.cs.ma
Access to Standards
A standards developing organization (SDO) is an organization that develops, publishes, and disseminates standards within their area of expertise. SDOs may include professional societies, industry and trade associations and membership organizations. They may develop standards with their own members or in cooperation with other SDOs and interested parties. SDOs in the United States may choose to dev
fMRI - Wikipedia
fMRI 計測によって得られる画像。移動する視覚刺激を見ている際の脳活動を、安静時の脳活動と複数の実験参加者で比較したもの。fMRI 計測によって得られた活動量 (統計値) は黄色とオレンジで示されており、灰色で示した実験参加者平均の脳画像と重ね合わされている。この画像では一次視覚野や外線条皮質、外側膝状体が活動していることが分かる。 カリフォルニア大学バークレー校ヘレン・ウィルズ神経科学研究所 (Helen Wills Neuroscience Institute) の脳画像センターにある4T fMRIスキャナー(画像作成日:2005年) MRIの画像から作られたアニメーション画像。頭の上からまっすぐ下に移動している、左上の頭部の外に現れる点は、画像の右と左を間違えないよう、ビタミンEの錠剤を頭の横にテープで貼っておいたもの fMRI (functional magnetic reson
U-Mart Project
8月25日 人工市場で学ぶマーケットメカニズムを利用した講義のチュートリアルを開催します(京都大学) (※後日，東工大すずかけ台キャンパスでのチュートリアルも予定しております) 8月21日 WCSS06でチュートリアルを行います｡ 共通テストベットとしてのバーチャル市場 ～経済学のロボカップを目指して～ 近年、人工市場という研究テーマが経済学者はもちろんのこと、工学者、数理科学者等からも注目を集めています。U-Mart研究会は人工市場を媒体とした、経済学者と工学者の交流の場を提供することを目的として設立されました。 U-Mart組織委員会ではこれまでに、株価指数を取り引きする仮想先物市場シミュレータを開発し、進化経済学会等でのデモンストレーション、また関西－関東－北海道を結んだ遠隔取引実験等を行ってきました。本シミュレータは、参加者がインターネットを介し市場サーバにアクセスするシステムであ
MLAC2013 数式を使わずイメージで理解するEMアルゴリズム - Wolfeyes Bioinformatics beta
はじめに Machine Learning Advent Calendar 2013の15日目を担当する@yag_aysです．専門はバイオインフォマティクスという計算機を使って生物学をする分野で，生モノではなく遺伝子の文字列相手に格闘している大学院生です．今回は初心者の人を対象に，なるべく数式を使わずにEMアルゴリズムについて解説してみたいと思います． EMアルゴリズムは，SVMやニューラルネットワークといった華々しい機械学習の手法の一つではなく，機械学習の中で使われる尤度最大化という一部分を担当するアルゴリズムです．そのため多くの人にとってEMアルゴリズムは，それ単体を使ってみたりだとか独自に改良をしたりするような対象ではないでしょう．でも，EMアルゴリズムなんて仰々しい名前が付けられているだけあって，いざ自分の仕事に組み込む場合には中身を理解していないと「なぜEMアルゴリズムを使ったの
計算生態学 - GLMM
混合 (効果) モデル，とくに一般化線形混合モデル (generalized linear mixed model; GLMM; 一般化線形混合効果モデルとも) を簡単に紹介するペイジです 混合ではない一般化線形モデル (GLM) については GLM 参照 を 混合モデルは fixed effects と random effects の項を同時にもつ統計モデルです [もくじ] 2010 年代のニュース ネット上の GLMM の解説 混合モデルを推定計算する R の関数たち 尤度を数値積分しようとする方法 MCMC 計算によって解決するもの 尤度近似数値積分などつかう方法 罰則つき擬似尤度 (PQL) つかう方法 正規分布の線形・非線型混合モデル もっと複雑な random effects をあつかいたい 書籍 2010 年代のニュース 2017-10-26 glmmTMB bioRxiv
KBpedia - Open-source Integrated Knowledge Structure
KBpedia is an open-source knowledge graph that combines seven leading public knowledge bases into an integrated and computable structure. KBpedia has 98% coverage of Wikidata and nearly complete coverage of Wikipedia. The KBpedia distro includes its upper ontology (KKO), full knowledge graph, mappings to the major knowledge bases, and 70 largely disjoint typologies. The latest KBpedia release is v
)
YAGO (database) - Wikipedia
YAGO (Yet Another Great Ontology) is an open source[3] knowledge base developed at the Max Planck Institute for Informatics in Saarbrücken. It is automatically extracted from Wikidata and Schema.org. YAGO4, which was released in 2020, combines data that was extracted from Wikidata with relationship designators from Schema.org.[4] The previous version of YAGO, YAGO3, had knowledge of more than 10 m
これもある意味Deep Learning，Recurrent Neural Network Language Modelの話 [MLAC2013_9日目] — KiyuHub
これもある意味Deep Learning，Recurrent Neural Network Language Modelの話 [MLAC2013_9日目] この投稿は Machine Learning Advent Calendar 2013 の9日目の記事です． 本日は，Neural Network(NN)を利用したLanguage Model(LM)，つまりNeural Network Language Model(NNLM)の一種であり， Recurrent Neural Network(RNN)を使ったRecurrent Neural Network Language Model(RNNLM)について説明します． RNNLMに行く前置きとしてざっくりいくつか用意したので，知ってそうな人は先へ進んでください． 前置きを入れているうちに長くなりすぎた...． しかも，そもそもNNの説明
![これもある意味Deep Learning，Recurrent Neural Network Language Modelの話 [MLAC2013_9日目] — KiyuHub](https://cdn-ak-scissors.b.st-hatena.com/image/square/cac50dfe53f692699058da4611c63ceb7fb568f7/height=288;version=1;width=512/http%3A%2F%2Fkiyukuta.github.io%2F_images%2Fneural_language_model.png)
GitHub - asgordon/TriangleCOPA: One hundred challenge problems for logical formalizations of commonsense psychology
The term COPA is an acronym for "Choice of Plausible Alternatives," referring to a style of question for use in evaluating commonsense reasoning systems. Each question consists of a given premise and question, and two plausible alternatives - one of which is consistently selected by people. TriangleCOPA consists of 100 COPA questions in the domain of the Heider-Simmel film. Each question was valid
自然言語処理のトップカンファレンス - 武蔵野日記
NAACL HLT 2010 の accepted papers のリストが今日出た。 知っている名前があるかなと思ったが、日本人ひとりもいないようだ。 (訂正) 松本研先輩の tetsu-na さんが通っているようだ。@cacahoさん情報どうもありがとうございます! MSR 時代のインターン同期とかたくさんいる。やはりカリフォルニア開催だと気合い入れて出してくるからだろうか……。他にも出していると聞いた人が通っていないのを見ると、かなり厳しかった模様。以前 masayu-a さんが日記で(現在はてなダイアリーに引っ越したようだが) NAACL > ACL >> (越えられない壁) >> CoNLL > EMNLP >> (越えられない壁) >> COLING-ACL = ACL-IJCNLP > COLING(ICCL) = >> (越えられない壁) >> EACL > IJCNLP
ニューラルネットワーク - Wikipedia
（人工知能の分野で）ニューラルネットワーク（英: neural network; NN、神経網）は、生物の学習メカニズムを模倣した機械学習手法として広く知られているものであり[1]、「ニューロン」と呼ばれる計算ユニットをもち、生物の神経系のメカニズムを模倣しているものである[1]。人間の脳の神経網を模した数理モデル[2]。模倣対象となった生物のニューラルネットワーク（神経網）とはっきり区別する場合は、人工ニューラルネットワーク (英: artificial neural network) と呼ばれる。 以下では説明の都合上[注釈 1]、人工的なニューラルネットワークのほうは「人工ニューラルネットワーク」あるいは単に「ニューラルネットワーク」と呼び、生物のそれは「生物のニューラルネットワーク」あるいは「生物の神経網」、ヒトの頭脳のそれは「ヒトのニューラルネットワーク」あるいは「ヒトの神経網」
PDTB: Penn Discourse Treebank
The Penn Discourse Treebank Project is an NSF funded project, supported by NSF grants: IIS-14-22186 (2014-2017) IIS-14-21067 (2014-2017) CNS-10-59353 (2011-2013) IIS-07-05671 (2007-2012) CNS-02-24417 (2002-2006) The PDTB 3.0 corpus was released on March 15, 2019 through the Linguistic Data Consortium. N.B. The corpus was updated on February 4, 2020, to include the final versions of two files of to
CoNLL 2018 | CoNLL
CoNLL The SIGNLL Conference on Computational Natural Language Learning October 31 - November 1, 2018 Brussels, Belgium CoNLL is a top-tier conference, yearly organized by SIGNLL (ACL's Special Interest Group on Natural Language Learning). This year, CoNLL will be colocated with EMNLP 2018 in Brussels, Belgium. Program The program is now available! The list of accepted papers, call for papers and t
The CCG site
Combinatory Categorial Grammar (CCG) is an efficiently parseable, yet linguistically expressive grammar formalism. It has a completely transparent interface between surface syntax and underlying semantic representation, including predicate-argument structure, quantification and information structure. This site is a intended as a collection of links to CCG related projects at the University of Edin
Freebase
Send feedback Data Dumps Stay organized with collections Save and categorize content based on your preferences. Data Dumps are a downloadable version of the data in Freebase. They constitute a snapshot of the data stored in Freebase and the Schema that structures it, and are provided under the same CC-BY license. The Freebase/Wikidata mappings are provided under the CC0 license. Freebase Triples F
NAIST Text Corpus
京都テキストコーパスで利用されている毎日新聞95年1月1日から17日まで の全記事、約2万文、1月から12月までの社説記事、約2万文、計約4万文に対して，述語と表層格（ガ格，ヲ格，ニ格）の関係，事態性名詞と表層格（ガ格， ヲ格，ニ格）の関係，事態性名詞の名詞クラス，名詞句間の共参照関係，指示連体詞・代名詞の照応関係の情報を付与したコーパスです． 2013-06-25 (Tue) ライセンスを修正 BSD ライセンスと明記しました。 2010-08-23 (Mon) タグ付きデータを京都大学テキストコーパスver.4.0をもとに作成するように変更しました．指示連体詞・代名詞の照応関係，事態性名詞の名詞意味クラスのタグを追加しました． 2007-08-05 (Sun) 同一箇所に複数のタグが付く場合に順序がおかしく箇所があったので修正しました． 2007-07-27 (Fri) タグが一部おか
日本語フレームネット – An online Japanese lexicon based on Frame Semantics
日本語フレームネットについて 日本語話者が持っている日本語語彙についての知識は一体どのようなものだろうか？私達のプロジェクトでは、いわゆる辞書の定義文のみならず一般常識やさらに百科事典的知識をも含んだもの、と考えています。特に、話者がある語の意味を理解するにはその語の認知的な背 景基盤（フレーム）を考慮する必要がある、というのが私達の仮説です。そして、そのような日本語語彙に関するネイティブスピーカーの知識を語彙項目ごとに 定義し豊富な例文をつけ語彙情報資源として整理して行こう、というのがプロジェクトの究極の目標です。最終的には辞書とシソーラスの機能を兼ね備えた、日本語学習者や自然言語処理システムに役立つオンライン語彙情報資源の構築をめざしています。 この語彙情報資源を私達は「日本語フレームネット」（Japanese FrameNet，JFN） と呼んでいます。現在アメリカで構築されつつある
自然言語処理用語と解析器まとめ - Qiita
この記事では自然言語処理の入門者の方に向けに、自然言語処理の重要ワードと日本語用の主要な解析器をまとめました。 基本用語 自然言語（しぜんげんご、英: natural language）とは、人間によって日常の意思疎通のために用いられる、文化的背景を持って自然に発展してきた記号体系である。大別すると音声による話し言葉と文字や記号として書かれる書き言葉がある。 自然言語 - Wikipedia 我々が日常生活で使っている言語(話し言葉と書き言葉)のこと。自然言語以外の言語としては、例えばプログラミング言語や数式などが該当する。 自然言語処理（しぜんげんごしょり、英語: natural language processing、略称：NLP）は、人間が日常的に使っている自然言語をコンピュータに処理させる一連の技術であり、人工知能と言語学の一分野である。 自然言語処理 - Wikipedia 自然
ツリーバンク - Wikipedia
ツリーバンク（英: Treebank）は、コーパスの一種であり、各文に統語構造の注釈が付与されているものである。統語構造は一般に木構造で表されることが多いため、ツリーバンクと呼ばれる。ツリーバンクはコーパス言語学で文法的現象の研究に使われる他、計算言語学での構文解析器の評価や訓練に使われる。 概要[編集] ツリーバンクは既存の何らかのタグが既に付いたコーパスを使って作成されることが多い。従って、ツリーバンクは意味論的に何らかの拡張をしたり、他の言語学的情報を付与したりしている。 ツリーバンクは、言語学者が文一つ一つに注釈を加えていって構築することもあるし、半自動的に構文解析器で解釈し、その結果を言語学者がチェックするという方式もある。 ツリーバンクは特定の言語学的理論（例えばHPSG）に基づいた文法的注釈を付与している場合もあるが、多くのツリーバンクは特定の理論に依存しないようにしている。
Universal Dependencies
Universal Dependencies Universal Dependencies (UD) is a framework for consistent annotation of grammar (parts of speech, morphological features, and syntactic dependencies) across different human languages. UD is an open community effort with over 600 contributors producing over 200 treebanks in over 150 languages (see the bottom of this page for updated numbers from the latest release). If you’re
コーパス - Wikipedia
コーパス（英: corpus）は、言語学において、自然言語処理の研究に用いるため、自然言語の文章を構造化し大規模に集積したもの。構造化し、言語的な情報（品詞、統語構造など）を付与している。言語学以外では「全集」を意味することもあり、言語学でも日本語を扱う場合には、「言語全集」「名詞全集」「動詞全集」などと呼ぶとよい[1]。コンピュータ利用が進み、電子化データとして提供されている[2]。 概要[編集] 「身体」を意味する ラテン語: corpus に由来する。複数形は ラテン語: corpora（コーポラ）。英語式複数形とした 英語: corpuses の使用も散見される。 大規模なコーパスの作成には、相当の費用と時間がかかる。使用する文章に関わる著作権など、法的問題が発生するためである。データ作成の手間はあるが、コンピュータ利用により、それ以前に比べ、かなりの労力軽減と多様な構造化が実現し
Introduction to Conditional Random Fields
Imagine you have a sequence of snapshots from a day in Justin Bieber’s life, and you want to label each image with the activity it represents (eating, sleeping, driving, etc.). How can you do this? One way is to ignore the sequential nature of the snapshots, and build a per-image classifier. For example, given a month’s worth of labeled snapshots, you might learn that dark images taken at 6am tend
The ITALK project
Email.coordinator italk@italkproject.org Address.coordinator Angelo Cangelosi University of Plymouth A316 Portland Square PL 4 8AA Plymouth United Kingdom Phone.coordinator +44 1752 586217 10 лучших казино онлайн на деньги В рейтинговой подборке 10 лучших казино онлайн можно встретить клубы разного калибра. Авторитетные игорные заведения не обязательно похожи друг на друга как две капли воды. Напр
�$@5U1?F03X�(B
�$@?^$K<($9#2<+M3EY%m%\%C%H$K$*$$$F!"$=$l$>$l$N3QEY$r<($7!"D>@~$N50F;$r@8@.$9$k!#$?$@$7!"�(BLink1�$@$H�(BLink2�$@$ND9$5$r$=$l$>$l�(BL1�$@$H�(BL2�$@$H$9$k!#�(B �$@$^$:!"4v2?3XE*4X78$h$j�(B �$@$H$J$k!#$3$l$h$j!">e5-$N#x<0$N#2>h$H#y<0$N#2>h$r2C$($k$3$H$G �$@$7$?$,$C$F�(B �$@$H$J$k!#�(B �$@$=$3$G!"r7o$G7PO)$r@8@.$9$k!#�(B �$@$3$3$G!"�(B(x1,y1)�$@$H�(B(x2,y2)�$@$O$=$l$>$l;OE@$H=*E@$N:BI8$r8=$7$F$$$k!#�
Dance Dance Convolution
Dance Dance Revolution (DDR) is a popular rhythm-based video game. Players perform steps on a dance platform in synchronization with music as directed by on-screen step charts. While many step charts are available in standardized packs, players may grow tired of existing charts, or wish to dance to a song for which no chart exists. We introduce the task of learning to choreograph. Given a raw audi
DRAW: A Recurrent Neural Network For Image Generation
This paper introduces the Deep Recurrent Attentive Writer (DRAW) neural network architecture for image generation. DRAW networks combine a novel spatial attention mechanism that mimics the foveation of the human eye, with a sequential variational auto-encoding framework that allows for the iterative construction of complex images. The system substantially improves on the state of the art for gener
WaveNet: A Generative Model for Raw Audio | DeepMind
Research WaveNet: A generative model for raw audio Published 8 September 2016 Authors Aäron van den Oord, Sander Dieleman This post presents WaveNet, a deep generative model of raw audio waveforms. We show that WaveNets are able to generate speech which mimics any human voice and which sounds more natural than the best existing Text-to-Speech systems, reducing the gap with human performance by ove
Kerasで学ぶAutoencoder
Kerasの公式ブログにAutoencoder（自己符号化器）に関する記事があります。今回はこの記事の流れに沿って実装しつつ、Autoencoderの解説をしていきたいと思います。間違いがあれば指摘して下さい。また、Kerasの公式ブログはKerasでの実装に関してだけでなく、機械学習自体についても勉強になることが多く、非常におすすめです。 今回の記事では様々なタイプのAutoencoderを紹介しますが、日本語ではあまり聞き慣れないものもあるかと思いますので、今回は名称を英語で統一したいと思います。 目次 イントロダクション Undercomplete Autoencoder Sparse Autoencoder Deep Autoencoder Convolutional Autoencoder Denoising Autoencoder まとめ イントロダクション Autoencod
Connectionist Temporal Classificationの理論と実装について
概要 Connectionist Temporal Classificationを読んだ 利用する際の注意点など はじめに 最近ChainerでConnectionist Temporal Classification（以下CTC）を使い始めたんですが、学習中にNaNが出てうまくいかなかったので、原因を調べるために論文と実装を読んだところ理解が深まったのでそのまとめです。 ちなみにNaNが出たのは使い方を誤っていたのが原因でした。 CTCについて まず用いる記号を論文に合わせて定義します。 ラベルの集合を$L$、blank（空白文字）を追加したラベル集合を$L’ = L \cup {blank}$とし、入力データ列を$\boldsymbol {\rm x} = {\boldsymbol x^1, \boldsymbol x^2, …, \boldsymbol x^T}$、対応する（soft
Furukawa Laboratory
混合ガウスモデル（GMM）とは GMMは混合モデルの一種で，ガウス分布の線形重ね合わせで表されるモデルです．十分な数のガウス分布を用い，線形結合する重みの係数と各分布の平均と共分散を調節すれば，ほぼどのような連続関数でも，任意の精度で近似することができます． GMMはその簡素さと柔軟性から，データマイニング，パターン認識，機械学習，統計的解析に広く応用されています． Demo：入力分布の学習 【セット】ボタンで入力されたパラメータに応じてデータ（ガウス乱数）を生成します．データをセットした状態で【学習開始】ボタンを押すとGMMで推定を行います． 【リセット】ボタンで入力分布と学習結果を初期化します．
Faster R-CNNの紹介 - kivantium活動日記
はじめに 今までいろんな画像処理のプログラムを書いてきましたが、その多くで物体検出のアルゴリズムを使っています。 ご注文は機械学習ですか？・結城友奈はサンタであるなどの記事ではOpenCVでアニメ顔検出をやってみたで紹介したlbpcascade_animefaceを使いました。これは2001年のViolaとJonesの論文で提案された方法に1994年（くらい）に提案されたLBP特徴量を組み合わせた、2008年の論文の方法を応用したもの（多分）です。 友利奈緒判定botではdlibによるHOG特徴を用いた物体検出がすごいで紹介したHOG特徴量とSVMを組み合わせた方法を使っています。これは2005年の人検出に関する論文の方法を使ったものです。 どのプログラムでも物体検出した後の判定精度はそれなりに高いのに、物体検出の精度の低さが全体の完成度を下げている感じになってしまっていました。2005年
RBMから考えるDeep Learning ～黒魔術を添えて～ - Qiita
ずいぶん遅くなりましたが、ひとまず完成です。疑問点・翻訳ミスを始めとした指摘がありましたら、どしどしお願いします(14/12/18)。 1週間あるから大丈夫だろうとたかを括っていたら、あっという間に投稿日になってしまいました。本当はPylearn2を使ってRBMを学習させようと考えていたのですが、役に立つ内容を書くには時間が足りなさすぎるので、お茶を濁します。 今回の目標 Restricted Boltzmann Machine及びDeep Belief Networkの基本的な動作原理を知る "A Practical Guide to Training Redstricted Boltzmann Machine"(GE Hinton, 2012)で黒魔術(RBMの性能を引き出すコツ)を学ぶ 先日、以下のような発表をしました。今回の内容は以下のスライドの焼き直し・改良を含みます。参考にどう
半教師あり学習のモデル仮定 - でかいチーズをベーグルする
Machine Learning Advent Calendar 2014の12日目。 最近半教師あり学習に興味があってちょっと勉強してみたのでそれについて書いてみる。自分が勉強した時に読んだ文献も下の方に書いたのでもし興味があれば。 半教師あり学習はラベル付きデータに加えてラベル無しデータも使って学習できるということですごく魅力的なんだけど、何も考えずに使うと教師あり学習より精度が落ちることがよくある。 ラベル無しデータはその名の通りどのクラスに属すかが分かっていないデータなので、何かしらの モデル に基いてそのデータがどのクラスに属するかを仮定してやらないといけない。つまりデータの分布（モデル）に仮定を置かないといけない。半教師あり学習をする上ではこれが 一番重要。 Introduction to Semi-Supervised Learningのp.15にもこう書いてある。 the
TensorFlow Expertを超えて - Qiita
前書き Tensorflowが発表されて、７ヶ月が立ちました。さすがGoogleのブランド力が強いだけあって、一気に世に広まって、ディープラーニングブームの火付け役となりました。 Tensorflowの影響でディープラーニングに興味を持ったプログラマーが大勢います。筆者もその一人です。プログラマーだから、最初はソースコードを読めばわかるだろうと思って、word2vec等のソースコードをひたすら読みました。だが、背後にある理論がまったくわかっていないので、理解できませんでした。 幸い、今はオープンな時代。arXiv.orgから論文を無料でダウンロードできるから、その気になればいくらでも読めます。しかし、根はプログラマーだから、作りたくなります。作ったら語りたくなります。 この記事は、皆さんお馴染みのTensorFlowチュートリアル - 熟練者のためのディープMNIST(原文)を改良していく
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
HPC科学技術計算の救世主か－GPUで作れる「プライベートスパコン」｜データドック
「海外農業情報調査分析（コスタリカ）」
Research project finder
GitHub - Conchylicultor/DeepQA: My tensorflow implementation of "A neural conversational model", a Deep learning based chatbot
[PDF]始めよう！ベイズ推定による データ解析
WSC 2006: Lucca (Italy) – World Puzzle Federation
The Proposition Bank (PropBank)
Abstract Meaning Representation (AMR)
アイロボット公式サイト | iRobot
卒論制作説明書見本2008年度
GitHub - microsoft/CNTK: Microsoft Cognitive Toolkit (CNTK), an open source deep-learning toolkit
Generative Adversarial Networks (GAN) の学習方法進展・画像生成・教師なし画像変換
GitHub - jisungk/deepjazz: Deep learning driven jazz generation using Keras & Theano!
GitHub - luanfujun/deep-photo-styletransfer: Code and data for paper "Deep Photo Style Transfer": https://arxiv.org/abs/1703.07511
Instance-aware Semantic Segmentation via Multi-task Network Cascades
Not Found