2018/11/20～21 人工知能学会 言語・音声理解と対話処理研究会（SLUD）第84回研究会 「第9回対話システムシンポジウム」 での招待講演資料です。概要は以下の通り。 コンピュータビジョン分野と自然言語処理分野それぞれで、深層学習がコモディティ化されたモジュールとして浸透し、お互いの参入障壁が緩和された。視覚や言語と言った単独のモダリティでの識別や生成の精度も同時に向上したため、Vision & Languageと呼ばれる融合分野の研究が盛んになっている。本講演では、中でも対話と視覚を融合させる試みについて概観する。前提として画像キャプション生成やビジュアル質問応答などの関連分野について触れた後、実際に対話と視覚を融合させる種々の研究について述べる。

【Pythonデータ分析勉強会#33】「DearPyGuiに入門しました」の続き～Image-Processing-Node-Editor～

GoogleのAlphaGoというプログラムが、韓国のプロ棋士であるFan Hui氏と囲碁で対局して勝利したというニュースが世界を駆け巡りました。 それについての参考資料のまとめと、思ったことをつらつらと。一点注意ですが、AlphaGoのアルゴリズムを解説するという内容では一切ありません。 紹介記事 ついにコンピューターが囲碁でプロ棋士に勝利、倒したのはGoogleの人工知能技術 - GIGAZINE Google Japan Blog: AlphaGo: マシンラーニングで囲碁を AlphaGo | Google DeepMind 論文 Mastering the Game of Go with Deep Neural Networks and Tree Search https://storage.googleapis.com/deepmind-data/assets/papers/d

Neural Network with Attention Mechanism for Natural Language Processing: survey Read less

Several recent papers have explored self-supervised learning methods for vision transformers (ViT). Key approaches include: 1. Masked prediction tasks that predict masked patches of the input image. 2. Contrastive learning using techniques like MoCo to learn representations by contrasting augmented views of the same image. 3. Self-distillation methods like DINO that distill a teacher ViT into a st

デンソーアイティーラボラトリの佐藤です。 先日、STARC様主催のセミナーにて、『ディープラーニングの車載応用に向けて』というタイトルで講演をさせていただきました。講演で使用したスライドを公開します。畳み込みネットワークの基礎、車載器への応用、学習時の演算量に関する課題にフォーカスを当てました。この分野の面白みが少しでも伝われば幸いです。 なお、ムービはこちらから見れます：

以前は MNISTの例を使って画像識別を試してみた けど、次はカラー画像についての識別を試してみる。 「アイドルなんてみんな同じ顔に見える」って 最近も言われてるのかどうか知らないけど、自分もつい5年前くらいまではそう思っていたわけで。その識別を機械学習でやってみよう という試み。 最近はほとんどライブに行かなくなってしまったけど大好きなももいろクローバーZちゃんを題材にしてみることに。 5人のメンバーの顔は機械学習によってどれくらい分類できるようになるのか？？ CIFAR-10 CIFAR-10 という、32×32サイズのカラー画像を10種類のクラスに分類する識別課題があり、そのデータセットが公開されている。これを実際にTensorFlowで学習するための畳み込みニューラルネットワークのモデルや関数などがtensorflow.models.image.cifar10パッケージに同梱されて

乗るしかないこのビッグウェーブに Deep Learning（深層学習）に関連するまとめページとして使用する予定です。Deep Learningに関する記事・スライド・論文・動画・書籍へのリンクをまとめています。最新の研究動向は全然把握できていないので今後研究を進めるなかで記録していきたいと思います。読んだ論文の概要も簡単にまとめていく予定です。本ブログでは、当面の間、Theanoを使って各種Deep Learningアルゴリズムを実装していきたいと思います。 関連ニュースなどはTwitterでも流しているので興味があったらフォローしてください。 すべてに目が通せず更新が追いついていません。私のはてなブックマークで[Deep Learning]というタグを付けて登録しています。まったく整理できていませんがご参考まで。 Theano編 TheanoをWindowsにインストール（2015/1

この記事はDeep Learning Advent Calendar 2015 23日目の記事です． はじめに コンピュータセキュリティシンポジウム2015 キャンドルスターセッションで（急遽）発表したものをまとめたものです． また，私の体力が底を尽きてるので，後日に大幅な加筆・修正します． Deep Learning Advent Calendar 21日目の記事はすいません，しばらくお待ちください... Deep Leaningの光と闇 Deep Learningが様々なタスクにおいて大きな成果を上げています．また，各種フレームワークの登場によって，Deep Learningの導入や実践する敷居が大幅に下がりました．このことから，Deep Learningを活用していこうと考えてる，あるいはすでに活用している企業や研究者が増えてきています． Deep Learningによって従来の手法

概要 つい一ヶ月前に提案された深層学習モデルであるDeep Convolutional Generative Adversarial Networks (以下DCGAN)をchainer上で実装した． 70万枚もの大量のイラストを使ってDCGANにイラストらしさを学習させた． 得られたモデルを利用して，コンピュータにイラストを描かせてみた． 結果としては結構上手く行った．本物と見分けがつかないというレベルではないものの，DCGANは正常にイラストらしい画像を生成できている． ネタが盛大に被って本当につらい はじめに DCGANという画像を生成するニューラルネットをchainerで実装しました。恐るべきことに、今までにない美麗さで二次元イラストも自動生成できます…！https://t.co/C8P8GbzWN1 pic.twitter.com/DWwGhF9itw — おそるべし抹茶パワー

データ解析入門〜グラフ分析処理・スクレイピング〜【found IT projectセミナー#6】 https://foundit-project.connpass.com/event/51809/

Deep Learningに関する話題ならなんでもオッケーです。 論文紹介、実装してみた、ライブラリ・フレームワークを試してみた...etc.

2. ⾃自⼰己紹介 l 得居 誠也 (Seiya Tokui) l Preferred Networks リサーチャー l Jubatus のアルゴリズム開発 – Jubatus: NTTとPFIで共同開発しているオープンソースの分散 リアルタイム機械学習基盤 http://jubat.us/ l 現在は映像解析とディープラーニングの研究開発に従事 2 3. ニューラルネットの基礎、実装、実験について話し ます l ニューラルネットの道具 – 全体の構成、⾏行行列列による表現、損失関数、誤差逆伝播、SGD l 主要な実装 – Pylearn2, Torch7, Caffe, Cuda-‐‑‒convnet2 l フレームワークの基本的な設計 – テンソルデータ、レイヤー、ネット、最適化ルーチン – アーキテクチャの記述⽅方法（宣⾔言的、スクリプティング） l 実験の進め⽅方

そうだ、Deep learningをやろう。そんなあなたへ送る解説記事です。 そう言いながらも私自身勉強しながら書いているので誤記や勘違いなどがあるかもしれません。もし見つけたらご連絡ください。 Deep learningとは こちらのスライドがとてもよくまとまっています。 Deep learning つまるところ、Deep learningの特徴は「特徴の抽出までやってくれる」という点に尽きると思います。 例えば相撲取りを判定するモデルを構築するとしたら、普通は「腰回りサイズ」「マゲの有無」「和装か否か」といった特徴を定義して、それを元にモデルを構築することになります。ちょうど関数の引数を決めるようなイメージです。 ところが、Deep learningではこの特徴抽出もモデルにやらせてしまいます。というか、そのために多層、つまりDeepになっています。 具体的には頭のあたりの特徴、腰のあ

目次 定義と構造 復元 確率分布 コードサンプル：Deeplearning4jを使ったIrisで制限付きボルツマンマシンを起動する パラメータ及びkについて 連続的なRBM 結論及び次のステップ 定義と構造 Geoff Hintonによって開発された制限付きボルツマンマシン（RBM）は、次元削減、分類、 回帰 、協調フィルタリング、特徴学習、トピックモデルなどに役立ちます。（RBMなどの ニューラルネットワーク がどのように使われるか、さらに具体的な例を知りたい方は ユースケース のページをご覧ください。） 制限付きボルツマンマシンは比較的シンプルなので、ニューラルネットワークを学ぶならまずここから取り組むのがよいでしょう。以下の段落では、図と簡単な文章で、制限付きボルツマンマシンがどのように機能するのかを解説していきます。 RBMとは浅い2層のニューラルネットであり、ディープビリーフネッ

第14回情報科学技術フォーラム (FIT2015) のイベント企画「ビッグデータ解析のための機械学習技術」におけるチュートリアル講演資料です。ニューラルネットの基礎（計算グラフとしての定式化、勾配法、誤差逆伝播法）をさらったあと、最近画像や自然言語などで注目されている応用・手法について広く浅く紹介しています。Read less

1. The document discusses knowledge representation and deep learning techniques for knowledge graphs, including embedding models like TransE, TransH, and neural network models. 2. It provides an overview of methods for tasks like link prediction, question answering, and language modeling using recurrent neural networks and memory networks. 3. The document references several papers on knowledge gra

[DL輪読会]Understanding Black-box Predictions via Influence Functions