サクサク読めて、アプリ限定の機能も多数！
トップへ戻る
2024年ランキング
tech.d-itlab.co.jp
どうも吉田悠一です． 弊社の近藤がNIPS2016のWorkshopで発表したDemitasseをオープンソースで公開します． “Satoshi Kondo, “Demitasse: SPMD Programing Implementation of Deep Neural Network Library for Mobile Devices”, ML Systems Workshop NIPS 2016 PDF” https://github.com/DensoITLab/Demitasse llvmとispcを使い，Deep Learningの計算を高速化します． Demitasseによれば，iOSデバイス上でもGPUを使わずに数百msecの時間で，Caffe Model Zooによる画像認識を実行することができます． ビルド方法は，githubのリポジトリのドキュメントに書いてありま
機械学習プロフェッショナルシリーズの変分ベイズ学習を読んでいる時に，もっとも引っかかった変分ベイズの停留条件の導出の式展開を真面目にやってみました． 汎関数微分や試験関数の厳密性は勘弁してください・・・・・・． 間違っているところがあれば，指摘いただけるとうれしいです． 自由エネルギー$F$が停留する条件を考えると，それがベイズ事後分布の条件になるよ・・・というところです． ## 自由エネルギー$F$を$r_s$で微分し，汎関数微分の値が常に0となる停留条件を考える． $r_s$の関数として，自由エネルギー$F$を整理する． $\scriptsize{ \begin{eqnarray} F({r_s}) &=& \int {\prod\limits_{m = 1}^S {{r_m}({\omega _m}) \cdot \log \frac{{\prod\limits_{m = 1}^S
研究の方ではなかなか触る機会が無いのですが，知識だけは入れておきたいということで最近は社外の人達が主催しているDeep Learning勉強会に参加させてもらっています． こちらでは輪講資料として以下のサイトで公開されている書籍のドラフト版を使用しています． https://www.deeplearningbook.org/ なかなか知識不足という事もあって，細かい部分は分からなかったりするのですけど，12章は自然言語処理の話も含まれていることから私の担当となりました．広い内容をカバーしていることもあって私としても非常に勉強になりました． 勉強会の中では Chen and Goodman の資料は 1998 ではないかと書いたのですが，1999の物もありました．ということで，資料の方でのリファレンスの指摘は私の間違いです． http://www2.denizyuret.com/ref/go
吉田悠一です． 甲子園ではないですが，3年ぶり，5回目WWDC2016に行ってきました． 気になったところをまとめてみたいと思います． プラットフォームが４つになり，すべてはフラットに OSXが頂点に立ち，iOS, tvOS, watchOSがそれに続くイメージだった各プラットフォームの関係を，アップルが今回のKeynoteでフラットであるように，あるいは，もうそうではないと印象付けようとしているように感じました．OSXは，macOSとリネームされ，４つのプラットフォームの名前の印象が統一されることになりました． macOSの新機能は，iOSからの移植されるものが増え，iOSやwatchOSとの連携を歌うものが目立ちました．State of Unionでも，トリの発表はiOSであり，分量も多く，アップルが，iOSに注力していることは明確です．例えば，iOSで紹介された機能が，その発表の最後
先日社内の勉強会で，グローバル最適なIterative Closest Point(ICP)アルゴリズム”Go-ICP”について紹介しました． ICPは有名なところではKinect Fusionなど，3次元点群のレジストレーションに広く用いられています．基本的には，最近傍点の対応付けと姿勢(並進と回転)の推定を順次繰り返していくことで，点群間の2乗誤差を最小にするような姿勢を見つけようとアルゴリズムです． ICPは原理上，点群間の姿勢がある程度離れると局所解に陥ってしまい正しくレジストレーションできないという課題があります． そこで，局所性を改善したアルゴリズム(SoftAssign など)や，ローカルな特徴(Spin Imageや4PCSなど)を用いて大域的にレジストレーションする手法など多様なアルゴリズムが提案されていますが，グローバル”最適”な点群のレジストレーションアルゴリズムはあ
デンソーアイティーラボラトリの佐藤です。 先日、STARC様主催のセミナーにて、『ディープラーニングの車載応用に向けて』というタイトルで講演をさせていただきました。講演で使用したスライドを公開します。畳み込みネットワークの基礎、車載器への応用、学習時の演算量に関する課題にフォーカスを当てました。この分野の面白みが少しでも伝われば幸いです。 なお、ムービはこちらから見れます：
デンソーアイティーラボラトリの佐藤です。 12/3-4にパシフィコ横浜で開催された、ViEW2015（ビジョン技術の実利用ワークショップ）において、CNN (Convolutional Neural Network) のチュートリアル講演を行いました。その時に使用したスライドを掲載します。 国内における画像系のDeep Learningのチュートリアルは、東京大学の中山英樹先生（スライド）や、中部大学の山下隆義先生（スライド）らによるものが有名です。網羅的かつ分かりやすいため、入門者の方々にはとても参考になると思います。 ぼくのチュートリアル講演では、入門者と中級者のあいだくらいの方々をターゲットにしました。誤差逆伝搬法や活性化関数などは一通り知っているけど、バリバリ使いこなしているとは言えないなあ、といった方々に役立つ知見を盛り込んだつもりです。参考になれば幸いです。
Mac OS のEl capitanでthunderboltで繋いだ外付けGPUを使う方法を説明します。 [対象] Macで外付けGPUを認識できて嬉しい人は例えば Matlabなどの数値計算ライブラリで大きな行列の計算をGPUを使って高速化したいひと 私の目的はこれです 動画や画像処理などGPGPUに対応したアプリを利用していて作業効率をアップしたいひと Photoshopなどが高速なりなります．CUDA対応アプリはNVIDIAのサイトにのっています． MacBookなどでディスクリートGPUを搭載していないけど、綺麗な映像でゲームをしたいひと 私は試していませんがあまり効果がないと言っている人もいます． [注意] 失敗すると最悪OSの再インストールになります． 起動しなくなった場合に復旧する方法も記載しますがそれでもうまくいかない場合は再インストールになります．試す前にTimeMach
社内勉強会のネタです． HalideとDarkroomという画像処理を並列化するためのソフトウェアの研究についてのちょっとしたサーベイ発表のスライドを公開します． Halideについては，サンプルコードも書いてみました． とある画像処理を，下のメソッドチェーンで記述するだけで，「画像全体を8行毎に切って，それをマルチスレッドで処理し，8行毎の処理は内部的に4ピクセル毎にベクタライズして処理する」という並列化処理に置き換えられてしまいます． ゴイスー． temp.split(y, y, yi, 8).parallel(y).vectorize(x, 4); 例えば，25×25のサイズフィルタを畳み込むぼかし処理を上記の並列化で高速化した場合，画像サイズが768×1024のケースで，15倍くらい高速化することができました． また，HalideはC++にインラインでそのまま書けるのでポータビリテ
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session.
持橋先生が公開されているガンマ一般線形回帰で，部分文字列から単語の最大長を予測して形態素解析のラティスの圧縮をしています． 社内の勉強会で軽く紹介をしたのでそのスライドを公開します． 出力ラベルが連続値で，ラベル間に依存があるようなタスクでは非常に強力な手法です． 今回は単語の最大長を予測するという目的で使用しましたが，他にもいろいろなタスクに適用できるのではないかと思います．
土曜日にDSIRNLPというLINEの佐藤さん(@overlastさん)が主催している勉強会に参加しました． 今回はITラボが会場で，首都大の小町先生に講演にして頂く等ちょっとリッチな内容です． 場所だけ貸してITラボから発表が無いというのも寂しいので，僕も今回は少し長めの時間を頂いて発表をしてきました． 内容は実装したい人のためのNPYLMの解説になります． 実際のContext Treeのノードクラスでは，文脈の管理をmapでやると結構遅くなるので，unordered_mapを使った方が良いと思います．
坂倉(@a2ki)です。 本日は、ホロノミック勾配法について紹介します。 ホロノミック勾配法は、最適化したい関数:g(θ)の導関数が陽に書けない場合の勾配法です。このような環境で愚直に勾配法動かしたいなら、毎STEPで導関数の数値評価が必要になります。それに対し、ホロノミック勾配法は g(θ)の勾配法を、θとg(θ)の連立微分方程式で記述 θの微分方程式: 勾配法によるθの更新 g(θ)の微分方程式 : θの更新によるg(θ)の導関数の更新（θ更新先でのg(θ)の導関数の値） することにより 導関数を数値評価は微分方程式の初期値設定時のみで、あとは更新即に従えばOK を可能にする手法です。 ここで、g(θ)の微分方程式を”素直に”記述すると、無限に高階の導関数が出てくるため、上記方法は実現できません。ホロノミック勾配法は、これを有限の階数の導関数で抑えるため、上記方法の実現が可能となります
本日、社内で行った論文紹介の資料です。この論文では、Deep Learning と Q-Learning とを融合する方法が提案されています。この概要のみを解説しています。
NIPS2013に初めて参加しました。今年は1900人ほどが参加しているということです。思ったよりも参加者が多く、驚きました。この内、約３００程の論文が採択され、その内の３０くらいがオーラルで発表ができるという、やはり狭き門だなと実感しました。会場は、Lake Tahoeというカリフォルニア州とアリゾナ州との州境にあり、わずかにアリゾナ側にあります、それにちなんで会場のホテルがある地域は Stateline という名前が付いているようです。今年は特に気温が低く、最高気温がマイナス数度、最低気温がマイナス二十度前後くらいの日があり、ホテルから外に出る気になれず、非常に詰まらないと思いました。寒さはホテルの中にいれば良いのですが、個人的には空気の乾燥が辛く、喉が痛くなり、声も出なくなってしまいました。 しかし、３００近い論文から、何を見たら良いか、自分の研究と直接繋がるものは良いとして、それ以
本エントリはC# Advent Calendar 2013 9日目のエントリです。 自己紹介ですが、デンソーアイティーラボラトリというところで研究開発をやっております。スコープは車とかITSとかそれにまつわるソフトウェア全般です。 研究のためのソフトウェア環境としては珍しくC#を使っておりますが、JavaやPythonよりもそういったリソースが少ないながら、質の高いライブラリが多いというのが実感です。今回はその中からQuickGraphという便利なライブラリの紹介です。かなり以前からCodePlexで公開されているので利用されている方も多いと思いますが、簡単に使えるように解説します。 QuickGraphを使おう QuickGraphとは、グラフ型のデータ構造や各種アルゴリズムを備えた、.NET用のライブラリです。CodePlexのプロジェクトとして、2003年12月から公開されていました
月曜日から、IJCNLP2013を聴講に来ています。昨夜から今朝に掛けては、大型の台風26号が来ましたが、名古屋は夜半から朝方に掛けて通過したため、会議自体にはあまり影響はなかったようで、良かったです。 月曜日は Humanoid Robot との Open-domain 対話に関するチュートリアルを聞きました。Wikipediaのリンクを利用して、話題をスムーズに切り替えて行くという会話制御の方法、音声と共に、身体的なボディーランゲージと同期させるという内容でした。Open-dmain talk と open-domain listening とは違う、ということで、今回は前者であり、後者ははやり難しいと言われていました。 ちなみに、このチュートリアルで紹介されていたPythonによる Robotics と音声認識・合成のライブラリ Python Robotics Pyspeech 今回
坂倉(@a2ki)です。 本日は、弊社内技術ネタ発表会で発表した、Variational Kalman Filter（VKF）について投稿します。 VKFは、高速・省メモリなKalman Filter（KF）設計法です。 大規模な問題においてKFを動かす際、 フィルタ分布の分散共分散行列が密行列である点 カルマンゲイン獲得のために逆行列を計算しなければいけない点 が、問題とります。 それに対し、VKFは フィルタリング演算において、フィルタ分布の平均をOptimizer、分散共分散行列をInverse Hessianとする最適化問題として表現（要はMAP推定） 上記問題をLBFGSで解くことで、分散共分散行列を省メモリに保持しつつKalman Gainの計算を回避 という構成をとることで、前記問題を解決しています。 具体的な内容は、以下のスライドをご覧ください。
うちの会社には新技術研究会という研究員がお互いに新しい技術を調査して発表しあう会議があるのですが，そこで最近話題のword2vecについて調べたことを報告しました． デモは見せられないのですが，google code の word2vec のページから落とせる text8 というデータを使った”man king -> woman queen”の例と，毎日新聞コーパス2000年版をMeCabで形態素解析した上で，word2vecで学習したデータを使った，”会社 仕事 -> 学校 勉強”という関係をデモしてます。 文章だけからここまで学習できるのかと正直驚きました．
はじめまして。 デンソーアイティーラボラトリの関川といいます。よろしくおねがいします。 9月1日から現在米国のボストンにあるMIT MEDIA LABにて9ヶ月の任期で研修をしています。来年の5月末までMITで行われている面白い研究などを紹介できたらと思います。 今回は、学生に「速いくていいよ」と教えてもらった「Julia」という数値計算ソフトの紹介をしたいと思います。 Juliaとは、Matlab、R、Octaveのような数値計算言語の一種です。 今回は、Juliaの大雑把な概要と、MacでのGUI環境のセットアップ方法について説明したいと思います。 すでにJuliaをインストールしている人は、MIT Open CoursewareのでJuliaを使った計算方法についてのチュートリアルが公開されているのでとても参考になります。 [概要] まず、Juliaの特徴について。 Juliaの一番
2013/9/12-13に山梨大学甲府キャンパスで開かれた情報処理学会自然言語処理研究会で研究報告をしました． 内容は教師なし・半教師あり形態素解析の話で，これまでやられていなかった分かち書きと品詞推定を同時に獲得しようというものになります． 言語処理に関わる者として，一度は自分なりの形態素解析を作ってみたいと思っていましたがその第一歩となります． はじめたばかりの研究ですが，皆様から頂いたコメントを反映させつつ発展させて行こうと思います．
カーネル行列の低ランク近似で、計算量が削減できることを示す公式の導出が良く分からなかったので、ノートを作成しました。
デンソーアイティーラボラトリの佐藤育郎（@ikuro_s）です．初めて投稿します．よろしくお願いします． つい先日，Computer Vision分野の国内会議で口頭発表を行い，ありがたい賞を頂きました．この発表についてちょっと書いてみます． 参加した会議はMIRU2013，発表論文のタイトルは”Sparse Isotropic Hashing”，頂いた賞はMIRU長尾賞（ながおしょう）です． ■ MIRU (http://cvim.ipsj.or.jp/miru2013/index.php)とは Meeting on Image Recognition and Understandingの略で，Computer Visionの分野では，国内で最もアカデミックよりの発表が行われる会議です．大学の先生の参加率が高く，学生さんにとっては良い発表練習の場，企業研究者にとっては良い情報収集の場とな
ただ今、台湾旅行の帰りの飛行機待ちの時間を利用して、前回投稿したVCAの試作プログラムを使って、もう少しトイデータを使って、分析してみました。 ソースコードも、以下に少し改訂したものを置いておきます（VCA内の特異値計算で、その最大値の減少を利用して停止するロジックを追加したもの。その他、マイナーなカスタマイズ）： https://github.com/htsukahara/vca/tree/master/sources/vca-1.0.1
はじめまして、宇土敬祐(@utotch)と申します。 普段の仕事では、機械学習やロボティックス、画像処理等の研究をやっていますが、趣味でHaskell や圏論の勉強をしたりしています。よろしく御願いします。 私は、先日 ICML2013に出張してきたのですが、Vanishing Component Analysis の話を 塚原と鈴木に紹介したら、一気に私より詳しくなってアクセル全開で解説を始めてしまいました。(もはや私の立場が形無し…(泣)) 私の方は、もっとゆったりと行きたいと思います。 NIPS2012 の論文紹介で、Gaussian Process を使って機械学習器のハイパーパラメータをチューニングするお話です。 私が素朴に伝えたいのは、この論文そのものというより、Gaussian Process の直感的なイメージと用途です。 私はPRMLでGaussian Process (
やる夫で学ぶ，gitのすすめｗ
ICML2013で発表された Vanishing Component Analysis（VCA） の論文が面白そうであるということで、簡単に試作してみた。 以下に、試作したコードを公開しました： https://github.com/htsukahara/vca/tree/master/sources/vca-1.0.0 基本的に、論文の中にあるアルゴリズムを何も考えずに実装しました。 デバッグはちゃんとやっていないので、バグがある可能性大ですので、ご注意下さい。 また、このトイデータによる実験結果について、以下にまとめてみました： プログラムを書いてみて、意外に多変数多項式を効率良く扱うプログラムを書くのは大変なんだと思い知りました。 今回は、効率は全く考えていませんが、今後、その辺りを考えて、ちゃんと実装してみたいと思います。 [追加］ 以下に、補足の記事を追加したので、そちらもご覧下
はじめまして．デンソーアイティーラボラトリの坂倉義明(@a2ki)と申します．よろしくお願いします． さて，今日は，Extreme Learning Machine(ELM)についてご紹介します．ELMは，Single Layer FeedForward Neural Networkの高速な学習スキームです．今流行のDeep Networkとは真逆ですね． 高速化のポイントは，入力層から隠れ層への重みの学習を諦めることです．具体的な手順として，回帰の場合以下になります． 入力層から隠れ層への重みをランダムに生成 隠れ層の出力（活性化関数を通した）を計算 2と教示データの回帰係数を求め（疑似逆行列）隠れ層から出力層への重みとする そりゃはやいっすよね… ここで疑問になるのが，これで良いのかという点．これに関し提案者は，「有界・区分連続・な活性化関数，十分な数の隠れ層を用いれば，ELMは任意の
次のページ
このページを最初にブックマークしてみませんか？
『https://tech.d-itlab.co.jp/ redirect page』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
