次元の呪いについて - Qiita
この記事について 以下の観点から高次元空間の性質についてまとめます。 次元数と最近傍・最遠傍との距離の関係 データ数と最近傍・最遠傍との距離の関係 人工データと実データの比較 はじめに 機械学習を使って何らかのタスクを解く上で、データの次元数は常に気にする必要があります。なぜなら、機械学習で扱う多くの問題はデータの次元数が大きくなるごとに難易度が跳ね上がるからです。 「次元の呪い」とも呼ばれるこの問題の原因は、高次元空間の性質にあると言われています。 データの次元数を大きくすると、私達の直感に反する興味深い挙動が確認できます。今回は、高次元空間の性質を簡単な数値実験で調べてみました。 次元の呪いとは データの次元数が高次元になると、データが空間の外側に集中して分布する現象です。 高次元空間の直感的な理解のためには下記が参考になると思います。 次元の呪い、あるいは「サクサクメロンパン問題」
[論文紹介] PRISM: A System forWeighted Multi-Color Browsing of Fashion Products - Qiita
[論文紹介] PRISM: A System forWeighted Multi-Color Browsing of Fashion Products機械学習MachineLearning http://sglab.kaist.ac.kr/PRISM/prism_www14.pdf この記事のひとつ前に紹介したPixel-Level Domain Transferと同じ著者 概要 ファッションアイテムから色を抽出するという問題。簡単そうに見えて、やってみるとめっちゃむずい。 ファッションECサイトには色による絞込機能が実装されていることが多いが、大抵の場合単色でしか絞り込めない。 一方で実際のファッションアイテムは複数の色が使われていることが多く、単色だと不便。 提案手法では、アイテムの色を複数の色を重み付けで表現することで、色の混合をクエリとする検索機能を提供している。 貢献 複数の色の
![[論文紹介] PRISM: A System forWeighted Multi-Color Browsing of Fashion Products - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/af33b94575613e6d2c121f650433cd76796b76ab/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9JTVCJUU4JUFCJTk2JUU2JTk2JTg3JUU3JUI0JUI5JUU0JUJCJThCJTVEJTIwUFJJU00lM0ElMjBBJTIwU3lzdGVtJTIwZm9yV2VpZ2h0ZWQlMjBNdWx0aS1Db2xvciUyMEJyb3dzaW5nJTIwb2YlMjBGYXNoaW9uJTIwUHJvZHVjdHMmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZ0eHQtY2xpcD1lbGxpcHNpcyZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPWQzYmZkZjM0ZGRkNThlYWY1MjJkYjEwMDk0ZWI4NzE5%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQwdG4xMDMxJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz0xOTBkZDFjNGYzZjI4OWEzMTYxMzEzZjhlNjM0OGRmYQ%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3Da62bfc774621f2eb15524152f1d1f593)
NVIDIA cuDNN | NVIDIA Developer
Accelerated Learning cuDNN provides kernels, targeting Tensor Cores, to deliver best available performance on compute-bound operations. It offers heuristics for choosing the right kernel for a given problem size. Expressive Op Graph API The user defines computations as a graph of operations on tensors. The cuDNN library has both a direct C API and an open-source C++ frontend for convenience. Most
Deep Learning実習
AlexNet [A Krizhevsky, 2012] このページはDeep Learningモデルを使って画像認識をする方法を一通り学ぶ初心者向け実習教材として作られました。 ここではPython環境でCaffeフレームワークを利用して画像認識モデルを学習、評価する方法を学ぶことができます。 準備 0. Docker+Jupyter環境の構築 1. Pythonと数値計算 1a. Pythonと数値計算 練習問題解答 画像認識 2. Caffeを使った画像分類 3. 手書き文字認識モデルの学習 4. 学習済みのネットワークをマルハナバチ分類にファインチューニング その他 5. Caffeの動作環境に関して 参考 スライド資料 Caffe deep learning framework Stanford CS231n: Convolutional Neural Networks for
Caffeで手軽に画像分類
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。システム統括本部 データソリューション本部の宮崎です。 最近ディープラーニングと呼ばれる技術の話題を耳にすることが増えてきました。 この記事ではディープラーニングの手法を実装し画像認識系の用途で便利に使えるCaffeというツールの使い方を紹介します。 Caffeの概要 Caffeは、C++で実装されGPUに対応した高速なディープラーニングのライブラリです。 大規模画像認識のコンテストILSVRCで2012年にトップとなった畳込みニューラルネットワークの画像分類モデル[1]がすぐに利用できるようになっています。 Caffeは、カリフォルニア大学バークレー校のコンピュータビジョンおよび機械学習に関する研究センターであるBV
Deep Learningで猫の品種識別 - Qiita
[('Russian_Blue', 0.58100362140429651), ('British_Shorthair', 0.22552991563514049), ('Abyssinian', 0.057159848358045016), ('Bombay', 0.043851502320485049), ('Egyptian_Mau', 0.030686072815385441)])] OpenCVで猫検出では猫の顔検出をしましたが、今回はディープラーニングの技術を使って猫の品種を識別しようと思います。 技術的な内容詳細についてはブログの方に書いてありますので興味があれば。 ねこと画像処理 part 3 – Deep Learningで猫の品種識別 ここでは Deep Convolutional Neural Network (DCNN) と呼ばれる手法を一般物体認識に適用して猫の品
Caffe+AlexNetでImageNet2012を学習してみた (1) - 斎藤侑輝のブログ
今回は下記の記事で導入したCaffeを用いて、ImageNetを学習してみる。 【メモ書き】Ubuntu 14.04 CUDA6.5 GTX970 Caffeインストール - 下丸子のコネクショニスト ImageNet（イメージネット）は大規模画像認識のコンペティションを毎年開催している組織で、 Stanford大のFei-Feiなどが監修している。 コンペの正式名称をLarge scale visual recognition challengeというのだが、 ここでは単にImageNetと呼ぶことにする。 トロント大のHintonらとともにAlexが提案し、 今ではDeep Convolutional Neural Networkのベースモデルとして扱われている通称AlexNetは、 2012年のImageNetにて発表されたものだ。 AlexNetはCaffeのZoo（様々なニューラ
大規模画像データセット - n_hidekeyの日記
最近は画像認識・検索で用いられるデータセットも大規模化が進んでいます。 いくつか代表的なものや最近見つけたものをまとめてみます。 （ここでの目安は、教師つきデータは10万枚以上、教師なしデータは100万枚以上のもの） ImageNet http://www.image-net.org/ 自然言語処理の分野で有名なWordNetのオントロジーに従って、各単語（今のところ名詞のみ）に対応する画像を収集したものです。Amazon Mechanical Turk を利用し、質の高いデータセットを構築するように工夫されています。日々データは蓄積・更新されており、2012年1月現在、約1400万枚の画像データ（2万2千カテゴリ）が集まっているようです。 アノテーションは基本的に1画像1カテゴリで、一部の画像には物体の位置を示すbounding boxもついています。カテゴリによっては十分な数の画像がな
Fully Convolutional Networks for Semantic Segmentation
Convolutional networks are powerful visual models that yield hierarchies of features. We show that convolutional networks by themselves, trained end-to-end, pixels-to-pixels, exceed the state-of-the-art in semantic segmentation. Our key insight is to build "fully convolutional" networks that take input of arbitrary size and produce correspondingly-sized output with efficient inference and learning
人工知能が万人のものに？米新興企業データロボットがヤバイらしい件
テクノロジーをベースにした未来予測を仕事としているにもかかわらず、僕は文系なので技術のことは実はよく分かっていない。なのでどの技術やベンチャー企業が有望なのかは、技術が分かる人の動向を追うことで判断しようとしている。 動向を追っていた二人の優秀な技術者を通じて最近、米国のデータロボット社という人工知能系のベンチャー企業のことを耳にした。しかも一人は自分が創業した企業を離れてデータロボット社に入社したし、もう一人は同社に出資を決めた。 なんなんだ、このデータロボット社って！？ どうやらデータロボット社は、技術者でなくても人工知能を自由に扱えるようなサービスを提供しているのだとか。プログラミング知識がないビジネスマンでも、ワープロや表計算ソフトを扱う感覚で人工知能を扱えるようになるというのだ。「ビッグデータ活用が激変します。ビジネスに与える影響は半端ない。革命的です」。一人の技術者は興奮気味に
Stanford University CS224d: Deep Learning for Natural Language Processing
Please see cs224n.stanford.edu for the current (Winter 2017) version of this class. Natural language processing (NLP) is one of the most important technologies of the information age. Understanding complex language utterances is also a crucial part of artificial intelligence. Applications of NLP are everywhere because people communicate most everything in language: web search, advertisement, email
ストリームデータ解析の世界
【機械学習アドベントカレンダー2015 8日目】 ストリームデータ解析 という分野がある。ある生成元から絶えずデータが到来する環境で、いかにそれらを捌くかという話。「時間計算量はほぼ線形であって欲しいし、空間計算量も小さく抑えつつ精度を担保したいよね」ということを考える世界。個人的に最近はそのあたりの情報を追いかけていたので、整理も兼ねてその世界を俯瞰したい。 すごいリンク集 はじめに、この分野で外せないと思うリンクを3つ挙げておく。 ■ SML: Data Streams YahooやGoogleの研究所を経てCMUの教授をしているAlex Smola先生の講義の一部（スライド＋動画あり）。理論からシステムアーキテクチャまで包括した実際的な機械学習ならこの人。この人の機械学習サマースクールの講義は最高だった。 古典的なものから最近のものまで、代表的なアルゴリズムについて直感的な説明といい
Tutorials – PAKDD 2016
Tutorial I: Medical Mining Myra Spiliopoulou, Pedro Pereira Rodrigues, Ernestina Menasalvas Tutorial II: Population Informatics using Big Data Peter Christen, Hye-Chung Kum, Qing Wang, Dinusha Vatsalan Abstract Social genomes are the digital footprints of individuals. They consist of records about people’s interactions with governments, businesses, and other individuals, as collected and linked fr
第54回 データマイニング+WEB ＠東京( #TokyoWebmining 54th )ー深層学習・機械学習 祭りーを開催しました - hamadakoichi blog
2016/6/25 "第54回 データマイニング+WEB ＠東京( #TokyoWebmining 54th ) ー深層学習・機械学習 祭りー" を開催しました。 第54回 データマイニング+WEB ＠東京( #TokyoWebmining 54th ) ー深層学習・機械学習 祭りーEventbrite Google グループ 会場提供して下さったFreakOutさん、どうもありがとうございました。素敵なトークを提供してくれた講師メンバーに感謝します。多くの方々の参加を嬉しく思っています。 参加者ID・バックグラウンド一覧 参加者セキココ：第54回 データマイニング+WEB ＠東京 セキココ (作成してくれた [Twitter:@komiya_atsushi] さんに感謝） 以下、全講師資料、関連資料、ツイートまとめです。 AGENDA： ■Opening Talk： O1.「データマイニ
Machine Learning with TensorFlow
Machine Learning with TensorFlow gives readers a solid foundation in machine-learning concepts plus hands-on experience coding TensorFlow with Python. about the technology TensorFlow, Google's library for large-scale machine learning, simplifies often-complex computations by representing them as graphs and efficiently mapping parts of the graphs to machines in a cluster or to the processors of a s
Microsoft Corporation
Microsoft Learn. Spark possibility. Build skills that open doors. See all you can do with documentation, hands-on training, and certifications to help you get the most from Microsoft products. Learn by doing Gain the skills you can apply to everyday situations through hands-on training personalized to your needs, at your own pace or with our global network of learning partners. Take training Find
Benchmark TensorFlow · Issue #66 · soumith/convnet-benchmarks
Google's TensorFlow benchmarks are here! I've run the benchmarks on the Imagenet Winners. When I saw issues with the numbers, memory etc., I emailed @Yangqing to confirm what I'm seeing, and that it is expected. With that disclaimer out of the way, here's some things that you should know about TensorFlow (as of the pip version that I installed today): in-place ReLU seems non-existent in practice.
Google発の深層学習フレームワーク「TensorFlow」が一般エンジニアに与える可能性
こんにちは、PyData.Tokyoオーガナイザーのシバタアキラです。先日公開され大きな反響を呼んだGoogle社の深層学習（ディープラーニング）フレームワーク、TensorFlow（テンソルフロー）。今回はPyData.Tokyoのハッカソンイベントで、参加者の皆さんとTensorFlowについて学び、コーディングし、ディスカッションした内容から得た所感を共有したいと思います。深層学習のネットワーク設計という非常に高度な課題は、一般のエンジニアやデータサイエンティストにはとっつきにくいものですが、既存のさまざまな手法やツールがTensorFlowに移植されつつあり、今後ここが深層学習開発の拠点になる予感がしました。 シバタアキラ PyData.Tokyoのハッカソンイベント 前置き～今回のハッカソンを行うに至った経緯 PyData.Tokyoは昨年秋に開始し、第1回のテーマとして深層学習
【デブサミ2016】18-B-1レポート エンジニアなら使える深層学習 ～ TensorFlowやDataRobotで機械学習がもっと身近に
「機械学習」という言葉は最近では半ばバズワードしつつありますが、関連するキーワードとして「深層学習（Deep Learning：ディープラーニング）」も同様に脚光を浴びています。機械学習と同様に気になるワードではあるけれど、一体その正体とは何なのか、何ができるのか？ という風に思っている人も少なからずいるのではないでしょうか。2016年02月18日に目黒雅叙園にて行われた「Developers Summit 2016」では、高エネルギー物理学の博士号を持ち、ニューヨーク大学でデータサイエンティストとしてヒッグス粒子発見のためのデータ解析に携わり、現在ではDataRobot社でデータサイエンティスト兼オーガナイザーを務めるシバタアキラ氏が、分かりやすい内容で深層学習とDataRobotに関する解説を行いました。本記事ではそのセッション内容についてレポートしたいと思います。 講演資料：エンジニ
ディープラーニングを使ったイメージの切り抜き | カメリオ開発者ブログ
こんにちは、シバタアキラです。この度PyDataの本家であるアメリカのコミュニティーで半年に一度開催されているPyDataカンファレンスに出席するため、NYCに行って来ました。11/22-11/23の二日間の日程で行われ、延べ250人ほどが参加したイベントです。その時の模様は、先日のPyData Tokyo第二回ミートアップでもご説明させていただき、また後日記事化されると思いますので、そちらをぜひご覧いただければと思います。 今回はそのPyData NYCカンファレンスで私が発表してきたミニプロジェクトについてお話します。最近各所で話題に上がるディープラーニングですが、これを使った応用を「カメリオ」のサービス向上のために使えないか、というのがそもそものプロジェクトの着想でした。今回PyData Tokyoオーガナイザーとして、またディープラーニングで色々と面白い実験をしている田中さん（@a
ファッションは儚く、危険で理不尽だ～トップデザイナー、カール・ラガーフェルドの情熱と夢～ - 癒し・健康情報のトリニティ | 女性に向けた癒し・健康情報を配信
シャネル、フェンディ、世界のトップデザイナーに君臨した男、カール・ラガーフェルドの伝説のドキュメンタリーが、ついに明日１６日、日本公開になる。 創業者ココ・シャネル亡き後、低迷していたシャネルを引き継ぎ、見事に返り咲かせたカール・ラガーフェルド。他にもクロエ、フェンディ、そして自らのブランド カール・ラガーフェルドを合わせ、一時は４つのメゾンのデザイナーを兼任するなど、３０年に渡ってファッション界をパワフルにけん引してきた美のカリスマ。 いまだその抜群のバイタリティと時代を読む嗅覚は衰えをしらず、ファストファッションブランドＨ＆Ｍからコカ・コーラまで幅広いブランドとのコラボレーションや、パリにある書店のプロデュースまで手掛け、常に注目を浴び続けている。 また2000年にエディ・スリマンのデザインによるディオール・オムの細身のスーツを着たいがために13カ月で42キロ減量し、世間をあっと言わせ
KerasをTensorFlowバックエンドで試してみた：「もっと多くの人に機械学習とDeep Learningを」という時代の幕開け - 渋谷駅前で働くデータサイエンティストのブログ
（左：Keras、右：MXnet） Kaggle Masterの間ではMXnetよりさらに人気なDeep Learningフレームワークというかラッパーが、@fchollet氏の手によるKeras。 Keras Documentation 結構苦心したのですが、ようやく手元のPython環境で走るようになったので、試してみました。なおKerasの概要と全体像についてはid:aidiaryさんが詳細な解説を書いて下さっているので、そちらの方を是非お読み下さい。 追記 Kerasは人気のフレームワークなので、僕なんぞがこんなブログ記事を書く前から素晴らしい紹介記事・スクリプトが幾つもあります。こちらでは参考までに以下のお二方のものをご紹介させていただきます。 Kerasはレゴブロックを組み合わせるかのようにして、簡単にディープラーニングのモデルを作成できる便利なライブラリです。これを使って楽し
Raspberry Piと純正カメラモジュールで監視カメラを作る、おそらく正しい方法 jessie版 (motion + v4l2ドライバ) - Qiita
Raspberry Piと純正カメラモジュールで監視カメラを作る、おそらく正しい方法 jessie版 (motion + v4l2ドライバ)RaspberryPiraspbianmotionV4L2 はじめに Raspberry Pi をポチろうとしたら純正カメラモジュールもあるみたいなので、ついでにポチっちゃいました。これは使わなければなりません。カメラを活用する方法を考えたとき、パッと思いつくのは監視カメラでしょうか。 Linux上で動作する、動体検知・ライブ配信など機能満載の監視カメラソフトウェアといえば、motion です。 Raspberry Pi(Raspbian)にもパッケージがあるので使いたいのですが、純正カメラモジュールには対応していないみたいです。 そこで、何とかして使おうという方法がいくつかあります。 いけてない方法から紹介しますが、手っ取り早く知りたい方は「おそらく
CodeIQについてのお知らせ
2018年4月25日をもちまして、 『CodeIQ』のプログラミング腕試しサービス、年収確約スカウトサービスは、 ITエンジニアのための年収確約スカウトサービス『moffers by CodeIQ』https://moffers.jp/ へ一本化いたしました。 これまで多くのITエンジニアの方に『CodeIQ』をご利用いただきまして、 改めて心より深く御礼申し上げます。 また、エンジニアのためのWebマガジン「CodeIQ MAGAZINE」は、 リクナビNEXTジャーナル( https://next.rikunabi.com/journal/ )に一部の記事の移行を予定しております。 今後は『moffers by CodeIQ』にて、 ITエンジニアの皆様のより良い転職をサポートするために、より一層努めてまいりますので、 引き続きご愛顧のほど何卒よろしくお願い申し上げます。 また、Cod
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
DIY Deep Learning for Vision: a Hands-On Tutorial with Caffe
https://www.hal.t.u-tokyo.ac.jp/~yamasaki/
Data-Driven Fashion Design | Stitch Fix Technology – Multithreaded
Stanford University CS231n: Convolutional Neural Networks for Visual Recognition
Machine Learning
Neural networks class - Université de Sherbrooke
TechCrunch | Startup and Technology News
TensorFlow White Paperを読む
GitHub - soumith/convnet-benchmarks: Easy benchmarking of all publicly accessible implementations of convnets
https://atnd.org/events/80771