FASHION TECH MEETUP #2発表資料 ディープラーニングを活用し商品のファッションカテゴリの分類を行いました。 さらに、それをマイクロサービス化してクローラーに組み込みました。
![ディープラーニングを使って商品カテゴリの分類をしてみました / Classify fashion items by using deep learning](https://cdn-ak-scissors.b.st-hatena.com/image/square/2375d34e27d277590db74116fd09b7366fbcf894/height=288;version=1;width=512/https%3A%2F%2Ffiles.speakerdeck.com%2Fpresentations%2Fdd349bbf88d24520838400c32f24432a%2Fslide_0.jpg%3F6034151)
この記事は何? ニューラルネットワークの理解が曖昧な部分があったので,実際にニューラルネットワークの動きを手計算して確かめた時のメモです. ニューラルネットワークの構造 下のような図で表される,小さめの構造のニューラルネットワークの動きを手計算で確かめてみようと思います. 入力層ユニット数は3,隠れ層ユニット数は2,出力層ユニット数は2とします. 隠れ層の活性化関数$h$はシグモイド関数$h(a)=\frac{1}{1+\exp(-a)}$を用います. 出力層の活性化関数$o$は恒等関数$o(a)=a$を用います. 重みの初期値は以下のように設定します. W^{(1)}=\begin{bmatrix} w_{11}^{(1)}&w_{12}^{(1)}&w_{13}^{(1)}\\ w_{21}^{(1)}&w_{22}^{(1)}&w_{23}^{(1)} \end{bmatrix} =
2012年の画像認識コンペティションILSVRCにおけるAlexNetの登場以降,画像認識においては畳み込みニューラルネットワーク (CNN) を用いることがデファクトスタンダードとなった.CNNは画像分類だけではなく,セグメンテーションや物体検出など様々なタスクを解くためのベースネットワークとしても広く利用されてきている.本講演では,AlexNet以降の代表的なCNNの変遷を振り返るとともに,近年提案されている様々なCNNの改良手法についてサーベイを行い,それらを幾つかのアプローチに分類し,解説する.更に,実用上重要な高速化手法について、畳み込みの分解や枝刈り等の分類を行い,それぞれ解説を行う. Recent Advances in Convolutional Neural Networks and Accelerating DNNs 第21回ステアラボ人工知能セミナー講演資料 http
最近、畳み込みニューラルネットワークを使ったテキスト分類の実験をしていて、知見が溜まってきたのでそれについて何か記事を書こうと思っていた時に、こんな記事をみつけました。 http://www.wildml.com/2015/11/understanding-convolutional-neural-networks-for-nlp 畳み込みニューラルネットワークを自然言語処理に適用する話なのですが、この記事、個人的にわかりやすいなと思ったので、著者に許可をもらって日本語に翻訳しました。なお、この記事を読むにあたっては、ニューラルネットワークに関する基礎知識程度は必要かと思われます。 ※日本語としてよりわかりやすく自然になるように、原文を直訳していない箇所もいくつかありますのでご了承ください。翻訳の致命的なミスなどありましたら、Twitterなどで指摘いただければすみやかに修正します。 以下
先日、九工大や東工大などの学生さんが LINE Fukuoka に遊びにきてくれました。せっかく学生さんが遊びに来てくれるので LINE Fukuoka の社員と学生さんとで LT 大会をやろうという運びになって、学生さんは普段やっている研究内容を、LINE Fukuoka 側はなんでも良いので適当な話を、それぞれやりました。当日は私を含む LINE Fukuoka の社員 3 人と、学生さん 2 人の合計 5 人が LT をしました。詳細は LINE Fukuoka 公式ブログに書かれていますので、興味のある方は御覧ください。 [社外活動/報告] 学生を招いてのエンジニア技術交流会を開催しました。 LT に使った資料は公開してもいいよ、とのことだったので、せっかくなので公開。当日はテキスト分類のデモをやったのですが、残念ながらデモ環境までは公開できませんでした。ただ、ソースコードは gi
最近、畳み込みニューラルネットワークを使ったテキスト分類の実験をしていて、知見が溜まってきたのでそれについて何か記事を書こうと思っていた時に、こんな記事をみつけました。 http://www.wildml.com/2015/11/understanding-convolutional-neural-networks-for-nlp 畳み込みニューラルネットワークを自然言語処理に適用する話なのですが、この記事、個人的にわかりやすいなと思ったので、著者に許可をもらって日本語に翻訳しました。なお、この記事を読むにあたっては、ニューラルネットワークに関する基礎知識程度は必要かと思われます。 ※日本語としてよりわかりやすく自然になるように、原文を直訳していない箇所もいくつかありますのでご了承ください。翻訳の致命的なミスなどありましたら、Twitterなどで指摘いただければすみやかに修正します。 以下
皆さんこんにちは お元気ですか。私は元気です。 今日は珍しくNeural Networkを使っていく上での失敗経験について語ります。 学習の時に案外、失敗するのですが、だいたい原因は決まっています。そう大体は・・・ ということで、今回は失敗の経験、アンチパターンのようなものを書こうと思います。 Trouble1:学習時にNanを叩き出す。 原因1 cross-entropy誤差を使っている。 原因2 結果が小さすぎて、0と認識される。 原因3 重みがあらぬ方向へ学習する。 Trouble2:収束しない 原因1 学習率が高すぎる 原因2 学習率が低すぎる 原因3 適切な誤差関数ではない 原因4 活性化関数を誤った 原因5 そもそも入力が誤っている Trouble3:Validation Scoreが低い 原因1 過学習しているにも関わらず、気づかなかった。 原因2 与えるデータとラベルの1対
皆さんこんにちは お元気ですか。私は全然です。 Deep Learning 一言で言うとただの深層学習ですが、 作り手や用途によって構造が全然違います。 今回は逆引き辞典よろしく、Deep Learningの実装のリンク集を作ってみました。 今回はライブラリは問わず、掲載します。 Caffe、Theano(Lasagne)、Torch7、Chainerなんでもござれです。 後日、追記するかも・・・ Neural Network(Full Connected) Auto Encoder Auto Encoder Denoising AutoEncoder Convolutional AutoEncoder Convolutional Neural Network Convolutional Neural Network R-CNN Fast-RCNN Faster-RCNN Recurren
GREE Advent Calendar 2015の1日目担当のふじもとです、グリー株式会社でCTOをしてます、もう10年目です。 今年もChristmasに向けてみんなで毎日更新していきますので、ぜひぜひよろしくおねがいします。 わりとどうでもよい序 去年、一昨年は25日担当だったんですが、今年は (なんでかは知らないけど) 1日目書くことになったので、ちょっと趣向を変えて技術的な内容にしてみたいと思います。 なおタイトルに、Deep Learningだの自然言語処理 (以下NLP) だの書いてますが、ぼくは機械学習やNLP、はたまたDeep Learningの専門家でもなくって、たしなむ程度に勉強していたくらいです。ので、この記事はアルゴリズムについて詳しくなろうっていうよりは、いろいろ試してみたっていう方向になってます。 Summary わりと単純なCNN + 少ないコーパスでも、タ
畳み込みニューラルネットワーク (Convolutional Neural Network) を勉強するため、MNISTのデータの識別をライブラリ(Caffeやcuda-convnetなど)を使用せず一から実装してみましたが、ここでは備忘録として書いていくことにします。 出来る限り理解し易いように書いていくように努力はします。(^_^;; おかしな点があれば教えてください。お願いします。 まずは二値分類 多次元の入力データから、それが識別対象かそうでないか(例えば画像から人かそうでないか)といった二値分類の学習を考えます。 入力を\(n\)次元の\(\mathbf{x}=(x_1\ x_2\ \dots\ x_n)^\text{T}\)*1、重みを\(\mathbf{w}=(w_1\ w_2\ \dots\ w_n)^\text{T}\)とし、これら入力と重みを掛け合わせたものとバイアス\
平田です。TensorFlowという機械学習ライブラリが流行っているようなので、とりあえず触ってみました。 ということで、まずはHello worldと、その解説を行っていきたいと思います。 セットアップ & Hello world まずは、Tensorflowをローカル上にインストールしていきます。今回はOSX上に環境を作っていきます。 はじめにvirtualenvを利用して、tensorflow用の環境を作成します。 tensorflowは今のところpython 2.7上でのみ動くようなので、これに揃えて環境を作成していきます。 $ # python バージョン確認 $ python —version Python 2.7.10 $ # virtualenvのインストール $ easy_install pip $ pip install virtualenv $ # virtualen
20万円台の投資で深層学習(ディープラーニング)を手軽に始めるためのパーソナル・ディープラーニング・コンピュータ The Personal Deep learning Computer 2015.11.18 Updated by Ryo Shimizu on November 18, 2015, 09:23 am JST 毎日のように深層学習(ディープラーニング)の新技術が発表された今年の6月頃に比べると最近はだいぶ落ち着いてきたと思ったら、GoogleからTensorFlow、MicrosoftからはDistributed Machine Learning Tookit(DMLT)というやや煮え切らない名前のツールが相次いでリリースされました。さらにMicrosoftは、写真から人物の感情を分析するツール「Project Oxford Emotion Recognition」の提供も開始
TensorFlowとは2015/11/9にオープンソース化されたGoogleの機械学習ライブラリです。この記事ではディープラーニングと言われる多層構造のニューラルネットワークをTensorFlowを利用して構築しています。 TensorFlowはPythonから操作できますがバックエンドではC++で高速に計算しています。macのPython2.7系環境でTensorFlowの上級者用チュートリアルを行い、手書き認識率99.2%の多層構造の畳み込みニューラルネットワークモデルの分類器を構築したときの作業メモです。特別な設定なしにCPU使用率270%メモリ600MByteとちゃんと並列計算してくれました。MNISTランキングを見ると認識率99.2%は上位のモデルとなるようです。 TensorFlowチュートリアル TensorFlowの初心者用と上級者用チュートリアル2つに取り組んでみました
Googleは、脳の活動を模したニューラルネットワークによって学習を実現する「ディープラーニング」をサポートした機械学習ライブラリ「TensorFlow」をオープンソースで公開しました。ライセンスはApache 2.0オープンソースラインセンスです。 Googleはすでに数年前からディープラーニングを同社のサービスに組み込んでいます。「私たちが社内でディープラーニングの基盤である「DistBelief」を開発したのは2011年のことだ」(ブログ「TensorFlow - Google’s latest machine learning system, open sourced for everyone」から)。 TensorFlowは、このDistBeliefをさらに強化したものだと説明されています。 TensorFlow is general, flexible, portable, e
連載目次 最近注目を浴びることが多くなった「Deep Learning(ディープラーニング)」と、それを用いた画像に関する施策周りの実装・事例について、リクルートグループにおける実際の開発経験を基に解説していく本連載。前回の「ニューラルネットワーク、Deep Learning、Convolutional Neural Netの基礎知識と活用例、主なDeep Learningフレームワーク6選」では、ニューラルネットワーク、Deep Learning、Convolutional Neural Netの基礎知識と活用例、主なDeep Learningフレームワークを紹介しました。今回は、リクルートグループで画像解析において積極的に利用しているフレームワーク「Caffe」を中心にDeep Learningを利用した画像解析について解説します。 最初に、画像解析で実施している「物体認識」の概要を紹
Autogradという野郎が乗り込んできました。はい、そりゃもういきなり。複雑な確率モデルや損失関数だとしても、パラメータに関する勾配をこれでもかというぐらい簡単に計算できちゃうので、機械学習の世界に大きな影響を与えそうです。現時点では、PythonとTorchでの実装が公開されているようですが、これからJuliaなど他の言語でも実装されていきそうですね。 (補足:この記事を書いたすぐ後にGoogleがTensorFlowなるものを出してきまして、そちらでも自動微分がしっかり実装されてるみたいです〜。機械学習関連のフレームワークは移り変わりが激しいですねー ^^; ) ちなみに始まりはこんな感じでした。 ゆるいですね。 とりあえずチュートリアルやりながら、Python版チュートリアルの前半部分にテキトーな日本語訳をつけたので、ここでシェアしておきます。英語が読める方は、僕のヘンテコな日本語
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く