ハイパーパラメータ自動最適化ツール「Optuna」公開 - Preferred Networks Research & Development
ハイパーパラメータ自動最適化フレームワーク「Optuna」のベータ版を OSS として公開しました。この記事では、Optuna の開発に至った動機や特徴を紹介します。 公式ページ 公式ドキュメント チュートリアル GitHub ハイパーパラメータとは？ ハイパーパラメータとは、機械学習アルゴリズムの挙動を制御するパラメータのことです。特に深層学習では勾配法によって最適化できない・しないパラメータに相当します。例えば、学習率やバッチサイズ、学習イテレーション数といったようなものがハイパーパラメータとなります。また、ニューラルネットワークの層数やチャンネル数といったようなものもハイパーパラメータです。更に、そのような数値だけでなく、学習に Momentum SGD を用いるかそれとも Adam を用いるか、といったような選択もハイパーパラメータと言えます。 ハイパーパラメータの調整は機械学習ア
SPP(Spatial Pyramid Pooling)を使ってCNNの精度を向上させよう - 俺とプログラミング
Max Poolingの代わりにSPP(Spatial Pyramid Pooling)と呼ばれる特別なプーリング層を用いることで、CNNの性能をお手軽に向上させることができる。この記事では、SPP-netの使い方や、有効性について検証した結果を紹介する。 SPP(Spatial Pyramid Pooling)とはなにか SPPとはMicrosoft Research Asia(MSA)が2014年に開発した新しいPooling層である。SPPで最も重要なコンセプトは、入力画像のサイズが異なっている場合でも、決まったサイズの出力になるという点にある。その仕組みは単純で、画像を格子状に、1, 4, 16, ...と分割していき、その中で、最大プーリング(ほかのプーリングでもいい）を行う。その後、1 + 4 + 16 + ・・・と、つなげたベクトルをSPPの出力とする。つまり、出力のサイズは
Chainer GTC 2016
The document provides an overview of Chainer, a Python-based deep learning framework developed by Preferred Networks. Some key points: - Chainer uses an approach called "Define-by-Run" where the computational graph is constructed on the fly during forward computation rather than being predefined. This provides flexibility for complex neural network architectures. - Chainer is designed to be effici
PFN発のディープラーニングフレームワークchainerで画像分類をするよ(chainerでニューラルネット1) - 人工言語処理入門
1日ちょっと前に、PFNから新しいディープラーニングフレームワーク"chainer"が公開されました[1]。触ってみた感じの特徴は、pythonのコードで完結するので、システムに組込みしやすそうで、処理の内容も読みやすい。同時に、処理の内容に興味を持たずに使うには難しいという思いでした。ベースにしてあたらしいツールを作るには最適に感じるので、これから、chainerをベースにした様々な用途のツールができるのが期待されます。 CPU用インストール ~ MNISTのトレーニング ここでは、chainerのチュートリアル[1]に書いてあるとおりにインストールと初期タスクをおこなうだけです。 インストールは、githubからソースを落としてきてpython setup.py installでも、pipで入れてもいいと思います。とりあえずここではpip pip install chainer これで
【機械学習】ディープラーニング フレームワークChainerを試しながら解説してみる。 - Qiita
今話題のDeep Learning(深層学習)フレームワーク、Chainerに手書き文字の判別を行うサンプルコードがあります。こちらを使って内容を少し解説する記事を書いてみたいと思います。 (本記事のコードの全文をGitHubにアップしました。[PC推奨]) とにかく、インストールがすごく簡単かつ、Pythonが書ければすぐに使うことができておすすめです！ Pythonに閉じてコードが書けるのもすごくいいですよね。 こんな感じのニューラルネットワークモデルを試してみる、という記事です。 主要な情報はこちらにあります。 Chainerのメインサイト ChainerのGitHubリポジトリ Chainerのチュートリアルとリファレンス 1. インストール まずは何はともあれインストールです。ChainerのGitHubに記載の"Requirements" ( https://github.co
Convolutional Neural Networkを実装する - Qiita
Deep Learning系のライブラリを試すのが流行っていますが、Exampleを動かすのはいいとしても、いざ実際のケースで使おうとするとうまくいかないことがよくあります。 なんとか動かしてみたけれど精度が出ない、データの加工の仕方が悪いのか、モデルのパラメーターが悪いのか、原因がぜんぜんわからん・・・という事態を乗り越えるには、やはり仕組みに対する理解が必要になってきます。 そんなわけで、本編では画像の用意という一番最初のスタートラインから、Chainerで実装したCNNを学習させるところまで、行うべき手順とその理由を解説していきたいと思います。 前段として理論編を書いていますが、ここではライブラリなどで設定しているパラメーターが、理論編の側とどのようにマッチするのかについても見ていきたいと思います。 なお、今回紹介するノウハウは下記リポジトリにまとめています。画像認識を行う際に役立て
Chainerでファインチューニングするときの個人的ベストプラクティス - Qiita
メリークリスマス！！！！ @tabe2314です。 この記事では、明日から使えるChainerテクニックとして、既存モデルをファインチューンして新しいモデルをつくる際の個人的なベストプラクティスを紹介します。 ニューラルネットを学習するために、別の問題、別のデータセットで学習済みのモデルのパラメータをコピーして、それを新しいニューラルネットのパラメータの初期値として使うことをファインチューニングといいます。 典型的なケースとして、一般物体認識のデータセットであるImageNetで学習したネットワークを物体検出やSemantic Segmentationといった別の問題に使用するといった例があります。 一般的にDeep Learningでは大量の学習データが必要とされていますが、あらかじめ（大量のデータで）学習したモデルを初期値として使いファインチューニングすることで、実際に解きたい問題に関
週末はプログラミング AIとCGと
週末はプログラミング AIとCGと Weekend programmer, AI and CG 2015.11.30 Updated by Ryo Shimizu on November 30, 2015, 04:14 am JST 久しぶりに週末まとまった時間ができたので、なんとなくプログラミングして過ごすことにしました。 プログラミングには集中力と時間が必要で、というのも、一度始めてしまうと夢中になってしまうので、日々の仕事の合間にやるにはあまりにも負荷が大きい趣味なのです。 今週末取り組んだプログラミングは主に3つ。 ひとつは、ディープラーニング用フレームワークChainerの最新バージョンへの対応とその視覚化。 視覚化そのものはそれほど目新しいテーマではないのですが、最新バージョンへバージョンアップするとChainerは下位互換性を盛大に捨ててるのでそれをキャッチアップしないとなら
Chainerで顔イラストの自動生成 - Qiita
PFNのmattyaです。chainerを使ったイラスト自動生成をやってみました(上の画像もその一例です)。 20日目の@rezoolabさんの記事(Chainerを使ってコンピュータにイラストを描かせる)とネタが被っちゃったので、本記事ではさらに発展的なところを書いていきたいと思います。一緒に読んでいただくとよいかと。 概要 Chainerで画像を生成するニューラルネットであるDCGANを実装した→github safebooruから顔イラストを集めてきて学習させた 学習済みモデルをconvnetjsで読み込ませて、ブラウザ上で動くデモを作成した→こちら(ローディングに20秒程度かかります) アルゴリズム 今回実装したDCGAN(元論文)はGenerative Adversarial Networkというアルゴリズムの発展形です。GANの目標は、学習データセットと見分けがつかないようなデ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
