Adamの収束の速さとSGDの汎化性能の良さの良いとこ取りなoptimizerである、AdaBoundとAMSBoundをラーメン二郎データセットの転移学習に対して試してみました。 AdaBound と AMSBound 自体の詳細については [最新論文] 新しい最適化手法誕生! AdaBound & AMSBound が参考になりますので、こちらの記事または、提案論文(arXiv) をご覧ください。 (2019年６月13日追記) Adam, AMSGrad で weight decay=0 の設定、および、AdaBound, AMSBound で final_lr=0.5 の設定で追加検証した結果を記事末尾に追記しました。試した中では、AdaBound(final_lr=0.5)が最も良い結果となりました。 ざっくり概要 ラーメン二郎データセットで AdaBound と AMSBound

昨年(2018年11月22日)arXivに投稿された論文「Data Augmentation using Random Image Cropping and Patching for Deep CNNs」にて、CIFAR-10でSoTAなエラー率 2.19%を記録したという新たなデータ拡張手法であるRICAP(Random Image Cropping and Patching)が提案されています。 趣味で作っているラーメン二郎識別モデルにRICAPを適用するとどうなるか興味があったため、年末年始にPyTorchで実装して検証してみました。 検証では、RICAPだけでなく、RICAPの論文でも参照されているデータ拡張手法であるmixup、そして、CutoutおよびRandom Erasingと組み合わせた場合にどの程度の識別精度となるかも比較しています。 また、大きなモデルやデータセットで

この記事は 『Slack Advent Calendar 2016』 4日目の記事です。 昨日は kaneshin さんの 「golang で始める Slack bot 開発」 でした。 この記事では、下記画像のようにslackユーザのinvite履歴をツリー状に可視化できるツールを紹介します。 ツリー描画にD3.jsを利用しており、ユーザアイコンをドラッグしてグリグリ動かせます。また、アイコンにカーソルを重ねるとフルネームとプロフィールが表示されます。 ライブデモはこちら (ライブデモのユーザデータはダミーです) 開発の動機 slackを使っていて、ユーザが誰から招待されたのか、誰を招待しているのか気になったことはありませんか？ slackチームのユーザ数が数百名規模になってくると、誰なのかよく分からない人（特にプロフィールが未設定だったりすると）が、誰の紹介で参加したのか気になるという

はじめに BluemixでDockerコンテナを利用できる「IBM Containers」を使うまでのメモです。 IBM Containersを利用するためのCLIには、IBM Containers Plugin（dockerコマンドのラッパーのような感じ）と、ICE (IBM Containers Extention) （コマンド単体でIBM Containersを操作できる）が用意されていますが、この記事では IBM Containers Plugin の導入から使用方法について記載します。 また、Bluemix利用の前提となる、cfコマンドは導入済みの前提で記載します。 テスト環境 Debian (jessie) Docker version 1.8.1, build d12ea79 cf version 6.12.2-24abed3-2015-07-15T21:21:01+00:0

いまさらながら、Raspberry Pi 2を買ってみました。 しばらく、オフィシャルOSのRaspbianをインストールして遊んでいましたが、Raspbery Pi 2にDockerを導入してみたくなったのでやってみました。 以下では、Raspberry Pi 2をDocker導入済みのimageで起動し、hubotをDockerコンテナとして動かしてslackに接続してみます。 参考 [Raspberry Pi]ラズパイ2でDockerコンテナを実行する Getting started with Docker on your Raspberry Pi Downloads · Docker Pirates ARMed with explosive stuff Docker の Logging driver に fluentd が組み込まれるということでリリースを待ちきれずに試してみたメモ

概要 Slack接続用のhubotをBluemix上で動かし、hubotのデータ保存先としてRedisを使ってみた手順を紹介します。 BluemixのRedisは実験的なリリースのようですが、2015年8月1日現在、無料で利用できます。 事前準備 以降の手順は、Node.js導入済みで、cfコマンドでBluemixにログイン済みの想定で記載しています。 それぞれの手順については以下のサイト等が参考になります。 IBM Bluemixへの登録 IBM developerWorks 日本語版 : IBM Bluemix CFコマンドのインストール CloudFoundry の cf コマンドラインツールをインストールする IBM Bluemixへのログイン Cloud Foundry V2系サービス(Cloudn PaaS, Bluemix)にRailsアプリをデプロイする Bluemixにh

概要 overlast さんによる Word2Vec の WebAPI である word-vector-web-api を hubotから利用するスクリプトを書きました。 knjcode/hubot-word-vector-script Word2Vecとは Word2Vecというのは予め構築したモデル内で各単語を多次元のベクトルとして定義し、単語同士のベクトルの近似度や単語間のベクトルの近似度を求める手法です。詳細はgoogleの公式サイト等を御覧ください。 例えば、(SONY – PlayStation + Nintendo) という表現は、NintendoにおけるSONYのPlayStationに相当するものを表現します。 word-vector-web-apiに付属のモデルでは、(SONY – PlayStation + Nintendo) は Wii、ゲームボーイアドバンス、ニン

物理学 Advent Calendar 2014の25日目の記事です。 2014年12月13日に開催された第4回WPI合同シンポジウムに参加してきました。本記事では、このシンポジウムでの「宇宙に終わりはあるのか」と題した講演について重点的に紹介したいと思います。 WPI合同シンポジウムとはWPI合同シンポジウムとは、世界でもトップレベル研究拠点(現状9拠点)が毎年合同開催しているシンポジウムで、第4回の今年は東京(有楽町朝日ホール)で開催されました。「サイエンスがつなぐキミのミライ」と題されたとおり、9つの拠点の研究紹介だけでなく、主に高校生による研究発表もあわせて行われました。 構成としては、研究拠点と7つの高校によるポスター展示、3校の高校生による研究発表、研究者3名による講演というプログラムで、全体的に楽しく興味深い内容でした。 また、高校生の発表を聞いていて感じたのは、仮説を立て実