はじめに 最近，ニューラルネットライブラリ界隈でPyTochがにわかに盛り上がり始めたので触ってみました．ただ，触ってみるだけでは面白くないのでChainerと比較しつつ，DeepPose: Human Pose Estimation via Deep Neural Networksを実装してみました． なお，PyTorch自身の概要などはpytorch超入門がわかりいいです． では，早速DeepPoseをChainer(1.19.0)とPyTorch(0.1.10)で実装してみたいと思います． 1. Model 2. Loss Function 3. Train の順でChainerとPyTorchを比較しつつ実装していきます． Model ChainerとPyTorchでほぼ同じコードで書けます．強いて言えば，PyTorchでは Convolutional Layer の出力を Ful

1. はじめに 誤差逆伝播法とは，ニューラルネットワークのパラメータ学習手法の１つです．考え方がシンプルであり，かつ優れた解説記事がたくさんあるので，個々のパラメータの更新式を理解するのは難しくありません．しかし，複数のパラメータをまとめて更新する場合，転置，行列積，およびアダマール積の入り混じった行列地獄にハマります．少なくとも私はハマりました． 本記事では，誤差逆伝播法自体の説明には立ち入らず，誤差逆伝播法を行列としてどう実装するか（どんなカタチなのか）をまとめます．勉強中の身ですので，誤り等があればご指摘頂けると幸いです． 2. モデル 本記事では，下図のような多層パーセプトロンの教師あり学習を想定します． $\mathbf{x} = \{ x_{i} \}$は入力ノード，$\mathbf{h} = \{ h_{j} \}$は隠れノード，$\mathbf{y} = \{ y_{k}

前置き 今作っているシステムは社内ツールとして作っているのですが、将来的に弊社のクライアント向けに公開するみたいな話もあり、 古いJS・低速なネット環境も想定されるので、それを解決する手段の１つとしてSSR（サーバサイドレンダリング）を勉強します。 https://jp.vuejs.org/v2/guide/ssr.html こちらのVue公式ドキュメントを参考に作ってます。 http://qiita.com/koki_cheese/items/ce5f16111e8ca251838d Webpack周りはこちらが参考になりました。 SSRされていない状態 以下は画面に文字列を表示するだけのコードです。

GCPのML系機能を使いまくりたい・・という時にちょうど良い題材があったのでやってみました。GCPは機械学習を行う上で必要なデータ取得、preprocessing、学習と予測まで、フルマネージドな環境が揃っています。今回はその中で以下を使用しました。 ML Engine Dataflow BigQuery Natural Language API Datalab コードは全てDatalabで実行しました。開発環境を整える必要もなく、インタラクティブに結果を見られるのでGCPのML系を触るときは特におすすめです。 概要 色々発言が注目されるトランプ氏ですが、市場への影響はどれ位でしょうか？ツイートの後と通常(ランダムに時間帯を選択)でUSDJPYの価格変動がどう違うか比較します。 ランダムな日時 ツイート後 横軸は分、縦軸は変動(円)です。きちんと分散をみていませんが、ツイート後10分は荒れ

概要 Mind で Neural Network (準備編1) 文字画像の読み込み の続きです。 実装を行うにあたり、ニューラルネットワークの 順伝播と逆伝播の処理内容を 図を作りながら調べました。 図に簡単な説明をつけて本記事として公開します。 背景 Deep Learning についての勉強をはじめました。 基本の ニューラルネットワークを 実装できる程度に理解することを 第一の目標としてます。 参考図書として ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装 著者:斎藤 康毅 を用いてます。 この参考書では Python で numpy を用いて 行列で ニューラルネットワークの順伝播と逆伝播の処理を実装しています。 行列演算のない言語での実装では、参考図書の行列演算を、ループでの処理に展開を要します。 ループ内の個々の処理が、ニューラルネッ

あらまし 四則演算から微分方程式, 最適化まで数値計算で扱えるモノは多岐に渡ります. 解析計算では非常にテクニカルなものでも, 数値計算に投げると非常に単純に事が済むことも多々あります. 例えば高校でやった(定)積分では, 置換積分・部分積分を駆使して多種多様な問題に対処してきましたが, 数値計算に投げればアルゴリズムはだいたいみんな一緒です. 微分方程式だって似たようなものです. 大規模な行列演算なんて手でやる人はいないでしょう. 初めて数値計算に触れた人はもれなく「もう手で解く必要ないんじゃね？」と思うかもしれません. 自分は思いました. でも「数値計算で解けるものは積極的にぶん投げよう！」が正解かというと, それもまた違う気がします. この記事では, マシンパワーに身を委ねきれない事柄についてまとめたいと思います. コード例はPythonです. 0. 解析計算はできない 当たり前のこ

「ロマンティック数学ナイトボーイズ」の発表をするにあたって、距離空間の記事を書こうと思います。 距離ってなによ？ GLSLやレイマーチングなど、3D数学をされていると、図形の形を表す数式の方程式だと思います。 だた、今回は、数学における距離を話そうと思います。 数学がおける距離とは 集合 $X$ 上で定義された $2$ 変数の実数値関数 $d: X × X → R$が、 任意の $x,y,z ∈ X$ に対して 非負性（正定値性） : $d(x, y) ≥ 0$ $x = y \Longleftrightarrow d(x, y) = 0$ 対称性 : $d(x, y) = d(y, x)$ 三角不等式 : $d(x, y) + d(y, z) ≥ d(x, z)$ を満たすとき、$d$ は $X$ 上の距離関数であるといい、対 $(X, d)$ を距離空間と呼ぶ。 何のことかわかりません

今回は2つだけですが、三只眼の人形でLED3つとか百々目鬼でもっとたくさんの場合でも、LEDのDOとDINを数珠繋ぎにしていくだけで、arduinoとの線の数は変わりません。百目の場合には電源は別にとった方がいいとは思いますが。 スケッチ スケッチを書きはじめる前に、PL9823を使うためのライブラリを用意します。 ライブラリマネージャで「Adafruit Neopixel」を探すか、https://github.com/adafruit/Adafruit_NeoPixel から持ってきます。 スケッチは今回は以下のようになりました。 #include <Adafruit_NeoPixel.h> #define LEDPIN 2 #define NUMLED 2 Adafruit_NeoPixel strip = Adafruit_NeoPixel(NUMLED, LEDPIN, NEO_

はじめに マルコフ連鎖モンテカルロ法の勉強でギブスサンプリングを実装していたのですが、偶々同じ時期に、pythonコードをJITコンパイラのライブラリ"Numba"で高速化する記事を見つけたので組み合わせてみました。 ギブスサンプリングとは マルコフ連鎖モンテカルロ法(以下 MCMC: Markov Chain Monte Carlo)はパラメータ事後分布から効率的にサンプルを生成する方法です。ギブスサンプリングはMCMCの1つであり、多変量の事後分布に対して、各々の確率変数の条件付き分布から交互にサンプリングします。例えば2変量であれば、$p(x_t|y_{t-1})$ → $p(y_t|x_t)$ → $p(x_{t+1}|y_t)$ → ... というように次々とサンプルを生成していくことになります。 ただしこれは条件付き確率分布から簡単にサンプリングしてこれる場合に限ります。もとも

機械学習を実務で使う場合、「ではお客様、ラベルデータを・・・」と申し出て色よい返事が返ってくることはあまりありません。また、例えば自動運転車を作るときに、データが足りないからその辺流してくるか、お前ボンネットに立ってデータとってな、とするのは大変です。 NICO Touches the Walls 『まっすぐなうた』 より そこで必要になってくるのが転移学習です。 転移学習とは、端的に言えばある領域で学習させたモデルを、別の領域に適応させる技術です。具体的には、広くデータが手に入る領域で学習させたモデルを少ないデータしかない領域に適応させたり、シミュレーター環境で学習させたモデルを現実に適応させたりする技術です。これにより、少ないデータしかない領域でのモデル構築や、ボンネットに立つという危険を侵さずにモデルを構築することができるというわけです。 この転移学習の可能性は、NIPS 2016

前回作成したスタックは、手元の端末でみなさんが対話的に操作しているうちは何も問題が起きません。しかし、このスタックを複数の処理が同時に操作した場合は問題が発生します。今回は、前回作成したスタックにどのような問題が存在しているのか、および、それを排他制御という仕組みによって解決する方法について述べます。 まずは今回用いるスタック作成モジュール用のソースを次に示します。前回作成したlist2.cのものに加えて、スタックのサイズを最大10に制限しています。 #include <linux/module.h> #include <linux/slab.h> #include <linux/debugfs.h> MODULE_LICENSE("GPL v2"); MODULE_AUTHOR("Satoru Takeuchi"); MODULE_DESCRIPTION("a example of mu

始めに：pandasの作者であるWes McKinneyさんがPythonのデータツール関連でとても興味深いblogを書かれているので、翻訳して日本のPyDataコミュニティに公開してもいいでしょうか、とお聞きしたところ、快諾をいただきましたので少しずつ訳して公開していこうと思っています。 翻訳元： Native Hadoop file system (HDFS) connectivity in Python 2017/1/3 これまで、Hadoop File SystemことHDFSとのやりとりするためのPythonライブラリが数多く開発されてきました。HDFSのWebHDFSゲートウェイ経由のものもあれば、ネイティブのProtocol BufferベースのRPCインターフェースもあります。このポストでは、既存のライブラリの概要をお伝えし、Arrowのエコシステム開発の中で高パフォーマン

1.並列ビルド ターミナルで、defaults write com.apple.dt.Xcode IDEBuildOperationMaxNumberOfConcurrentCompileTasks 4 を実行。 これはよく出てくる対策です。 2.Build Active Architecture Only XcodeのTarget→Build Setting→Build Active Architecture OnlyでDebugだけYESにしましょう。 これをすると、ビルドしたい端末に最適なアーキテクチャでのみビルドしてくれます。 NOにすると、すべてのアーキテクチャでビルドして全最適化を行われます。 不要なアーキテクチャのビルド分時間がかかるということです。 ※Releaseでは必ずNOにしましょう。 3.Find Implicit Dependencies ビルドしたいターゲットの

良いものを書きたいので指摘などは大歓迎です。 その際はコメントや編集リクエストをいただければ修正します。 大きな変更が加わるときは通知すると思います。 はじめに これまでのフロントエンドの開発には多くの問題や面倒ごとを抱えています。 その解決手段としてよくビルドツールやaltJSといったワードを目にしますが，これらがどういった目的で利用されているのかについて触れながら進めていきます。 主にパッケージ管理やビルドツールを初めて見る人向けになっているので全編通すとそれなりに長いです。 動かすまでが長めになっていますが理解してしまえば本当に必要な手順はさほど多くありません。 実際に開発を始めるために必要な準備はせいぜい1~2つのファイルを記述してコマンドを数回叩く程度なので，過度な抵抗感を持たずに読んでいただけたらなと思います。 登場するツールや技術は多くの問題を解決してくれますが，これらは飽く

タイトル通りで、詳しくはこちらのApple公式ドキュメントに載っています: Monitoring Reviews on the App Store Responding to Reviews on the App Store - Apple Developer Ratings, Reviews, and Responses - App Store - Apple Developer 少し前からプレリリース版のドキュメントとして公開されていましたが、今朝のiOS 10.3リリースのタイミングで、iTunes Connect上で実際に操作できるようになり、かつドキュメントも正式版になりました。 ちなみに、リリース日は25日にTweetした予想が当たりました(　´･‿･｀) iOS 10.3は3/28に正式リリースな気がする👃 — 🐶ブレス オブ ザ イッヌ🐶 (@_mono) March

WordBench東京 3月勉強会「WordPress プラグイン祭り」の発表資料です。 WordPressプラグインの脆弱性の分類 〜Sucuriブログからの抜粋を添えて SQLインジェクション $wpdb の間違った使い方により発生。外部からデータベースから自由に情報が取り出せたり、変更できたり 結果、ログインパスワードのハッシュが窃取されるなどの被害が起こる NextGEN Gallery for WordPress Ninja Forms クロスサイトスクリプティング Javascript を含んだ文字列が画面に表示されてしまうバグ。ログイン中の管理者のブラウザをJavascriptで操って不正な操作を行わせたり、Cookie情報を盗んだり JetPack bbPress Akismet WP-Super-Cache バックドア やりたい放題(ノ´∀｀)ノ ファイル作成処理の不備に

オンライン講座のUdacityが提供する自動運転エンジニアコースのTerm1を修了したので，その感想を書こうと思います． Udacityとは UdacityとはCourseraやedX等のオンライン講座MOOCの一つであり，自動運転エンジニアコース，AIコース，フルスタックエンジニアコースなど様々なコースがあります．他のMOOCとの違いは，Coursera等はどちらかといえば知識ベースであるのに対し，Udacityはプロジェクトベースであるという点です．また自動運転コースの講義はMercedes-Benz等からも提供されており，最先端の技術を学ぶことができます． 自動運転エンジニアコースとは Udacityが2016年11月ごろからスタートしたプログラムであり，9ヶ月で自動運転エンジニアになるために必要な技術を身に付けることができるコースとなっています．Term1からTerm3の3つのター

Qiita初投稿です。よろしくお願いします。 Qiitaは主に読む方で使わせていただいているんですが、統計ヤクザとか見たことがあるので、正直コメント貰っても返すの怖いし（twitterで受けつけます）、Qiitaはいいかなって思っていました。 しかし、今回はQiitaそのものを評価の対象とするので、Qiitaに投稿したいと思います。 Qiitaでは、主観や感情が入り乱れる投稿は嫌われる傾向があり、負のイメージを持ってポエムと言われることがあります。 それを機械学習で分類していれければいいね、ということで、やってきます。 手法選択 考えられるメソッド Bag of Wordsなどでlogistic-regression Bag of wordsなどでsvm Bag of wordsなどでxgboost doc2vec, fasttextなどのエンベッディングでテキスト分類 Reccurent

20190502追記 わかりにくい表現を修正しました 「おまけ」を追加しました 追記ここまで そもそもHEADとは 現在チェックアウトしているブランチの先頭を指す。 ブランチの切り替えという動作は、「HEADの移動＋ワークスペースのファイルの更新」で成り立っています。 詳しくはこちらを参照ください。→ Git のブランチ機能 - ブランチとは ~　(チルダ) ~世代前のコミットを指定できる。 ^ (キャレット) 複数ある親コミットのなかからコミットを指定できる。 絵にしてみる チルダ チルダ指定をすることで、コミットをさかのぼって指定ができます。 HEAD~と指定することで、HEADに対して1世代前のコミットを指定でき、HEAD~~と指定することでHEADの2世代前のコミットを指定できます。 キャレット キャレット指定をすることで、複数親がいる場合に、親コミットを指定できます。 複数親がい

どうも、オリィ研究所 (http://orylab.com/) のryo_gridこと神林です。 今回はTwitter感情分析で株価予測の論文「Twitter mood predicts the stock market」を検証してみました。 追記: コメント欄にテクニカルによる予測とアンサンブルして約70%の精度で予測できたことについて記述しています。 追記２: コメント欄に始値で予測した場合について記述しています 検証対象 "Twitter mood predicts the stock market" https://arxiv.org/pdf/1010.3003.pdf 上記論文を日本語で解説した記事は以下。 [第三回論文速報会] Twitterの感情分析から株価の予報は可能か？ http://networkpaper.blogspot.jp/2012/04/twitter.htm