こんにちは、ほけきよです。 大学で物理*1を嗜んだ方ならわかるであろうEinsteinの縮約記号。 計算の上で色々省略できるしとにかく慣れれば色々便利な記法です！ 物理学者以外には馴染みがなく微妙かもしれませんが、「便利そうだな〜〜」と思って使ってみたり試してみたりしたので、メモとしてまとめておきます。誰かの参考になれば幸いです。 einsum 縮約記法とは 例 文法 行列(単体) 行列演算その① ベクトル演算その② レビチビタ記号とその応用(行列式、逆行列、外積) 外積(Cross Product) 行列式(Determinant) 逆行列 高階/高次への拡張 性能比較 内積計算 コード*5 行列演算1 : 要素が1のN×N行列の積 行列演算2 : 要素が1のN×Nの行列の(AB)C(3つの積) 外積 : (1,1,1)×(1,1,1) 行列式 : np.arange(9).reshap

ディープラーニングで畳込みニューラルネットに並ぶ重要な要素のであるLong Short-Term Memoryについて、その基本を解説します。 LSTMとは リカレントニューラルネットワーク LSTMの役割 LSTMの計算 Output Gate Input GateとForget Gate Forget Gate Input Gate LSTMの肝であるMemory Cell周辺 Forget Gate側の出来事 Input Gate側での出来事 Cellの手前での出来事 出力付近の話 LSTMの役割 セル付近の役割 Forget Gateが過去の情報をどれだけ保持するか決める 全体を通しての役割 最後に LSTMとは LSTMとはLong Short-Term Memoryの略です。 short-term memoryとは短期記憶のことであり、短期記憶を長期に渡って活用することを可能に

はじめに 誰向けか 顧客や自身の部下などにデータサイエンスを説明をしなければならない立場の人 機械学習のアルゴリズムには詳しいけどビジネス貢献ってどうやってやるの？という人 データサイエンスのプロジェクトを管理する人 機械学習やデータサイエンスをこれから始める人 感想 はじめに 下記の書籍を以前（結構時間が経ってしまいました）高柳さんから頂いていましたので感想を書きたいと思います。 評価指標入門〜データサイエンスとビジネスをつなぐ架け橋 作者:高柳 慎一,長田 怜士技術評論社Amazon 遅くなった言い訳としては、「個人としては多くの内容が既知であったこと」が挙げられるのですが、この書籍に書かれている内容が未知であるかあやふやな人にとっては当然非常に有用になっています。そして、何よりもその伝え方（書かれ方）が今になって素晴らしいと実感できたためこのタイミングで書くこととしました。 誰向けか

こんにちは、あんどう(@t_andou)です。 以前、日経平均の値動きをディープラーニングで予想するという記事を書きましたが、その記事の反応として「FXでやってほしい」というものを多く見かけましたので今回はディープラーニングでFXの値動き予想を試してみました。 初めに書いておきますが、今回の記事では大した成果は得られませんでした。 ですが、「どんなことをやってみてダメだったか」という記録として残しておきます。 学習させた環境 学習させた環境は下記です。 ubuntu14.04 GTX970 メモリ16GB Keras 学習させたデータ FXDDのサイトからUSD/JPYの1分足のデータを持ってきました。 全データではなく、2010年1月1日の10:00以降データを使いました。*1 教師ラベル 5分後に1pips以上下がっていたら「0」 5分後に1pips以上上がっていたら「1」 5分後が1

アマゾン・アソシエイトの紹介料をAmazonのギフト券でもらうなら、自分のアカウントに追加することをお忘れなく Amazonの商品を紹介するアマゾン・アソシエイト・プログラム。 ブログやサイトを運用していて、利用している人も多いんじゃないでしょうか。 この紹介料の受け取り方法には二種類ある。 一つは、銀行振込による現金。ただし、最低金額が5000円から。 なかなかハードルの高い額ですね。 しかも手数料が一律300円かかってしまう。 もう一つが、ギフト券での受け取り。 これは最低500円から。 紹介料が合計500円に達すれば、手数料不要で登録メールアドレス宛てに送られてくるシステム。 アマゾンギフト券の登録方法 「Amazon Associates Program様からAmazonギフト券をお贈りします」 と題したメールが送られてきたら、迷わずクリック。 ギフト券番号をコピーします。 ついで

何かこんなメディア記事が出ていたようです。 これを読んで色々な人がツッコミを入れまくっている模様ですが、この記事の不思議なところは「完全に間違った説明というわけでもないのに何故か（両分野に詳しい）誰が読んでも猛烈な違和感を覚える」ところなんじゃないかなぁと。 正直、これはライター・インタビュアー・コメンテーター・編集者の誰のせいなのかは全く分からないんですが、ツッコミ入れられまくっている内容について色々あげつらってもあまり建設的でないので、ここでは記事中で本題として取り上げられている「統計学と機械学習の違い」についてちょっとコメントしてみようと思います。 あ、もちろん僕がこれから書くコメントも別に正しいとは全く限らないので、おかしいところや間違ってるところがあったらバンバン突っ込んでいただければ幸いです*1。そしてガチ勢向けのコメントでもないので何卒悪しからず。 統計学はデータを「説明」す

先日、社会人学生として４年間在籍した大学から博士（工学）の学位を授与されました。 ひょっとしたら社会人として大学院進学を目指す人の参考になるかもしれないので、資料としてこれまでの過程や気づいたことをメモしておこうと思います。私も以前、社会人博士の方のブログをみて参考にしましたので。 長いので、見出しをみて不要なところは適当に読み飛ばしてください。 社会人ドクターって？ 博士課程（博士後期課程）に社会人を受け入れている大学はけっこうたくさんあります（参考リンク）。分野は様々ですが、話で聞くのは工学系・情報系・経営学系が多いような気がします。 学部→修士課程→博士課程→研究者 みたいな人材だけでなく、 学部→修士課程→企業・官庁での実務経験→博士課程→また実務 というような道をたどる人材を育成するため、社会人に博士号を取らせるということが分野によっては奨励されているわけです。「社会人ドクター」

ビットコインとブロックチェーン:暗号通貨を支える技術といった本を読んだりだとか身辺でビットコインの話題が出るに連れ、個人的にはブロックチェーンに興味があるのでそのあたりの環境を作るのに手軽な基盤はないかなと見ていたところHyperledgerというプロジェクトを知った。 Hyperledger自体はLinux Foundationが進めているブロックチェーン技術に関するオープンソースコミュニティーで、そこで開発されているブロックチェーンの基盤にHyperledger Fabric*1があり、他にも複数のプロジェクトが推進されている。(詳しくはこちらのページが詳しい) Home | Hyper Ledger Foundation Fabric自体はDockerHubにイメージが提供されているので、これを使うとローカルにもFabricによるブロックチェーン基盤を立てることができるということなの

こんにちは、ほけきよです！ 強化学習って知ってますか？ 「AlphaGoが、碁の世界王者を破った」 などと最近脚光を浴びている機械学習技術ですね。 私のブログでも何回か関連記事を出しているのですが、 今回は、Chainerで強化学習を簡単に扱えるツール、「ChainerRL」を使ってみました！ なかなか便利だったので使い方を解説やまとめ、Tipsを加えながらメモしてみました。 (コードはjupyter準拠なので、上から順番にコピペすると基本は動くはずです) これから強化学習やってみたいという人は、これで強化学習がどんなものか試してみるのもいいかもしれません！ 強化学習って？ chainerrl Setup 必要なライブラリをimportする environmentの設定 environmentに必要な要件(最低限) 今回使うもの Agentの設定 ChainerRLでデフォで実装されている

こんにちは。久々の投稿です。 僕のTwitterをフォローしてくれている方はご存知かと思いますが、4月から機械学習エンジニア/データサイエンティスト(見習い)として働く事が決まりました。 今日六本木の某社から正式に内定を頂きましたが、間違いなくTwitterのおかげでありTwitterこそ就活の全てであると確信した次第でございます— マスタケ (@MATHETAKE) 2017年2月23日 良い区切りですので今回はタイトルの通り、ただの純粋数学の学生だった僕がデータサイエンスの勉強を何故/どのようにしてきたのか、についての思い出せる範囲で書こうと思います。 Disclaimer: この記事は基本的に、"What I did" に関する記事であって決して "What you should do" についての記事ではありません。そんな勉強方法おかしいとか、こうすべきだ、みたいなマサカリは一切受

PythonユーザのためのJupyter[実践]入門posted with カエレバ池内 孝啓,片柳 薫子,岩尾 エマ はるか,@driller 技術評論社 2017-09-09 Amazonで最安値を探す楽天市場で最安値を探すYahooショッピングで最安値を探す 目次 目次 はじめに Jupyter Notebook (iPython Notebook)とは? インストール Notebookデータのバックアップ＆マルチアカウントアクセスする設定 Jupyter Notebookのショートカット コマンドモードのショートカット Editモードのショートカット セルを上から全部実行する Markdownで文章を入力する 数式を入力する 数式の計算をする 画像をドロップアンドドラッグで挿入できるようにする 目次を見出し情報から自動生成する レポートタイトルを入力する方法 PDFに出力する Ma

評価の指標を１つじゃない はじめに 正解率 再現率 精度 分割表 評価の方法 精度と再現率のトレードオフ F値 break-even 注意点 参考 評価の指標を１つじゃない はじめに 機械学習による分類を行った場合に、その手法が従来より優れているか否かを判断したいという場面に遭遇します。 その際、分類を適切にできた数の割合である「正解率」に着目したくなりますが、実は評価の方法はコレ以外にも複数存在します。 正解率 正解率は、テストデータが個ある際に、予測結果が正解であった数をとして で表現されます。 最も直感的で分かりやすい評価指標です。 再現率 クラス分類でクラスがの個があったとしましょう。 「再現率」という場合には、「クラスに対する精度」という具合に、あるクラスについて評価をすることになります。 クラスのテストデータが個あるとしましょう。理想的には学習によって得られた分類器が、個のデー

これはJuliaアドベントカレンダー1日目の記事です。2016年におけるJuliaの「現状」を確認していこうと思います。 Julia言語とは Juliaとは一体どのような言語でしょうか。julialang.orgの最初の説明を用いると、「他の技術計算環境のユーザに馴染みのある構文を備えた、高レベル・高パフォーマンスな技術計算にための動的プログラミング言語」("a high-level, high-performance dynamic programming language for technical computing, with syntax that is familiar to users of other technical computing environments.")です。ここで言う「他の技術計算環境」とは、MATLABやPythonのことを指していると考えられます。実

機械学習で現れる数式に関して、これを見たら瞬時に理解すべきものを載せておきます。 機械学習で現れる数式には大量の添字があり、それらのせいで一体どのような計算が行われているのかを瞬時に把握するのが難しくなっています。しかしもはやこれは慣れの問題です。 教科書を根気強く理解できるようにするのもいいですが、予めどのような表現があるのかを知っていれば、もっと楽に読み進めることができるはずです。そのための言わば事前に知っておくと言い数式たちを載せておきます。 行列の行と列の数 計算の法則 特に頻出する形式 和の計算と行列表現 内積 行列計算 出現場面 固有値と固有ベクトル 固有ベクトルは、ほとんど変換を受けないベクトル 固有値とは、固有ベクトルがどれだけ定数倍されたかを表す 出現場面 勾配 勾配はスカラー関数の各成分の傾き 勾配はスカラー関数の等高線の法線ベクトル 出現場面 終わりに 行列の行と列の

こんにちは、ほけきよです。 私には旅の師匠がいて、学生時代はよく一緒に旅をしていました。 高校時代に自転車で日本一周をしていたり、とかく仰天エピソードが多い方なのですが、 その中でもインパクトが大きいのが「大学時代48人斬り」 曰く「そうすれば月一人でキリが良いし」 …なるほど＼(^o^)／ 今回、貞操観念をとやかく言うつもりではなくて、 そんなコミュ力おばけの彼から聞いたり、一緒に過ごしたりして気づいた 「コミュニケーション上達方法」が、具体的かつ実践的なので、 それを紹介したいと思います。 嬉しいなどの感情を「嬉しい」以外の表現で伝える 「自分がして欲しいこと」を向こうに言わせる Facebookやtwitterなどは、いいねじゃなくてコメントをする 相手の話で「あ、面白い」→即実践 一人で旅に出る 否定から入らないよう意識する 自分が本当に打ち込めることを見つける、それをキラキラと話

はじめに 最適化数学 最適化問題の簡単な例 例題の解法 微分による解法の注意点 凸最適化問題 凸関数 凸関数の定義 ニューラルネットの学習 ニューラルネットの目的関数 ニューラルネットの勾配降下法 パラメータを求める戦略 勾配降下法 ニューラルネットの損失関数 目的関数の凸性 最適化における課題 記事 はじめに 機械学習での学習とは、パラメータを逐次最適化することです。 最適化数学自体は、それだけで1つの広大な研究範囲を持っていますが、今回は機械学習で用いられる逐次最適化が分かるように、最適化数学の基本を記したいと思います。 機械学習には非常に多くの手法がありますが、逐次最適化という面においてはほとんど共通の形を持っています。各手法毎に最初から理解のし直しが必要というわけではなく、最適化数学の基本を抑えておけば、新しい手法を学ぶときにもやっていることを理解することが可能になります。 最適化

なぜTensorFlow Google発である もともとテンソル計算と計算グラフを記述するもの 利用者が多い TensorFlowの弱点 ネットワークを動的に書き換えられない 対応GPUが高価 64bitにのみ対応 私自身 なぜTensorFlow Google発である この安心感はすさまじいです。まず潰れることが無いだろうということ。いつか急にサービスが停止するようなことは起こりません。 いきなりTensorFlow有料化とかはあるのでしょうか。いやきっと、クラウドサービスで高速計算を提供という形で収益化するでしょう。 機械学習の論文もバンバン出していますし、利用者も多いですし、最新の手法の実装はTensorFlowが最も早く対応するでしょう。 個人的には日本発のChainerに活躍して欲しいところですが。 もともとテンソル計算と計算グラフを記述するもの データをテンソルとして、それを計

はじめに 最初の一歩を間違える 勉強の方針まとめ 巷で有名な教科書を読む 参考記事 流行りのフレームワークを入れる 参考記事 インターネットで知識を詰め込む 参考記事 目的と合っていない手法に着手 はじめに 新年始まって、機械学習始めよう！と意気込んでる方もいらっしゃると思います。 そしていきなり ・専門用語 ・プログラミング ・数式 などの壁にぶつかり諦める方も多いと思います。 しかし、ちょっと待ってください。方針が（というか最初の一歩）がたまたま間違っていただけで、まだまだいくらでも手立てはあるはずです。 今回は機械学習始めてみようと思ったけど、全く何すればいいかわからない人たちに向けた勉強方針をまとめたいと思います。 最初の一歩を間違える まず最初の一歩を間違えるパターンがいくつかあると思います。 それを思いつく限りあげてみます。 ・巷で有名な教科書を読んでみた ・最近流行りのフレー