はてなブックマーク

読書メモ 「緑本」として有名なデータ解析のための統計モデリング入門の読書会を行ってました。その際に読書メモを作成したので共有します。 GitHubにJupyter Notebookとしてアップしてます。 書籍中のR,WinBUGSのコードは、できるだけPythonやStanで記載してます。 Chap1 データを理解するために統計モデルを作る Chap2 確率分布と統計モデルの最尤推定 Chap3 一般化線形モデル(GLM)―ポアソン回帰 Chap4 GLMのモデル選択―AICとモデルの予測の良さ Chap5 GLMの尤度比検定と検定の非対称性 Chap6 GLMの応用範囲をひろげる―ロジスティック回帰など Chap7 一般化線形混合モデル(GLMM)―個体差のモデリング Chap8 マルコフ連鎖モンテカルロ(MCMC)法とベイズ統計モデル Chap9 GLMのベイズモデル化と事後分布の推定

ELBにぶら下がっているEC2にCapistranoを利用してローリングデプロイする方法について書きました。 もしもっと良い方法があれば教えてください。 環境 rails (4.2.0) unicorn (5.0.0) capistrano (3.4.1) aws-sdk (2.1.36) ELBにEC2を2つぶら下げる構成でサービスを運用しています。 Capistranoで複数サーバーにデプロイする時の問題点 Capistranoで複数サーバーにデプロイする場合、以下のように記載すれば複数サーバーにデプロイできます。 ただ、このように記載して複数サーバーにデプロイした場合、以下のような問題がありました。 bundle install や rake assets:precompile でCPUに負荷がかかり、CPUが100%にはりつくことがある rake assets:precompile

Meguro.rb #8 のLT資料です 自己紹介 GitHub: tackeyy Twitter: 3cche Blog: http://tackeyy.com/ 今日お話する内容 きっかけ 未使用のコードを発見するための仕込み コードの削除 & デプロイ はまったところ まとめ きっかけ refs: muramurasanさんのRailsで効率的かつ安全に未使用のメソッドを削除した 要約すると・・・ Rubyは動的にメソッドを呼び出せるので静的解析・動的監視で未使用コードを炙りださないといけない 静的解析 + 実際にメソッドが呼ばれているかのロギングを自分でやるのはだるいし本番のコードを汚染する そこで okuribito_rails を使おう！ 未使用のコードを発見するための仕込み 静的解析 debride 未使用の可能性のあるメソッドを抽出してくれる 動的監視 okuribito_

おもにバックエンド側を触ることが多いのですが、フロント側も覚えたいなと思い最近Vue.jsに入門しました。 Vue.js公式のドキュメントは日本語訳されており、公式のサンプルもいくつかあるのですが、 さあこれから始めよう！と思う初心者には環境構築を含めてちょっとハードルが高い気がしました。 （私が調べた限り日本語で良さそうなチュートリアルはありませんでした。） そこで今回は自分でTODOアプリをVue.jsで0からつくる手順を公開しているサイト （英語）を参考にして、 TODOアプリを作成してherokuにデプロイするまでやってみたので、GitHubのcommitを追いながら簡単に解説をしてみたいと思います。 実際の動作は以下から確認できます。 GitHubのリポジトリはこちらです。 とくに関係ないですが、私のブログはこちらです。 今回スコープ外のはなし ルーティング / vue-rout

Railsを触ったことがないデザイナーさんと薬剤師さんが「Railsさわってみたい！」 ということでDockerでRailsの環境を用意してみました。 環境構築でつまずいてなかなかプログラミングがはじめられないという経験があったため、 最低限の手順でかんたんにRailsの開発環境を作りたいという欲求があったことと、 単純にDockerをさわってみたいという動機で今回はDockerを選択してみました。 実際にデザイナーさんと一緒に環境構築をしてみたら30分弱でできた 以下のリポジトリのREADMEにそって、プログラミング未経験のデザイナーさんと一緒に何もセットアップされていないPCにRails環境を構築してみたところ、インストールなどの物理的な時間も含めて30分弱で http://localhost:3000/ でRailsのいつもの画面が表示されるところまでいきました。 反省 「 開発環境

上記それぞれが別のクラスタとして認識でき、また同じ構成（Aメロ同士、サビ同士）はそれぞれ同じクラスタとして認識できるといいなと思いました。 使用するライブラリの一部 音楽分析のライブラリとしてlibrosaを用います。 またscikit-learnを用いてクラスタリングを行います。 コード スペクトログラムの表示 mp3ファイルを読み込み、どのような周波数の音がどれくらいの強さでているかを時系列で見る「スペクトログラム」を作成します。これを見るだけでも、ここで雰囲気が変わってそう、ということはわかるかと思います。 スペクトログラムを作成するにあたり、mp3ファイルに対し、フーリエ変換という処理を行います。これによって、ある時間における、各周波数ごとの強さのリストが手に入るため、後ほどクラスタリングします。 import librosa import matplotlib.pyplot as

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

はじめに [アカデメイア]自然言語処理勉強会 #1に参加させていただきました。 こちらの勉強会では、 - 自然言語処理の基礎 - ビジネスにおける活用例 - 実習 を学習、実施しました。 実習では個人的に、自分がツイートしているワードにはどのようなものが多いかを見てみました。 自分のツイートのダウンロード ツイッターのユーザー情報から全ツイート履歴の申請が行えます。 私の場合は申請から数分でダウンロードリンクが送られてきました。 Mecabのインストール 下記を参考にインストールを行いました。 MeCab: Yet Another Part-of-Speech and Morphological Analyzer Macだと文字化けしてしまうようなので、下記も参考にしました。 UTF-8の設定が必要なようです。 MacにMecabをインストールする (2013.3) 無駄な列の削除 ダウン

はじめに RNNについての分かりやすいチュートリアルとして、TensorFlowのRNNを基本的なモデルで試すでも触れられていた、Peter's notesのHow to implement a recurrent neural network Part1を翻訳しました。 Tutorial 翻訳 翻訳するにあたり、日本語にすべきか、英単語のままにすべきか悩むところが多かったです。 訳の誤りや分かりづらいところございましたら、アドバイス頂けると嬉しいです。 (なお、Peterさんには翻訳・アップロードの許諾を頂いてます。) チュートリアルの内容 簡単なRNNをPythonで実装していきます。 入力データとして、10回にわたって、0または1の数字を取得し、取得した数字を記憶しながら、最終的にその合計値を返す、という簡単なモデルをRNNで実装していきます。 RNNの基礎 BPTT法 勾配爆発、勾

はじめに CourseraのMachineLearningの復習用にと探したら、スライドのまとめがありましたので、まとめました。 スライド一覧 スライド1：Introduction Welcome スライド2：Linear regression with one variable /Model representation/Cost function/Gradient Descent スライド3:Linear Algebra review (optional) スライド4:Linear Regression with multiple variables/Multiple features/Feature Scaling/Features and polynomial regression/normal equation スライド5:Octave Tutorial スライド6:Logist

はじめに もうすぐCoursera Machine Learningコースを終えることができそうです。 week11 のラストで、この動画で学んだことの一覧が映されてました。 Supervised Learning Linear regression Hypothesis Parameter Cost GradientDecent logistic regression neural networks SVMs Unsupervised Learning K-means,PCA,Anomaly detection Special application/special topics Recommender systems large scale machine learning Advice on building a machine learning system Bias/Varian

はじめに TensorFlow製の音楽生成プロジェクト「Magenta」をいじっています。 参考：[サカナクションさんをTensorFlow製アート・音楽生成プロジェクト「Magenta」に学習させてみる。] (http://qiita.com/tackey/items/1295a0347a8b4cc30d46) その前処理として、PythonでMIDIファイルをいじりたいなと思い調べたところ、Magentaではpretty_midiを利用しているようでした。 この投稿では、pretty_midi 0.2.6 documentationのサンプルを動かして、pretty_midiの仕組みについてみてみます。 サンプルコード サンプルコードと、コメントを書き記載します。 import pretty_midi # Create a PrettyMIDI object # Pretty MIDI

はじめに この記事では、Magentaの開発環境を準備した上で、手元のMIDIファイルを学習し、曲を作成するということを行います。 magentaのBasic RNNのREADMEの通りですので、そちらを読んでいただいてもよろしいかと思います。 用語等、不明な点もあるため、ご了承いただければと思います。 開発環境の準備はこちらの記事もご参考ください。 TensorFlow製音楽生成プロジェクト「Magenta」を開発環境の設定から曲生成までやってみる。 データセットを作る 手持ちにMIDIファイルを学習する前に、まずはTensorFlowで扱えるように、NoteSequencesという形式に変換する必要があります。 下記のスクリプトを実行します。 不正な形式のMIDIファイルを読み込んだ際にエラーを吐くことがあります。 解析できないMIDIファイルはスキップされるので安心して大丈夫なようで

はじめに 本投稿は、PyData.Okinawaさんの下記のイベント資料を参考にしています。 PyData.Okinawaさん、ありがとうございます。勉強させていただいてます。 PyData.Okinawa Meetup #17 - Magentaで音楽生成 上記のGitHubの通りに進めれば問題なく作曲できますが、大まかな流れと補足情報、作成した楽曲を下記記載しておきます。 Dockerイメージを準備する（要Docker) PyData.Okinawaさんの作成されたスクリプトを配置する MIDIファイルを配置する(要MIDI) MIDIファイルをデータセットに変換する モデル学習のスクリプトを実行する 音楽の生成スクリプトを実行する できた音楽を聴く なお、もっと手軽に試したい、という方はMagentaのGitHubページの内容をやってみる方が良いかもしれません。 TensorFlow

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?