Commandeur & Koopman「状態空間時系列分析入門」をRで再現する 仕事の都合で仕方なく状態空間モデルについて勉強していたのだけれど(なぜ私がこんな目に)、仕事で使うためには自分で計算できるようにならなければならない。 参考にしているCommandeur & Koopman 「状態空間時系列分析入門」（以下「CK本」）の著者らは、すべての事例についてデータとプログラムを公開している。ありがたいことであります。しかし、ssfpackという耳慣れないソフトを使わなければならない。わざわざ新しいソフトの使い方を覚えるのは大変に面倒だ。できれば普段使っているソフトで済ませたい。 というわけで、勉強かたがた、CK本に出てくる計算例を片っ端から R で再現してみた。汗と涙の甲斐あって、すべての章についていちおう再現できたので、ここに載せておくことにする。 もくじ: Rプログラム紹介 全体

2. データサイエンティスト 2 今世紀でもっともセクシーな職業 ハーバード・ビジネス・レビュー 2013年年2⽉月号 2018年年までに⽶米国で14〜～19万⼈人不不⾜足 マッキンゼー 2011年年5⽉月 求められるスキル ビジネススキル，機械学習／ビッグデータ， 数学／OR，プログラミング，統計 Analyzing the Analyzers, O’reilly 2013 4. 本⽇日お話すること 4 1. データのこと Keywords: ダミー変数，⽋欠損値，正規化，次元の呪い 2. 機械学習のこと Keywords: 機械学習の分類，アルゴリズム，注意点 3. 評価のこと Keywords: 混同⾏行行列列，適合率率率，再現率率率，F値，ROC曲線 4. 分析のこと Keywords: 過学習，交差検証，学習曲線，バイアス・バリアンス 教師あり学習(後述)寄りの内容が多いです

Jason Mayes Senior Creative Engineer, Google Machine Learning 101 Feel free to share this deck with others who are learning! Send me feedback here. Dec 2017 Welcome! If you are reading the notes there are a few extra snippets down here from time to time. But more for my own thoughts, feel free to...

【2021/1/11】2021年版を公開しました 【2020/1/9】2020年版もあります, こちらもよろしくおねがいします！ 【2019/8/12】一部書籍のリンクを最新版に更新しました 【2018/12/24追記】最新版を公開しました！「Python本まとめ・2019年版 - Webとデータ分析を初心者が仕事にするまで - Lean Baseball」 機械学習にWebアプリ,そしてFintechと,今年（2017年）は昨年（2016年）以上にPython界隈が賑やかな一年でした. Pythonでお仕事と野球データ分析を生業としている@shinyorke（野球の人）ですこんにちは. このエントリーでは,そんなPythonの学び方・本が充実した今年から来年（2018年）に移るにあたり, 最短距離でPythonレベルを上げるための学び方・読むべき本の選び方〜2018 をまとめてみました.

データ分析ガチ勉強アドベントカレンダー 12日目。 今までは、時間に依存しないデータについて取り扱ってきました。 しかし、世の中のデータは時間に依存したデータも多いのが事実です。 時間に依存しないデータは、その分各データを独立に扱うことができますが、時系列データはそういうわけにはいきません。なので、なかなか難しいのです。 今日は時系列のさわりをまとめて、また、時系列予測のチュートリアルをしていきます。 参考にできるサイト メタ的な記事 pythonの実装も含めて ディープラーニング系 本 読みたい論文(積読) Toeplitz Inverse Covariance-Based Clustering of Multivariate Time Series Data WAVENET: A GENERATIVE MODEL FOR RAW AUDIO 基礎チュートリアル データの用意 定常性のチ

データ分析ガチ勉強アドベントカレンダー 13日目。 仮想通貨がはやり始めて、チャートを見るようになった人も多いのではないでしょうか？ チャートから予測をしたい という思いを持ちつつも、結構ハードルの高いのが時系列予測。 それをできるだけ簡単にできるツールがProphet。 自分の持っているドメイン知識を導入しながら、簡単に時系列データ予測を行うことができます。 prophetとは 資料 ビジネス予測のための課題 設計思想 Prophetでできないこと 根底のアルゴリズム インストール Prophet tutorial 型の変換 将来の予測 Components 特別なイベントなど help まとめ prophetとは 資料 公式記事 github わかりやすい資料(slideshare)*1 ビジネス予測のための課題 Completely automatic forecasting tec

この投稿は 「Jupyter Advent Calendar 2017 - Qiita」 の 22日目の記事です。 こんにちは、パンダ好きの akiyoko です。 上野動物園の赤ちゃんパンダ、シャンシャン可愛いですよね〜。 Ueno Panda Live.jp というサイトで、開園日なら毎日（ただし開園時間のみ）パンダのライブ映像が見れる（オススメは３カメ！）のは皆さんもうご存知ですよね。しかしながら、たまに小一時間ほどパンタ達がじーーーっと動かないことがあるんですね。ただ寝てるだけという。こっちはあのモフモフが愛くるしく動く姿が見たいのに！！ 見たいだけなのにぃ！！！！ （親子水入らずで全く動かない様子。キャプチャ元：Ueno Panda Live.jp） ハァハァ。少々取り乱してしまいましたが、ところで、あなたのパンダ（pandas）も止まってしまっていませんか？ というのが今回のテ

2018/1/4修正：五月雨式に追記していたのを清書しました。以下2018/1/4時点での情報です 12/7から公共交通オープンデータ協議会主催で東京公共交通オープンデータチャレンジが開催されています。 これは東京メトロ発足10周年を記念して開催された東京メトロオープンデータ活用コンテストと同様に、各種公共交通機関の静的データ（一部動的データ）を広く公開しているものです。 既にQiitaでもいくつかこれに関するエントリーが挙がっていますが、ここではAndroidアプリ向けにAPIを触ってみた感想の中でも、事業者ごとの差異でつらかった点を書いてみます。 下記のつらみを極力吸収したAndroid向けのライブラリを作りました。 全般 とにかく不安定 API仕様ドキュメント・フォーラム・APIが同じサーバで運用されているのか、どれかが落ちているときはそれ以外もアクセスできないため開発の手を止めざる

この記事は移転しました。約2秒後に新記事へ移動します。移動しない場合はココをクリックしてください。 こんなことをしてみたい ↑これがしたい pythonによる機械学習の勉強をしたので、実践ということで、人気アイドル「乃木坂46」の個人的に好きな5人のメンバーを区別して見ました。大きな流れはこんな感じです。 web上から五人の画像を100枚ずつ取ってくる 画像から顔部分を取り出して保存、テストデータの取り出し 画像の水増し モデルを定義して、学習 テスト(顔を四角く囲って、その人の名前を出力) 説明はこんなもんにして、彼女らの可愛さについて語りたいところですが、そういうブログではないので、少し技術的なことを書きます。 今回はjupyterを使って作業を進めました。notebook形式なので結果が見やすく初心者にはいい環境でした。環境は以下。 macOS:10.13.1 python:3.6.

石破総理、衆院選敗北への想いを綴ったネットリポエムを朗読し最速辞任を断固拒否（日本株は下げるどころかむしろ上がる）

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

この記事はMercari Advent Calendar 6日目の記事です。 メルカリのBIチームのアナリスト/マネジャーの @hikaru が、メルカリの分析チームの事情についてお送りします。 ※ BIチーム…メルカリ内の分析を一手に担うチーム。Business Intelligenceチーム。 この記事について イベントやカジュアル面談などでメルカリの分析チームの内幕についてよく聞かれる質問があります。 いえ、それどころか場合によっては社内であまり一緒に仕事する機会がない方々からも、チームに関して質問されることがあります。 ※ カジュアル面談…メルカリでは、社内のポジションに興味ある方にオフィスに来ていただいて1on1でざっくばらんに話す会を頻繁に行っています。 正直、分析チームというのは外部から何をやっているか見えづらい面もあるため、理解できます。 よく頂く質問としては、 組織的なこ

合計 2,650,906 中古住宅の場合、住宅ローン減税が利用できるのは、非耐火構造で築20年未満（耐火構造の場合は築25年未満）の建物に限られます。築年数が経過した住宅だからあきらめてしまう人が多いのが実情ですが、実は築年数が古い建物でも住宅ローン減税が適用される可能性がまだあるのです。平成17年度の税制改正で、中古住宅に係る築後経過年数の要件が変更となりました。新耐震基準へ適合している住宅であれば築後経過年数の要件が撤廃されることとなったのです。当該建物が新耐震基準へ適合していることをあらわす書類を「耐震基準適合証明書」といいます。 つまり、「耐震基準適合証明書」付きの物件であれば、築年数が古くても住宅ローン減税の対象となるのです。 「耐震基準適合証明書」はその建物が新耐震基準へ適合していることをあらわすものです。指定性能評価機関などのほか、建築士事務所登録を行っている事務所に所属する

住宅ローンを組んでマイホームを購入すると、一定期間、所得税や住民税が控除される「住宅ローン控除（住宅ローン減税）」。 住まいを購入するならぜひ利用したい制度ですが、控除を受けるには確定申告の必要があり、ローン残高証明書・登記事項証明書・売買契約書のコピーなど、所定の書類を用意しないといけません。 2022年（令和4年）以降、住宅ローン控除制度は、利用条件や控除金額の上限などに大きな変更がありました。 この記事では、「住宅ローン控除」の申請方法、申請に必要な書類とその入手先、書類の書き方をわかりやすく解説します。申請前のチェックリストとして、ぜひお役立てください！ 住宅ローン控除とは 「住宅ローン控除（住宅ローン減税）」とは、住宅ローンを組んでマイホームを購入すると、一定期間、所得税の一部が控除される（払い過ぎた税金が戻ってくる）制度です。 所得税だけでは控除しきれない場合には、住民税からも

データ分析ガチ勉強アドベントカレンダー一日目。 まずは指針をということで、データ分析をはじめるにあたって勉強しておきたいことと、そのリソースをまとめる。言語はPythonを想定。 興味領域が偏っている場合があるのであしからず こんなの面白いよっていうのあれば教えてくださいな ※随時更新します Pythonライブラリ 深いアレたち 機械学習のお勉強 論文 arXiv カンファ e-learning 本 twitter データを集める チートシート類 終わりに Pythonライブラリ こんなの勉強しておけば良さそうリスト。抜け漏れご容赦。 ★★★ : 必須。空で使えるようになりたいトコロ。 ★★　 : 周辺ツール、知っていればより便利になるよという感じ ★　　 : あるアルゴリズムに特化しているようなもの。一歩先 ライブラリ 必須度 用途 numpy ★★★ 数値計算用のライブラリ。いろいろし

セッションIDやアクセストークン、はたまた業務上で使う一意の識別子など、いろんなところで一意のIDを生成しなきゃいけないケースが存在します。 そこで世間で使われているIDの生成方法について調べてみました。 選択基準 ID生成における要求として、以下の観点が上げられるかと思います。 生成の速度 大量にデータを短期間で処理し、それらにIDを付与する場合、ID生成そのものがボトルネックとなることがあります。 推測困難性 IDを機密情報と結びつける場合、IDを改ざんされても、機密データが見れないようにできている必要があります。 順序性 採番した順にデータをソートする必要がある場合は、IDがソートキーとして使えないといけません。 それぞれについて各生成手段を評価します。 ID生成の手段 データベースの採番テーブル 採番用のテーブルを作り、そこで番号をUPDATEしながら取得していくやりかたです。古い

さまざまなデータをグラフや表で分かりやすく表示するためのツールはいろいろありますが、その中の一つが「Googleデータスタジオ」です。Googleが作ったサービスという利点を生かし、GoogleアナリティクスやAdWordsなど同じGoogle製のサービスとの連携が簡単ということで、実際にGoogleアナリティクスとの連携を試してみました。 データスタジオ（ベータ版） | データの視覚化とレポートの作成 | 無料版を試す - Google https://www.google.com/analytics/data-studio/ まずはGoogleデータスタジオのページへ行き、「無料版を試す」をクリックします。 Googleにログインします。ログインしたいアカウントをクリックして…… パスワードを入力し、「次へ」をクリック。 Googleデータスタジオを使えるようになりました。「空白」をク