一般的な時系列のモデリング＆予測に、機械学習系の手法よりも古典的な計量時系列分析の方が向いている理由を考えてみた（追記あり） - 渋谷駅前で働くデータサイエンティストのブログ
この記事は、以下の@icoxfog417さんによる問題提起に合わせたちょっとした実験をまとめたものです。 時系列予測の問題において、機械学習のモデルより既存の統計モデル(ARMAモデルなど)の方が予測精度において優良な結果が出るという研究。データへの適合=予測精度の向上ではないことも実験で示している。機械学習の研究では統計モデルとの比較も入れるべきという提言をしている。 https://t.co/jboGhYSX6E— piqcy (@icoxfog417) September 16, 2019 この点について僕はこんなコメントをしたのですが。 だいぶ以前から「一般的な時系列データ予測の問題は単位根過程や季節調整など非定常過程との戦いなので、本質的に定常過程を想定する機械学習手法での予測は計量時系列分析など非定常過程も考慮した古典的なモデルによる予測には及ばない」と言い続けてきたけど、やっ
令和時代のPython作図ライブラリのデファクトスタンダードPlotlyExpressの基本的な描き方まとめ - Qiita
初めに javascriptベースで手軽に対話的な操作が可能な作図が出来るPlotly Express(公式サイト)というライブラリが少し前に公開されたのを見つけました。 今までの静的な作図とは明らかに異なる次元のポテンシャルを感じたので、備忘録を兼ねて基本的な可視化手法の描き方をまとめました。 参考までに、matplotlib+seabornで同様の図を書いたパターンと比較しています。 「基本的な可視化手法」は、以前書いた「探索的データ解析における正しい可視化手法の選び方と描き方」に準拠しています。 Plotly Expressとは Plotly Expressは2019年の3月に公開されたplotlyの高レベルAPI群です。 インタラクティブで複雑な描画を簡単に書けるのが特徴です。 公式サイト: https://plot.ly/python/plotly-express/ API re
COVID-19が世界中に感染拡大し、日本含め多くの国で外出や集会の制限（自粛）措置が取られて久しい昨今ですが、これに伴って多くのところでCOVID-19に関連したオープンデータが公開されるようになっており、データ分析を生業とする人間が実データを扱う良い機会ともなっているように見受けられます。 ということで、今回の記事では東京都が公開している日次のCOVID-19感染者（PCR検査陽性者）報告数のデータを題材として、時系列モデリングのおさらいをしてみようと思います。なお、この記事における時系列モデリング結果は今後のCOVID-19の感染拡大状況について何かしらの解釈や予測をするためのものでは全くありません*1ので、悪しからずご了承ください。 また、この記事で公開しているコードは以前書いたクソコードをそのまま転用しているので、端的に言ってただのクソコードです。皆さん自身がお試しになる際は是非
蔓延防止等重点措置（まん防）の効果検証を「あえて」DID＋TSclustによる時系列クラスタリング＋CausalImpactでやってみた - 渋谷駅前で働くデータサイエンティストのブログ
少し前の話ですが、現在COVID-19の感染が拡大している地域で実施される「蔓延防止等重点措置（まん防）」に効果があったかどうかについて、計量経済学的な観点に基づいた政策評価レポートが公開されて話題になっていました。 追記 本日午前中に元のレポート自体が更新されていたようで*1、今回の記事はその更新を反映していない点悪しからずご了承ください。 で、結論はともかくその手法とアプローチについては色々と議論が起きているようです。例えば、上記のブログ記事では実際に東京都のデータで追試をしてみて、もう少し異なるやり方があるのではないかと指摘しています。 この辺は僕にとっても同様で、普段から同様のデータ分析を広告・マーケティング分野で手掛けている身としては「自分ならこうしたい」と思われるポイントが幾つかあり、折角データソースや背景となる行政措置の詳細などがレポート中で明記されているのだから、いっそ自分
PySimpleGUI.pdf
PySimpleGUI 0.5.1 Copyright © 2020-2022, Katsunori Nakamura 2022 6 10 1 1 2 1 2.1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 2.1.1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 2.1.2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 2.1.3 GUI . . . . . . . . . . . . . . . . . . . .
DuckDB in Actionの読書メモ
1章 イントロダクション DuckDBとは シングルノードでinmemoryな組み込みデータベース 処理中のデータが永続化されない 個人情報、機密データの扱いに困らない データパイプライン (ETL) ギガバイトなデータを効果的に扱える 数秒でハンドリング可能な処理機構 でもテラバイト級だとさすがに無理 MITライセンス 入出力として扱えるデータソース csv Json Parquet Arrow MySQL SQLite PostgreSQL Jupyterを経由して、PandasやPolarsから問い合わせできる 並列化されたクエリエンジン 費用面で高コストなAWS Athena SQLを使わずともすむ DuckDBのSQL 標準ANSI SQL Window関数, CTEも扱える 分析関数 count, min, max 独自拡張されたSQL構文 select exclude() /
新型肺炎COVID-19の感染者数の推移をSEIRモデルを使ってrstanでシミュレーションする - 驚異のアニヲタ社会復帰の予備
読んだ。 A Simulation on Potential Secondary Spread of Novel Coronavirus in an Exported Country Using a Stochastic Epidemic SEIR Model. - PubMed - NCBI COI：筆者はこの著者とは直接の関係はないので、純粋に統計解析のツッコミです。 こんなツイーヨを観測した。 A Simulation on Potential Secondary Spread of Novel Coronavirus in an Exported Country Using a Stochastic Epidemic SEIR Model. - PubMed - NCBI https://t.co/P2FQHeJkcX— 岩田健太郎 Kentaro Iwata (@georgebe
クラスメソッド データアナリティクス通信(AWSデータ分析編) – 2023年10月号 | DevelopersIO
データアナリティクス事業本部 コンサルティングチームの石川です。コンサルティングチームメンバーを中心に、日々AWSのアナリティクス関連サービスのアップデートとそのブログを追っています。 Amazon Redshiftは、ロールベースのアクセス制御（RBAC）によるワークロード管理 (WLM) のサポート、AWS Lake Formation によるクロスリージョンもデータ共有に対応しました。AWS Glue の Data Qualityは、dbtのようにカスタムSQLによるデータ検証が可能になりました。Amazon QuickSightは、既存機能のブラッシュアップ、ユーザーのタグ付け機能によるコスト管理の改善、 Amazon Bedrock を利用したGenerative BI ダッシュボード オーサリング機能 (プレビュー)を発表しました。 では、新機能・アップデートを紹介します！ A
もう9年も前のことですが、沖本本をベースとした計量時系列分析のシリーズ記事を書いていたことがあります。その中で、密かに今でも自分が読み返すことがあるのがVAR（ベクトル自己回帰）モデル関連の記事です。 なのですが、仕事なり趣味なりでVARモデルを触っていると「あれ、これってどうなってたんだっけ」という事項が幾つか出てきて、しかも上記の自分のブログの過去記事を当たっても出てこないケースがちらほらあるんですね。 ということで、今回の記事ではネタ切れで新しく書くことが思い付かないのでVARモデル周りで「最近になって調べて行き当たったこと」を備忘録的に補遺として書き留めておくことにします。とはいえ微妙に技術的な話題を含むので、いつもながらですが誤りなどありましたらコメントなどでご指摘くださると助かります。 CanadaデータセットでVARモデルを推定しておく 面倒なので、{vars}パッケージに同
せーのでございます。 前回、UnrealCVというUnreal Engineのプラグインを使ってマスクデータを取る、ということをしました。 【小ネタ】Unreal Engine 4.22.3 + UnrealCVでsegmentation maskデータを取る方法。【備忘録】 | Developers.IO 今回はこのマスクデータからbounding boxを作ります。 つまり、ここから こういって こうなったので こうする、ということですね。 やり方 前回で少し触れましたがマスクデータというのは開くとこんな感じになっています。 [False False False False False False False False False False False False False False False False False False False False False False
Pythonのmatplotlibとpandasを使ってCSVファイルをグラフ化しよう！ | Casley Deep Innovations株式会社 技術ブログ
こんにちは。 2019年に新卒社員として、キャスレーコンサルティングで エンジニアのキャリアをスタートさせた梁 泰榮です。 はじめに 私は学生の頃にC言語やJava、C#を学ぶ機会はありましたが Pythonについては勉強したことがありませんでした。 最近アメリカでは、JavaよりもPythonが多く使われているという記事を読み Pythonに興味を持ちました。 今回は、Pythonの強みであるデータ分析の一例として、 CSVファイルをグラフ化する機能を少し勉強しましたので その内容を皆さんにご紹介したいと思います。 データ視覚化の実例 まずは、データ視覚化の重要性についてご紹介したいと思います。 皆さんはナイチンゲールをご存知でしょうか。 イギリスの看護師として有名ですが、実は統計学者でもありました。 野戦病院で人々を看護していく中で、野戦病院の劣悪な衛生環境により病気が悪化し死亡する人
Jetson Nano + USBカメラ + OpenCV + Scikit-image でサブピクセル精度の計測系を構築する - Qiita
Jetson Nano + USBカメラ + OpenCV + Scikit-image でサブピクセル精度の計測系を構築するPythonOpenCVscikit-imageUSBカメラJetsonNano Jetson Nano + USBカメラ + OpenCV + Scikit-image でサブピクセル精度の計測をするPythonスクリプトを書いてみました。Jetson Nanoに限らず、Pythonが走ればRaspberry Piでも動作します。 テンプレートマッチングで見つけた座標に対し、Phase Correlationを使ってサブピクセル位置を特定します。再現性はかなり良いが、リニアリティはレンズ次第。 スクリプトは以下からダウンロードできます。 https://github.com/takurot/templatematch 実行環境 実行例 必要なモジュール OpenC
まえがき こんにちは、さつま芋です。 一得一失（何かを得るには別の何かを失う）という四字熟語があるそうです。 トレードオフと同義ですが、まさにFXそのものだと感じます。 きっと経験を積んでも技術を磨いても、変わることのない法則かもしれません。 僭越ながら、FXはストレスを数字に変えているだけのような気がします。 www.gaitamefinest.com 「FXはギャンブルではない」と主張する人もいますが、経験や技術で相場から安定的に月利2%以上が得られるならば、消費者金融でキャッシングしても収入源になります。 私は真面目にデータ分析しているつもりですが、「FXは（不確実な）ギャンブルでしかない」という結果しか得られません。 今回はFXをギャンブルと割り切って、算数で一攫千金をシミュレーションしてみます。 ギャンブルトレード ほんの少しだけ損小利大となるコイン投げトレードを考えます。 シミ
はじめに... 私がはじめてmatplotlibに出会った時、全く使い方がわかりませんでした。 なんと、$y=ax+b$の直線やsin曲線でさえ書くことができませんでした（笑） そんな私の目の前にあるのは、英語だらけのmatplotのdocumentと、長いコードと専門用語満載のQiitaブログ、、、。 プログラミング初心者だった私は、それらを読んでもどうやってコーディングするのか全く理解できなかったのです。 そんな私のようなmatplotlib難民を減らすべく「初心者でも楽しく、Excelのように簡単にグラフを作れる」ということを目標に書いていきたいと思います。 とにかく簡単に直感的に描画していくことを目標にしているので、コードが泥臭くなるかもしれません。 テンション的には、「書いた→実行→なんかできた！よっしゃー！」みたいなイメージです。 ある程度、このブログで描画に慣れてきたら、下の
この記事はQiita https://qiita.com/exy81/items/1b13d0ef3832a76338eb から移行したものです。 evcxr pythonみたいにJupyterでインタラクティブに使いたいという場合におすすめ。 RustのREPLでJupyterでも使うことができる。cargoでインストールできる。 公式 https://github.com/google/evcxr Jupyterのでの使い方 https://github.com/google/evcxr/tree/master/evcxr_jupyter 紹介記事 https://qnighy.hatenablog.com/entry/2018/09/29/190000 dockerでの環境構築 https://dev.classmethod.jp/articles/use-rust-in-jupyt
最新のseabornAPIを全て試してデータ可視化スキルを高める【可視化, 2020/9/9-ver0.11.0】 - Qiita
最新のseabornAPIを全て試してデータ可視化スキルを高める【可視化, 2020/9/9-ver0.11.0】Python機械学習Python3可視化seaborn 2020年9月9日にseabornの新バージョンがでましたね 今回はそんなver0.11.0を使いながら可視化の振り返りをしていきます seaborn公式のギャラリーと関数を参考に全べてのAPIを使ってみたいと思います 可視化だけ興味のある人は真ん中まで飛んでくだし 長いのでctrl + F で検索かけてください 検証環境 conda create -n eda python==3.8 conda activate eda notebook==6.1.4 ipykernel==5.3.4 seaborn==0.11.0 pandas==1.1.2 matplotlib==3.3.2 statsmodels==0.12.0
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
時系列モデリングのおさらい：季節調整とトレンド抽出 - 渋谷駅前で働くデータサイエンティストのブログ
VARモデル補遺（備忘録） - 渋谷駅前で働くデータサイエンティストのブログ
【numpy基礎】マスクデータからBounding Boxをつくる。【備忘録】 | DevelopersIO
【FX雑談】損小利大 - さつま芋の勉強日記
ゼロからはじめるmatplotlib〜1.点のプロットと軸の調節〜 - Qiita
Rustのデータサイエンスで使えそうなもののメモとリンク集