Improving Search @scale with efficient query experimentation @BerlinBuzzwords 2024
PyConJP 2016: pandas による 時系列データ処理
Improving Search @scale with efficient query experimentation @BerlinBuzzwords 2024
機械学習のデータセットを可視化する「Facets」で遊んでみた - paiza times
秋山です。 先日、Google Open Sourceで「Facets」という機械学習向けデータセットの可視化ツールが公開されました。 サイトはこちら opensource.googleblog.com (※Chromeであれば、ブラウザ上でどういったことができるかのデモを触れます。Safariだとうまく動かない？ようなのでご注意ください） GitHubはこちら github.com デモのようにブラウザ上でデータを可視化したり、Pythonライブラリのjupyter内で使ったりすることができます（ブラウザで表示させるかjupyter内で表示させるかだけの違いですが…） 例えば巨大なデータを扱っていて、うまく分離できていないデータ群はどの辺りになるのか…といったことを可視化して眺めたいときなどによさそうなので、実際にちょっと使ってみたいと思います。 ■Facets使ってみた Facetsに
サーバサイドにおけるmatplotlibによる作図Tips - Qiita
「計算を行い結果を作図して確認」という作業において計算をリモートで実行するケースも多い．この作業フローについて思い浮かぶ選択肢は以下の通り． 計算結果の出力データ（ログ）をファイルに保存．（テキストベースだったり，シリアライズしたものだったり．）それをクライアントに転送し，別のプログラムで作図，確認する． Jupyter Notebookを使う．サーバにてJupyter Notebookサービスを動かし，クライアントからWeb Browserで接続，もちろん図もBrowser上で確認． サーバとリモートデスクトップ接続して，一連の作業を行う． サーバサイドで作図，図のファイル出力まで行う．PNG，PDF等イメージファイルをクライアントPCで見る． これまでは選択肢1, 2を選ぶことが多かったが，今回，選択肢4のサーバサイドでの作図についてTipsを紹介したい． 最初の失敗 「matplot
季節調整済みARIMAモデルで電力使用状況を推定してみる
北海道電力の電力使用状況を季節調整済みARIMAモデル（Seasonal ARIMA）で推定してみました。そのメモです。 このサイトを参考にしました。ほぼそのままやりました。 ■Seasonal ARIMA with Python http://www.seanabu.com/2016/03/22/time-series-seasonal-ARIMA-model-in-python/ このブログでも紹介されていますが、statsmodelsのdevelopment versionが必要です。 https://github.com/statsmodels/statsmodels これをインストールするにはvisual c++のなんかのバージョンが必要で色々と面倒でした。あと、pipでインストールすると失敗するのでeasy_installでうまくいく場合もありました。 %pylab impor
画像処理の数式を見て石になった時のための、金の針 - Qiita
画像処理は難しい。 Instagramのキレイなフィルタ、GoogleのPhoto Sphere、そうしたサービスを見て画像は面白そうだ！と心躍らせて開いた画像処理の本。そこに山と羅列される数式を前に石化せざるを得なかった俺たちが、耳にささやかれる「難しいことはOpenCVがやってくれるわ。そうでしょ？」という声に身をゆだねる以外に何ができただろう。 本稿は石化せざるを得なかったあの頃を克服し、OpenCVを使いながらも基礎的な理論を理解したいと願う方へ、その道筋(アイテム的には金の針)を示すものになればと思います。 扱う範囲としては、あらゆる処理の基礎となる「画像の特徴点検出」を対象とします(実践 コンピュータビジョンの2章に相当)。なお、本記事自体、初心者である私が理解しながら書いているため、上級画像処理冒険者の方は誤りなどあれば指摘していただければ幸いです。 画像の特徴点とは 人間が
ITエンジニアのためのデータサイエンティスト養成講座
システムログも金融取引データも時系列で分析できる。ビジネスシーンで求められるデータ分析の多くを占める「時系列データ」分析の基礎を解説。
時系列分析Ｉ ――ARMAモデルと時系列分析
連載バックナンバー はじめに 今回は時系列分析について紹介します。ビジネスで生成されるデータの多くが“時間“の項目を含む時系列データで、1週間の傾向や季節変動などを分析する際など、さまざまな場面で時系列の分析が必要となります。 時系列分析（Time Series Analysis）とは？ 時系列分析（Time Series Analysis）は、株価や為替レートなど金融関連の時間とともに変化するデータを分析し予測するために発達してきました。「時系列計量経済学（Time Series Econometrics）」などの学問の中で論じられているデータ分析の中では、比較的歴史のあるテーマです。それだけに、定式化するためのさまざまなモデルが提案されていて、1つの変量を分析するためのモデルだけでも、表1のように多くのモデルがあります。 略称 説明 AR
時系列分析_実践編 | Logics of Blue
最終更新:2016年1月24日 Rを用いた時系列解析の実践例を載せます。 Rを使えばARIMAもSARIMAもサクッと一瞬で計算できますよ。 時系列解析って何？ という方は ・時系列解析_理論編 ・時系列解析_ホワイトノイズとランダムウォーク も参照してください。 スポンサードリンク 目次 １．使用データ ２．モデリングと予測 その1、和分過程でないデータ ３．モデリングと予測 その２、和分過程 ４．モデリングと予測 その３、季節変動データ １．使用データ シミュレーションデータと、Rにもともと入っているサンプルデータを用います。 シミュレーションデータはこちら set.seed(1) d <- arima.sim( n=400, model=list(order=c(2,0,2), ar=c(0.5,0.4), ma=c(-0.5,0.3)), sd=sqrt(1) ) order=c(
時系列解析_理論編 | Logics of Blue
最終更新:2017年6月1日 時系列分析という名前はご存知でしょうか？ 残念ながらExcelで実行するのがやや困難であるためこの名前もあまり浸透していないのではないかと思います。 時系列解析は、回帰分析とは違ってあまり知らない人も多いと思うので、ざっと解説を載せておきます。これだけ読めば、時系列分析の雰囲気はつかめるのではないでしょうか。 時系列分析の基礎の基礎からSARIMAモデルまでを一気に解説します。 それと、便利なパッケージ forecast の紹介も。 Rを使えば簡単に計算できますよ。 Pythonを使いたい方は「Pythonによる時系列分析の基礎」の実装例も併せて参照してください。 スポンサードリンク 目次 １．時系列解析って何？ ２．時系列データの扱い方 ３．知ると便利な用語集 ３－１．自己相関係数・偏自己相関係数 ３－２．ARモデル（自己相関モデル） ３－３．MAモデル（移
ARIMAモデルによる株価の予測 | Logics of Blue
最終更新：2017年7月14日 標準的な時系列解析手法であるARIMAモデルを用いた、株価の予測とその評価の方法について説明します。 ARIMAモデルは、R言語を使うととても簡単に推定することができます。 簡単である割には、予測精度は高く、時系列予測における標準的な手法となっています。 この記事では、株価のデータに対して、ARIMAモデルを推定し、株価を予測することを試みます。 株価を予測することはとても難しいので、この手法を使えばすぐに利益が出るということはあり得ません。 しかし、時系列データの取り扱いとARIMAモデルの推定、そして予測の評価という一連の流れを学ぶことで、ほかのデータなどに対して応用する能力が身につくかと思います。 コードはまとめてこちらに置いてあります。 スポンサードリンク 目次 時系列解析とARIMAモデル 株価の取得 ARIMAモデルの推定と予測の評価 一期先の予
未来を予測するビッグデータの解析手法と「SARIMAモデル」
ビッグデータと未来予測 ロングテールとは ロングテールとビッグデータの関連 未来予測のためのビッグデータ解析 重回帰分析 回帰分析の基礎、単回帰分析 最小二乗法 相関係数 重回帰分析 変数の影響度 多重共線性 ビッグデータで重回帰分析を用いるリスク SARIMAモデル ARモデルとMAモデル ARモデル（自己回帰モデル） MAモデル（移動平均モデル） ARMAモデル（自己回帰移動平均モデル） 定常過程と非定常過程 ARIMAモデル（自己回帰和分移動平均モデル） SARIMAモデル（季節自己回帰和分移動平均モデル） まとめ 様々な分野でビッグデータの応用が進んでいます。 その中でも企業が競争力を持つための、トレンド予測や需要予測が注目されています。 膨大なデータを解析することで、トレンドの変化や周期的な法則を導き将来を予測することができます。 今回は未来予測を目的としたデータの解析手法につい
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
