タイトルの通り、CausalImpactをPythonで試してみます。 下記本を元にし、RからPythonで書き直し、同様の効果が推定できるか試してみます。 導入 pyが最初につくのに注意します。 pip install pycausalimpact データの作成 statsmodelsのcigarデータを使います。 CausalImpactはデータフレームの一番左をyとし、それ以降が予測に使う変数となるため、その形となるようにpivotと並び替えを行います。 import statsmodels.api as sm df = sm.datasets.get_rdataset('Cigar', 'Ecdat').data #上記本の初期加工を関数化しておく def create_data(df): tmp = df[(df['year']>=70) & (~df['state'].isin

データ分析の仕事をしていると、基本的な表形式のデータ以外では表現しにくい現実事象が存在します。要素と関係性で表現されるネットワークもその一つです。 個人的にはこの形式のデータは、示唆までたどり着きにくいため、ビジネス的な分析とは言いにくいな、とは思います。ただし、探索的にデータを理解したり、プロダクトの機能として使えることは多い分野だと思っているため、タイトルはあえて「データを扱う」にしました。 ネットワーク分析とは networkxはグラフ(ネットワーク)に関するデータの保持/操作をしやすくするパッケージです。 なお、情報がきちんとまとまっているのは以下の書籍です。(クリックするとAmazonにとびます) （感染症のモデルであるSIRモデルや、Word2Vecとの組み合わせなど、応用も多く非常に面白かったです。 ネットワークは繋がりを持つ要素(=ノード)と、その繋がり(=エッジ)で表現さ

この本のRのコードを基に、 Pythonに書きなおして勉強をしています。 ※クリックするとamazonに飛びます 今回は第四章:重回帰分析を行います。 準備 import pandas as pd import numpy as np import Orange 今回は重回帰のモデル構築に、 sklearnではなくOrangeというモジュールを使用します。 これは、Orangeの方がモデルのデータを表示しやすいためです。 (予測をするのであれば、sklearnの方が楽ですが・・・) データの準備 本書によると、扱うデータは ビールの販売データ(被説明変数) 販売促進の施策(説明変数) のようです。 beer = pd.read_csv beer = pd.read_csv("ch4_3_2.txt",sep=" ") beer.head() # Revenue CM Temp Firewo

そろそろ本腰をいれて、Pythonでデータ分析を始めることにしました。 教科書は以下の本を使用します。（クリックするとamazonに飛びます) 元の本はRでデータ分析を行っているので、 それをPythonでやるにはどうやるのか? を何回かに分けてノートとして公開します。 (今回は検定) 環境構築 目的 モジュール 環境 Anaconda IDE IPythonNotebook データ処理 Numpy,Pandas グラフ作成 matplotlib 検定等 Scipy 機械学習 Orange,sklearn 時系列分析 statsmodels 以上を導入しておきます。 第三章:検定 というわけで、上記の書籍の第三章、検定から入ります。 IPythonNotebookを起動してノートをつくります。 まずは、必要なモジュールをimportします。 import numpy as np impor

Pythonのデータ分析は、pandasやnumpyのおかげで大変快適です。 しかしそうは言っても、コード書くほどじゃないんだよなあとか、 まだデータ全然わかんねえんだよなーという時があります。 そんなときに便利なモジュールがpivottablejsです。 というわけで、まずは動画を御覧ください。 pivottablejs pivottable.jsはもともとjavascriptのパッケージです。 インタラクティブにデータを可視化したり、集計することが可能になります。 (人と相談したりしながらの操作も楽ですね!) pythonではpivottablejsというモジュールを導入することで、 これが使用することが可能になります。 使い方 pip install pivottablejs で、導入。 IPython notebook上で、 import pandas as pd from piv

今日も元気にPython記事を手動キュレーションしてると以下の様な記述が Pythonプログラマから見て、Rubyって羨ましいなと思うところ。 Rubyには、デザインパターンに焦点を当てた書籍もある。 デザインパターンといえばGoF(wikipedia:ギャング・オブ・フォー_(情報工学))が有名だけれども、 あれってC++とかJavaを使っている前提のデザインパターンだから、 言語によってはそんなデザインパターンいらねぇよという話になる場合がある。 なので、言語に特化したデザインパターンの書籍ってあると便利。 Pythonにもこういうのが欲しいよね。Rubyって羨ましいよなぁ。 いやいや、Pythonにも全部のせデザパタ本ありますよ! こいつ(クリックするとAmazonに飛びます ) ついでに目次もamazonより引用 1章 生成に関するデザインパターン 1.1 Abstract Fac

自然言語処理については、 前から興味があったのですが、 なかなか学ぶのが難しい。。。 ということで、自然言語処理に強い某社の専門家にお勧めを聞いてきました！ ついでに自分の持っている本も持っていき、 その評価も聞いてきました。 一冊目 入門 自然言語処理 作者: Steven Bird,Ewan Klein,Edward Loper,萩原正人,中山敬広,水野貴明 出版社/メーカー: オライリージャパン 発売日: 2010/11/11 メディア: 大型本 購入: 20人 クリック: 639回 この商品を含むブログ (44件) を見る 私「自然言語処理といえば、これですよね。最初に買ったのがこれでした」 専「え、それ辛くない？」 私「大分」 専「これNLTKを使う前提だしね。独学には向かないんじゃないかな。監督者がいて、かつPythonやったことない人が期間をかけてやるには良いんじゃないかな」

一般化線形モデルとは 一般化線形モデルとは線形回帰やポアソン回帰、ロジスティック回帰などの、説明変数(x)によって応答変数(y)を説明する統計モデルの総称です。 さらに具体的に言うと、確率分布、線形予測子、リンク関数によって決まる統計モデルのことです。 確率分布 応答変数が従う確率分布です。 カウントデータなどの離散データを扱うためには、二項分布やポアソン分布がよく使われます。 株価などの連続量を表す連続データを扱うためには、正規分布やガンマ分布がよく使われます。 線形予測子 説明変数の一次結合で表されるモデル式のことです。 どの説明変数を使用するかであったり、どの交互作用項（説明変数の積で表される項）を使用するかを指定することができます。

モノタロウでは、ITを使った購買プラットフォームを構築することで、これまでの間接資材調達の形を変えてきた。創業当時から、日本ではほとんど利用されていなかったプログラミング言語「Python」に着目。ユーザー向けのECサイト「monotaro.com」から、顧客管理、商品管理、在庫管理、受発注などの基幹システムまで、ほぼすべての領域においてPythonで構築されている。 このため会社全体の正社員のうち、2割以上（約230人のうち50人以上）がIT部門である。2015年4月に入社した新入社員も、30％がIT部門に配属されるなど、エンジニアを積極的に採用している。 Pythonのユーザーカンファレンス「PyCon JP 2015」にも協賛するモノタロウ。最近の大きな取り組みとしては、お客様が商品をバスケットに投入した後の注文画面から注文完了までのステップ数の削減や、類似商品を一覧から効率よく絞り