毎年恒例、Pythonの本と学び方のまとめ・2019年バージョンとなります. ※2021/1/11更新：2021年版あります ※2020/1/9更新：2020年版もあります, こちらもよろしくおねがいします！ ※ちなみに昨年版はこちら 改めましてこんにちは、Pythonと野球を仕事にしています、@shinyorke（Python歴おおよそ8年）ともうします. なお、Python その2 Advent Calendar 2018 12/24記事でもあります. このエントリーはそこそこ長いので、「最初の方をサクッと読んで、残りはつまみ読み」してもらえると良いかもです！*1 ※もちろん全部読んでも構いません！（それはそれで嬉しい） サクッとまとめると 入り口としての「独学プログラマー」は万人が読んだほうが良い名著 データ分析・解析やりたい人も、Webからやっておくと良いかも（特に前処理） Web

2013年8月10～11日にかけて北大函館キャンパス内で行われた統計勉強会の投影資料です。 2日目 2-3．GLMの基礎 一般化線形モデルの構成要素や、計算の方法について解説します。 サイト作ってます http://logics-of-blue.com/

Rを使って重回帰分析をして、summary関数で重回帰分析に関する情報が見れるとわかったものの、『係数だけ』『自由度調整済み決定係数だけ』がほしい。そう思って取得方法をいろいろ調べてみました。 例によって、使うのは下記のニコ動からのデータ。 nico > nico <- read.table("http://am-yu.net/wp-content/uploads/2013/11/nico1.txt", sep="\t", header=T) > nico.lm <- lm(view~comment+mylist+category, data=nico) > summary(nico.lm) Call: lm(formula = view ~ comment + mylist + category, data = nico) Residuals: Min 1Q Median 3Q Max

Google『お ま た せ』 ついに来ました。以前Ledgeでも紹介し、リリース予告だけで業界を激震させたABテストツール『Google Optimize』無償版公開です。（ベータ版だけど誰でも使える） とりあえずLedge編集部でソッコー触ってみたので、以下「何ができるのか？」と「どう活用するのか？」のまとめとなります。 できない事って逆に何？至れり尽くせりな無償開放 まずは気になる「何ができるんだっけ？」てとこですが、なんと『有料版とほぼ遜色なし』て感じでした。つまり、以前の記事でお知らせした以下の機能がほぼフル装備状態での無償開放になったようなんです。 ※作れるエクスペリエンス数に制限はあるけれど とりあえずできることリストGoogle Analyticsタグにちょっと加工してURL指定すればOK表示された画面をドラッグ＆ドロップ、直接コード編集でいじってテスト作成変更履歴は全部残

自分のためのメモ。 因子分析したら因子分析の結果だけ，構造方程式モデリングしたらパス図だけ，そういうのはちょっと好かない。殆どの場合相関行列があればそういうのは再現できるし，相関行列だって上手に可視化したら，例えば因子分析くらいの見通しはつく。これは，研究報告の透明性というのにもつながる。 ただ論文には紙幅の都合があって，いつでも，というわけにはいかないけど。 とにかく多変数の相関行列に対応するようなデータの可視化について，Rを用いてメモしていく。自分ですぐ忘れてしまうから。 （スクリプトの中に不自然に半角スペースとか入っているのは，hatena記法と変に被るところを避けるため） 散布図行列（SPLOM） 一番てっとり早い方法。 まずRのデフォルト関数で「データフレーム形式」でデータを読み込む。 例えばエクセルからクリップボードにコピーした状態なら， dat<- read="" table

目的 Rの標準で入っているライブラリlibrary(stats)の関数cor.testを使い、変数間の相関行列を求めます。 Rでは、変数のデータフレームを与えて一気に変数間の相関行列を出力させることが可能です。ですが変数が膨大にある場合、相関行列が出力されてもその読みとりは困難です。そこで、相関が強いと判定されたペアのみデータとして出力するスクリプトを作りました。 想定 「相関が強い」の閾値は、絶対値で0.4としています。 母相関係数の無相関の検定の有意水準は5％です。 アウトプットイメージ こんな感じになります（結果はダミーです）。 i列とj列：変数の列番号 cor: 相関係数 p_val : p値 データ準備 全ての列が量的な変数のデータ。 (factorの変数があれば、あらかじめ除去します） 変数ラベルリスト データとは別に変数ラベルリストを用意。 下記のvar_no は連番 ファイ

この記事について Pythonでデータ分析を行う際に役立つセットアップを紹介します。 データ分析に興味がある方はこちらも合わせてどうぞ データサイエンティストに興味があるならまずこの辺りを見ておきな、って文献・動画のまとめ（随時追加） - Qiita 実行環境 Jupyter(旧iPython Notebook) http://jupyter.org/ インタラクティブ（対話的）なコード実行のための環境 データ分析に非常に適していて、慣れると他のIDEなどでは分析ができなくなる。 任意に分けたコードブロックごとに実行し、結果を都度表示出来るほか、 ・グラフのインライン表示 ・数式の記述（Latex） ・マークダウン方式の文章記載 などの機能を備えており、模索しながらの分析作業や、結果の共有・保管などに非常に適する。 iPythonで文章と図表を描くことで論文のような形式で書くことも出来るた

Pythonには「NumPy」や「Pandas」などデータ分析に役立つライブラリが充実しており、中にはPythonからRを呼び出すことができるライブラリもあります。 これからデータ分析を始めるエンジニアのために、Pythonでのデータ分析に関する入門スライドを13個まとめてご紹介いたします。 データ分析の初心者向けのスライドを中心にピックアップしていますので、これからデータ分析を学びたいというエンジニアの方はぜひご覧ください。 【ご自身のデータ分析スキルの価値を知りたい方はご相談ください】 ・市場価値を知りたい方の個別相談会 ・キャリアアップを目指す方の個別相談会 ・転職のタイミングや業界動向を知りたい方の相談会 10分でわかるPythonの開発環境 10分でわかるPythonの開発環境 from Hisao Soyama Pythonを書く前にやっておくべき開発環境の構築についてまとめた

Facebookに書いていると「この前メモしたアレをもう一度見たい」と思ったときに検索でヒットしなくて不便なのでこちらに転載。 - 今回の「組織科学」が「現場における学習」特集で、佐伯胖による記事が載っていて、イリイチのコンビビアリティの概念が出てきて、最終的に学ぶとは他者とコンヴィヴィアルな関係を生み出すことだ、と結論している。面白い。 組織科学 Vol.48 No.2 pp.38-49 佐伯胖 "そもそも「学ぶ」とはどういうことか：正統的周辺参加論の前と後" 正統的周辺参加論が生まれるまでの心理学の流れと、その後の変革の可能性についての話。 1913年にWatsonが「行動だけに注目したら心理学も自然科学になる（逆に言えばそれ以外は科学じゃねーよ）」と言ってから心理学は行動主義の全盛時代になった。この時代の考え方は「行動が起きた直後に報酬を与えたらその行動が強化される」（オペラント条件

『MarkeZine』が主催するマーケティング・イベント『MarkeZine Day』『MarkeZine Academy』『MarkeZine プレミアムセミナー』の 最新情報をはじめ、様々なイベント情報をまとめてご紹介します。 MarkeZine Day

お知らせ (2015年9月30日） 日経ビッグデータ発行の『データプレゼンテーションの教科書』（2014年12月発売）の記事「データビジュアライゼーションのためのフリーツール厳選20」（P.102～105）において、本記事の翻訳文が盗用され、改変の過程で誤訳が生じていました。詳しくは下記リンクをご参照ください。 『データプレゼンテーションの教科書』（日経BPムック）についてお詫びと訂正（日経BP社サイト） この記事はThe top 20 data visualisation toolsの原著者許諾済みの日本語訳です。 Brian Sudaが、データをクリーンアップし、すてきなビジュアライゼーションを作成する20のツールと学習情報を紹介します。 Original Article by Brian Suda. Translated by Tatsuo Sugimoto. この記事では、フリーで

『MarkeZine』が主催するマーケティング・イベント『MarkeZine Day』『MarkeZine Academy』『MarkeZine プレミアムセミナー』の 最新情報をはじめ、様々なイベント情報をまとめてご紹介します。 MarkeZine Day

前回は、まだあまり世間で認知されていないが、実はビッグデータを手軽に分析できるツールが世に出回っていることや、分析手法もシンプルなもので十分に新しい発見ができることを紹介しました。 手軽なビッグデータ分析を実施することによって、企画部門やマーケティング部門が、新たな施策アイデアの抽出や、数字のエビデンスに基づくスムーズな合意形成、適切なKPIの設定ができるようになるということもお伝えしました。 そこで今回はまず、手軽にできるビッグデータ分析ツールにはどのようなものがあるのか、具体的に紹介していきます。 少ない投資で手軽にできるツールの3つの条件 私が所属するギックスでは、手軽に利用できるツールの選択基準を3つ設けています。 具体的には「安価ですぐに利用でき」「プログラミングのスキルが必要なく」「サクサク動く」という3つの条件を満たすものと定義しています。企画部門やマーケティング部門が生デー

電力使用量が増える夏に向けて、大規模な停電を回避できるか。電力消費の3割を占める家庭の節電もカギとなる。3月の東日本大震災後の計画停電の実施をきっかけに、家庭の節電意識は着実に高まっている。住環境計画研究所（東京・千代田）が東京電力管内の約1000世帯を対象にした調査では、4月分の電力消費量は前年同月比7.8%減少、政府が家庭での目標としている15%の節電を達成した世帯は3割を超えた。震災後