【厳選】Python実務データ分析でよく使う手法（分析手法編） - Qiita
はじめに データ分析実務において、前処理や集計・可視化後によく行う分析手法をまとめました 前処理編とデータ集計・可視化編の続きです ここでいう「実務」とは機械学習やソリューション開発ではなく、アドホックなデータ分析や機械学習の適用に向けた検証（いわゆるPoC）を指します 領域によっては頻繁に使う手法は異なるかと思うので、自分と近しい領域のデータ分析をしている方の参考になればと思います 今回紹介する分析手法 パレート分析 線形回帰 時系列解析（季節成分分解） 時系列解析（時系列データの相関） ランダムフォレストによる特徴量の重要度 1. パレート分析 対象データ：カテゴリカルデータ 用途：各カテゴリの全体に対する構成比率 ケーススタディ：製品カテゴリ別の売上データ（A~H）に対して、各製品カテゴリの売上傾向を把握したい サンプルデータの生成 A = np.repeat('Cat_A', 15
データ分析の不思議、シンプソンのパラドックスを統計的因果推論から考える - Unboundedly
今回は統計学で有名な「シンプソンのパラドックス」という問題について紹介したいと思います。簡単にいえば、同じデータでも分析の仕方によって全く矛盾したように見える結果が得られるというお話です。データだけ見ると、信じがたいような直感に反する現象がおきるので頭の体操としてとても面白いです。 あまりに有名なパラドックスであるため日本語でも解説がいくつか出ていますが、人によって言っていることが違っていたり、不完全であったりします。多くはシンプソンによるオリジナルの論文を読んでないことから起因するのだと思います。 例えばシンプソンのパラドックスを交絡の問題だと捉える人は多いですが、個人的に不完全だと思います（間違いではない）。このように誤解が広まった歴史的背景も含めて、詳しく書いていきたいと思います。ちなみにアニメのシンプソンズはこの問題と全く無関係です。 そもそもシンプソンのパラドックスとは？ シンプ
I Asked A Computer To Be My Life Coach
Editor's Note: This post accompanies a story that you can hear on the NPR One app by following this link. The words you use betray who you are. Linguists and psychologists have long been studying this phenomenon. A few decades ago they had a hunch that the number of active verbs in your sentences or which adjectives you use (lovely, sweet, angry) reflect personality traits. They have painstakingly
メリットをきちんと理解していますか？ 失敗と成功から考える「テキスト・マイニング」の活用方法
『MarkeZine』が主催するマーケティング・イベント『MarkeZine Day』『MarkeZine Academy』『MarkeZine プレミアムセミナー』の 最新情報をはじめ、様々なイベント情報をまとめてご紹介します。 MarkeZine Day
ISID、東大暦本研と共同で3Dスポーツ動作解析システム「Running Gate」を開発（2015年10月08日）：プレスリリース| ISID
ホーム > プレスリリース > 2015年 >ISID、東大暦本研と共同で3Dスポーツ動作解析システム「Running Gate」を開発 2015年 ISID、東大暦本研と共同で3Dスポーツ動作解析システム「Running Gate」を開発 ～「スポーツ博覧会・東京2015」に参考出展、市民ランナーのフォームをその場で解析・指導～ 2015/10/08 株式会社電通国際情報サービス 株式会社電通国際情報サービス (本社：東京都港区、代表取締役社長：釜井 節生、以下ISID)のオープンイノベーションラボ（以下イノラボ）は、ランニングフォームなどの身体の動きを、従来よりも簡易的な仕組みを用いて3Dデータ化し解析するシステム「Running Gate（ランニングゲート）」を開発しました。本システムは、イノラボが進める研究プロジェクト「スポーツ＆ライフテクノロジーラボ」の一環として、イノラボと東京
pandas - Python Data Analysis Library
pandas is a fast, powerful, flexible and easy to use open source data analysis and manipulation tool, built on top of the Python programming language. Install pandas now!
障害の事後分析を読んで得た教訓 ― 「何がシステムを停止させるのか？」 | POSTD
私はポストモーテム（事後分析）の記録を読むのが大好きです。ポストモーテムを読むと勉強になりますが、大抵の教材的資料とは違って、興味深いストーリーが含まれているのです。相当な時間をかけてGoogleとMicrosoftのポストモーテムを読みました。大きな障害を招く最大の原因について、私は（まだ）きちんと分析していませんが、何度も繰り返し目にするポストモーテムのパターンがいくつかあります。 エラーハンドリング 適切なエラーハンドリングのコードを書くのは難しいものです。エラーハンドリングのコードに含まれるバグは、 大きな 問題を引き起こす主な原因となっています。つまり、エラーによってバグのあるエラーハンドリングのコードが実行されるということは、単に個々のエラーが重なるだけという事態にはとどまらないのです。障害が重なって重大なシステム停止につながることはよくあります。それはある意味明らかなことで、
SNS解析データの活用例として『東京ゲームショウ2014』における人の動態分析事例を公開 | Nightley Inc. | 株式会社ナイトレイ コーポレートサイト
こんにちは、SNS解析データを使った地域動態可視化チームです。 関西圏における人の地域動態の分析事例に引き続き、当社が保有するSNS解析データベースを基にした人々の地域動態の可視化・分析事例として動画と解説を交えてご紹介致します。 【分析アプローチについて】 『東京ゲームショウ2014』の一般公開日における人の流れを分析把握していきます。アプローチ方法としては以下の通りです。 ・SNS解析データベースからの収集と解析 ・複数の動画を通しての人の流れのビジュアライズ ・ユーザが通過する施設の特徴から交通手段を推測して、来訪や帰宅における交通手段ごとの交通量の変化のグラフ化 ・クチコミの詳細を見ていくことで重要な役割を果たしている交通基点の利用傾向の把握 ・ユーザ毎の施設間移動データをアソシエーション解析することでイベント後の移動パターンとして意味があると思われる組み合わせを抽出 【分析の目的
同じデータセットに対するアプローチの違いから見る「データ分析のステージ」 - 渋谷駅前で働くデータサイエンティストのブログ
追記 (2015/02/21) いくつか抜けてるところがあったなぁと思ったので、後から追記や加筆修正してみました。最初のオリジナル版から少し内容が変わっているところがありますがご了承ください。 ちょっと前の記事でこんなネタをやってみたわけですが。 世の中には色々な「データ分析」のやり方があるなぁと思った時に、この同じ2013年のテニス四大大会のデータからそれぞれのやり方をしている人たちがどんな異なるアプローチを取るのかなぁとふと想像したもので、半分ネタ的に書いてみました。便宜的に以下のようにステージを分けてあります。 集計ステージ 検定ステージ 相関ステージ 重回帰分析ステージ 機械学習を含めたモデリングステージ 厳密性に拘るステージ なお、データは以前の記事と同じこちらのものをお使い下さい。 その上で、Rで分析する際は以下のように前処理しておきます。単にプレイヤー名・獲得ゲーム数・総獲得
ウェブ解析士認定講座オフィシャルサイト
ホーム WACAについて WACA(一般社団法人ウェブ解析士協会)とは ウェブ解析士協会 会員制度 ウェブ解析士認定者照会 ウェブ解析士とは ウェブ解析士とは 認定資格 公式テキスト2024 公式問題集 ウェブ解析士インタビュー ウェブ解析士無料体験セミナー 法人会員について 受講可能講座一覧 お知らせ 重要なお知らせ プレスリリース メディア掲載 委員会・研究会の活動 イベント 会員向け 会員向けお知らせ 会員ログイン 支部について デジタルマーケティングを知る ビジネスに必要なスキルをウェビナーでFlashセミナー デジタルツール最前線ToyBox デジタルマーケティングの最新情報ウェブ解析士ナレッジ デジタルマーケティングを学ぶ 「実務に役立つ」 からこそ選ばれる資格ウェブ解析士認定講座 デジタルマーケティングの「実践者」になる上級ウェブ解析士認定講座 世界を変えるウェブ解析士を育て
【CodeIQ】Rで解くデータサイエンティスト問題の解説（R Advent Calendar2012） - iAnalysis 〜おとうさんの解析日記〜
先日より、リクルート様のITエンジニアのための実務スキル評価サービス「CodeIQ」で、データサイエンティストに関する問題を出題させて頂いております（問題集はこちら）。先日12/12のおしゃスタ＠リクルートでも少し解説しましたが、Rでの解答例をお見せする時間がなかったので、この機会にブログで公開します（おしゃスタに関するCodeIQ様のブログはこちら）。去年に引き続き勢いだけで参加したR Advent Calendar 2012でしたが、ちゃんとネタが見つかって良かった！！！でも無計画に参加したらクリスマスイブの日に当たってしまったので、、、日付が変わるくらいにさっさと書いてしまいたいと思います！！！爆 【データサイエンティスト初級問題】 【前提】 とある転職サイトから、「とりあえずデータがあるんだけど、、、」と言われてデータを受け取りました。先方は何をして欲しいかまだはっきりと決まってな
Twitter解析ツール１５種比較レビュー - リアルアクセス解析
お知らせ 2011年版を書きました！以下レビューには古いツールもあるので、新しいバージョンを御覧ください。 何かと話題のTwitterですが、自分のアカウント情報を解析する様々なツールも登場しています。今回はその中から１５種類のツールをピックアップして比較をしてみました。比較表も用意しましたので、必要に応じてダウンロードしてください。 最初に ご存知の方も多いかと思いますが、Twitter自体にGoogleAnalytics等のアクセス解析ツールを導入する事が出来ません。そのため、今回紹介するどのツールでも表示回数・滞在時間といってアクセス解析に関連する情報は取得出来ません。そこで多くのツールはTwitterが公開しているAPIを使って集計及び分析を行っています。 今回のツールのレビューは「見やすさ・使いやすさ」「機能の豊富さ」「独自性（他には無いレポートや機能）」の３つを５点満点で評価を
全て使える！Twitter解析ツール１５種比較レビュー(2011年版） - リアルアクセス解析
前回書いたレビューから1年半。多くのツールが出現し、紹介していたツールで無くなったり、有料化したりしてしまったものもあります。そこで改めて、2011年版のレビュー記事を書かせていただきました。前回からのエントリーは5個、新規に10個のツールをレビューしています。これらのツールは、私自身がビジネスあるいは個人で定期的に使っているツール群です。 最初に 前回は点数をつけてレビューをしましたが、今回は便利なツールを15個ピックアップしているため、試しに点数をつけてみましたが差がほとんど出ませんでした。そこで、今回は点数無しで、ツールの魅力を紹介していきたいと思います。用途によって使いやすいツールを選んでください！ 注意点： ・テストは2011年5月1日〜20日に行っており、その時点での機能情報になります。 ・ここで取り上げていないオススメツールなどありましたら、私のTwitter経由でご連絡くだ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
データ分析コンテストの技術と最近の進展
INオープン教育_報告書ドラフト.docx
挑戦者求む！iAnalysis合同会社 倉橋 一成さん｜CodeIQ
Naruaki TOMAさん(@naltoma)のtwitterでの影響力 (Qrustスコア)
クチコミ＠係長 | 業界No.1ソーシャルメディア分析ツール | 株式会社ホットリンク
ビッグデータのシステムデザイン