http://bdm.change-jp.com/?p=3072
実務で使う統計手法は、５つ。すごい、そんなシンプル？
このセミナー、冒頭の渋谷 直正さん(日本航空 旅客販売統括本部Web販売部 1to1マーケティンググループ アシスタントマネジャー)のお話がとても参考になりました。 まず、渋谷さんはご存知のように、2014年に「データサイエンティスト・オブ・ザ・イヤー」を受賞され、ビジネス・サイドにおける、データサイエンスのリーダー的存在です。 その渋谷さんの「実務で使う分析手法は５つで十分、マーケターこそデータサイエンティスト候補」という講演は、多くの示唆に富んだものでした。 まず、みなさんが気にしている５つの手法とは、 クロス集計 ロジスティック回帰 決定木 アソシエーション分析 非階層的クラスター分析（k-meansなど） の５つです。統計の教科書にはさまざまな手法が出てきますが、マーケターが実務で使うのはこの５つ程度だと説明されるのです。でも、この説明には、私も思い当たる部分があります。東大の数学
「事業を推進するためのデータを見える化する」データマイニングエンジニアの仕事内容 : LINE HR Blog
LINE株式会社では現在、データマイニングエンジニアの採用に注力しております。今回はデータ分析システムの開発・運用の担当者にデータエンジニアリング業務について聞いてみました。 ――まずは、簡単に経歴から教えていただけますか？ 10年間ほど東工大で教員をしており、2014年にLINEへ入社しました。専門は自然言語処理・情報検索・テキストマイニングです。現在は、データ分析システムの開発・運用を担当している分析プラットフォームチームでマネージャーをしています。 ――分析プラットフォームチームではどのような仕事をしていますか？ どのようなサービスでもそうだと思いますが、運用するときには必ずデータをとっています。アクティブユーザーの推移だったり、売上の変化だったり、KPIだったりと様々です。分析プラットフォームチームではLINEに関わるあらゆる各種ログデータを、サーバーやクライアントから集めデータの
トピックモデルを用いてWeb小説のジャンル・流行を分析しよう - #kichi-memo
はじめに この記事は京大マイコンクラブ(KMC)の2012年度春合宿で発表したものを文章にまとめたものです．余談ですが，KMCはただいま絶賛新入部員募集中ですので，コンピュータ/プログラミング/DTM/イラスト制作に興味がある人は是非説明会でお越しください (宣伝)． トピックモデルを用いてWeb小説のジャンル・流行を分析しよう from Seiichi KONDO 概要 皆さんは「小説家になろう」という小説投稿サイトをご存知でしょうか？そこそこライトノベルを読まれる方なら，一度ぐらい名前を聞いたことがあるのではないかと思います．と言うのも2010年頃から，「小説家になろう」発祥の小説が様々なライトノベルレーベルから発売されるようになったからです．有名どころですと「ログ・ホライズン」や「魔法科高校の劣等生」が挙げられるでしょうか． こうなるとラノベ読みとしては注目せざるを得ません．というわ
「データサイエンティストはつらいよ」、注目職種も求人が多くない理由
関連キーワード BI（ビジネスインテリジェンス） | データ | データサイエンティスト | データ分析 セルフサービス型BIの利用意向 出典：IDC Japan（TechTargetジャパン記事「“やるかやらないか”で二極化するビッグデータ活用 一般企業への浸透が進む」から）《クリックで拡大》 データサイエンティストは「21世紀で最も魅力的な職業」と呼ばれている。データサイエンティストは、将来のビジネスシナリオを予測したり、延々と数字が並んでいる未加工のデータから有益な事実を見つけたりすることができる。このように、魔法のような偉業を成し遂げられることを考えれば、データサイエンティストがこのように呼ばれているのは驚くべきことではないだろう。だが、大きく取り沙汰されているにもかかわらず、企業側ではデータサイエンティストに対して特別高い需要があるわけではない。 最近では、魅力の面でデータサイエ
無印良品、顧客満足度の高さは「ビッグデータ」活用術にあった！ | ZUU online
（写真＝良品計画HPより） 良品計画 <7453> は、国内約400店舗展開している無印良品の店舗、オンラインストアの「無印良品 ネットストア」、スマートフォン向けアプリ「MUJI passport」、公式Twitterなどの利用者から日々集まる膨大なデータを分析・活用するビッグデータ活用基盤として、日本マイクロソフトのクラウドサービス「Microsoft Azure」と「Microsoft Power BI」を採用し、2015年4月1日より運用を開始した。 「顧客時間」の徹底分析 その背景には、近年のスマートフォンなどのモバイル端末とSNSの普及による顧客との接点の変化がある。これまで顧客との接点は、商品の確認や購入など来店時に限られていた。 だが、スマートフォンなどのモバイル端末とSNSの普及で、誰もがいつでもどこでも情報発信できるようになり、企業からの一方的な情報が顧客に届きにくくな
MBAで教えるエクセル回帰分析結果の読み方
補正 R2 Ｒ２の数値はこのモデルで事象の何％を説明できるか表しています。１に近いほど完璧なモデルです。補正R2は重決定 R2の数字から、変数の多さを割り引いての数字ですので、決定R2でなくこちらの数字を参考にしてください。（重決定 R2はさして意味がない変数が加わったとしても数字が大きくなる性質があります。）モデルはシンプルである方がわかりやすいので、いくら変数が有意であるとはいえ、この補正 R2や標準誤差に少ししか貢献しない変数は採用しないことがよくあります。 多くの専門家は９０％以上あれば、R2が高いと言っています スポンサーリンク 標準誤差 標準誤差とはの頁を参照のこと。 ｔ値、P値、Z値 P値とはを参照のこと 有意 Ｆ Ｆ値は全ての係数が０である可能性は何％であるかを表しています。通常、P値やt値で個別の変数が０である可能性を判断していきますので、F値を見ることはあまりありません
Excelで統計処理～回帰分析
Excelによる回帰分析 例えば，このようなデータを分析してみましょう．これは男女100人の身長，体重のデータ（仮想）です．以下の様にExcelの表の上にデータが並んでいたとします． ※データはこの後にもならんでいます． ここでは，女性の身長が，自身の体重と父親の身長とどのような 関係にあるかを重回帰分析してみます． 【手順】 メニューバーの「ツール」 「分析メニュー」 「回帰分析」 すると，次のダイアログが現れます．データ範囲，出力範囲を設定し，「OK」ボタンをクリックします． 図中の「入力Ｙ範囲」には，従属変数（被説明変数），「入力Ｘ範囲」には 独立変数（説明変数）を示す範囲を入力します． 残差や正規確率などのオプションを選択し，出力先を指定したら，「ＯＫ」 ボタンをクリックして，分析を行ないます． ※注意１ 上記の図中に「定数に0を使用」という項目がありますが，これを指定して回帰した
R Financial & Marketing Library | R & R Libraries with Mac
RMeCabパッケージを使用して、RでMeCabを用いて、 形態素解析を行ないます。 そのために、まず MeCab をインストールする必要があります。 MeCab のインストールや設定についてはこちらに記載しております。 RMeCabパッケージを読み込みます。 RMeCabC()関数を使用して、文字列を形態素解析してみます。 文字列は何でもよいですが、 ここではとりあえず、どらちゃんの歌でも入力してみました。 こんな感じで結果が返されます。 次は、RMeCabFreq()関数を使用して、ファイルを読み込んでみます。 こちらは青空文庫から、 夏目漱石さんの「吾輩は猫である」を使用させていただいております。 青空文庫 夏目漱石 吾輩は猫である のページ 今回は関数の確認であるため特別な加工をせず、 単純にこのデータをテキストファイルにしています。 ダウンロードのところ
Keen IOでグロースハックするための分析をする - yujilog
グロースハックというキーワードがちょっと前から流行っていますが、Webサービスの利用状況の分析、何で行っていますか？GoogleAnalytics？MixPanel？ でもGoogle Analyticsではトラフィック分析がメインだし、MixPanelはサマりすぎ、もっといろんな切り口で分析したい！ そこで、とりあえず分析したい項目だけがんがん入れたJSONを送り込んだあとで分析できるKeen IOというサービスがあります。 Keen IOは月間のイベント数が50,000までは無料で利用できますが、それ以降は有料になります。全トラフィックを送るとすぐイベント数が超過してしまいますが、必要なものだけ送るのであれば十分ですね。 サービスが利用されるようになれば売上もあがるようなサービスであれば、費用もそこまで問題にならないのではないでしょうか。 イベントを送信したり閲覧したりするためのSDK
当社データサイエンティストがこよなく愛している『mコマンド』で数億行を高速集計する話 - ハウテレビジョンブログ
どうも。 1月に入社したばかりの、データ分析担当のn_maoです。 と言いながら、最近はHTMLとjsばかりいじっております。 それはそれで楽しいです。 さて今回はデータ分析のざっくりとした仕事内容と、その分析にかかる手間を省くツールをご紹介します。 データ分析の仕事 まずは私の行っているデータ分析という仕事の内容をご紹介します。 私の主な仕事は大きく分けて４つです。 売上げ、会員登録数などの簡単な集計&自動レポーティング データベースからの知識発見（いわゆるデータ分析） 分析結果をもとにした企画立案 実施された企画の効果検証 あくまで私個人の仕事内容であり、データ分析者全員に当てはまるわけではありません。 アルゴリズムの研究開発の方や、インフラ寄りの方もいらっしゃるでしょう。 ですが、同じ職種の方で業務範囲が被っている方も少なからずいらっしゃると思います。 これら４つの業務の中で一番時間
データの扱い方・読み方がわかる！ 実践的なビジネスデータ分析の入門書『楽しいR』著者インタビュー
『MarkeZine』が主催するマーケティング・イベント『MarkeZine Day』『MarkeZine Academy』『MarkeZine プレミアムセミナー』の 最新情報をはじめ、様々なイベント情報をまとめてご紹介します。 MarkeZine Day
統計学(笑)データ分析(爆笑)
ある大手チェーンのスーパーであったこと。 そこは東京近郊の駅前にあって24時間営業の店なんだけど、朝の6時～8時はレジを2～3台で回していた。 でもある日、上の意向でこの時間のレジは基本1台のみで回すことになった。 レジの回転率の数値を見て1台で充分回せるとわかったため経費削減の判断だ。 しばらくレジは1台で回していたのだが、ほどなくしてこの時間帯の来客・売上げはかなり落ちてきた。 レジの稼動を1台に絞れという判断は、来客が少ないのにレジに余計な人件費をかけるという 無駄を事前に防ぐことができたとその判断自体はそれなりに評価されたらしい。 でもこの時間帯に現場で働いている人間はバイトでも知っている。 来客数・売上げが落ちた理由は稼動レジを1台に絞ったためだ。 確かにレジ1台でも充分裁くことができる来客数だったんだけど1台だと常にレジに列ができている状況だった。 この時間帯に来る客は、主に通
R言語による アソシエーション分析－組合せ・事象の規則を解明する－（第５回R勉強会＠東京）
第41回IBISML研究会 https://www.ieice.org/ken/program/index.php?mode=program&tgs_regid=fcaa63fc93919d63c192941825025f97dfeb046f102fa4fa2c046abe6dc556ce 【講演タイトル】 “機械学習の説明”の信頼性 【講演概要】 機械学習を実社会で利用する上での課題の一つに「機械学習モデルはブラックボックスで説明ができない」点があげられる。このようなモデルのブラックボックス性の問題を解消するために、ここ数年では機械学習モデルの“説明”の研究が活発になされている。しかし、これらの“説明”そのものの信頼性に課題があることが最近の研究で明らかになってきている。本講演ではこれら“説明”の信頼性に関する最近の研究について紹介する。
R -- スミルノフ・グラブス検定
スミルノフ・グラブス検定 Last modified: Aug 21, 2009 目的 スミルノフ・グラブス検定を行う 注意！ 結果は2組表示されるが，前者は最小値についてのもの後者は最大値についてのものである どちらか片方だけを利用すること 使用法 SG(x) 引数 x データベクトル ソース インストールは，以下の 1 行をコピーし，R コンソールにペーストする source("http://aoki2.si.gunma-u.ac.jp/R/src/SG.R", encoding="euc-jp") SG <- function(x) # データベクトル { method <- "スミルノフ・グラブス検定" data.name <- paste(c("min(", "max("), deparse(substitute(x)), ") = ", range(x, na.rm=T
Webデータ分析＆データサイエンスで役立つ統計学・機械学習系の分析手法10選 - 銀座で働くデータサイエンティストのブログ
追記 2016年3月に以下の記事によってこの内容はupdateされています。今後はそちらをお読み下さい。 主に自分向けのまとめという意味合いが強いんですが（笑）、僕が実際に2013年6月現在webデータ分析＆データサイエンスの実務でツール・ライブラリ・パッケージを利用しているものに限って、統計学・機械学習系の分析手法を10個挙げて紹介してみようと思います。 追記 回帰分析（特に線形重回帰分析） 独立性の検定（カイ二乗検定・フィッシャーの正確確率検定） 主成分分析(PCA) / 因子分析 クラスタリング 決定木 / 回帰木 サポートベクターマシン(SVM) ロジスティック回帰 ランダムフォレスト アソシエーション分析（バスケット分析・相関ルール抽出） 計量時系列分析 おわりに おまけ1：「素性ベクトル＋分類ラベル」なるデータ前処理 おまけ2：グラフ理論*10 {igraph}パッケージでグラ
グーグルアナリティクスで、コホート分析をやってみた【初心者用に解説プラス】 - 鈴木です。別館
2015年1月28日更新 昨日のエントリーが、過去最大でバズって、おっかなびっくりの鈴木です。 来て頂いた方、またいつも来て頂けている方、本当にありがとうございますm(__)m 500以上のはてブって、都市伝説みたいなものだと思っていました(^^; Googleアナリティクスのコホート分析で、特定条件ユーザーの行動変化や定着率を把握する | 真摯のブログ 真摯のブログ ～コホート分析～ 最近参考にさせて頂いている「真摯のブログ」さんにあった、コホート分析をやってみました。 ただ、初心者だとこの解説だと少し手間取るかな？と思ったので、少し解説をプラスしてみます。 コホート分析については、真摯のブログさんのエントリーを参考にして下さい。 コホート分析とは コホートとは、ある特定の条件や属性をもった集団（ユーザーグループ）のことで、コホート分析は、時間の経過に伴いそのコホートの行動がどのように変
今年からウェブ業界に務めた人にお薦めしたい本１０冊 - 鈴木です。別館
いい年して、まだまだウェブ業界歴は短い鈴木です。 この年齢から、経験無しでこの業界に移る人は少ないと思います。そんな鈴木がウェブ業界に勤めだして間もない方にお薦めしたい本１０冊を紹介します。 WACA初級ウェブ解析士 認定試験公式テキスト第5版 作者: WACA 一般社団法人ウェブ解析士協会,WACA 一般社団法人ウェブ解析士協会カリキュラム委員会 出版社/メーカー: WACA 一般社団法人ウェブ解析士協会 発売日: 2014 メディア: 大型本 この商品を含むブログを見る 初級ウェブ解析士という試験の教本ですが、この資格を受ける受けない関係なしに読んでおいて損の無い１冊です。ウェブ業界にいる以上覚えないといけないアクセス解析やウェブマーケティングの事が体系的に学べます。しかし、この書籍で学べるのは表面上の体系です。ただ、繋がりが見えてくるので、その中で自分で覚えないといけない事を中心に他
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
食べログの口コミデータを分析、“二郎愛”の高い都道府県はどこ？【無料公開記事】 - 日経BigData
ついに人工知能が銀行員に「内定」 IBMワトソン君 - 日本経済新聞
