当社データサイエンティストがこよなく愛している『mコマンド』で数億行を高速集計する話 - ハウテレビジョンブログ
どうも。 1月に入社したばかりの、データ分析担当のn_maoです。 と言いながら、最近はHTMLとjsばかりいじっております。 それはそれで楽しいです。 さて今回はデータ分析のざっくりとした仕事内容と、その分析にかかる手間を省くツールをご紹介します。 データ分析の仕事 まずは私の行っているデータ分析という仕事の内容をご紹介します。 私の主な仕事は大きく分けて４つです。 売上げ、会員登録数などの簡単な集計&自動レポーティング データベースからの知識発見（いわゆるデータ分析） 分析結果をもとにした企画立案 実施された企画の効果検証 あくまで私個人の仕事内容であり、データ分析者全員に当てはまるわけではありません。 アルゴリズムの研究開発の方や、インフラ寄りの方もいらっしゃるでしょう。 ですが、同じ職種の方で業務範囲が被っている方も少なからずいらっしゃると思います。 これら４つの業務の中で一番時間
twitterアカウント特定ヒューリスティックの紹介
簡便なtwitterアカウント特定のためのヒューリスティックを思いついたけど自分のブログで紹介したくなかったのでここで紹介する． 先行研究twitterに関する特定には， とあるtwitterアカウントの本名や住所などを特定したい (いわゆる「バーチャル」から「リアル」) (本名や趣味などがわかっている，あるいは同じ場所にいる)とある人のtwitterアカウントを特定したい (「リアル」から「バーチャル」)などがある．ざっと調べた感じだと，前者の例としては 【注意】こんなにあった！あなたの自宅が特定されるツイートまとめ - いまトピネットでヘイトスピーチを垂れ流し続ける 中年ネトウヨ「ヨーゲン」（57歳）の哀しすぎる正体【前編】 | 現代ノンフィクション | 現代ビジネス [講談社]ネットでヘイトスピーチを垂れ流し続ける 中年ネトウヨ「ヨーゲン」（57歳）の哀しすぎる正体【後編】 |
Rでスポーツデータ解析がしたい: 千秋楽での勝率 - 300億円欲しい
はじめに 前回, 大相撲のデータを正しく作るのが辛い, ということを書きました. Rでスポーツデータ解析がしたい: データを作るのって大変ですね - 300億円欲しい まだ整形できていないのですが, 現段階で可能な解析をしたいと思います. 八百長問題が気になりますので, 千秋楽の勝率を集計してみます. 先行研究 大相撲のアノーマリー. 2010年に書かれた記事です. 八百長がありそうかどうか, という解析です. 実践！ Rで学ぶ統計解析の基礎（8）：大相撲のアノーマリー （2） (2/2) - ＠IT もしも、この計算の追試や、何らかの追加計算をされた方がいらっしゃったら、是非ともその結果を教えてくださることを熱望します。 また、1999年以前10年間程度の十両・幕内の勝敗データを持っていらっしゃる方がおりましたら、そのデータを提供いただければ、より一層踏み込んだことが分析できると思います
2014年度！有名アプリのDAU、MAU、アクティブ率まとめ：スマートフォン＆ソーシャル@trendism：オルタナティブ・ブログ
2014年度もあと1ヶ月ほどとなりましたね〜早いものです。そんな年末が近いからなのか、日々アプリビジネスに関する色々な相談を多数もらいます。ありがたい話っす。 そんな中で、2014年度を振り返る上でも、アプリビジネスをする上で、あらためて感覚値の認識を深めておきたいよね〜と思いまして、有名アプリのDAU、MAU、アクティブ率をまとめてみました。 アプリビジネスをする方は、ぜひ参考にしてみてください。 と言いつつ、結論から言うと、FULLER株式会社（http://fuller.co.jp/）さんの「App Ape Analytics」が今月中まで無料で一部のアプリの統計Dataを公開してくれているので、調べまくって、それを元にアクティブ度合いを分析してまとめみました！という話です。 こちらのツールですよ ⇒ http://analytics.appa.pe/index.html ちなみに、
ネットに関するあらゆるデータを分析した「インターネットトレンド」2014年度版でわかること
By AK Rockefeller ベンチャーキャピタル「クライナー・パーキンス・コーフィールド・アンド・バイヤーズ」のアナリスト、Mary Meekerさんが毎年公開している、インターネットに関するありとあらゆるデータを分析した「インターネットトレンド」の2014年度版が発表されました。2014年でインターネットのトレンドはどのように変化したのか、その詳細が分かる内容になっています。 2014 Internet Trends — Kleiner Perkins Caufield Byers http://www.kpcb.com/internet-trends Meekerさんの分析によると、インターネットの成長速度は去年に引き続いて減速しており、成長率は10％を切ってしまったとのこと。一方スマートフォンの成長率は20％で、インターネットを上回っていますが、こちらも成長速度は減速。対照的
日立と博報堂、ビッグデータで取り扱う生活者情報に関する意識調査を実施
『MarkeZine』が主催するマーケティング・イベント『MarkeZine Day』『MarkeZine Academy』『MarkeZine プレミアムセミナー』の 最新情報をはじめ、様々なイベント情報をまとめてご紹介します。 MarkeZine Day
サッカーＷ杯優勝のドイツ代表が8年間改善してきた「数字」とは？
IT&ビジネス 業界ウォッチ IT業界で話題の新サービス・新製品のニュース、これから話題になりそうな新ツール、知っておきたい各種の統計調査……などなど、経営効率化に寄与するIT業界の今のうごきをレポートします。 バックナンバー一覧 開催国ブラジルを撃破し、決勝戦ではアルゼンチンにも競り勝って、24年ぶり4度目のワールドカップ優勝を成し遂げたサッカーのドイツ代表。 この栄光を手に入れるための戦いは、8年前の2006年から始まっていた。 2006年Ｗ杯の開催国だったドイツは、直前の予想よりは善戦したとはいえ、地元で優勝を遂げることはできず3位に終わった。大会後に代表監督に就任したヨアヒム・レーヴ氏に、代表チームの再強化が託された。 レーヴ監督は、就任直後に「選手がボールを保持している時間を最小化する」という極めてシンプルな目標を掲げた。つまり、試合中にマイボールになったらできるだけ早く味方選手
データ分析というお仕事のこれまでとこれから(HCMPL2014)
第6回 統計・機械学習若手シンポジウムの公演で使用したユーザーサイド情報検索システムについてのスライドです。 https://sites.google.com/view/statsmlsymposium21/ Private Recommender Systems: How Can Users Build Their Own Fair Recommender Systems without Log Data? (SDM 2022) https://arxiv.org/abs/2105.12353 Retrieving Black-box Optimal Images from External Databases (WSDM 2022) https://arxiv.org/abs/2112.14921
超文系がデータ分析を仕事で使うコツ：日経ビジネスオンライン
ビッグデータをいかに活用するかが注目を集めている昨今。統計学の本がベストセラーになるなど、データ分析にかかわる“理系の知識”の必要性を感じている人は多い。一方で、営業やマーケティングに携わる一般ビジネスパーソンはいわゆる“文系”がほとんどだろう。 そこで、大阪ガスの企業内データサイエンティストとして著名かつ、文系の営業マンらと長年協働してきた経験を持つ同社ビジネスアナリシスセンター所長の河本薫氏に、文系の人でも、データ分析を理解し、仕事で使いこなすには何をすればいいのかを聞いた。 （聞き手は三木いずみ） 河本さん自身は、データサイエンティストで理系ですが、社内の事業や経営に分析結果を生かす際には、企画や営業といった文系の人と仕事をされることも多いかと思います。 河本：そうですね。営業の現場の人から話を聞きながら、分析モデルを作りますし、出てきた分析結果の数字について、最終的にどう活用するか
テレビCMの投下量と検索数、そして売上げとの相関関係は？オフラインアトリビューションの基本【アトリビューション編：第6回】
『MarkeZine』が主催するマーケティング・イベント『MarkeZine Day』『MarkeZine Academy』『MarkeZine プレミアムセミナー』の 最新情報をはじめ、様々なイベント情報をまとめてご紹介します。 MarkeZine Day
テレビCMの投下量と検索数、そして売上げとの相関関係は？オフラインアトリビューションの基本【アトリビューション編：第6回】
『MarkeZine』が主催するマーケティング・イベント『MarkeZine Day』『MarkeZine Academy』『MarkeZine プレミアムセミナー』の 最新情報をはじめ、様々なイベント情報をまとめてご紹介します。 MarkeZine Day
５年後のデータサイエンティスト
SocialWeb Conference vol.5 〜OpenSocial Night #2〜 にてお話させいただいた資料です。 相当うわべだけの話ですが、ご容赦いただければ･･･。
世界40か国のフェイスブック人口推移
『MarkeZine』が主催するマーケティング・イベント『MarkeZine Day』『MarkeZine Academy』『MarkeZine プレミアムセミナー』の 最新情報をはじめ、様々なイベント情報をまとめてご紹介します。 MarkeZine Day
データサイエンティストに必要な3つのスキル | quipped
久しぶりにタイトルで釣りにいっているが、ブラウザの「戻る」ボタンを押さないでくれw ... ... ... （よし、まだ「戻る」ボタンを押してない！） ぼく自身、データサイエンティストだったことはないが、一応大学では数学を勉強していたし、金融でクオンツトレーダーもやっていたし、人生3回分（と言ったら言い過ぎか）くらいのSQLクエリは書いている。なので、これから書くことは、本屋に立ち並ぶ歯の浮く様なビッグデータ談義よりは、普遍的な価値があると自負できる。 もう一つ本題に移る前に、「データサイエンティスト」という呼称について感じる両価的な感情について軽く説明したい。 ぼくは幸いにも優秀な同僚や友人に恵まれていて、彼らの中には、データ分析屋さんでありながら、データを集めてきて（広義の）データウェアハウスに突っ込むという非常に面倒くさい一連の作業もちゃっちゃか出来る奴が2、3人いる。そういうマルチ
進撃の巨人を読んだことない人がデータだけでキャラを推測してみる - あんちべ！
はじめに 最近超人気の漫画として私のTwitter TLを賑わす作品、その名も「進撃の巨人」。 これだけ人気なんだからきっと面白いに違いないのですが、 なんか絵が怖そうだし、人がバンバン死んでてグロいっぽいという噂を聞くので、 なんとか漫画を読まずに、それでいて進撃の巨人のキャラについては知りたい、 そう願う潜在的進撃の巨人ファンも全国に70万人くらいいらっしゃると思います。 そこで、データから進撃の巨人にどんなキャラが登場するか推測してみましょう。 扱うデータとして、pixivのタグ情報を利用します。 商品レビューコメントなどとは違い、ファンの創作活動がダイレクトに反映されるサービスなので、 そこに付与されるタグ情報は、ファンの熱（過ぎる）いメッセージが込められているに違いありません。 今回、以下のような縛りを入れています。 1．勿論原作は見ない 2．pixivのタグ情報は参照するけど、
なぜコンフェデ杯で全敗したのか!?データが示す日本代表の意外な弱点。（木崎伸也）
イタリアには善戦したものの、終わってみれば3戦全敗と惨敗した日本代表。ザッケローニ監督は「どこを強化するかというところがはっきり見えてきた」と語ったが、W杯まで残り1年で巻き返せるか。 「私たちの分析システムでは、ゴール前でタックルが成功すれば、 サイドのライン際で成功するよりも高いポイントを得る」 （FIFAに分析データを提供しているカストロール社） はたして日本は強いのか、弱いのか――。 コンフェデレーションズカップで3連敗したことで、ザッケローニ監督および選手への評価が揺れている。一部のメディアでは監督を替えるべきではないかという声が出ているほどだ。 ただ、ザックが練習を非公開にして戦術の細部と全貌を明かしていないため、批判も抽象的なものが多く、具体的に何が良くて、何が悪いか、はっきりさせられていない印象がある。 こういうときは主観を排除し、データをヒントにすると見えて来るものがある
2013年東京都議選の簡単なデータ分析: 311後の日本の政治論壇
東京都議選について簡単な分析を行ったのでここで紹介しておきたい。 自公圧勝の背景 都議選についての個人的な注目点は、現在の安倍自民党の世論調査に見られる数値上の「好調さ」がどの程度選挙結果に反映されるかである。2012年衆院選では、自民党は議席数では大勝を収めたものの、得票数などのデータは大敗を喫した2009年に比較しても悪化していた。有権者のうち比例区で自民党に投票した割合（絶対得票率）は17%以下であった。その後、株価の上昇等に代表される景気の気の部分の向上もあり、安倍内閣と自民党の支持率は高く推移している。 しかし、世論調査結果と選挙結果は単純にリンクするものではない。また内閣支持率は、政党支持が流動化している現在では乱高下しやすい状況にある（『「政治主導」の教訓』所収の拙稿参照）。世論調査だけでなく、実際の選挙結果でも、安倍自民党の支持が着実に浸透しているのかどうか、2012年
分析方法は「特性」と「変数」で変わる 精度が高いデータ解析を行うために重要な4つのS
『MarkeZine』が主催するマーケティング・イベント『MarkeZine Day』『MarkeZine Academy』『MarkeZine プレミアムセミナー』の 最新情報をはじめ、様々なイベント情報をまとめてご紹介します。 MarkeZine Day
テレビ視聴率が1％増加するのに必要なツイート量は？ ニールセンが、ツイッターとテレビ視聴率の相関関係を分析
『MarkeZine』が主催するマーケティング・イベント『MarkeZine Day』『MarkeZine Academy』『MarkeZine プレミアムセミナー』の 最新情報をはじめ、様々なイベント情報をまとめてご紹介します。 MarkeZine Day
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon.co.jp: 入門 ソーシャルデータ ―データマイニング、分析、可視化のテクニック: Matthew A. Russell (著), 奥野陽（監訳） (翻訳), 佐藤敏紀（監訳） (翻訳), 瀬戸口光宏（監訳） (翻訳), 原川浩一（監訳） (翻訳), 水野貴明（監訳） (翻訳), 長尾高弘 (翻訳): 本
