Cloudera World Tokyo 2016 有賀発表 データサイエンスを含めたチームづくりと、機械学習を活かしたプロダクトの作り方について話しました。Read less
大規模データに対するデータサイエンスの進め方 #CWT2016
Cloudera World Tokyo 2016 有賀発表 データサイエンスを含めたチームづくりと、機械学習を活かしたプロダクトの作り方について話しました。Read less
『 データ分析基盤Night #2 』に参加してきた #データ分析基盤Night - 試纏
データ分析基盤Night #2 - connpass 2017/04/26 データ分析基盤Night #2 #データ分析基盤Night - Togetterまとめ 前回第1回に引き続き抽選に当たったのでこの日参加してきました。 『 データ分析基盤Night #1 』に参加してきた #データ分析基盤Night - 試纏 会場は株式会社FiNC様＠有楽町。有楽町駅ビックカメラのすぐ隣、交通の便は超良い場所です。 会場内もとてもオシャレで綺麗なオフィスでした！ 挨拶 ウェルネスタイム(軽いストレッチ) by FiNC FiNCの分析基盤の概要 発表資料 発表内容 freee のデータ分析基盤の全容 発表資料 特徴：他のサービスとどこが違うのか 構成：アーキテクチャ マーケティング 販売・サポート エンジニア ダッシュボード バッチ処理 辛み 展望・チャレンジ まとめ mercariのデータ分析基
サイバーエージェントにおけるデータの品質管理について #cwt2016
第45回Elasticsearch勉強会のLTスライドです。 BERTモデルをElasticsearch v8.0.0-beta1 にインポートして利用します。
「ネット言論のダークサイド」を計算機で解析する
— データ分析による報道の技術とその再現性 — 概要英ガーディアン社は、ウェブ版の記事に寄せられた大量のコメントを計算機により解析し、コメントによるハラスメントの傾向を分析した。同社はそれに用いた技術的側面も公開したため、その詳細について検討した。このようなデータ分析は報道の現場でも今後重要度を増し、プロセスの透明性や解析の再現性といった、科学論文執筆関わる諸問題に類似した課題に直面すると予想される。それらの解決に利用可能な技術についても検討した。 はじめにCMSの普及以後、個人ブログに限らず、コメント欄を開放している大手メディアのウェブサイトもよく見かけます。大手の場合、管理者があまりにひどい罵詈雑言などは各社の規定に基づきブロックしますが、そうでないものは基本的には掲載されます。大手になればなるほどサイトを訪れる人も増え、このモデレーションの作業が大変になるため、労力に対して吊り合わな
アドネットワークのデータ解析チームを支える技術
PyConJP 2015にて発表 https://pycon.jp/2015/ja/schedule/presentation/61/Read less
当社データサイエンティストがこよなく愛している『mコマンド』で数億行を高速集計する話 - ハウテレビジョンブログ
どうも。 1月に入社したばかりの、データ分析担当のn_maoです。 と言いながら、最近はHTMLとjsばかりいじっております。 それはそれで楽しいです。 さて今回はデータ分析のざっくりとした仕事内容と、その分析にかかる手間を省くツールをご紹介します。 データ分析の仕事 まずは私の行っているデータ分析という仕事の内容をご紹介します。 私の主な仕事は大きく分けて４つです。 売上げ、会員登録数などの簡単な集計&自動レポーティング データベースからの知識発見（いわゆるデータ分析） 分析結果をもとにした企画立案 実施された企画の効果検証 あくまで私個人の仕事内容であり、データ分析者全員に当てはまるわけではありません。 アルゴリズムの研究開発の方や、インフラ寄りの方もいらっしゃるでしょう。 ですが、同じ職種の方で業務範囲が被っている方も少なからずいらっしゃると思います。 これら４つの業務の中で一番時間
統計学(笑)データ分析(爆笑)
ある大手チェーンのスーパーであったこと。 そこは東京近郊の駅前にあって24時間営業の店なんだけど、朝の6時～8時はレジを2～3台で回していた。 でもある日、上の意向でこの時間のレジは基本1台のみで回すことになった。 レジの回転率の数値を見て1台で充分回せるとわかったため経費削減の判断だ。 しばらくレジは1台で回していたのだが、ほどなくしてこの時間帯の来客・売上げはかなり落ちてきた。 レジの稼動を1台に絞れという判断は、来客が少ないのにレジに余計な人件費をかけるという 無駄を事前に防ぐことができたとその判断自体はそれなりに評価されたらしい。 でもこの時間帯に現場で働いている人間はバイトでも知っている。 来客数・売上げが落ちた理由は稼動レジを1台に絞ったためだ。 確かにレジ1台でも充分裁くことができる来客数だったんだけど1台だと常にレジに列ができている状況だった。 この時間帯に来る客は、主に通
データビジネス・分析・開発に関して2014年に読んだ本 - About connecting the dots.
年末なのでぼちぼち今年の振り返りをします．ちなみに去年のはこちら． データブジネス，データ分析，ソフトウェア開発の3カテゴリに分けて，それぞれについて上から読んでよかった順に並んでいます． データビジネス "超"分析の教科書 “超"分析の教科書 (日経BPムック) 作者: 日経ビッグデータ出版社/メーカー: 日経BP社発売日: 2014/11/17メディア: 単行本この商品を含むブログ (2件) を見る事例集として，非常によくまとまっていました．幅広い業種で典型的に使われるような手法とか問題とかがコンパクトにまとまっていて，実務でデータ分析をしている人ならみておいて損はないのではないでしょうか．内容は割と平易に書かれているので，データ分析専業じゃない人が読んでも割と読みやすく面白いと思います． アルゴリズムが世界を支配する アルゴリズムが世界を支配する (角川ＥＰＵＢ選書) 作者: クリス
2014年最もイケてるBigData領域でのスタートアップ10社 - 元データ分析の会社で働いていた人の四方山話
Top 10 Coolest Big Data Startups Of 2014という記事がありまして、はじめて名前を聞く企業が多くありましたので簡単に調べてみました。ホントに簡単に調べただけです。正確には記事の説明＋HPのトップをざっと見ただけですので、そんなものがあるのかー、くらいのノリです。 1. SumAll SumAll FacebookやTwitter, eBayやInstagramなど、42種類のソーシャルとEコマースサイトのデータからデータを可視化することができるオンラインのプラットフォームを提供してくれる、とのこと。今年に入っていくつかの機能追加を行い、例えば、リツイートやメンションの数によってアラートを発してくれるようなシステムが追加されたとのこと。 2. Luminoso Luminoso テキスト分析に強みがある会社ぽいです。MITメディア・ラボからのスピンアウトみ
961万人の食卓を支えるデータ解析
This document discusses Hadoop and its ecosystem. It covers Hadoop distributions like Cloudera and Amazon's Elastic MapReduce service. It also discusses running SQL-like queries using MapReduce and moving data between MySQL and Hadoop. Key algorithms like map and reduce functions are explained through examples. Different Hadoop deployment options on EC2 like standalone, Cloudera, and EMR are also
データ分析において必要なことを原点に立って考えてみる - Qiita
今日は統計や技術の詳細な話は少しお休みして、そもそもデータマイニングとは何なのか、分析において必要なことは何なのかを考えてみます。 仮説力とは何なのか データ分析の実務においては、分析モデルの手法や統計的方法の前にまず検討しなければならないことが多々あります。たとえば分析対象の問題をどのように設定するか、対象の特徴 (= 属性、振る舞い等) をどのように表現するか、何を可視化するかあるいはそれをどう決めるか、ログなどを用いて特徴の計算方法をどのように定義するか、といったことなどです。 実務というのは大学での実験ではありません。目の前にあるデータに対して興味先行で機械学習や統計的手法を適用しても得られるものはありません。統計学の有名な言葉に GIGO (ゴミを入れればゴミが出てくる) という言葉がある通り、高度な解析手法やツールに溺れても自己満足で不適切な分析に終わってしまうのです。 分析の
第32回 データマイニング+WEB＠東京( #TokyoWebmining 32nd ) －マーケティング最適化・最前線 祭り－を開催しました - hamadakoichi blog
2014/1/25 "第32回 データマイニング+WEB ＠東京 ( #TokyoWebmining 32nd) −マーケティング最適化・最前線 祭り−"を開催しました。 第32回 データマイニング+WEB＠東京 ( #TokyoWebmining 32nd) −マーケティング最適化・最前線 祭り−: Eventbrite Google グループ 会場提供し運営を手伝って下さった ニフティ株式会社 のみなさん、どうもありがとうございました。素敵なトークを提供してくれた講師メンバーに感謝します。会場参加、USTREAM参加ともに多くの方々の参加を嬉しく思っています。 参加者ID・バックグラウンド一覧： 参加者Twitter List: Twitter List TokyoWebmining 32nd 参加者セキココ：第32回 データマイニング+WEB ＠東京 セキココ (作成してくれた [T
データサイエンティスト レベル表 - shakezoの日記
プログラマレベルというページがとても面白かったのでデータサイエンティスト版つくってみました。データサイエンティストの定義は[twitter:@TJO_datasci]さんのQuantitative analystに準拠しつつ技術面に焦点をあててレベル分けしています。 レベル0 このレベルの人はデータ分析をしたことがありません。最近テレビでよく目にするビッグデータについては何だが凄そうというイメージは持っています。そしてデータサイエンティストという言葉を知らない人が大半です。 ありがちな発言 「ビッグデータってすごいらしいね」 レベル1 レベル1の人達は仕事や大学等の課題でExcelを用いた集計や簡単な相関分析などを実施したことがあります。ただし分析にあまり興味を持っておらずデータをニヤニヤしながら眺めている上位レベルの人達を変人だと思っています。彼らにとってビッグデータやデータサイエンティ
銀座カラー大阪梅田茶屋町店【公式にはサイトにない】とっておきの情報・キャンペーン・料金・口コミ・効果を徹底調査｜
初回カウンセリング時に全6回分の予約が可能！ ⇒予約が取れないという心配がなく≪8か月≫で卒業可能。もちろん予約後の変更で、当日キャンセルも無料。 6回完了後も1年間無料でメンテナンスが可能！ （施術は2か月に1回のペースとなります。）
靴屋とデータマイニングと季節外れの冬物衣料 - あんちべ！
やぁ。4月も終わりだというのに、いやに寒い日が続いてるね、元気かい？ 面白い話がtwitterに流れていたので紹介したい。 日経コンピュータの話。ビックデータ神話に乗り、多額の費用で解析した靴屋の話、解析結果、冬にブーツが売れ、夏にサンダルが売れるw。 https://twitter.com/yawachi/status/326460494154194944 これを見て君はどう思う？ twitterでは皆がこのニュースに対して嘲笑を投げかけていた。 そりゃそうだろう、大金を掛けて誰でもわかることしか出てこないなんて、笑われて当然さ。 データマイニングってのは、やっぱり、もっとこう、あの有名な「おむつとビール」ような意外性のあるものじゃないとね。 そう、データマイニングに必要なのは意外性だ！ あの靴屋は全く馬鹿なことをしたもんだ、ゲラゲラ！ OK、笑いが取れたようなので、もう一つ同じような話
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
データ分析グループの組織編制とその課題 マーケティングにおけるKPI設計の失敗例 ABテストの活用と、機械学習の導入 #CWT2016
DeNAの分析を支える分析基盤
WI2研究会(公開用) “データ分析でよく使う前処理の整理と対処”
失敗から学ぶ�データ分析グループの�チームマネジメント変遷
データ分析というお仕事のこれまでとこれから(HCMPL2014)