この記事の元の本編は削除しました。｜樫田光 | Hikaru Kashida｜note
これは何かGoogleの Material Design Guideline - Data Visualization がとても良くまとまっていたので、自分なりに和訳・編集してまとめたものです。 ※ 注意事項 こちらはあくまで、もとのドキュメントを参考に筆者が和訳・編集したものになります。原文の完全な和訳ではなく、抜粋の範囲や、英=>和の際の意訳を筆者が恣意的に行っています。 筆者の意訳・編集による曲解や元のドキュメントでのオリジナルの文意が気になる方は原文を読むことを強くおすすめします。 和訳の公開の可否についてはGoogle社に直接問い合わせています。1 / 原理原則（Principles） データの可視化は、複雑で内容の多い情報をグラフィカルな形式で表現するコミュニケーション手段である。 可視化の結果、データを比較しストーリーを伝えることが容易になり、データの利用者の意思決定の助け
pythonでのデータ分析時、死ぬほど調べるTipsをまとめておく。 - プロクラシスト
こんにちは、ほけきよです。 pythonでデータを取り扱っているとき「あれ、これどうやるんだっけ？？」 ってなること、ありませんか？僕は10分に1回程度なります。 いや、覚えろと自分でも思うんですが、覚えられないんですよね。100回くらい同じコマンドを調べてたりする。 物覚えが良くないので、ココを見れば絶対大丈夫なようにしておこうと思い、まとめてみました。 jupyterで最初に開くときに読み込むモジュールたち datetime 日付⇔文字列の変換 datetimeの足し算引き算 json dict型⇔json jsonファイルの入出力 datetimeをjsonにする時、エラーが出る pandas ～以外を表すやつ andとor inf弾く リストをdfにサクッと変換 datetimeとして読み込み 読み込み時にcodecのエラーが出る DataFrameのfor文 numpy lins
データマイニングの話詰め合わせ
2. 自己紹介 • ところてん • @tokoroten • 株式会社NextInt 代表 • 怪文章職人 • 最近の活動 • データサイエンティスト養成読本 ビジネス活用編 • 最近のお仕事 • 機械学習顧問（4社） • スマホアプリミドルウェア屋 • SIer • ECプラットフォーム • データ分析企業 • 新規事業コンサルティング（1社） • ゲームディレクター(1社) ↓共著 ↓寄稿↓共著 3. 目次 • 相撲の八百長を統計で見つける • 演習：論文を探してみよう • ソシャゲのガチャが壊れた話 • ソシャゲのランキングイベントの話 • Kickstarterにおける不正を見つけよう • 人工衛星と画像処理と金融 • その他、雑多な話いろいろ
83億レコードを移行し、日々2,500万レコードのアクセスログをBigQueryに記録している話（インフラ編） - Money Forward Developers Blog
こんにちは。 インフラエンジニアの村上です。 マネーフォワードのインフラチームは、サービスに関わるインフラから、自社の作業環境、開発環境、さらにはサービスのインフラの中でも物理的なものからOS・ミドルウェア・アプリケーションのメンテナンス・ビルド・リリース・運用まで幅広く関与しています。 今回はGoogle Cloud PlatformのBigQueryを活用してアクセスログの分析環境を構築した時の話を紹介します。 この記事に書かれる事 データ分析基盤としてBigQueryを使用した話と データ量を例示しながら使用を開始した時のトラブルシュートとパフォーマンスについて紹介する。 データ移行のコツもうまく含めながら書いていく。 BigQueryを採用した訳 マネーフォワードの家計簿は350万人以上のお客様に利用いただき、 アクセスログは日々2.500万件程度増えております。 サービス開始から
杜氏のいない蔵元が示した「データ分析さえすれば職人の技を職人抜きでも再現できる」という事実の凄み（追記あり） - 渋谷駅前で働くデータサイエンティストのブログ
先日、とあるコンサルの社長さんとお酒を飲みながらお話していて出てきた話題が「畢竟データ分析って何の役に立つんだろう？」というものだったんですが、そこで僕が思い出して紹介したのが「獺祭」で世界進出を成功させている旭酒造のエピソードだったのでした。 ということで、その事例を振り返りながら久しぶりにちょっと与太話でもしようと思います。 http://www.tv-tokyo.co.jp/cambria/backnumber/20140116.html ちなみに上ははてブでも大きな話題を呼んだ東洋経済の特集記事ですが、僕にとってはテレ東カンブリア宮殿で紹介された時の映像の方が遥かに衝撃的でした。 「獺祭」は杜氏でも何でもない普通の社員が、データに基づいて一挙手一投足を決めながら仕込んでいる 東洋経済の記事では割とざっくりとしか書かれてないんですが、カンブリア宮殿で放映された映像では獺祭の製造工程の
「きのこの山」VS.「たけのこの里」戦争に決着!? 購買データ分析で“大差”あり
そろそろバレンタインデーですね。バレンタインといえばチョコレート――ということで、全国民を巻き込みかねない「きのこの山」「たけのこの里」“どっち派”戦争について、無料家計簿アプリ「ReceReco」（レシレコ）の購買データ分析を通じて考察してみたいと思います。 スマートフォンでレシート写真を撮るだけで家計簿を作れる無料iPhone／Androidアプリ。ダウンロード数は115万、登録レシート枚数は2000万枚、登録された支出総額は450億円を超えている（2013年11月時点）。なお、登録されたレシートデータを個人が特定されない範囲で二次利用することは全ユーザーに事前許諾済み。 関連記事：目指したのは「究極のシンプル」 レシート撮るだけ家計簿アプリ「ReceReco」の狙い 全体戦況は「ダブルスコア」で決着 常に並び称され、ネット上でもよく比較される明治の2大ブランド「きのこの山」と「たけの
データ解析作業の救世主！ 超絶☆実験ビルドシステムmafをOSS公開しました - Preferred Networks Research & Development
Photo by midiman under Creative Commons License (original) メリークリスマフ！ 得居です。今日はクリスマスですね。皆様昨日はいかがお過ごしでしたでしょうか？ クリスマスということで、今日は私たちから皆様に、特にデータ解析や論文執筆、手法の比較検証のために計算機上で様々な実験をしている方々に、プレゼントがあります！ Github – pfi/maf 今日、実験結果を「ビルドする」ためのツールmafを公開しました！ mafは、PFIでもよく使われているPythonベースのビルドツールwafを実験に使うための拡張です。大まかな使い方を学ぶために、ドキュメントとサンプルも公開しています。 maf — maf 0.1 documentation サンプル 実験手順をビルドだと思って宣言的に書くこと自体はwaf等既存のビルドツールで可能です。m
データサイエンティスト レベル表 - shakezoの日記
プログラマレベルというページがとても面白かったのでデータサイエンティスト版つくってみました。データサイエンティストの定義は[twitter:@TJO_datasci]さんのQuantitative analystに準拠しつつ技術面に焦点をあててレベル分けしています。 レベル0 このレベルの人はデータ分析をしたことがありません。最近テレビでよく目にするビッグデータについては何だが凄そうというイメージは持っています。そしてデータサイエンティストという言葉を知らない人が大半です。 ありがちな発言 「ビッグデータってすごいらしいね」 レベル1 レベル1の人達は仕事や大学等の課題でExcelを用いた集計や簡単な相関分析などを実施したことがあります。ただし分析にあまり興味を持っておらずデータをニヤニヤしながら眺めている上位レベルの人達を変人だと思っています。彼らにとってビッグデータやデータサイエンティ
データ分析の重要性を理解するための入門書５冊 - UNIX的なアレ
はじめに 今回紹介する本は玄人向けではなく「データ分析が重要そうだけど、なんだかよくわかんないと思っている人」向けです。 昨今ではデータマイニングという単語がエンジニアやマーケティング担当者のものだけでなく、経営レイヤーでも重要視されてきています。 ビッグデータというバズワード的なものも頻繁に言われ始めて、めんどくさい上司とかはとにかく口にし出すような状況ではないでしょうか？（想像です） 勉強しないと！と思いはするものの、統計やらHadoopやらRやら、それにまつわるものが多すぎて何から手をつけていいのかわからないもの。 というわけで、私が最近読んだ中でも「何ができるものなのか」という浅く広いテーマについて触れている本をいくつか紹介します。 統計学 統計学が最強の学問である 作者:西内 啓ダイヤモンド社Amazon cakesの連載をまとめた本ですが、統計学がどういった分野に使われているの
データマイニングを仕事にする人の生態系 - dataminer.me
「データマイニングを仕事とする人＝データマイナー」はどういう人たちがいるかということについて ビックデータとかで世の中がバズってるけど「僕はデータマイニングをやってます！」といったときに適切にその人がやっている業務領域を把握している人ってかなり少ないと思う。 グリーで働いていたときもデータマイナーはどういった仕事をしていて、何をやっていて何ができるのかっていうことを理解していなくてミスコミュニケーションが生まれていたと思うのでちょっとその生態系についてまとめてみた。おそらく、データマイナーといわれる人は以下のタイプがいる： 研究開発をする人 統計学的に新しいイノベーションを起こせる人。Google のPageRankアルゴリズムを作りましたとか、NetfrixやAmazonのレコメンデーションエンジン作りましたとかいう人がこれにあたる。スキル的には統計学にかなり長けている必要があり、その他
Think Stats
本書は「プログラミングのスキルを統計の理解に役立てよう」というコンセプトで書かれたものです。数学的な観点から語られることが多い統計について、計算処理の観点から説明。実際にPythonのコードを示し、実データを分析しながら統計の基礎を解説しています。日本語版では豊富な数学関数ライブラリを提供するPythonの科学技術計算用モジュールNumPyとSciPyに関する解説を付録として追加。NumPy/SciPyが持つ統計関数の解説のほか、本書に登場した問題をNumPy/SciPyを使って解く方法を紹介します。Pythonで書かれたサンプルコードを使って実際に手を動かしながら統計が学べる、プログラマのための統計入門の決定版です。 はじめに 1章 プログラマのための統計的な考え方 1.1 第一子は出産予定日よりも遅れるか？ 1.2 統計的なアプローチ 1.3 全米世帯動向調査 1.4 テーブルとレコー
日本のソーシャルメディアの「いま」を正確に示す最も信頼性の高いデータ集 『ソーシャルメディア白書2012』を刊行
『MarkeZine』が主催するマーケティング・イベント『MarkeZine Day』『MarkeZine Academy』『MarkeZine プレミアムセミナー』の 最新情報をはじめ、様々なイベント情報をまとめてご紹介します。 MarkeZine Day
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
