トレジャーデータ流 データ分析の始め方〜データサイエンティストがもたらす新しい価値〜 - トレジャーデータ（Treasure Data）ブログ
*トレジャーデータはデータ収集、保存、分析のためのエンドツーエンドでサポートされたクラウドサービスです。 本記事は 2014年06月27日に開催されたデータサイエンティストサミット2014での講演内容になります。 トレジャーデータ流，データ分析の始め方 from Takahiro Inoue トレジャーデータの提案する分析の始め方，分析プロセスは一般的なデータ分析プロセスとは異なったアプローチをとります。現在データ分析に携わっており，様々な事情でなかなか分析を始められない方々へ，この内容が周囲への声かけや説得材料になってもらえることになれば幸いです。 私は元々大学で数学科統計専攻していて，学生時代からデータ分析とはどうあるべきかを追究してきました。 またソーシャルゲーム会社でデータ分析基盤を作ったり集計のためのデータベースとしてMongo DBに可能性を感じ，コミュニティ運営などの活動もお
データ分析で大切な４つのこと：3. 一人で全部背負わない事の大切さ - トレジャーデータ（Treasure Data）ブログ
データ分析で大切な４つのこと トレジャーデータはクラウドでデータマネージメントサービスを提供しています。 3. 一人で全部背負わない事の大切さ このブログで何度も何度もお話してきましたことですが，一口に分析といっても，それはログ収集から可視化までの様々なレイヤーを下から積み上げていかないといけません。 もしも分析者がそれを一人で全て担うとしたら，これは大変なことです。 分析者がデータを集めて、解析して結果を出す、その仕事を全て1人で背負う事は非常に大変なことであり、あまり良くないことだと感じています。私も現在のポジションとは違う，特定のサービス専任の分析者であった時には「全てを自分でやってどんどん良い結果を提示していかないといけない」と気負いがありましたが，だんだんとその困難さに気付くようになってきました。 日々増え続け・変わり続けるサービスの全てを把握するのは困難 周囲に助けを求められな
トレジャーデータ流 データ分析の始め方〜データサイエンティストがもたらす新しい価値〜 - トレジャーデータ（Treasure Data）ブログ
はじめに クラウド関連技術の進化とその普及により、データ分析に必要なコストは大きく低減しました。以前であれば数千万〜数億円かけて構築した分析インフラも、今では月額数十万程度で簡単に立ち上げることが出来ます。本資料では、スモールスタートで「データファースト」を推進する分析プロジェクトの始め方について、詳細をご紹介していきます。現在データ分析に携わっているものの様々な事情でなかなか本格始動出来ない方にとって、少しでも助力になれば幸いです。 一般的なデータ分析プロセス 一般的に「データ分析」をプロジェクトとして始めるにあたっては、会社や上司から「目標」や「仮説」を求められることが多いかと思います。それが明確であるがゆえにデータ分析が活き、その「確証」（または否定）を元にビジネスプロセスが回っていくと考えられるからです。 データ分析を始めるには相応のコストと時間がかかりますので、きちんとビジネスプ
Python pandas 欠損値/外れ値/離散化の処理 - StatsFragments
データの前処理にはいくつかの工程がある。書籍「データ分析プロセス」には 欠損など 前処理に必要なデータ特性の考慮とその対処方法が詳しく記載されている。 が、書籍のサンプルは R なので、Python でどうやればよいかよく分からない。同じことを pandas でやりたい。 データ分析プロセス (シリーズ Useful R 2) 作者: 福島真太朗,金明哲出版社/メーカー: 共立出版発売日: 2015/06/25メディア: 単行本この商品を含むブログ (2件) を見る とはいえ、pandas 自身は統計的 / 機械学習的な前処理手法は持っていない。また Python には R と比べると統計的な前処理手法のパッケージは少なく、自分で実装しないと使えない方法も多い。ここではそういった方法は省略し、pandas でできる前処理 / 可視化を中心に書く。 また、方法自体の説明は記載しないので、詳細
Akinator アキネータの仕組み : 研究開発
総合研究大学院大学 複合科学研究科 情報学専攻 卒 博士（情報学） 自然言語処理や機械学習、データ分析に関する研究内容とwebシステムの開発と運用について書いています。 シリコンバレーベンチャーみたいに深い技術の事業化をしたいと思っています。 ご興味ある方はご連絡ください。 あれはどうやってるのでしょうか？ [iPhoneアプリ] Akinator（アキネイター）が答えを当てる仕組みを考えてみました プログラマがランプの魔人の中身を分析してみる という感じに考えた人はたくさんいますが.... これでも全然Akinatorの本質には迫ってないと思います。 ○たった２０〜４０問の質問しかしない。 登録されてる質問の総数は、当然もっと多いのですが、そもそもAkinatorは質問を十分に選定してるのです。 この点に触れて考えている人が居ないようなのですが、おそらく、これこそがAkinatorの本
Google、大規模データをリアルタイムに分析できるクラウドサービス「Google Cloud Dataflow」を発表。「1年前からMapReduceは使っていない」。Google I/O 2014
Google、大規模データをリアルタイムに分析できるクラウドサービス「Google Cloud Dataflow」を発表。「1年前からMapReduceは使っていない」。Google I/O 2014 大規模分散処理のフレームワークとしてGoogleが開発し、Hadoopに採用されて広く使われているMapReduce。しかしGoogleはもうMapReduceを使わず、より優れた処理系の「Google Cloud Dataflow」を使っていることが、Google I/O 2014の基調講演で明らかにされました。 GoogleのシニアバイスプレジデントUrs Hölzle氏は、「エクサバイトのスケールまで扱え、パイプライン処理を記述しやすく最適化もしてくれる。それにバッチもリアルタイム分析も同じコードで記述できる」と、Cloud Dataflowの特長を説明します。 Google I/Oの
ビッグデータを分析できる！可視化を利用したWebサイトまとめ | 株式会社LIG(リグ)｜DX支援・システム開発・Web制作
こんにちは、インターンの野上です。私は大学の研究で「可視化」について学んでいるので、今回は可視化をうまく利用しており、新たな情報価値が生まれていると感じたサイトをまとめてみました。 そもそも可視化とは、どういうことを指しているのか、知っている人も知らない人もここで確認しておきましょう。 可視化とは 可視化とは、人間が直接「見る」ことのできない現象・事象・関係性を「見る」ことのできるもの（画像・グラフ・図・表など）にすることをいう。視覚化・可視化情報化・視覚情報化ということもある。 英語の “visualization”, “visualize” に相当し、そのままビジュアリゼーション・ビジュアライゼーションと称されることもある。 出典：可視化 – Wikipedia 最近流行のインフォグラフィックなんかも可視化の一例になると思いますが、可視化させることによって、数値などのデータをグラフや図
分析 には、エクセル excel が大変便利です！
エクセルを使用し、分析結果を簡単に確認できます！ 分析の中で、回帰、分散、主成分・要因、重回帰などのデータ分析・解析方法を説明しました。 【１】「どのようにすれば」 信頼できる 「分析」 ができるのか？ 【２】「何」を「どれだけ」 集めれば良いのか？ このように、「分析の出発点」 で困ったことがありませんでしたか？ 「分析」には焦点を定めるべき「視点」があったのです！ 「比較」により異常な状況を見分けることが出来ます。 では、「何」と「比較」できるのでしょうか？ １．「偶然」と比較できれば、「異常」な現象が比較的簡単に分かる場合があります。 （１）データが「偶然」によって「ばらついている」のか否かを判定するために、「正規分布」との比較がポイントになります。 （２）収集したデータの「ばらつき」が「偶然」と異なるかどうか、データのグラフなどを正規分布と比較し、観察します。 （３）「偶然」でない
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
