タグ

ブックマーク / treasure-data.hateblo.jp (8)

  • Treasure Data Tech Talk #1 開催報告 - トレジャーデータ(Treasure Data)ブログ

    トレジャーデータはクラウドでデータマネージメントサービスを提供しています。 3月11日と12日の二日間で、Treasure Dataのエンジニアによるイベント Treasure Data Tech Talk 〜クラウドサービスを支える技術〜を開催いたしました。 Treasure Data Tech Talk 〜クラウドサービスを支える技術〜 http://eventdots.jp/event/373902 Treasure Data Tech Talk 〜クラウドサービスを支える技術〜 “The Deep Day” http://eventdots.jp/event/387738 二日間で200名以上の方に参加していただき、私たちも非常に貴重な時間を過ごすことができました。 参加者の皆様、会場を提供をしてくださったフリークアウトさんとDeNAさん、またイベント開催にご協力頂きましたdots

    Treasure Data Tech Talk #1 開催報告 - トレジャーデータ(Treasure Data)ブログ
    peketamin
    peketamin 2015/03/16
  • 新しいオープンソースEmbulkを発表1 - トレジャーデータ(Treasure Data)ブログ

    はじめに トレジャーデータはクラウドでデータマネージメントサービスを提供しています。 2015年1月,Fluentd のコミッター(弊社エンジニア)が中心となった「Embulk」というOSSが公開されました。このツールは大規模なデータセットのバルクインポートを行えるデータ収集ツールの1つに大別されるものです。 ↑ メインコミッターである当社エンジニア:古橋は Fluentd や MessagePack といったOSSを生み出してきました。そして,トレジャーデータのプラットフォームの根幹を作り上げたのも彼なのです。 Embulk とは何か? Embulkとはどのようなものなのでしょうか? バルクインポートを行うためのツールは,はるか以前からたくさん存在しますが,その中においてEmbulk の位置付けはどこにあるのでしょうか? 少しずつ紐といていきましょう。 「簡単に言うとFluentdのバッ

    新しいオープンソースEmbulkを発表1 - トレジャーデータ(Treasure Data)ブログ
    peketamin
    peketamin 2015/02/03
  • データ分析で大切な4つのこと:3. 一人で全部背負わない事の大切さ - トレジャーデータ(Treasure Data)ブログ

    データ分析で大切な4つのこと トレジャーデータはクラウドでデータマネージメントサービスを提供しています。 3. 一人で全部背負わない事の大切さ このブログで何度も何度もお話してきましたことですが,一口に分析といっても,それはログ収集から可視化までの様々なレイヤーを下から積み上げていかないといけません。 もしも分析者がそれを一人で全て担うとしたら,これは大変なことです。 分析者がデータを集めて、解析して結果を出す、その仕事を全て1人で背負う事は非常に大変なことであり、あまり良くないことだと感じています。私も現在のポジションとは違う,特定のサービス専任の分析者であった時には「全てを自分でやってどんどん良い結果を提示していかないといけない」と気負いがありましたが,だんだんとその困難さに気付くようになってきました。 日々増え続け・変わり続けるサービスの全てを把握するのは困難 周囲に助けを求められな

    データ分析で大切な4つのこと:3. 一人で全部背負わない事の大切さ - トレジャーデータ(Treasure Data)ブログ
  • データ分析で大切な4つのこと:2. 誰のために・何のために分析をやるのかを意識する大切さ - トレジャーデータ(Treasure Data)ブログ

    データ分析で大切な4つのこと トレジャーデータはクラウドでデータマネージメントサービスを提供しています。 2. 誰のために・何のために分析をやるのかを意識する大切さ そもそも誰の・何のために分析をするのかという意識を常に明確にしておくことはとても重要だと思っています。 人間の意志決定を支援するために解析をすること・解析結果自身が意志決定を行うのではないこと AmazonGoogle など多くのデータ先進企業では,例えば「リコメンデーション」「ページランク」「需要予測システム」など,分析結果自身が意志決定を行うようにデータが活用されています。この用途目的においては機械学習や統計モデルといった高度な手法が駆使され,データから機械的にベター(ベストとは限りません)な解をもたらし,それが自動的にサービスに適用されて回っていきます。これらは基的に大規模なデータセットを参照したりリアルタイムに

    データ分析で大切な4つのこと:2. 誰のために・何のために分析をやるのかを意識する大切さ - トレジャーデータ(Treasure Data)ブログ
    peketamin
    peketamin 2014/12/05
  • データ分析で大切な4つのこと:1. 「当たり前の結果」をたくさん出す事の大切さ - トレジャーデータ(Treasure Data)ブログ

    データ分析で大切な4つのこと トレジャーデータはクラウドでデータマネージメントサービスを提供しています。 ここ数年,データの大量な蓄積とそれに対する分散並列処理が可能な環境が成熟してきました。元々はデータの蓄積やバッチの効率化といった分析バックエンド(プラットフォーム)の方にフォーカスがあてられてきましたが,やっとその先のデータ」「分析」というところ,そしてその役割を果たすデータ分析者の重要性が理解されるようになってきているように感じています。 このブームは分析者にとって非常に喜ばしいことでもあると同時に,大きなプレッシャーにもなっているような気がします。 そのプレッシャーの1つに,企画者や経営者・あるいは顧客といった結果を活用する人々(=意志決定者)の,「これだけ材料(データ)が揃っているのだから多くの課題が解決できるはずだ」という期待に応えないといけないというプレッシャーがあると思いま

    データ分析で大切な4つのこと:1. 「当たり前の結果」をたくさん出す事の大切さ - トレジャーデータ(Treasure Data)ブログ
    peketamin
    peketamin 2014/12/02
  • トレジャーデータブログ コンテンツマップ - トレジャーデータ(Treasure Data)ブログ

    *トレジャーデータはデータ収集、保存、分析のためのエンドツーエンドでサポートされたクラウドサービスです。 ブログはデータアナリティクスを中心に多様な記事を展開しております。(コンテンツマップは新規記事が更新される度に追記されていきます。) The blog is authored by Takahiro Inoue Chief Data Scientist at Treasure Data Twitter: @doryokujin Facebook: Takahiro Inoue Slideshare: doryokujin トレジャーデータ紹介 トレジャーデータ株式会社について アップデート情報 Treasure Data Service はどのようなケースに向いているか? トレジャーデータ流データ分析プロセス トレジャーデータ流 データ分析の始め方〜データサイエンティストがもたらす新

    トレジャーデータブログ コンテンツマップ - トレジャーデータ(Treasure Data)ブログ
    peketamin
    peketamin 2014/08/05
  • 「まずチャートを決めてから集計を決める」という視点の重要性について - トレジャーデータ(Treasure Data)ブログ

    トレジャーデータはクラウドでデータマネージメントサービスを提供しています。 ブログでは,可視化についてその手法やツールの紹介に関する記事をたくさん出しておりますが,今回は従来と異なった可視化手法を紹介することで多くの分析者に新たな考え方を提供できればと思っています。 従来の可視化方法について すごく当たり前の話ですが,可視化ツールというのは分析・集計された結果テーブルをインプットとして読み込むことで手続きが進んでいきます。可視化のためのチャートは非常に多く,ケースバイケースでその結果テーブルを最適に表現してくれるものを選ぶことになります。 しかしこの可視化というのはその表現方法があまりにも多いために,適切なチャートを選ぶのに苦労したり,意図したチャートで表そうとしても結果テーブルがそれにフィットしない項目で出されていたりと,それなりに苦労がありました。 そういった可視化の困難さに立ち向か

    「まずチャートを決めてから集計を決める」という視点の重要性について - トレジャーデータ(Treasure Data)ブログ
  • Login(アクセス)ログからわかる12の指標 その1 - トレジャーデータ(Treasure Data)ブログ

    *トレジャーデータはデータ収集、保存、分析のためのエンドツーエンドでサポートされたクラウドサービスです。 「Login(アクセス)ログからわかる12の指標 シリーズ」 その1,その2,その3,その4 クエリ内のTreasure UDFのリファレンスはこちら。 シリーズの主張は,例え単純な ”ログイン”(アクセス)の記録のみを取るだけでも,それにユーザーIDが付くことでトレジャーデータ上で遙かにリッチな示唆を得ることができる,ということです。 もしユーザーを識別できるサービスをお持ちでこれから分析を始めたい企業様は,きちんとそれをloginログを残すことから始めましょう。記事では「login(アクセス)ログ」というたった1種類のデータから得られる12の指標を紹介したいと思います。 定義 以下の項目で定義されるログを「loginログ」と定義し,かつ各ユーザーの登録時からこのログデータが取得

    Login(アクセス)ログからわかる12の指標 その1 - トレジャーデータ(Treasure Data)ブログ
    peketamin
    peketamin 2014/05/09
  • 1