Presentation at 2018.11.14 Web Person's Summit in Tokyo https://webtan.impress.co.jp/events/201811 こちらにスライドの内容の解説記事があります https://note.mu/notes/n854…
https://github.com/soutaro/querly Rubyを構文解析したASTに対して独自DSLでパターンマッチ&メッセージを出すツール プロジェクト固有の事情に配慮したLinterとして使える false positive 上等で注意喚起として使う たとえばKibelaの querly.yaml から一部抜粋するとこんな感じです。 rules: # ... - id: kibela.order_by_string pattern: - "order(:dstr:)" - "where(:dstr:)" - "find(:dstr:)" - "exists?(:dstr:)" message: "文字列によるSQL構築は本当に必要ですか? SQL Injection を引き起こさないように気をつけてください。" - id: kibela.block_call patter
このnoteでは、データ分析をやってみたい人向けに、何を学んだらよいかまとめます。ちなみにこの記事では、「ディープラーニングで何かしたい!」みたいな人ではなく、「データをもとに有益なアウトプットを出せるようになりたい」という人向けの記事となっています。 追記) 反響があり、News Picksではテクノロジー一面に掲載されていました。 また、はてなブックマークでもホットエントリー入りして、5/5現在898ブックマークを突破しました。 データ分析の全体像まず、データ分析を行う上での全体像から見ていきたいと思います。流れとしては大きく分けて、4つあります。 1. データ分析から何を検証したいか決める (調査のデザイン) 2. データ収集 3. データの整形 4. 分析を行う 各フェーズごとに行うことと、何が学ぶべきかまとめていきたいと思います。 1. データ分析から何を検証したいか決める (
はじめに 僕はウェブサイト制作会社でサイトの運用・アクセス解析担当をしている者です。 ウェブサイトの制作・リニューアルを受注した際にプロジェクトに参加し、クライアントの現状サイトのアクセス解析とレポート作成、リニューアル提案が主な仕事です。 クライアントと直接相対するディレクターから「GoogleAnalyticsの権限もらったからアクセス解析して」とオーダーを受け、アクセス解析を行うことになります。 そもそも、初めて見るサイトを構造から理解し、リニューアルに資する提案ができるようなインサイトを得るまで分析するのは本当に骨が折れます。 さらに(全くの主観ですが)、多くのクライアントはGoogleAnalyticsを「タグ貼っただけ」状態で放置しています。 そのため、計測したデータが整理されていない・そもそも正しく計測できていないということはよく起こります。 そして、そのような計測エラーがノ
こんにちは、みんなのウェディングの小室 (id:hogelog) です。 今回はみんなのウェディングにおけるデータ分析基盤の現状についてご報告させていただきます。 三行まとめ 忙しい人のために先に結論を書くと bricolage と embulk で Redshift に集めて re:dash で分析 です。 データ収集 データ収集は bricolage のジョブネット機構を用いて bricolage の各種ジョブや embulk を連携させ、Redshift にデータを取り込んでいます。 参考までに https://github.com/hogelog/dwh-example に簡単な構成例を準備しました。 MySQL → Redshift みんなのウェディング http://www.mwed.jp/ のデータベースとしては MySQL を利用しています。 MySQL から Redshi
はじめに データ解析本部のn_maoです。 前回は高速集計ツールmコマンドのご紹介をしました。 前回のmコマンドの紹介の投稿 今回は趣向を変えて、社内に分析部隊をゼロから作り、データドリブンなサービス改善を実現するためにまず行うべきこと、意識することをまとめてみました。 これは実際にゼロから初めた私の経験に基づくものです。 1つのケーススタディとして読んでいただければと思います。 主張を大まかな流れに分類すると、 1. 分析環境を整える 2. 社員のデータに対する意識を高める 3. データ分析とサービス開発を結ぶ仕組みを作る 4. 小さな効果を体感してもらう 5. 現状を把握し、指標を作る という感じです。 以下で各トピックの詳細について触れていきます。 1. 分析環境を整える 分析のためのサーバーを用意する 当然のことですが、念のため。 データ分析や集計を行っていると、どうしてもメモリや
顧客を知るためのデータマネジメントプラットフォーム DMP入門 (NextPublishing) 横山 隆治 菅原 健一 草野 隆史 インプレスR&D 2013-05-27 売り上げランキング : 231 Amazonで詳しく見る by G-Tools 一言で言うと、DMP(Data Management Platform)がどういうものなのか、DMPを構築するために考えるべきこと、など、これまで僕が知る限り最もふわっとした中身がありそうでなさそうな単語第一位だったDMPについて、体系的かつ網羅的に記載された本です。今年 はDMP構築の流れが一気に来そうな香りがしていますが、まずはこの一冊を読んでDMPについて関わる人の認識を合わせておくことが重要かもしれないな、と思いました。 個人的な興味として、ここ半年ほどコツコツとDMPを調べてきたのですが、いくつかハラオチしていないところがありまし
少し前の話ですが、第4回サイバーエージェントMarketing & Analytics勉強会の講演者としてお話してきました。おかげさまで当日は大盛況! お越しになられた皆様、まことに有難うございました。以下slideshare。 21世紀で最もセクシーな職業!?「データサイエンティスト」の実像に迫る from Takashi J Ozaki 相変わらずslideshareの使い方が分からなくて、何故かフォントが勝手に明朝体になってしまったり、フォントサイズが変わってしまったり、右側が切れてしまったり。。。あくまでもご参考までに、ということで。 実は、時間ぴったりで終わるように調整した第4回のパブリック開催よりも第3回(予行練習)の社内先行開催で質問時間を大量に余らせた時の方が質問が多くて(笑)、個人的にはもうちょっと質問時間を余しても良かったかなぁと反省しております。 終了後に何人かの方々
マーケッターのインサイトから始まる米国の販売シナリオ 今、私のクライアント周辺ではビッグデータ活用がホットなテーマとなっている。そのため、今年は2カ月に1回のペースでビッグデータ活用先進国である米国に渡って活用の先進事例を集めることにしている。 従来のインターネットに加えGPS搭載のスマートフォンの登場で、顧客の購買行動履歴に関わる情報量が莫大になった。この情報を分析することで、より洗練された販売成果を手に入れようというのが、ビッグデータ活用という先端領域である。 ところが、米国の先進事例を集めれば集めるほど、日本企業の中でのビッグデータ活用に関する議論について、「ちょっと変だな」と感じるケースが増えてきた。 どこが変なのか、今回と次回の2回にわたって日米の違いを基にお話ししたい。 まずは一見ビッグデータとは関係ないように見える話題から始めよう。 ニューヨークでの出張の合間に、ニューヨーク
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く