数字のバラ付きを考慮して意思決定する技術 - Hatena Developer Blog
こんにちは。MackerelチームでCRE(Customer Reliability Engineer)をしているid:syou6162です。主にカスタマーサクセスを支えるデータ基盤の構築や、データ分析を担当しています。 意思決定をする際には不確実性がつきまといますが、不確実性を信頼区間という形で考慮して意思決定を行なおう、という話をします。 この記事ははてなエンジニア Advent Calendar 2020の4日目の記事です。 前日はid:dekokunさんによるGoogle Cloud の Associate Cloud Engineer 資格を取得するためにした勉強でした。 数字のバラ付きを考慮して意思決定したいケース: NPSでの事例 統計学を使って数字のバラ付きを考慮する: 信頼区間 NPSの信頼区間をSQLで計算する まとめ 数字のバラ付きを考慮して意思決定したいケース: N
パフォーマンス分析に関するアンチパターン - 勘と経験と読経
いくつかの書籍に書かれたパフォーマンス分析に関するアンチパターンを整理してみた。ここに無いものでご存知のパターンがあればご教授いただきたい。アーキテクチャや組織のパターンはよく見るけど、対応手法に関するパターンってあんまり多くないのかも（もしくは単にアンテナ感度が悪いだけ？） 詳解 システム・パフォーマンス (Systems Performance: Enterprise and the Cloud)より 詳解 システム・パフォーマンス 作者: Brendan Gregg,西脇靖紘,長尾高弘出版社/メーカー: オライリージャパン発売日: 2017/02/22メディア: 単行本（ソフトカバー）この商品を含むブログ (1件) を見る 第2章 メソドロジでいくつかアンチパターンが紹介されている(アンチではないほうのパターンも)。 書籍の内容の一部は、以下の翻訳記事および元ネタ記事と同様と思われる
アクセス解析ツール「Googleアナリティクス」が機械学習による予測やGoogle広告との統合などで進化
Googleが提供する無料のアクセス解析サービスであるGoogleアナリティクスは、多くの企業やウェブサイトの運営者によって利用されています。新たにGoogleが、機械学習に基づいた予測やGoogle広告との統合などの機能を搭載したGoogleアナリティクスの最新版「Google Analytics 4」をリリースしました。 The new Google Analytics will give you the essential insights you need to be ready for what’s next. https://blog.google/products/marketingplatform/analytics/new_google_analytics/ Meet Google Analytics 4: Google's vision for the future o
分析用SQLを書くときの思考回路について｜だみ〜
本稿では、分析用のSQLを書くときに則っている思考回路について述べて行こうと思います。 この言語化はあまりきちんとされている印象が無いので、自分がそこそこ初めての言語化だと思って頑張ってやってみようと思います。 言い換えれば、私はこういう思考回路でSQLを書きますが、みなさんどうですか、という話でもあります。 あとは、前提として、現代的な分析用の分散エンジンにSQLを投げるときを考えています。それ以外の場合はむしろ非効率になることも多いかもしれません。 0.問題設定今回の題材は、待てばチケットが復活する無料単話があり、有料で無料単話も買える、そして単行本購買もできる、というマンガサービスとしましょう。 このサービスの企画者から、チケットで無料単話だけ読むユーザが、もし有料で単話を買うようになったらどれくらい売上が伸びるのか教えてほしい、という依頼が来たとします。 これを仮説形式に直すと、
データ分析を元にFAQサイトを継続的に改善する - yasuhisa's blog
FAQサイト、サポート問い合わせをせずとも自分で疑問を解決できて便利ですよね。でも、検索した単語が一件もヒットしないと、ちょっとガッカリしてしまします。そういったガッカリを減らすために、簡単なデータ分析を使ってFAQサイトを継続的に改善する話を書いてみます。 ...というのも、自分が仕事で関わっているMackerelでは最近FAQをリニューアルしたからなのでした。 MackerelのFAQではZendesk Guideを利用していますが、Zendesk Guideは便利なAPIが用意されているので、それと既存のデータ基盤を組み合わせて改善していく形です。 FAQサイト内の検索語を列挙する まず、FAQサイト内でどういった単語が検索されているのかを列挙します。Google Tag Manager経由でFirebase Analyticsにデータを飛ばすと閲覧状況が分かりますが、そのログをBi
Google スプレッドシートでテラバイト規模のデータの分析がさらに簡単に | Google Workspace ブログ
Google Workspace を無料で体験ビジネス メール、ストレージ、ビデオ会議など、さまざまな機能をご利用いただけます。 登録する ※この投稿は米国時間 2020 年 7 月 1 日に、Google Cloud blog に投稿されたものの抄訳です。 Google Cloud では、複雑なクエリを記述できる専門家だけではなく、誰でもデータの力を利用できるようにしたいと考えています。企業が新しい社会に対応する際には、有用なデータに従業員がアクセスして、情報に基づいた意思決定をすばやく行い、ビジネスの成果を向上できるようにすることが重要です。この目標を実現するために、誰でも Google スプレッドシートを使用して膨大なデータセットを簡単に操作できるようにしました。また、データの準備と分析の自動化に役立つインテリジェントな新機能も追加しています。 組み合わせることでさらに便利に: Bi
目的無きデータ分析は無駄である｜データ分析とインテリジェンス
何となくデータを見ることで目的など生まれない 何かいいことが見つかるかもしれないからと何の目的も無しにデータを見るのは時間の無駄である。 データ分析は意思決定のために行っているはずだ。であれば何らかの意思決定という目的が無ければどんなに数字をいじくりまわしたところで「それで？」で終わるだけになる。それは時間の無駄としか表現のしようがない。 なおここでいう「データ分析」とは手元にあるデータを何とかするということに限らず「特定の目的の意思決定を支援するための一連のプロセス」を指す。詳しいことは近日中に記事を書く。 まず目的ありき。そして必要だったらデータ分析をする。逆ではない データ分析は手段である。目的を果たすために必要であるから行うのであり、データがあるから、導入したツールがあるから、新しい手法を勉強したからと分析して解決すべき問題への道に繋がっていたとしてもそれは偶然に過ぎない。 中小企
Pythonによる財務分析① バフェットコードをつかって完全レクチャー！ (全8回) | DeFi Labo
Python初心者企業の財務分析をしたいけど、なにをしたらいいのかわからないよ。。。 この記事は10分程で読むことができます！ この記事では、Python初心者でもできるように、財務諸表分析をレクチャーしていきます！ 本記事は、全8回に渡って掲載される「pythonによる財務分析‐バフェットコードを用いて完全レクチャー！」シリーズの第1回になります！ このシリーズを読むとわかることPython初心者でも、数百数千の企業の財務データを分析出来るようになる！ 最終的に重回帰分析といった機械学習的手法もマスターできる！ 重回帰分析をマスターすれば、株式投資のリターン予測を行う事が出来るようになり、プログラミングだけでなく投資のスキルも磨けます！ また、ファイナンス系以外の幅広い分野の研究機関でも、この分析手法を利用した論文も多々ある為、教養としても覚えて損はないです！ 是非、全8回を読みPyth
プロダクトの健全度を測る (Sequoia Capital) - FoundX Review - 起業家とスタートアップのためのノウハウ情報
この記事は原著者の許可を得て翻訳・公開するものです。原文: Measuring Product Health (Sequoia Capital, Data Science Team) 目次 ユーザーアダプションと成長 市場のメトリクス MAU / インストール数 成長のメトリクス MAU / WAU / DAU D/D、W/W、M/M、Y/Y の変動数 Quick Ratio 新規ユーザー数 / MAU サインアップ数 / インストール数 成長に関する検討事項 継続率 継続のメトリクス Dn / Mn / Wn メトリクス コホート曲線 スティッキネス スティッキネスのメトリクス DAU / MAU 起動率 Lness スティッキー継続率または DoD / WoW / MoM 継続率 エンゲージメント エンゲージメントのメトリクス 消費時間 / DAU セッション数 消費時間 / セッショ
解像度を上げると「データ分析」はもっと幸せになる 現役データサイエンティストが教える、データ分析の4つの要素
データサイエンティストは、ビジネスチームや上司から、さまざまなデータ分析を依頼されます。本来自分がやりたかったデータ分析と、ちょっと違うという不一致はありませんか？ こうした不一致は、データ分析というものが抽象的で、人によって期待値が違うからです。 では、どのように分析すればよいか。その考え方を、Wantedly社の松村優也氏が語ります。 データ分析に求めるものは、人によって違う 松村優也氏：「データ分析の解像度を上げたい」というタイトルで発表します。よろしくお願いします。 まず自己紹介です。松村優也と申します。Wantedlyという会社の推薦チーム（レコメンデーションチーム）で、データサイエンティストとチームリードをやっています。情報検索の分野と機械学習に興味があります。本日が2020年での初登壇になります。 まずはみなさん、データ分析はうまくいっていますか？ 自信を持って「私はデータ分
なぜn_estimatorsやepochsをパラメータサーチしてはいけないのか - 天色グラフィティ
ハイパーパラメータを探索するため、グリッドサーチやOptunaなどを利用することがあると思います。 しかし、「ハイパーパラメータ探索してみた」のようなQiita記事などでは間違って書かれていることも多いのですが、XGBoostやLightGBMの n_estimators ( num_boosting_rounds )やKerasの epochs をパラメータサーチの対象にしてはいけません。 いけません、というか、すごく無駄なことをしています。 なぜ、n_estimatorsやepochsを探索すると無駄なのか 理由はシンプルで、これらのパラメータは「大きい値で精度確認する過程で小さい値の結果も分かる」からです。 LightGBMのn_estimatorsは構築する決定木の数を表しています。 例として、n_estimators=5 (こんな小さい値で学習することはないですが、簡単のため)で
noteの急成長を支えるデータ分析の舞台裏
Transcript ͷٸΛࢧ͑Δσʔλੳͷཪ Data Analyst Meetup Tokyo Vol.9 ࣗݾհ GO ANDO THE GUILD / UXɾUI Designer 1. SIer ͰΩϟϦΞελʔτ ɾ େن։ൃͰσεϚʔνΛଟܦݧ ɾ ւ֎ࣄۀ։ൃͰւ֎Ͱൃ۷ 2. ݕࡧΤϯδϯϕϯνϟʔ ۀ ɾ ถࠃελʔτΞοϓͱڞಉ։ൃ 3. ಠཱͯ͠ΞϓϦσϕϩούʔʹ ɾ App Store ຊ૯߹1ҐΛؤுͬͯ֫ಘ 4. THE GUILD ۀ ← ͍·͜͜ ɾ U-NEXTσβΠϯސ ɾ noteσʔλੳνʔϜ ɾ IBMʹങऩ͞Εͯऴྃ ɾ YAMAP CXO Data Analyst Meetup Tokyo Vol.9 ຊͷςʔϚ ͷٸΛࢧ͑Δσʔλੳͷཪ 0 5,000,000 10,000,000 2014/4
/ - Kaggler-ja Wiki
GROWI 4.2.5 -/ Shortcuts × Global shortcuts Open/Close shortcut help: + / Create Page: C Edit Page: E Show Contributors: Konami Code ↑ ↑ ↓ ↓ ← → ← → B A Mirror Mode: Konami Code X X B B A Y A Y ↓ ← Editor shortcuts Indent: Tab Outdent: Shift + Tab Save Page: + S Delete Line: + D Comment Form shortcuts Post: + Delete Line: + D
メタ・アナリシスの入門
16:05 発表スタート 16:40 Rの使い方スタート 16:45 発表終了 15:45~17:00 質疑 16:05 発表スタート 16:40 Rの使い方スタート 16:45 発表終了 15:45~17:00 質疑 AND OR NOTといた演算子も活用する MEDLINEにはあるけど，pubmedには近接演算子はないんよ 16:05 発表スタート 16:40 Rの使い方スタート 16:45 発表終了 15:45~17:00 質疑 16:05 発表スタート 16:40 Rの使い方スタート 16:45 発表終了 15:45~17:00 質疑 質の評価とバイアスの評価は少し違う。スタンダードに従うという意味で質が高くてもバイアスのリスクのある研究がある。 Risk of biasとimprecisoinも違う。Risk of biasは系統的なエラー。正確性(precision)よりも内的
100万件を超えるビッグデータをクロス集計しても、拍子抜けするほど速く結果が出る
前回はビッグデータ分析を実施できる環境を整えた後、2次属性付けとクロス集計というシンプルな作業を実施していけばよいという分析の流れを説明し、最初のステップである2次属性付けの作業プロセスまで見てきました。 今回はその2次属性を利用してクロス集計し、ターゲット層の購買傾向を把握、自分の現場での肌感覚が正しいかどうかを、ビッグデータから数字の裏付けを取る検証のプロセスを説明していきます。前回に続いて、スーパーマーケットチェーンのマーケティング担当者の例で考えていきましょう。 手軽にできるビッグデータの分析環境を整え、今まで分析できなかった購買明細データと顧客会員データを手元に置きました。やりたいことは男性客の購買特性を把握し、その特性に合わせて、より買ってもらうための施策を考えたいということです。最初のステップとして購買明細データに2次属性を付け終わりました。付けた2次属性は購買時間、購買金額
柔軟なログ収集を可能にする「fluentd」入門 | さくらのナレッジ
複数台のサーバーやクラウド環境を組み合わせてのサービス運用においては、ログの収集方法に工夫が必要となる。こういった場合に有用なのが、さまざまなログの収集手段を提供するfluentdだ。今回はfluentdのアーキテクチャやそのインストール/設定方法、基礎的な設定例などを紹介する。 さまざまな方法でログを収集できるfluentd 今回紹介するfluentdは、Treasure Dataが開発するログ収集管理ツールだ（図1）。オープンソースで公開されており、Linuxや各種UNIXで動作する。 図1 fluentdのWebサイト ログ収集のためのソフトウェアとしてはsyslogdやsyslog-ngなどが有名だが、fluentdがこれらと異なる点としては、以下が挙げられる。 さまざまなソースからのイベントをさまざまな媒体に出力できる fluentdの大きな特徴としては、ログの収集方法やログの記
日本語の文章のタイポ/変換ミス/誤字脱字エラーをチェック/校正
Enno.jpは日本語のあからさまなエラー（タイポ、スペースのエラー、誤字脱字、変換ミス、入力後の編集ミス、文字化け）を自動チェックするWebサービスです。 フォーマルな文書を中心に、あらゆる日本語文書のあからさまなエラーをチェックできます。 誤検出および無関係なエラーを極力排除しており、他のチェック・校正ツールと組み合わせるのに向いています。AIで生成・処理した文章のチェックにも有用です。 特定の業種やスタイルに依存しません。全角句読点「，」「．」やソースコードを含む理工系文書もチェックできます。 ユーザー登録は不要です。 エラーのパターンを蓄積してチェックしているので動作が安定しています（AIは使っていません）。パターンは常時追加されます。 プライバシー保護のため、チェックされる文書はデータベースやログや外部サイトなどに一切保存していません。サイト運営者も読めません。 LIG様のブログ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
TechCrunch | Startup and Technology News
機械学習によるデータ分析 実践編