「Cube.js」は、npmやyarnでインストールできるオープンソースのWebアプリケーション用分析ツールです。RDBだけでなく、AWS AthenaやGoogle BigQueryなどのサーバーレスクエリエンジンと連携するように設計されています。機能が非常に豊富なので、今回は初期セットアップに的を絞ってご紹介します。 ◆ オープンソースのWebアプリケーション分析ツール「Cube.js」 https://cube.dev/ 紹介 「Cube.js」は、GUIも完備した高機能なWebアプリケーション分析ツールです。 インストール $ npm install -g cubejs-cli # or $ yarn global add cubejs-cli npmまたはyarnでインストールします。 $ cubejs create <プロジェクト名> -d <データベースタイプ> （データベー
国立国会図書館では、さまざまなオープンデータが公開されています。 その中に「図書館及び関連組織のための国際標準識別子（ISIL）」試行版LODがあります。 これは、日本全国の図書館に関する情報が網羅的にまとめられているRDFデータとなります。 提供されているデータはXMLファイルなので個別にデータを取得するためにはプログラムなどで処理する必要があるので、Webブラウザで各データを見やすく提供するWebサイト「図書館施設データポータル」を作成しました。 ここでは、 図書館施設データポータル を紹介します。 図書館及び関連組織のための国際標準識別子（ISIL）」試行版LOD とは 元データは、「図書館及び関連組織のための国際標準識別子（ISIL）」という図書館等につけられる国際的な識別子で、国立国会図書館では、このISILが付与される図書館の情報をオープンデータ(XMLファイルのRDFデータ)
時系列データ分析コンテンツ「ごちきか」を公開します - NTT Communications Engineers' Blog
この記事は、 NTT Communications Advent Calendar 2022 24日目の記事です。 はじめに イノベーションセンターの木村と申します。初めてのアドベントカレンダー&Engineers’blog投稿です。普段の業務は、機械学習をもちいた時系列データ分析の研究開発やお客様データ分析案件支援を主として行っています。プライベートでは自転車にお熱でZwiftでバーチャルライドをしたり、最近ではテクニック向上のためバニーホップの練習に励んでいます（なかなか上達しません…）。 今日はクリスマスイブということで、時系列データ分析コンテンツ「ごちきか」 をプレゼント（？）します！年末休みのお供にぜひご照覧ください。 サマリー 時系列データ分析コンテンツ「ごちきか」を公開しました （余談として）基盤やデプロイ方法を紹介します What is 「ごちきか」？ 私たちのチームでは、
Excelで学ぶ、やさしいデータ分析
データ分析に興味はあるけれど、どこから手を付けていいか分からない……そんなあなたにぴったりなのが、この無料の電子書籍『Excelで学ぶ、やさしいデータ分析』です。ここから、データ分析の第一歩を気軽に踏み出してみましょう！ この電子書籍は、「Microsoft Excel」「Googleスプレッドシート」など日常的に触れる表計算ソフトウェアを使って、自分の手で体験しながら段階的に学べるように設計されています。概念や手順は誰でも理解できるように丁寧に易しく説明されており、数学やプログラミングの前提知識も必要ありません。 本書は、データ分析を初歩から学びたい方々に向けた「包括的な教科書」として、データの取り扱い方から基本的な分析方法まで、幅広いテーマを網羅しています。具体的には、以下の全16回で構成されています。 データ分析の基礎： 第1回 データ分析を学ぶべき理由と連載概要 第2回 前提基礎：
概要 troccoの生みの親で、現プロダクト責任者をしている @hiro_koba_jp です。 troccoアドベントカレンダー2022の1記事目書いていきます！（みんなも参加してね） データ分析やデータエンジニアリングにおいてETL(Extract Transform Load)という言葉を耳にしたことがある方は多いのではないでしょうか？ 一方、「ETLではなくELT（音楽グループではない）が主流になりつつある」といったような論調も増えてきました。 この記事では、ETLとELTの違いや、なぜELTにシフトしつつあるのか、この先どうなるのか（予想）について、私なりの見解を書いてみようと思います。 一昔前まではETLパターンが多かった Redshiftが登場した2013年頃、人々はデータレイク層はS3上で構築し、データウェアハウス層〜データマート層はRedshift上に組む人が多かったよう
滅多に起こらない現象を表すポアソン分布はイチローの安打数にも当てはまるのか？ １９９４年、プロ３年目のイチローはシーズン２１０安打、打率.３８５を記録して、一気にスーパースターになりました。 この年の打率１０傑は次の通りです。 （年度別成績 1994年パシフィックリーグ｜NPB.JP 日本野球機構 より抜粋） １位と２位以下の差が凄いですね。 いかにイチローが図抜けていたかが分かります。 今年のパ・リーグの規定打席以上の打者２９人の安打数を見ると、試合数より少なくなっていて安打数÷試合数＝０.９３です。 これくらいだと、１試合当たりの安打数は「滅多に起こらない事象の確率分布」であるポアソン分布に従います。 しかし、普通でない打者のイチローは、１試合当たり１.６本以上の安打を打っています。 そのような場合もポアソン分布に従うのでしょうか？ それを調べてみました。 比較対象として１９９４年打率
データ基盤チーム0人で運用は回るのか？！ 前人未踏チャレンジ・クックパッドデータ基盤のすべて2020 - クックパッド開発者ブログ
技術部データ基盤グループの青木です。 ここ1、2年はなぜか成り行きでBFFをでっちあげたり、 成り行きでiOSアプリリニューアルのPMをしたりしていたので あまりデータ基盤の仕事をしていなかったのですが、 今年は久しぶりに本業に戻れたのでその話をします。 突然の1人チーム、そして0人へ…… 今年のデータ基盤チームは消滅の危機から始まりました。 間違いなく去年末は5人のチームだったと思うのですが、 メンバーがイギリスへグローバルのデータ基盤チームを作りに行ったり、 山へ検索システムを直しに行ったり、川へレシピ事業の分析業務をやりに行ったり、 海へ広告のエンジニアリングをしに行ったりするのをホイホイと気前よく全部聞いていたら、 なんと4月から1人だけのチームになってしまいました。 事はそれで終わりません。 恐ろしいことに10月にはわたし自身も育休に入ることになったので、 10月はデータ基盤が0
NHK「男女平等な国ほど出生率が高い？ ジェンダーギャップ指数と合計特殊出生率との間に正の相関関係が」←「無いよ」大量のツッコミ
NHKニュース @nhk_news 男女平等な国ほど出生率が高い？ 先進国ではジェンダーギャップ指数と合計特殊出生率との間に正の相関関係がみられるそうです (因果関係の有無は分からないそう) www3.nhk.or.jp/news/special/n… 👆 解説記事「１からわかる！少子化問題（３）」 pic.twitter.com/ah3d1Df0d8 2023-04-19 13:01:00
Tableauによる最新版『可視化ベストプラクティス』〜Tableau Blueprint〜 #tableau | DevelopersIO
先日のブログでも紹介しましたTableau社によるベスト・プラクティス集『Tableau Blueprint』。 当エントリでは、その中から『可視化』の部分にフォーカスを当てたトピック『Visual Best Practices』に関してその内容をまとめて見たいと思います。 Visual Best Practices - Tableau 目次 はじめに ユーザー視点に立って考える コンテキスト 適切なチャートの選択 レイアウト 配色 タイトルと字幕 ツールチップ フォント ダッシュボードのサイズ ダッシュボードに対話性を持たせる パフォーマンス設計 まとめ はじめに ダッシュボードの究極的なゴールは『ユーザーが答えを簡単に導き出すことが出来る』ことと言えるでしょう。如何に見栄えの良い、美しいダッシュボードが出来たとしてもユーザーがそれを使って洞察を得て答えを見つける事が出来なければ何の役に
JX通信社シニア・エンジニアで, プロダクトチームのデータ活用とデータサイエンスのあれこれ頑張ってるマン, @shinyorke（しんよーく）です. 最近ハマってるかつ毎朝の日課は「リングフィットアドベンチャー*1で汗を流してからの朝食」です. 35日連続続いています. 話は遡ること今年の7月末になりますが, JX通信社のデータ基盤の紹介&「ETLとかバッチってどのFW/ライブラリ使えばいいのさ🤔」というクエスチョンに応えるため, このようなエントリーを公開しました. tech.jxpress.net このエントリー, 多くの方から反響をいただき執筆してよかったです, 読んでくださった方ありがとうございます！ まだお読みでない方はこのエントリーを読み進める前に流して読んでもらえると良いかも知れません. 上記のエントリーの最後で, 次はprefect編で会いましょう. という挨拶で締めさせ
はじめに 因果推論100本ノック（自作）1本目~10本目の問題とPythonのサンプルコードです． 問題の不備や内容の誤り等ありましたら，ご指摘いただけますと幸いです． 設定 アナリストの分析レポートが営業の受注件数にどれくらい貢献しているかを分析するケースを考えます． 今回は，下記フォルダの「causal_knock1.csv」ファイルのデータを利用します． データのカラムの概要は下記の通りです． 変数名 データの概要 備考
Data Engineering Study #2「データ収集基盤とデータ整備のこれまでとこれから」https://forkwell.connpass.com/event/182769/ 作成者 ：しんゆう＠データ分析とインテリジェンス Twitter：https://twitter.com/data_analyst_
ウェブアナリスト 小川卓氏がおすすめする、Googleアナリティクス4の「メディアならではの活用法」 - はてなビジネスブログ
はてなでは、オウンドメディアのトータル支援「はてな MediaSuite」やオウンドメディアCMS「はてなブログMedia」の導入企業様にご案内するためのクローズドイベントを定期開催しています。 本記事では、「はてなブログ」の法人向けプランをご利用の企業様向けに開催した「Google アナリティクス4 オンライン勉強会 ～メディアならではの活用方法～」の一部をご紹介します。 講師は、ウェブアナリストであり、HAPPY ANALYTICS代表である小川 卓氏です。 「Google アナリティクス4 オンライン勉強会 ～メディアならではの活用方法～」について GA4の計測思想 はてなブログのカスタムイベント 取得出来るデータの変更にもとづいて見るべきデータ 1. 集客 2. 初回獲得 3. ランディングページ 4. 時系列レポート 5. はてなブログ カスタムイベント利用 まとめ Q&A 小川
データセットの本質的な性質を踏まえないデータ分析には、大抵何の意味もない - 渋谷駅前で働くデータサイエンティストのブログ
前回のブログ記事は、論文紹介という地味なテーマだったにしてはだいぶ話題を呼んだ*1ようで、個人的にはちょっと意外な感があったのでした。確かに、今をときめくTransformerにも苦手なものがあるという指摘は、NN一強の現代にあってはセンセーショナルなものと受け止められても不思議はなかったかと思います。 しかし、それは同時に「データセットが持つ本質的な性質」と「データ分析手法の性質」とのミスマッチと、それが引き起こす問題とについてこれまであまり関心を持ってこなかった人が多いということなのかもしれません。そして、そのミスマッチは冗談でなく古来からある程度定まった類型があり、データ分析業界の古参なら「そんなの常識だよ」というものばかりだったりします。 ところが、最近僕の周囲でもそういうミスマッチが深刻な実問題を招いているケースが散見され、思ったよりもそれは常識ではないのかな？と思わされることが
[レポート]みんなの考えた最強のデータアーキテクチャ #datatechjp | DevelopersIO
さがらです。 11月8日20時～22時に、datatech-jp(データエンジニアリング関係のコミュニティ)主催でみんなの考えた最強のデータアーキテクチャというイベントが開催されました。 本記事はこのイベントのレポートブログとなります。 イベント概要 ※connpassより引用 datatech-jpで集ったデータエンジニアが、それぞれみんなの考えた最強のデータアーキテクチャを紹介し合うという夢のような企画が実現しました！ たくさんの新しいプロダクトが群雄割拠する現在、モダンデータスタックなどという言葉も登場しています。 今こそ、どんなプロダクトを選び、どのようなデータ基盤を作れば、効率的にやりたいことが実現できるのか。 5人の猛者からおすすめの構成をご紹介いただきながら、参加者のみなさんとも一緒に考えていく時間としたいと思います。 おまけ：当イベントの応募者数 このイベントですが、なんと
![[レポート]みんなの考えた最強のデータアーキテクチャ #datatechjp | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/9f9486832be1a42a11ac2d244e8c51de11a34ab7/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2022%2F11%2F2022-11-08_19h35_04.jpg)
数理・データサイエンス・AI教育強化拠点コンソーシアム MIセンターは、2022年度政府予算に盛り込まれた「数理・データサイエンス・AI教育の全国展開の推進」事業の東京大学における実施主体です。 同事業で選定された29大学（拠点校11大学、特定分野校18大学）のコンソーシアムの幹事校として、大学、産業界、研究機関等と幅広くネットワークを形成し、地域や分野における先進的教育モデルの拠点として、数理・データサイエンス・AIの実践的教育の全国普及に努めます。 同時に、この分野を牽引できる国際競争力のある人材および産学で活躍できるトップクラスのエキスパート人材の育成を目指します。 [コンソーシアムホームページ] 数理・データサイエンス・AIの活用事例動画 本動画集は数理・データサイエンス・AIリテラシーレベル教材の導入となるような活用事例を収集したものです。数理・データサイエンス・AIリテラシーレ
こんにちは、JADEの小西です。 広告に携わるみなさまGA4はもう使っていますでしょうか。まだあまり使えてない、ユニバーサルアナリティクスと画面が違って慣れていないだけかもだけど何が変わったの？という段階の方がもう一歩GA4へ踏み込めるよう、ユニバーサルアナリティクスにはできなかったことでGA4ならではのレポーティングで、なおかつごく基本的な設定のみで簡単に確認できることのみをご紹介します。 「カスタムイベントも計測して探索レポート駆使してゴリゴリユーザー行動の分析をしている」くらいの方には特に参考になりませんので今後の村山と郡山の記事を楽しみにお待ちください。 準備：まずトラッキングパラメーターをつける まず、どの広告プラットフォームか、どの広告キャンペーンかなど必要充分な粒度で把握できるようにしましょう。 GA4利用前提でのトラッキングURLのおすすめのつけ方は以前ブログに書きましたの
【第93回】「少年ジャンプ＋」のデータ担当Kさんに聞く！ 読者の行動は数字で分かる!? 読者を逃がさない読切作品の作り方!! - 運営からのお知らせ - ジャンプルーキー！
皆さんこんにちは。「ジャンプルーキー！」をご利用いただきありがとうございます。少年ジャンプ＋編集部のS浦です。 突然ですが、「少年ジャンプ＋」ではユーザーの方々からいろいろなデータを取得し、マンガ作りに活用していることをご存知でしょうか？ この度「少年ジャンプ＋」のデータ管理担当のKさんにお話を伺ってみたところ、新人作家の方々に役立ててほしい情報をたっぷりと入手することができました！ ＊＊＊＊＊ S浦：本日は快くインタビューを引き受けていただきありがとうございます！ では早速、Kさんは実際にどのようなデータを収集・管理されているのでしょうか？ Kさん：アプリ内のユーザーの行動は一つ一つデータとして収集・管理しています。特にマンガを読むページは情報量が多く、1ページごとの閲覧数はもちろん、ユーザーが途中で読むのをやめてしまった場合は何ページ目で離脱したのかというデータも取っています。 また、
新型コロナウィルス感染拡大に伴い不要の外出を控える社会人や学生のみなさまに向け、 JDLA認定プログラムを実施する事業者の協力を得て、一部のオンライン学習コンテンツを期間限定で無料公開いたします ＊2020年1月20日に「INTLOOP株式会社」の講座を追加しました ＊12月1日に「エッジテクノロジー株式会社」の講座提供期間を延長しました ＊5月19日に「スキルアップ株式会社」の講座期間定めなし、申込み方法追加しました ＊5月13日に「スキルアップ株式会社」の1講座を追加しました ＊5月1日に「Study-AI株式会社」の3講座を追加しました ＊4月27日に「NTTラーニングシステムズ株式会社」の1講座を追加しました ＊4月24日に「株式会社日経BP」の1講座を追加しました ＊4月17日に「エッジテクノロジー株式会社」の3講座を追加しました ＊4月9日に「株式会社キカガク」の1講座を追加し
オリンピックで活躍している選手への誹謗中傷がSNS上で寄せられているというニュースが出て問題となっています． アスリートへの誹謗中傷については，池江選手への出場辞退を求める書き込みが社会的にも問題になるなど近年多くなっているように見受けられます．池江選手への書き込みについては，こちらの記事で詳細を分析しています． そして，オリンピックが開始しても次々送られているらしいSNS上での誹謗中傷について，実際に誹謗中傷を行っている人たちは何者なのか調べてみたいと思います． ここでは公開性が高く分析を行うことについて問題のないTwitterを利用したいと思います．実際に誹謗中傷が行われている場所としては，インスタグラムやYahoo!ニュースなどがあるようですが，これらのデータを取得することは困難だったり，規約上難しかったりするためご容赦いただければと思います． さて，今回ニュースの中で誹謗中傷が寄せ
夫婦で納得の土地探しをするためにLINE Bot作ったりデータサイエンスした話 - ABEJA Tech Blog
皆さんこんにちは！ ABEJAでデータサイエンティストをしている服部といいます。 本記事はABEJA Advent Calendar2022の10日目の記事になります。 背景 引っ越しから2年.... データサイエンティストとしてのリベンジ 前回の反省を踏まえて.... 1. お得そうに見える土地には絶対に理由がある 2. 土地の数はせいぜい限られていて全部探すのも難しくない 今回解く課題 土地探しにおける意見の違いとは？ どうやってデータサイエンスを使って夫婦の擦り合せを行う？ アプローチ 実装 1. 架空の土地条件をランダムに沢山作る 土地条件の項目数や取りうる範囲が増えすぎないようにする 自分たちにとって関連性が高い項目を入れる 2. 作った土地に対して夫婦それぞれで値段をつける LINE Botの概要 バックエンド 土地情報の作成とFireStoreに登録 妻からのフィードバック
GitHubが「Pull Panda」買収を発表。プルリクのSlackリマインダーやレビュアーの公平な割り当てなど、全機能が無料に
GitHubが「Pull Panda」買収を発表。プルリクのSlackリマインダーやレビュアーの公平な割り当てなど、全機能が無料に GitHubは、GitHub関連ツールベンダ「Pull Panda」の買収を発表しました。この買収発表と同時に、Pull Pandaが提供していた3つのソフトウェア「Pull Reminders」「Pull Analytics」「Pull Assigner」はすべてGitHub Marketplaceで無料公開され、だれでも使えるようになりました。 Pull Remindersは、プルリクエストに対する作業を自動的にSlackにリマインドしてくれる機能を提供します。これによりプルリクエストへの対応が忘れられたままになるのを防ぐことができます。
リテラシーレベルモデルカリキュラム対応教材 利用条件とアンケート 東京大学と記載のあるスライド教材の利用についてはこちら（一部スライドは冒頭の利用条件をご参照ください）。 東京大学と記載のある講義動画の利用条件は、各動画の冒頭をご参照ください。 滋賀大学と記載のある教材の利用条件はCC BY-NC-SAです。 九州大学と記載のある教材の利用条件はCC BYです。 筑波大学と記載のある教材の利用条件についてはこちら 北海道医療大学と記載のある教材の利用条件はCC BYです。 東京都市大学と記載のある教材の利用条件についてはこちら 教材のアンケートはこちら モデルカリキュラムと対応する講義動画・スライド 1. 社会におけるデータ・AI利活用 2. データリテラシー 3. データ・AI利活用における留意事項 4. オプション 1. 社会におけるデータ・AI利活用 1-1. 社会で起きている変化
Google Analytics 4（GA4）の衝撃。5つのポイントと3つのAIキーワード | ウェブ解析士ナレッジ
株式会社クリエイターズネクストの窪田です。Google Analytics 4 プロパティのリリースに伴い、緊急寄稿をさせていただきます。今回のGoogle Analytics 4 プロパティはウェブ解析の知見と、機械学習の知見とが同時に求められる内容でした。 私は3万8000名のウェブ解析士の中で2年連続に日本一となっており、東京大学大学院松尾研究室のGCI、MITスローン大学院で深層学習のプログラムを修了しています。また、深層学習に関する特許を日本で取得しています。そのため、本記事では、ウェブ解析の知見と、機械学習の知見を両方使いながら説明していきます。 1週間でGoogleアナリティクス4の基礎が学べる本 を出版しました！ 大幅に改訂されたWebマーケティングツール 「Googleアナリティクス4」の基礎と活用法を 最前線のWebマーケッターたちがやさしく解説! 本書は、Webマーケ
深層距離学習(Deep Metric Learning)の基礎から紹介 - OPTiM TECH BLOG
こんにちは、R&Dチームの河野(@ps3kono)です。深層学習モデルの開発を担当しております。 今回は、画像分類、画像検査、顔認識や異常検知など様々な分野に利用されている深層距離学習(Deep Metric Learning)について紹介したいと思います。 Deep Metric Learningとは 定番のクラス分類と距離学習によるクラス分類の違い 距離学習の進化 1. 対照的(contrastive)アプローチ サンプル選択(sample selection) 代表的な学習手法 Contrastive loss Triplet loss さらなる改善と進化 対照的アプローチの問題点 2. Softmaxをベースにしたアプローチ 代表的な学習手法 Center loss SphereFace CosFace ArcFace さらなる改善と進化(2019年以降) 推論 深層距離学習の利点
Google Analytics 4 でミスされやすい・誤解されやすい「設定」７選（寄稿：小川卓） - はてなビジネスブログ
株式会社HAPPY ANALYTICSの小川卓（id:ryuka01）です。 Google Analytics 4 の本格利用がGoogle Analytics終了とともに始まり、多くのサイトや企業が移行を完了したと思われます。しかしGA4は新しい計測形式になり、混同しやすい内容が増えました。特に今までGAを使っていた人ほど、誤った理解で設定を行ったり、数値の定義を間違えて理解してしまいます。 そこで今回は注意するべきポイントを7個まとめてみました。みなさんが正しく設定や理解をできているかを１つずつチェックしながら、ぜひ本記事をご覧ください。 事実１：Google Analytics 4ではコンバージョンのカウント方式が２種類ある 事実２：「データ保持」の期間設定は「探索レポート」のみ反映される 事実３：拡張計測機能で設定した取得項目を見るためには設定が必要な項目もある 事実４：内部トラフ
Google Analytics 4 以外でウェブサイトを分析・改善するための無料ツール群とオウンドメディアでの活用法（寄稿：小川卓） - はてなビジネスブログ
株式会社HAPPY ANALYTICSの小川卓（id:ryuka01）です。 Google Analytics 4はアクセス解析ツールのスタンダードとして、多くの企業やサイトに導入されています。しかし利用ハードルが高いのもまた事実です。数多くあるレポートや、自由度が高すぎて迷ってしまう探索レポート、独自の用語なども沢山あり、利用に苦労されている方も多いのではないでしょうか。 そこで、GA4以外でウェブサイトのユーザー行動を理解し、サイト改善するためのツールを厳選して紹介します。今回紹介するツールは無料で利用できるものをピックアップしています。無料プランと有料プランの両方があるサービスの場合は、その旨を記載しています。また、無料でも期間限定のサービスは追加していません。 数多く紹介することを目的とせず、全て筆者が利用している（あるいは利用経験があるもの）に絞り込み、その中で良かったと思うツー
2023年7月1日にGA（ユニバーサルアナリティクス）が計測終了とのアナウンスと所感 - Real Analytics （リアルアナリティクス）
2022年3月16日に「Google Analytics（ユニバーサルアナリティクス）」の計測終了に関するアナウンスが行われました。無償版の計測終了日は2023年7月1日です。 日本語の公式ヘルプ（今後も更新されるようです） support.google.com 英語版ブログでのアナウンス blog.google 公式ヘルプにもありますが、重要なポイントをピックアップすると ポイント ・Google アナリティクス（ユニバーサルアナリティクス）の計測停止は2023年7月1日。送られてきたヒットが処理されなくなります。つまりタグが入っていてもGA上には数値が出てこない。有償版も2023年10月1日に計測終了。 ・APIに関しても同様の日程となるため、APIを利用している場合は後述するGA4のAPIへの移行が必要になります。 ・Google広告とGoogle アナリティクスを連携している場合は
GA4×サチコ×Looker Studioで可視化！ 現場で使われる“ダッシュボード”の作り方 | 【レポート】Web担当者Forumミーティング 2023 秋
Google Search Console（以降、Search Console：サーチコンソール）は便利なツールではあるものの、なかなかそのデータを活用しきれていない、活用したいがデータの加工などがやりにくいという悩みをよく聞く。SEOの分析、モニタリングツールの「Amethyst（アメジスト）」を提供するJADEの郡山 亮氏が「Web担当者Forum ミーティング 2023 秋」に登壇。 無料ツール「Looker Studio（ルッカースタジオ）」を使ってSearch Consoleのデータを徹底活用し、現場で使われる、定点モニタリングしやすいダッシュボードをつくる方法を紹介した。 Search Consoleの扱いづらさをカバーするLooker StudioSearch Consoleはさまざまなことができるツールだが、今回は検索パフォーマンスの検索結果レポートに絞って紹介した。Sea
Material Design
Build beautiful, usable products faster. Material Design is an adaptable system—backed by open-source code—that helps teams build high quality digital experiences.
6/26 【オンライン】ログ分析勉強会 vol.2 での登壇資料です https://loganalytics.connpass.com/event/176044/ #logben
こんにちは、佐々木です。年末に書こうと思って、すっかり忘れていた宿題です。 2022年末のre:InventのキーノートでAWSのCEOであるAdam Selipskyが、『A Zero ETL future』という概念が提唱しました。言わんとすることは解るのですが、これは一体どういう文脈で、なんのためなのだろうと疑問に思う方は多いと思います。そこで、自分なりにデータ分析を取り巻く現状と課題、ゼロETLの概念が出てきた理由をまとめてみます。これは私自身の思考なので、全然違う可能性が高いですので、悪しからず。 データ分析とETLの現状と課題 ゼロETLの話をする前に、データ分析とETLの現状の話をしましょう。データ分析をする際には、必ずデータが必要です。では、そのデータはどこからやってくるのか？単一のシステム内で分析する場合もありますが、多くの場合はいろいろなシステムから必要なデータを集めて
何となくデータを見ることで目的など生まれない 何かいいことが見つかるかもしれないからと何の目的も無しにデータを見るのは時間の無駄である。 データ分析は意思決定のために行っているはずだ。であれば何らかの意思決定という目的が無ければどんなに数字をいじくりまわしたところで「それで？」で終わるだけになる。それは時間の無駄としか表現のしようがない。 なおここでいう「データ分析」とは手元にあるデータを何とかするということに限らず「特定の目的の意思決定を支援するための一連のプロセス」を指す。詳しいことは近日中に記事を書く。 まず目的ありき。そして必要だったらデータ分析をする。逆ではない データ分析は手段である。目的を果たすために必要であるから行うのであり、データがあるから、導入したツールがあるから、新しい手法を勉強したからと分析して解決すべき問題への道に繋がっていたとしてもそれは偶然に過ぎない。 中小企
家賃保証サービスなどを提供するリース(新宿区）は、賃貸物件に申し込んだ人の属性などのデータから、家賃を滞納する可能性がどれぐらいあるかを判断するAI「滞納予測AI」を開発した。 このAIを搭載した「入居審査支援ツール」のβ版を、家賃債務保証会社10社限定で無料提供する。同ツールを使えば、紙ベースの審査では45分かかっていた入居審査を16分に短縮できるという。 滞納予測AIは、リースが保証事業を運営する中で得た1万件以上のデータを基に開発。年齢や雇用形態、年収など9項目の情報を入力するだけで、滞納発生度合いと滞納発生時期の予測を表示する。 同社が持つ、家賃保証の入居審査と家賃滞納データから20を超える特徴量を抽出し、毎週リアルタイムにデータを加えてモデルを更新。延滞を繰り返す属性の特徴量から滞納発生の予測精度は、70％を超えたという。 今回、AIの学習・情報更新を加速させて予測精度をさらに上
No cookie for you
CompanyPolicyNo cookie for youThe developer community remains the heart of GitHub, and we’re committed to respecting the privacy of developers using our product. August 2, 2022 update: We’ve since updated our privacy statement with regards to web cookies for marketing to enterprise users. View the changelog here. Good news: we removed all cookie banners from GitHub! 🎉 No one likes cookie banners.
Pythonによるアクセスログ解析入門 / Tutorial on Access Log Analysis by Python
PyConJP 2021での発表(https://2021.pycon.jp/time-table?id=269506) で利用した資料です。サンプルコード (https://colab.research.google.com/drive/1r4GcXWvM-j-dlfT0XF-O-Y5DiyAM-gGq?usp=sharing) もあります。
"壊れにくい"データ基盤を構築するためにMackerelチームで実践していること - Hatena Developer Blog
こんにちは。MackerelチームにおいてCRE（Customer Reliability Engineer）をしているid:syou6162です。主にカスタマーサクセスを支えるデータ基盤の構築や、データ分析を担当しています。 今回は、壊れにくいデータ基盤を構築するため、Mackerelチームで実践していることを紹介します。 なぜ壊れにくいデータ基盤を構築するのか データ基盤が“壊れている”とはどういうことか 壊れてないだけでなく、壊れたら気付ける 前提とするシステム構成 壊れたことに気付けるよう監視する 1. バッチジョブが失敗したことに気付く 2. 投入されたデータの性質を監視する 3. ビューが壊れてないかを監視する 4. 利用状況を監視する そもそも壊れてない状態を保つ 1. データリネージを元に修正できるようにする 2. 使われていないテーブルやビューは定期的に掃除 おわりに 参
そろそろ全体を見た話が聞きたい２ - ニューロサイエンスとマーケティングの間 - Between Neuroscience and Marketing
2010年の年末に『イシューからはじめよ』を出版した。何ヶ月か後、歴史的な大地震（いわゆる311）が来た。大津波の死者・行方不明者は無数、フクシマは爆発する、東京は計画停電が始まるしで、何がなんだか訳のわからない不安と混乱が世の中を覆い尽くしていた。随分目先のしかも全体観のない議論ばかりが行われていて不毛だと感じ、10日あまり経ったところで課題の全体観を俯瞰したブログエントリを書いた。 kaz-ataka.hatenablog.com 今見てもそれほど大きな違和感がない。初動、その後の対応の残念さ、せっかくの刷新にもうまく繋げられたとは言い難かったことも明らかになっているのだが、それは一旦おいておこう。 ＿ いま僕らを襲っているのは歴史的には人類最大の死因の一つ、疫病だ。 拙著『シン・ニホン』が2月20日に世に出たときはまだ中国と日本のダイヤモンド・プリンセス号にほぼ閉じた話だったが、現在
U-NEXT映画部の林です。映連から映画概況データが発表されましたので、昨年に引き続き、この数字から気づいたことを書いていきます。 コロナ3年目、早くも2000億円台に回復2022年の年間興収は3年ぶりに2000億円台に乗せ、前年比132%の2131億円でした。2020年からの塗炭の苦しみを思えば、この数字、まずは諸手を挙げて喜んでいいのではないでしょうか。何かとネガティブな物言いが好きな映画業界の一部の仲間たちは「もう映画館に人が戻ってくることはないだろう」「2000億規模まで失地回復するには、10年20年はかかるだろう」などと言っていましたが、この結果が出たら出たで「まぁ、アニメが強かったから、これくらいはいくよね」みたいなムードになっているから驚きです。 いやいや。実写だろうがアニメだろうが、まだコロナ禍の最中、お客さんがこれだけ映画館に足を運んでくれたのです。まずはそのことをちゃん
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
当社ペンタブレット製品によるデータ収集についてのお知らせ | News and Events | Wacom
オープンソースのWebアプリケーション分析ツール「Cube.js」
図書館オープンデータを使って図書館データポータルサイトを作りました - Qiita
なぜETLではなくELTが流行ってきたのか - Qiita
イチローの安打数がポアソン分布にならず正規分布になる理由を考察してみた | ロジギーク
Pythonでいい感じにバッチを作ってみる - prefectをはじめよう - JX通信社エンジニアブログ
因果推論100本ノック(1)因果効果とランダム割付
事業に貢献するデータ基盤を作ろう・考え方編 / data_engineering_study_2
大学間コンソーシアム | 東京大学 数理・情報教育研究センター
GA4初心者の広告担当者にも簡単にできるGA4らしい分析 - ブログ - 株式会社JADE
【期間限定】#今こそ学ぼう オンライン学習コンテンツ「無料公開」のご案内
オリンピック選手への誹謗中傷は誰がしているのか（鳥海不二夫） - エキスパート - Yahoo!ニュース
リテラシーレベルeラーニング教材・講義動画配信 | 数理・データサイエンス・AI教育強化拠点コンソーシアム
リアルタイムログ分析基盤のAWS-_GCP移行話
AWSが提唱するゼロETLとは何か？概念と登場の背景の推察 - NRIネットコムBlog
目的無きデータ分析は無駄である｜データ分析とインテリジェンス
「この人、家賃を滞納しそう？」AIが予測 入居審査を45分→16分に
コロナ3年目の映画界をまとめる（映連データを読み解く2023ver.）｜U-NEXT映画部/ユーネクスト
karapaia.com
eizack.hatenablog.com
news.yahoo.co.jp
kuruma-news.jp
note.com/qoocrietion278
news.infoseek.co.jp