先日 columnify という、入力データを Parquet フォーマットに変換するツールがリリースされました。 cf. 軽量な Go 製カラムナフォーマット変換ツール columnify を作った話 - Repro Tech Blog また、fluent-plugin-s3 で compressor として columnify をサポートする話が出ています。1 cf. Add parquet compressor using columnify by okkez · Pull Request #338 · fluent/fluent-plugin-s3 個人的に前々から Docker のログを Parquet フォーマットで S3 に put して Athena で検索できると素敵だなと思っていたので喜ばしいことですね！そんなわけで、Docker のログを fluentd log dr
総エントリ数250本超！クラスメソッドが執筆したLooker関連ブログエントリ 総まとめ #looker | DevelopersIO
当エントリは『Looker Advent Calendar 2020』7本目のエントリです。 Looker Advent Calendar 2020 - Qiita Developers.IOでは、2019年04月に下記エントリで採り上げて以来、Lookerに関するブログエントリを数多く投稿してきました。その数250本以上！(256本/2020年12月7日現在の本数) Lookerに関する記事は、下記の特集カテゴリでその一覧をまとめています。 また、ブログでの定期的なLooker関連情報のアウトプットが評価され、Looker社から『Best Looker Ambassador 2019』を頂きました。 上記特集カテゴリはあくまで『ブログエントリに"Looker"の特集カテゴリが付与されたエントリの一覧』なので、より細かく、ジャンルやテーマ毎にまとめられたものではありません。これだけ本数が多
Google Analytics Data API (GA4)でリアルタイムデータを取得する - NRIネットコムBlog
本記事は GA4 Week 最終日の記事です。 📈 4日目 ▶▶ 本記事 こんにちは、廣岡です。 GA4 Weekも最終日となりました。 今回はこのブログではまだ登場していない「Google Analytics Data API (GA4)」について書いていきたいと思います。 Google Analytics Data API (GA4) とは メソッド「runRealtimeReport」について 利用できる代表的なディメンションと指標 取得データ例 API Explorerを使ってデータを確認してみる さいごに Google Analytics Data API (GA4) とは Google Analytics Data API (GA4)は、GA4プロパティにアクセスし、該当のプロパティで計測されたデータを取得することを可能とするAPIです。 GA4の計測データを活用する独自の分
Parler - Wikipedia
On January 8, two days after the storming of the Capitol, Google announced that it was pulling Parler from the Google Play Store, contending that its lack of "moderation policies and enforcement" posed a "public safety threat".[91][92] Also on January 8, Apple informed Parler that they had received complaints about its role in the coordination of the riot in Washington D.C., the existence of "obje
In this post I’ll attempt the fun stunt of designing a system that could serve the full production load of Twitter with most of the features intact on a single (very powerful) machine. I’ll start by showing off a Rust prototype of the core tweet distribution data structure handling 35x full load by fitting the hot set in RAM and parallelizing with atomics, and then do math around how modern high-p
WebサービスのA/Bテスト代替手段としての観察データからの平均処置効果推定 - LIVESENSE Data Analytics Blog
こんにちは、リブセンスでデータサイエンティストをしている北原です。今回は平均処置効果の推定方法について紹介します。より具体的にはマッチングや重み付けといった共変量のバランシングを利用してバイアスの小さい推定をする方法を使い、複数得られた推定結果を絞り込んで意思決定に使える結論を得るまでの流れを扱います。サンプルデータを使って実際に推定を行い結果を解釈するところまで行います。コードはRです。完全にコンセンサスのとれた因果推論方法・手順はおそらく存在しないので、現時点でよいのではと考えている方法の紹介になります。 今回紹介する方法のポイントは、共変量のバランシングによってモデル依存性が低下することを利用して信頼できそうな推定結果を絞り込んでいるところにあります。手法やモデルによって様々な推定値が得られますが、バイアスの評価方法がないため採用すべきものがわからないという問題があります。しかし、共
Like April and May, I’m continuing to give bimonthly rather than monthly reports. As usual it was a busy couple of months. See the end of the report for the team’s full changelog of patches contributed to Apache Arrow. Development Highlights One of our major focuses in June was the Arrow 0.14.0 major release, which covered 3 months of development. We encountered some issues with our Python wheel p
Replicating The Google Analytics All Pages Report In BigQuery | Bounteous
Replicating The Google Analytics All Pages Report In BigQuery Editor's Note: This article is about Universal Analytics properties, which will stop processing data on July 1, 2023 (July 2024 for Analytics 360 properties). For Tracking Single Page Applications with Google Analytics 4 Properties, please refer to this article instead. While BigQuery is often the perfect tool for doing data science and
Get started 🔒 GA4 | reports How to create a GA4 user acquisition report in BigQuery How to create a session based GA4 traffic acquisition report in BigQuery How to create a GA4 ecommerce transactions performance report in BigQuery How to create a GA4 landing page performance report in BigQuery How to create a GA4 page performance report in BigQuery How to create a GA4 tech (device, OS & browser)
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Docker のログを columnify で Athena (Presto) に特化した Parquet にする
Production Twitter on One Machine? 100Gbps NICs and NVMe are fast - Tristan Hume
Ursa Labs June and July 2019 Report · Ursa Labs
Learn to utilize the GA4 data export in BigQuery