タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
[新機能]Amazon Athena ルールベースでパーティションプルーニングを自動化する Partition Projection の徹底解説 | DevelopersIO
[新機能]Amazon Athena ルールベースでパーティションプルーニングを自動化する Partition Projection の徹底解説 Partition Projection（パーティション射影）は、テーブル定義で指定したパーティションキーのルールやフォーマットからパーティションを計算し、パーティションプルーニングを自動化します。パフォーマンスの向上やパーティション管理の自動化などインパクトがある新機能なので、実際の動作を確認しつつ、ユースケースについて解説します。 用語の補足：パーティションプルーニングとは、一定の期間（年、月、日）やキー情報に基づき、データを分割管理したデータをクエリする際に、範囲外のデータスキャンを避ける仕組みを表します。 Glueパーティションの課題 従来のGlueパーティションは、メタデータストアがパーティション情報を保持しているので、データストア（S
![[新機能]Amazon Athena ルールベースでパーティションプルーニングを自動化する Partition Projection の徹底解説 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/403c56e9014c7d88e1caa76de4dee5c9b8dece00/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F04%2Famazon-athena.png)
Real Country Sizes Shown on Mercator Projection (Updated) - Engaging Data
I remember as a child thinking that Alaska was as large as 1/2 of the continental US. Later, however, I learned that while it is the largest state, it is actually only about 1/5 the size of the lower 48 states. My son has also remarked that Greenland is very big. And while it is very big, it’s nowhere near the size of the continent of Africa. The map above shows the distortion in sizes of countrie
AWS CDKで各種ログに対するAmazon AthenaのPartition Projectionを実装する - mazyu36の日記
Amazon AthenaにPartition Projection（パーティション射影）という機能があります。 dev.classmethod.jp ざっくりいうとパーティション管理を自動化して、高速にクエリが実行でき、お財布にも優しいというものです。個人的にはめちゃくちゃ便利だなと思い、特にログの調査に活用しています。 ログ調査対象のサービスの内、大体どのプロジェクトでも使っているものがいくつかあります（ALB、VPCフローログ、CloudTrail....）。 これまではPartition Projectionの設定を行うCREATE文を毎回実行していたのですが、少し面倒なのでAWS CDKで実装し使いまわせるようにしました。 今回の実装の全体像は以下です。 1. 概要 対象のログ 実装方法 2. 実装詳細 プロジェクト構成 実装の流れ 入力のインタフェース Glue データベースを
Media Projection API の Android 14 QPR2 での変更点 - Mirrativ Tech Blog
はじめに こんにちは、Androidエンジニアの菅沼です。 ミラティブでは MediaProjection API を使用してリアルタイムに画面をキャプチャして配信を実現しています。 この MediaProjection API のスクリーンキャプチャの許可を求めるダイアログの仕様が 2024年3月にリリースされた Pixelシリーズ向けの Android 14 FeatureDrop (Android 14 QPR2) 以降から仕様変更がありました。 つまり Android 15 以降のみではなく Android 14 の途中のバージョンでも変化したという点に注意です。 公式のソースはこちらになります android-developers.googleblog.com 今回はこちらの変更点について紹介したいと思います。 異なる点 以下はスクリーンキャプチャを開始する際の Android
Media Projection APIを使用した簡単なアプリを作成する - Mirrativ Tech Blog
はじめに こんにちは、Androidエンジニアの菅沼です。 ミラティブは Android 5.0 (API Level 21)から実装された Media Projection API を使用して画面をキャプチャしてサーバーに送り、それを視聴者さんに映像として配信することでアプリを実現しています。 今回は画面をキャプチャする部分にフォーカスし、配信はせず画面をそのまま端末上で表示するだけのシンプルな実装を行う方法を紹介させていただこうと思います。 Media Projection API の公式のドキュメントはこちらにあります。 developer.android.com 順を追って実装してみる View を用意する まずは AndroidEmbeddedExternalSurface と Button をColumn で並べてみました。 AndroidEmbeddedExternalSur
近年、素早く動き変形する対象物にぴったりと貼り付いた映像を投影する「ダイナミックプロジェクションマッピング」の研究が盛んに行われている。今回のアプローチはダイナミックプロジェクションマッピングを応用し、硬い対象物の動きに合わせて、弾力があった場合の仮想的な変形情報を投影することで、あたかも弾力があるかのように見せるものだ。 これまでにもプロジェクションマッピングで物体が変形したかのように錯覚させる手法はあったが、いずれも事前作成のアニメーションを用いていたため、対象物をアドリブで動かした際の運動に正しく対応できない。 この課題を解決するため、研究チームは対象物を動かした際の変形を高速に物理シミュレーションで計算し、レンダリングした画像を投影する方法を採用した。 また、プロジェクションマッピングによる錯視であることが観測者にばれないように、物体の輪郭内に投影画像を収める変形修正アルゴリズムを
Amazon AthenaのPartition Projectionを使ったALBのアクセスログ解析環境をTerraformで構築する | Recruit Tech Blog
こんにちは。スタディサプリ ENGLISH SREグループの木村です。 はじめに 障害調査などでALBのアクセスログを解析したいというときが皆あると思います。 私はあります。 今回はAthenaを使ってALBのログを解析する方法と新機能で発表されたPartition Projectionを利用するとどのようなメリットがあるのか説明したいと思います。 ALBのアクセスログ ALBには標準でアクセスログを出力する機能があり、有効化することで自動でS3にアクセスログを保存することができます。 しかし、標準でアクセスログはgz形式で出力されており、通常解析するにはS3からダウンロードをしてきて、その後にgzを解凍してから、別途ツールを使って分析するなどの面倒な作業が発生してしまいます。 また、アクセスログはデータが大量になることも多く、DLして利用する場合でも一度に多くの範囲を分析するのは困難です
Projection Matrixについて | shikihuiku – 色不異空 – Real-time rendering topics in Japanese.
はじめに Projection Matrixは何となくややこしいイメージが強い。実際ややこしい。自分でも勘違いすることがある。 なのでいったんまとめることにする。 Row Major, Column Major, ベクトルとの乗算の順序 Projection Matrixは4x4の正方行列で、メモリに格納するときに行要素を優先して格納すればRow-Major、列要素を優先して格納すればColumn-Majorと呼ばれる。 Row-Majorは以下の添え字の順番で格納したものを指す。 $$ \begin{pmatrix} a_1 & a_2 & a_3 & a_4 \\ a_5 & a_6 & a_7 & a_8 \\ a_9 & a_{10} & a_{11} & a_{12} \\ a_{13} & a_{14} & a_{15} & a_{16} \end{pmatrix} $$ 対し
【全リージョン対応】CloudTrailのログをAthenaのPartition Projectionなテーブルで作る | DevelopersIO
CloudTrailのログを分析するためのAthenaテーブルを作る機会がありましたので、AthenaのPartition Projectionという機能を用いてリージョンごと・時系列ごとでパーティションを分割するように設定してみました。 今回はPartition Projectionについてざっくりおさらいして、CloudTrailのPartition ProjectionのサンプルDDLをご紹介します。 これまで CloudTrail画面から作成されるデフォルトのDDLを用いてAthenaでテーブルを作成して、 us-east-1 の結果を返すクエリを投げてみます。 デフォルトのDDL(クリックで展開) CREATE EXTERNAL TABLE cloudtrail_logs ( eventVersion STRING, userIdentity STRUCT< type: STRI
Partition Projection を使って AWS WAF のログを分析してみた | DevelopersIO
Amazon Athena（以降、Athena）の利用料金とパフォーマンスは、スキャン対象のデータ量に比例します。 Athena では、パーティションを追加することによって、スキャン対象のデータ量を絞り、コストを減らしスキャン速度を向上できます。 パーティションを追加するには、 ALTER TABLE ADD PARTITION を実行 Glue のクローラで Glue Data Catalog にパーティションを登録 といった方法がございますが、これらはクエリを実行する度に実行しなくてはなりません。 また、多くのパーティションが存在するケースでは Glue Data Catalog からパーティションを取得する API の呼び出しがクエリパフォーマンスのボトルネックとなる可能性がございました。 これらの課題を解決するために Partition Projection を使うことで、パーティ
Tokyo Projection Mapping Project 東京都プロジェクションマッピング事業
【本日の上映時間】 17:30〜 ／ 18:00〜 ／ 18:30〜 ／ 19:00〜 ／ 19:30～ ／ 20:00～ ／ 20:30～ ／ 21:00～ ／ 21:30～ プロジェクションマッピングの上映時間中は「TOKYO Night & Light」の詳細ページにて、現地で流れているものと同じ音楽をお聞きいただけます。 ぜひ、都庁舎が見える様々な場所からTOKYO Night & Lightをお楽しみください。 ※上映前にホームページを閲覧している場合は、上映時間になりましたら、ホームページのリロードをお願いいたします。リロードを行わない場合はご視聴できない可能性がございます。 ※『YOASOBI / アイドル』、『YOASOBI / 舞台に立って』は、音楽再生を行いません。予めご了承ください。
Amazon Athena Partition Projectionを用いたHiveパーティションのパーティションプルーニングの自動化 | DevelopersIO
Hiveパーティション（カラム名ありパーティション）は、データレイクで一般的なファイルレイアウトです。本日は、year、month、dayのパーティションキーのテーブルに対してPartition Projectionを用いたHiveパーティションのパーティションプルーニングを通して、Hiveパーティションのレイアウト、複数カラム、digits指定について解説します。 今回は、Partition Projectionの応用編になりますので、Partition Projectionに基本については、以下のブログをご覧ください。 Hiveパーティション（カラム名ありパーティション）とは データファイルを日付などのキー情報に基づきフォルダ毎に分割することをパーティションと言います。そのフォルダ名にキーと値の情報を指定する方式をHiveパーティション（カラム名ありパーティション）と言います。 Hiv
projection-ai:db
From market trends to individual company details, we've got all the SaaS data you need.
2021_06-09_tokyo_projection/20210630_SIR_YF_0627_ver3.9_4_x.pdf at main · yukifuruse1217/2021_06-09_tokyo_projection
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Amazon AthenaのPartition Projectionを使ったALB Access Logの実例 (w/ terraform & glue catalog) - Gunosy Tech Blog
こんにちは、グノシー広告技術部、Adnwチームでマネージャーをやっているサンドバーグです！ この記事は Gunosy Advent Calendar 2020 18日目の物となります。 昨日はsyouitさんの変更に強いリスト面とUICollectionViewの話でした。 内容としては弊社のiOSアプリでUITableViewの代わりにUICollectionViewを使っている理由と利点でした。 自分はiOSの開発やアプリ開発自体には関わることがほぼないのですが、わかりやすい説明だったので、まだ読まれていない方は是非読んでください！ はじめに 使ったツール・サービス・機能 Terraform Amazon Athena Link Partition Projection Link ALB Access logs Link 実装 Terraform - バケット・バケットポリシーの作成
[Athena] Partition ProjectionでNowを使った場合の動作を確認してみた | DevelopersIO
Amazon AthenaのPartition ProjectionでNOWを使ったとき、どのような動作になるのか調べてみました。 Amazon Athenaには、Partition Projectionがあります。 Partition ProjectionでNOWを使ったとき、どのような動作になるのか調べてみました。 最初に結論 UTC時刻でした。 Partition ProjectionでNOWを使った場合の動作を調べる 調査方法 S3バケットを作成する AthenaでPartition Projectionを使うテーブルを作成する S3バケットに未来の日付でファイルを格納する 上記で格納したファイルの内容がAthenaで確認できるタイミングを調べる なお、今回は「1日毎」で確認しました。 1. S3バケットを作成する S3バケットを作成します。 バケット名： cm-fujii.gen
モラハラ妻がDVの最中に繰り返した気持ち悪い行動-投影-Projection- - アメリカでナルナルNPD退治の日々
はじめに ホームレス覚悟で別居することを決めた2020年6月28日の出来事です。 この夜のモラハラ妻からのDVと嫌がらせは相当なものになりました。 この夜、モラハラ妻が、僕への暴言とDVを行っている最中に繰り返していた気持ちの悪い行動がありました。 それは、"Projection" 投影です。 モラハラ妻は「暴力はやめて！」と叫びながら、暴力を振るっていました。 Image by Comfreak via Pixabay はじめに 投影(Projection)とは？ DVモラハラの最中にモラハラ妻が繰り返した投影 駐車妨害を注意すると「論点のすり替え」と「投影」 暴力は止めろと叫びながら殴りかかる 最後に 投影(Projection)とは？ 投影は、英語ではProjectionといいます。 自己紹介とも言われます。 これはモラハラ加害者が、自分が行っていることをあたかも被害者がやっているか
前田 耕 (Ko Maeda) on Twitter: "***観戦ガイド(?)*** 東部時間の一部の州では日本の午前9時に投票〆切。メディアは早速「XX州はバイデン」とか当確("projection")を出し始め、ツイートで速報する人も多く出るだろうけど、最初から分かり切ってる州の当… https://t.co/hW3TKz94sN"
***観戦ガイド(?)*** 東部時間の一部の州では日本の午前9時に投票〆切。メディアは早速「XX州はバイデン」とか当確("projection")を出し始め、ツイートで速報する人も多く出るだろうけど、最初から分かり切ってる州の当… https://t.co/hW3TKz94sN
Amazon Athena のPartition Projection(パーティション射影)の設定方法の確認と、手動でパーティションを追加する場合との比較 | DevelopersIO
Amazon Athena のPartition Projection(パーティション射影)の設定方法の確認と、手動でパーティションを追加する場合との比較 事業本部Delivery部のアベシです。 AthenaのPartition projectionという機能を使ってみて、手動でパーティションを追加する場合と比べみたので、その際の方法をブログに残しました。 私はまだAthenaの使用歴が短く、自分に対する備忘録も兼ねてできるだけ詳細に書きました。 はじめに データのパーティティションについて データをパーティティションしていない場合、Athenaはクエリの際に全てのデータをスキャンして条件に合うデータを抽出します。 この場合、クエリに時間がかかりパフォーマンスが悪くなり、場合によってはクエリがタイムアウトしてしまう事もあります。デフォルトのクエリタイムアウトは30分です。 また、Athe
Amazon Athena Partition Projectionで設定したHive形式の日付カラムをWHERE句で使う | DevelopersIO
Amazon Athena Partition Projectionで設定したHive形式の日付カラムをWHERE句で使う こんにちは、CX事業本部 IoT事業部の若槻です。 Amazon AthenaではS3 Bucket LocationのパーティションパスをHive形式または非Hive形式のいずれでも設定可能です。 //Hive S3BucketLocation/year=${year}/month=${month}/day=${day} //Non-Hive S3BucketLocation/${year}/${month}/${day} これらのパーティションパス形式はいずれもPartition Projectionでも設定できます。 今回、非Hive形式の日付カラムをPartition Projectionで設定する機会があったので、そのカラムをWHERE句で使う方法を確認して
Amazon AthenaのPartition Projectionを設定したGlueテーブルをCloudFormationで作成してみた | DevelopersIO
Amazon AthenaのPartition Projectionを設定したGlueテーブルをCloudFormationで作成してみた こんにちは、CX事業本部の若槻です。 Amazon AthenaではPartition Projectionを使用することにより、パーティション化されたデータソースへのクエリ処理を高速化したり、パーティション管理を自動化したりすることができます。 Partition Projection with Amazon Athena - Amazon Athena 今回は、Amazon AthenaのPartition Projectionを設定したGlueテーブルをCloudFormationで作成してみました。 やってみた 具体的には、AWSの下記のドキュメントで紹介されている、Amazon Kinesis Data Firehoseが作成する/yyyy/
CloudFront のアクセスログを Athena で集計できる環境を作ったので、やり方を残しておきます。 アクセスログが溜まってもスキャンするデータ量を抑えるよう、パーティション分割もしました。 パーティション分割には、昨年追加された機能 “Partition Projection” を使ってみました。 環境を再現できるように、 CloudFormation のテンプレートも公開しています。 要件と経緯 他社から大量のイベントデータを HTTP GET で受け取って、それを集計したい！ という要件が出てきたのが発端でした。 本当なら Kinesis Data Streams などリアルタイム処理も試してみたかったのですが、 とても納期が短かったので、経験のあった CloudFront と Athena で簡単に実現しました。 仕組みとデータフローは、こんな流れです。 他社システムから
Amazon Athena は、Partition Projection のサポートを追加しました。これは、高度にパーティション化されたテーブルのクエリ処理を高速化し、パーティション管理を自動化するための新機能です。 クエリを処理する際、Athena は、パーティションプルーニングを実行する前に、AWS Glue データカタログや Hive Metastore などのメタデータストアからメタデータ情報を取得します。テーブルに多数のパーティションがある場合、メタデータの取得に時間がかかる可能性があります。パーティションプロジェクションは、これを回避するために使用できます。パーティションプロジェクションでは、パーティションの形成に一般的に使用されるパターン (例: YYYY/MM/DD) などの設定情報を指定できます。これにより、メタデータストアからメタデータ情報を取得せずに、パーティションを
Athenaの自動パーティショニングをPartition Projectionで実現する｜福井 烈 | Nstock
記事中では、 パーティショニングをするには、 ・ALTER TABLE ADD PARTITION, MSCK REPAIR TABLEコマンドを打つ ・Glueのクローラーを利用する の2つの方法があって、ノーコードで自動で行うにはGlueクローラーを利用する必要がある。 ただし、Glueクローラーを利用するにはディレクトリ構成がHive形式になっていることが前提となっていて、ALBのログ出力はHive形式となっていないためマニュアルで対応する必要がある。 と記載しましたが、この記事を読んでくれた元同僚から 「Partition Projectionを利用すれば自動パーティショニングできそうです」 というアドバイスを頂きました。 (2020/06にリリースされたばかりの新しい機能だったので当時調査したときにはなかった) 試してみたところ自動でパーティショニングが実現できたので以降でALB
Isometric Projection in Game Development Playing isometric games is super fun, but understanding the theory behind isometric projection is also extremely important for any beginner game developer. Programming isometric worlds is a huge topic, so I'll try to be as beginner-friendly as possible and cover the basics we need to learn how isometric projection is used in game development! I was talking
Partition Projectionを用いてAthenaのテーブルのパーティション管理を自動化する - Qiita
2020年 6月 20日にAthenaに追加された機能Partition Projectionについて紹介していきたいと思います。 Partition Projectionについて 通常Athenaはパーティショニングされたテーブルに対してクエリを実行する際にAWS GlueのデータカタログやHive Metastoreからテーブルのメタデータ情報(パーティション情報やカラム情報など)を取得し、クエリを処理します。 その際にパーティションが多数存在する場合、メタデータを取得する時間がボトルネックとなる可能性があります。 一方、Partition Projectionを用いた場合、GlueやHive Metastoreへメタデータを取得せずにAthenaのテーブル設定を参照してパーティション情報を取得します。そのため、パーティションが多数存在することによるボトルネックを緩和することが可能にな
[失敗談]Partition Projectionの設定不足で1クエリ毎にS3 ListBucketが692,040回呼ばれていた話 | DevelopersIO
[失敗談]Partition Projectionの設定不足で1クエリ毎にS3 ListBucketが692,040回呼ばれていた話 こんにちは、洲崎です。Partition Projectionを手探りでやっていたら、S3がとんでもないことになってしまったので紹介します。。 いきなりまとめ Partition Projectionを正しく設定できていなかった 一部設定出来ていたが故に、'projection.year.range'で設定していた2021年〜2100年までのパーティション(計692,040パーティション)を都度S3から呼び出してしまった パーティションを改善したらAthenaで30分かかってタイムアウトしてたのが、2秒程でクエリが完了するようになった クエリをすると異様に時間がかかる。。 Amazon ConnectのCTRデータをAmazon S3に貯めて、QuickSi
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
プロジェクションマッピングで硬いものでも「ぷるんぷるん」 東大「ElaMorph Projection」開発
projection-ai | ハイグレードな事業計画をすべてのSaaSスタートアップに。
AWS - CloudFront アクセスログを Athena + Partition Projection で解析
Amazon Athena が Partition Projection のサポートを追加
Isometric Projection in Game Development
www.utanutan.com
l.smartnews.com
qiita.com
b.hatena.ne.jp
netaful.jp
l.smartnews.com