S3にフラットに配置してしまったログも大丈夫！シンボリックリンクを利用してスキャン範囲を絞ってAthenaからクエリする | DevelopersIO
S3にフラットに配置してしまったログも大丈夫！シンボリックリンクを利用してスキャン範囲を絞ってAthenaからクエリする 西澤です。私のようにHadoop等の利用経験の無い人間が、Athenaを始めて利用する際に敷居が高いのが、パーティションの取り扱いです。先日、下記ブログを書いたところ、新しい学びがあり、他のケースでも活用できないかというところを試して上手く動作させることができたので、ご紹介したいと思います。 S3バケット内のファイル一覧(S3 Inventory)をAthenaを利用して分析する フラットに配置されたファイル群をAthenaで扱う場合の課題 S3バケット内のファイル群に対して、一気にクエリすることができるAthenaですが、スキャン範囲が課金対象となり、且つ、パフォーマンスの観点からも、パーティション分割して利用することが推奨されています。 Amazon Athenaの
GoogleとFacebook、GDPR施行初日にさっそく提訴される
欧州連合（EU）がGDPR（一般データ保護規則）を施行した5月25日（現地時間）、プライバシー保護のための非営利団体noybが、米Facebookとその傘下のInstagramとWhatsApp、米GoogleをGDPRを侵害するとして提訴した。 これら4社はそれぞれの新しいプライバシーポリシーへの同意をユーザーに強制しており、これは明らかにGDPRを侵害しているとnoybは主張する。これが認められれば、Googleには37億ユーロ（約4700億円）、Facebookとその傘下には合計39億ユーロの罰金が科せられる。 GDPRは個人情報の収集を禁じてはいないが、個人情報を収集し、それを処理する場合は、個人の同意が必須であり、また、サービス提供に必要不可欠な情報以外（例えばターゲティング広告のための情報）の収集については、同意しなくてもサービスを利用できるようにするよう定めている。 noyb
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
