S3の署名バージョン2(SigV2)の廃止スケジュールが延期、2020年6月以降も既存のS3バケットはSigV2が継続サポートとなりました！！ | DevelopersIO
AWSチームのすずきです。 2019/06/24に予告されていた Amazon S3の 署名バージョン2 (SigV2) の廃止スケジュールについて、 AWSブログでスケジュール変更の告知がありましたので、紹介させていただきます。 Amazon S3 Update – SigV2 Deprecation Period Extended & Modified 参考 【超重要】対応しないと使えなくなるかも？！今、全S3ユーザがチェックすべき署名バージョン２の廃止について 変更内容 変更前 2019年6月24日、全てのS3 で 署名バージョン2 (SigV2) 利用できなくなる予定でした。 変更後 2020年6月24日以降に新規に作成された S3バケットが、署名バージョン2 (SigV2) 利用がサポート外となる事になりました。 既存のS3バケットについては、2020年6月以降も署名バージョン2
AWSネットワーク構成図の手動更新が辛い？よろしい、ならばCloudMapperだ
株式会社ビズリーチで、SREエンジニアとして勤務しているmassです。2017年4月に入社してから、HRMOSというサービスのAWSのインフラを管理したり、アーキテクチャの設計・構築をしたりしています。 今回は、入社してから半年経ったらいつのまにかサービスのネットワーク管理者になっていて、そこで発生した問題と、それを解決するのに非常に役立ったCloudMapperというOSSを紹介したいと思います。 発生した問題 私がネットワーク管理者を引き継いだ段階では、ネットワーク構成図が作成されておらず、以下の問題が発生していました。 ロードバランサーを止められない 用途不明のロードバランサーが存在したため、停止を検討した。 しかし、どのリソースから利用されているか見えず、不用意に停止できなかった。 用途不明なEC2インスタンスの調査ができない AWSからメンテナンス通知が来た対象が用途不明なEC2
AWS LambdaのOSがAmazon Linux 2に変わっていたから中身を覗いてみた | DevelopersIO
ウィスキー、シガー、パイプをこよなく愛する大栗です。 本日AWS LambdaでNode.js v10が利用できるようになりました！！。Lambdaのドキュメントを見るとNode.js 10のOSがAmazon Linux 2になっていました！これはランタイムの中身の違いを確認せねばと思い、中身を覗いてみました。 Building Lambda Functions with Node.js Lambda Node.js 10のランタイム ドキュメントの英語版を見るとランタイムの説明として以下の記載があります。Node.js 10ではOSがAmazon Linux 2に変更されています！ Name Identifier Node.js Version AWS SDK for JavaScript Operating System 現在Lambdaのコードを変更できるNode.jsのランタイム
AWS Solutions Architect ブログ
[AWS Black Belt Onine Seminar] Amazon Redshift Update - 最近追加された新機能とRedshift Spectrumの解説 こんにちは、パートナーソリューションアーキテクト（PSA)の相澤です。 先日開催致しました AWS Black Belt Online Seminar 「Amazon Redshift Update - 最近追加された新機能とRedshift Spectrumの解説」の資料を公開いたしました。当日参加者の皆様から頂いたQAの回答と併せてご紹介致します。 今後のAWS Black Belt Online Seminarのスケジュールは こちら です。皆様のご参加をお待ちしております。 Q1. Redshift Spectrum と Athenaの違い（使い分け）はなんですか？ A1. サービスの選択はどのようなワークロ
LambdaからSESを呼んでメール送信をサクッと実装してみた | DevelopersIO
こんにちは、臼田です。 みなさんLambdaしてますか？ 今回は、簡単なスクリプトを使っていて何かあったときに、とりあえずメールで通知を送る仕組みをLambdaとAmazon SESでサクッと作ってみたいと思います。 動機 現在Step FunctionsとLambdaでURLの更新チェックを行う仕組みを作っていますが、とりあえず作ったスクリプトが予期せぬエラーなどで動かなくなってしまったら困ります。 何よりも、エラーが起きたときに検知だけでもしたいので、エラーが発生したら自分のメールアドレス宛に通知がほしいなと思ってSESでサクッとできないか試してみました。 Step Functionsで作っている過程は下記をご参照下さい。 Step FunctionsにLambdaからデータを渡してみた 構成 今回はStep FunctionsがCatchしたエラーの内容をそのままLambdaからSD
ETLツール「Talend」でS3署名バージョン2廃止に対応する方法 - サーバーワークスエンジニアブログ
TalendのS3コンポーネントと「S3署名バージョン2廃止」の影響 「S3の署名バージョン2 廃止にAWS CLIやSDKをバージョンアップせずに対応する方法を調べてみた」 「S3の署名バージョン2 廃止に対応する方法を調べてみた（Embulk S3プラグイン編）」 に引き続き、ETLツールである、Talend で提供されているS3用コンポーネント(「t3Get」など）が、「S3署名バージョン2廃止」による影響があるかを調べました。 検証に利用したTalendのバージョンなどの情報は下記になります。 古いバージョンでの検証なので、あまり需要は無いかもしれませんが、参考情報として載せておきたいと思います。 項目 バージョン 検証したTOSのバージョン Talend Open Studio 「TOS_DI-20150508_1414-V5.6.2」 検証したS3用コンポーネント t3Get
S3の署名バージョン2 廃止にAWS CLIやSDKをバージョンアップせずに対応する方法を調べてみた - サーバーワークスエンジニアブログ
S3における「署名バージョン2」が2019年6月24日に廃止されます 下記リンクに記載があるとおり、S3へのAPIリクエスト時の「署名バージョン2」が廃止され、「署名バージョン4」のリクエストのみを受け付けるようになります。 Amazon S3 における AWS 署名バージョン 2 の廃止 https://docs.aws.amazon.com/ja_jp/AmazonS3/latest/dev/UsingAWSSDK.html#UsingAWSSDK-sig2-deprecation Amazon S3 における署名バージョン 2 は廃止され、署名バージョン 2 の最終サポートは 2019 年 6 月 24 日に終了します。2019 年 6 月 24 日以降、Amazon S3 は署名バージョン 4 を使用して署名された API リクエストのみを受けつけます。 AWS CLIやAWS S
【超重要】対応しないと使えなくなるかも？！今、全S3ユーザがチェックすべき署名バージョン２の廃止について | DevelopersIO
ご機嫌いかがでしょうか、豊崎です。 注意喚起記事です。一部のS3利用者に影響が出ることなので、是非ご確認、および対象の方はご対応いただければと思います。 具体的に何のことかというと、Amazon S3のAWS署名バーション２の廃止についてです。 弊社suzukiがすでに記事を書いていますが、Amazon S3のAWS署名バーション２が2019年6月24日に廃止されます。これは、より安全にAWSおよびS3を利用できるようにするために署名バージョンの変更が行われるためです。 これによって一部のAWSユーザのS3の利用に影響が出ます。 署名バージョン4専用のS3エンドポイントを古いCLIで試してみた AWSの各サービスのAPIを利用する際、AWSが送信元を特定できるようにリクエストに署名が必要です。現在AWSのAPIで利用されている署名バーションは「２」と「４」の２種類あり、「４」が推奨されてい
AWS、侵入テスト申請やめるってよ - とある診断員の備忘録
先日twitterを見ていたら、こんなつぶやきを拝見して、個人的に侵入テスト申請には色々思い入れのある身であるため、ビックリした「とある診断員」です。 あれ？AWSの侵入テスト申請いらなくなりました？ pic.twitter.com/Z6ULU10SMy— 三ツ矢 ◎=3 (@328__) March 1, 2019 このブログでもとりあげましたが、今までAWSはペネトレーションテストや脆弱性診断などを実施する際に、AWS側への事前の申請が必要だったのですが、今回ポリシーの変更があったらしくどうやら不要になったようです。 ということで、私も自分で確認をしてみました。 Penetration Testing - Amazon Web Services (AWS) 現在日本語版サイトは、翻訳が間に合ってないようでまだ更新されてないようですが（2019/3/5確認）、英語版の方は記載内容がガラリ
Amazon Athena ワークロード分離やクエリの閲覧、コスト管理が可能になるWorkgroups がリリースされました | DevelopersIO
Amazon Athena ワークロード分離やクエリの閲覧、コスト管理が可能になるWorkgroups がリリースされました これまでは、同じアカウント内の全てのIAMユーザーがすべてクエリ履歴を参照ことが出来たり、クエリのデータスキャンに対して上限を設定できませんでした。今後は『Workgroups』という仮想的なグループを作ることによって分離・設定・コスト管理ができるようになりました。 はじめに re:Invent2018で発表があった Amazon Athena Workgroups がついにリリースされました。これまでは、同じアカウント内の全てのIAMユーザーがすべてクエリ履歴を参照ことが出来たり、クエリのデータスキャンに対して上限を設定できませんでした。今後は『Workgroups』という仮想的なグループを作ることによって分離・設定・コスト管理ができるようになりました。 Athe
マネージドサービスだけでAzureとAWSを接続する方法。
はじめに 2019/2/6 AWSでサイト対サイト VPNでIKEv2に対応したニュースが入ってきました。 AWS Site-to-Site VPN Now Supports IKEv2 https://aws.amazon.com/about-aws/whats-new/2019/02/aws-site-to-site-vpn-now-supports-ikev2/ AzureとAWSを接続する際の壁になっていたのがAWSがIKEv1のみにしか対応していなかった点です。 今回、IKEv2に対応したことで双方向での接続が実現可能となりました。 ただし、注意事項があります。 BGPが利用できません（設定によってはできるかもしれません）。 接続構成図は以下になります。 手順は以下になります。 Azure側 １、仮想ネットワークの作成 ２、ゲートウェイサブネットの作成 ３、パブリックIPの作成
5TB/日 のデータをAWS Glueでさばくためにやったこと（概要編 | Future Tech Blog - フューチャーアーキテクト
みなさん、初めまして、お久しぶりです、こんにちは。 フューチャーアーキテクト2018年新卒入社、1年目エンジニアのTIG（Technology Innovation Group）所属の澤田周吾です。大学では機械航空工学を専攻しており、学生時代のインターンなどがキッカケで入社を決意しました。 実は、本記事でフューチャーテックブログの2記事目となります。インターン時代も ジャガイモARの記事 を書かせて頂きました。入社してからもこうして業務で学んだIT技術を記事に書くという機会を貰え、なんだか懐かしいやら感慨深いやらの思いで一杯です。 さて、3ヶ月の新人研修後にすぐに配属されたプロジェクトで、AWSを使ったビックデータ分析のための基盤構築をお手伝いしています。わたしは分析のための前処理であるETL（Extract、Transform、Load）処理部分をちょっと変わった性格の先輩方と一緒に開発
AthenaのCTAS (CREATE TABLE AS SELECT) でETLをするTips - Qiita
はじめに この記事はAWS Advent Calendar 2018の3日目の記事です。 今年の10月にAthenaがCTAS(CREATE TABLE AS SELECT)をサポートしました。 CTASサポート以前のAthenaではクエリの結果を無圧縮のCSVでしか残せなかったのですが、CTASを使うと結果を列指向やJSONなどのフォーマットにしたうえ圧縮をかけて残せるようになりました。 これによりAthenaを使ったデータ加工の芽が出たのでいくつかのデータ加工バッチをAthenaでできるか検討しました。 この記事ではAthenaのCTASを使ったバッチを作る際のTipsについて紹介します。 前提 AthenaでETLしたい理由 AthenaはETL無しでS3のデータに直接分析をかけれるよ、というコンセプトを謳っており、現状ETLをするために設計されたサービスな訳ではないように感じていま
AWS Athena雑感 - Go ahead!
Amazon Athena — Serverless Interactive Query Service - AWS Prestoのフォースを感じたので，知り合いが試した情報も含めて，今思っている所を書いてみる． 実装 Athenaのページにあるように，実行エンジンは独自実装ではなくて，Facebookが公開しているPrestoを使っている．FacebookのみならずTreasure Data，Airbnb，Netflixなどクエリがガンガン飛ぶ環境で元気に動いている実績もあるので，拡張性，パフォーマンス，安定性で選ばれたのだろうと思われる．あとAWS的にJavaの方が相性は良さそう． パフォーマンス いくつかの記事で言及されている． Analyzing Data in S3 using Amazon Athena Amazon AthenaをBigQueryと比較してみた Amazon
約60TBの商品画像で社内サーバが満杯に ZOZOTOWNが約9日でクラウドに移行できた理由
約60TBの商品画像で社内サーバが満杯に ZOZOTOWNが約9日でクラウドに移行できた理由：「解決したときのストレージの空き容量は1％でした」（1/2 ページ） アマゾンウェブサービスジャパンは2018年10月30日～11月2日に「AWS Dev Day Tokyo 2018」を開催。ZOZOテクノロジーズの柴田翔氏は、ファッションECサイト「ZOZOTOWN」で使われる数億枚の商品画像をオンプレミスからクラウドに移行した方法について説明した。 アマゾンウェブサービスジャパンは2018年10月30日～11月2日に「AWS Dev Day Tokyo 2018」を開催した。本稿ではZOZOテクノロジーズ 開発部 柴田翔氏の講演「ZOZOTOWNの膨大な画像ファイルを移行したときの過程の話（オンプレミスからクラウドへ）」の内容を要約してお伝えする。 柴田氏は、ZOZOTOWNで利用する数億枚
Amazon Athena のPartitioningとBucketingによるパフォーマンス戦略 ｜ DevelopersIO
はじめに 先日ご紹介したAmazon AthenaのCTASサポートで、出力ファイルのBucketingとPartitioningに対応しました。BucketingとPartitioningは、相反するものではなく、必要に応じて組み合わせることでパフォーマンスの改善が期待できます。本日はBucketingとPartitioningの具体的なユースケースとパフォーマンス戦略について解説します。 Amazon Athena が待望のCTAS（CREATE TABLE AS）をサポートしました！ PartitioningとBucketingの解説 Partitioningとは Partitioningとは、データを指定したキーごとにファイルにまとめてグループ化します。指定したキーのことをパーティションキーと呼びます。一般的なDBのパーティショニングと概念は一緒ですが、Hiveのパーティショニング
AWS Transfer for SFTPのIAMなどの権限周りを整理してみた #reinvent | DevelopersIO
コンニチハ、千葉です。 AWS Transfer for SFTPを早速導入します！(宣言) で、運用考慮した時にどんな権限を考慮する必要があるか整理してみました。 ユーザー認証 まずは、ユーザー認証です。SFTPサーバー作成時に、Identity providerを選択できます。 マネージド カスタム マネージドを選択する場合は、Transfer for SFTPのマネージメントコンソールからユーザーをさくっと追加することができます。この方法が一番簡単です。カスタム認証を利用するときは、CFnのサンプルが用意されているので参考にしましょう。こちらを利用するとAPI Gateway側の機能を利用できます。たとえば、Cognitoを利用したり、既存のIdpとの統合が可能です。 ファイルアクセスの権限(IAM) ユーザーは、IAMポリシーにしたがってどのS3バケット、どのキーにアクセスできるか
新サービスAWS Transfer for SFTPを使って、WinSCPからS3へアクセスする #reinvent ｜ DevelopersIO
はじめに 日本時間の2018年11月26日夕方、AWSからマネージドSFTPサーバ"AWS Transfer for SFTP"が発表されました。 “AWS Transfer for SFTP”発表！S3がSFTPで連携可能に！！ #reinvent こちらのサービスを早速使ってみました。 AWS Transfer for SFTP(AWS SFTP)を使う SFTPサーバの起動 AWS管理コンソールにログインし、東京リージョンでサービスを検索します。ありました。 サービスのトップページです。Create Serverボタンを押します。 サーバ起動設定画面では、以下が設定できます。 これら設定の殆ど(Identity provider以外)はSFTPサーバ作成後にも変更できます。 DNS configuration： SFTPサーバの名前解決 None: 使用しない(自動生成されたエンドポ
AWS IAMポリシーを理解する | DevelopersIO
はじめに こんにちは、川原です。 AWSのIAMサービスでは、各AWSサービスへの操作をアクセス制御するために「ポリシー」という概念があります。 AWSのドキュメントを読んでいると、ポリシーにはいくつか種類があることに気付くかと思います。本ブログではそれらのポリシーについて整理してみたいと思います。 ポリシーの基本 ポリシーは基本的に、「誰が」「どのAWSサービスの」「どのリソースに対して」「どんな操作を」「許可する(許可しない)」、といったことをJSON形式で記述します。 記述したポリシーをユーザー(IAMユーザー、IAMグループ、IAMロール)や、AWSリソースに関連づけることで、アクセス制御を実現しています。 例えば、以下のJSONはAWS側で用意しているAmazonS3ReadOnlyAccessという名前のポリシーです(後述するユーザーベースポリシーのAWS管理ポリシーに該当)。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWS LambdaからAmazon SNSを介してメールをおくってみる - くるくるパーマ日記