
データアナリティクス事業本部、池田です。花粉症です。 Google CloudのBigQuery Omniを使ってみたかったので、他の連携方法と比較してみました。 切りが無さそうだったので、ソースはS3に限定し、 Google Cloudのサービスや機能でできる(作り込みが要らない)方法として3つを試しました。 また、AWS側は再利用できるように CloudFormation でテンプレートにしました。 先にまとめ 各ガイドや触ってみた結果を基に、 個人的に選定時のポイントになりそうと思ったところをまとめてみました。 ※制約や挙動などは執筆時点(2022/04/14)のものです。 定額料金のみ リージョンが限られている インタラクティブ クエリの結果の最大サイズは2MB 標準テーブルを作成できない(→CTASやINSERT…SELECT…などでS3のデータをBigQueryへ持ち出せなかっ
こんにちは。こむろです。 今年の札幌の夏はハードモードだ(湿気と暑さ) この先生きのこるためにエアコンが投入されました。 はじめに クラウドネイティブなアプリケーションを設計・構築・運用している皆さんは、普段どのようにアプリケーションやインフラの更新作業を行っているでしょうか。 順次インスタンスやコンテナを切り替えていくRolling Update?それとも環境を複製してDNS Routingの切り替えによるBlue-Green Deploymentでしょうか。他にも様々な方法があるかと思いますが、今回もまたBlue-Green Deploymentにおける実際の現場で発生した事象について報告したいと思います。 あまりネット上にもこういった情報が出てこないようなのですが、皆さんこういった問題は軽々とクリアされているのでしょうか。自分がポンコツなだけなのかととても不安にかられるばかりです。
SES で注意すべきなのは、グローバルサプレッションリスト(以下GSリスト)の概念です。GSリストは照会して事前にリストを確認することはできず、バウンス通知によってしかどのアドレスがリスト対象かを知ることはできません。 2020年8月の Amazon SES でアカウントレベルのサプレッションリストからの E メールアドレスのインポートと削除を一括で実行できるようになりました によって、ハードバウンスの発生時、苦情の発生時、またはそれらの両方が発生した時にアドレスをアカウントサプレッションリスト(以下ASリスト)に追加できるようになったため、ASリストが有効(デフォルトで有効)になっていれば、それほどナーバスになる必要はないかも知れません。 (自分がドキュメントを見ていた限り、GSリストとASリストの両方に含まれているメールアドレスに送信した場合、バウンスレートにカウントされるかどうか明記
VPC内のトラフィック制御設定を行うにあたり、ネットワークACLでもセキュリティグループでも実現できる要件の場合、ネットワークACLでは全トラフィックを許可して、セキュリティグループで細かい設定をすることが多いです。なぜそうしているのかまとめました。 ネットワークACLとセキュリティグループの違い まず表題の理由を述べる前に、ネットワークACLとセキュリティグループの違いを抑えておきましょう。 設定対象 ネットワークACLはサブネット単位で設定します。サブネット以下の全インスタンスが影響を受けます。各サブネットは必ずいずれか一つのネットワークACLと紐付ける必要があります。設定しない場合デフォルトのネットワークACLが勝手に紐付きます。 セキュリティグループはインスタンス単位で設定します。各インスタンスには少なくとも 1 つのセキュリティグループを紐付ける必要があります。言い換えれば複数個
IAM Access Analyzerのよく分かる解説と、既存サービスと比較してどのように使い分けるか考察してみました! こんにちは、臼田です。 みなさん、セキュリティ運用してますか?(挨拶 re:Invent 2019でリリースされた新機能のIAM Access Analyzerは簡単に無料で便利に公開設定を確認できる機能です。ただ、既存の機能でも決して出来なかったわけではないです。みなさんご存知AWS ConfigとConfig Rulesを利用すればね。 というわけでその違いからどうやって使っていくかという考察をしていきたいと思います。 そもそもIAM Access Analyzerどんな感じ? IAM Access Analyzerについてはまず下記を見ていただくといいと思います。 [速報] AWS Identity and Access Management Access Ana
こんにちは、せーのです。 先日のRe:InventでKinesisの体系が変わりまして、「Kinesis Family」「Kinesis三兄弟」なんて言われるようになりました。 今まではKinesisの一機能として「Kinesis Streams」というのがあったのですが、それがメインのサービスとして昇華し、新たに「Kinesis Firehose」「Kinesis Analytics」が増えて現在の形になりました。 今回はそのうち混同しやすい「Kinesis Firehose」と「Kinesis Streams」の使い分けについてご紹介したいと思います。 やろうと思えば両方できる Kinesis Streamsは次々と送られる大量のデータをリアルタイムに収集、次のサービスに配送するためのサービスです。一方Kinesis Firehoseは同じく次々と送られる大量のデータをRedShift
Amazon EC2にはプレイスメントグループと言う概念があり、ネットワークパフォーマンスの向上や物理サーバ障害時の影響範囲を限定させるために、インスタンスをグループ化することができます。 今回は、3種類あるプレイスメントグループ戦略について、説明します。 3種類の戦略 プレイスメントグループにはクラスター・分散・パーティションの3種類の戦略があります。 クラスター(cluster) ※ 図は公式ドキュメントから HPC のようなワークロード向け インスタンス群を高バイセクションバンド幅セグメントに配置 ノード間通信で低レイテンシー、高スループットなネットワークパフォーマンスを実現 利用可能なインスタンスタイプに制限あり(対応インスタンス一覧)。例えば、T系インスタンスは利用不可。 AWS ParallelClusterを利用してHPCクラスターを構築している場合、設定ファイルで次の様に指
こんにちは(U・ω・U) AWS事業部の深澤です。 AWSにはElastiCacheと呼ばれるマネージド型のキャッシュストアサービスがあります。利用を始めようと色々調査すると「RedisとMemcached、どっち使ったらいいの?」というのは結構悩みがちなポイントかと思います。今回は2つの特徴を比べてみて、どちらのサービスを使うか一緒に考えてみましょう! 可用性 ElastiCacheでは最小の構成単位を「ノード」と呼びます。EC2で言うところのインスタンスに相当するものです。このノードを組み合わせた集合体をクラスターと呼びます。ノードに直接接続してしまうと、もしそのノードに問題が発生した場合には新しいノードのアドレス(エンドポイント)をアプリケーション側で書き換えなくてはなりませんし、サービスの成長と共に負荷が上がってくるとノードの台数を増やして負荷やメモリ(キャッシュ)を分散したりとい
はじめに iTunes Connect 標準機能として提供されているTestFlightと、充実した機能や分かりやすい管理画面UIを提供してくれているDeployGate。今回は、この2つを、iOS開発者の立場から比較してみました。 もし間違い等ありましたら、ぜひご指摘いただけると幸いです。 また、別の比較できる観点が見つかりましたら、更新するかもしれません。よろしくお願いいたします。 ※初回投稿時、DeployGateがDeploygateとなっていました。へんてこさん、ありがとうございます!(2016/03/31) 簡単に各サービスの紹介 TestFlight iTunes Connect の一機能として提供されているサービスの名称。特定のユーザーに、リリース前のアプリを配信し、利用状況の取得やフィードバックを受けることができる。 TestFlight Beta Testing - A
ウィスキー、シガー、パイプをこよなく愛する大栗です。 恒例となってきましたが「Amazon EC2再入門」をアップデートしようと思います。相も変わらずにAWSがアップデートを続けているので記事も最新化します。 最近半年のEC2関連アップデートまとめ 前回の記事から半年の間でEC2に関するアップデートです。成熟したサービスであるEC2でも、まだまだアップデートは止まらないようです。 スポットインスタンスのターミネート通知を試してみた AWSの新サービス SSM を知っていますか? EC2 のAuto Recoveryが東京リージョンにリリースされました Amazon EBSが最大16TB、20000IOPSをサポートしました Amazon EC2の新しい高密度ストレージインスタンス「D2」が出ました [新機能]AMIをCreation Date(作成日)で検索できるようになりました Amaz
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く