コンテナでログをどう取得すればいいの？そもそもどういうログがあるのか？ ログの取得パターンから活用方法まで、 @prog893 が選定のためのヒントとサンプルアーキテクチャで紹介します。
AWS Startup Tech Meetup #3: かんたんコンテナロギング選手権
コンテナでログをどう取得すればいいの？そもそもどういうログがあるのか？ ログの取得パターンから活用方法まで、 @prog893 が選定のためのヒントとサンプルアーキテクチャで紹介します。
AWSアカウントに因らずアベイラビリティゾーンを識別できるAZ IDを利用しよう #reinvent | DevelopersIO
ども、ゲストの大瀧です。 AWSのデータセンターはリージョンとアベイラビリティゾーン(以下AZ)という単位でグループ化され、AZは地理的、設備的に独立しており可用性設計に役立てることができます。 従来、AZを区別するためにはAZ名を用いてきましたが、AZ名の割り当てはAWSアカウントごとにまちまちで、例えばAWSアカウント111111111111から見えるap-northeast-1aはAWSアカウント222222222222だとap-northeast-1cだったりしました。 AWSの年次イベントre:Invent 2018の期間中に発表されたVPCの共有機能のリリースに合わせて、異なるAWSアカウントでも一意にAZを識別できるAZ IDが追加されました。Amazon VPCのサブネット作成画面では以下のように表示されます。 先ほどの図に起こすと以下のような感じです。 2019/08/2
［速報］「The Amazon Builders' Library」発表。大規模分散システムの構築、運用などについて、Amazonが学んできたことをコンテンツとして公開。AWS re:Invent 2019
［速報］「The Amazon Builders' Library」発表。大規模分散システムの構築、運用などについて、Amazonが学んできたことをコンテンツとして公開。AWS re:Invent 2019 Amazon.comが開発してきた世界最大級の電子商取引システムや、それを支えるインフラであるところのAmazon Web Servicesは、世界でも最も複雑で巨大な分散システムの1つです。 そしてAmazon.comやAWSにとってさえ「分散システムの構築は難しいものだった」と、Amazon.com CTO Werner Vogels氏。 そしたなかで、Amazonはどのように堅牢でスケーラブルな分散システムを作ったのか？ エンジニア組織をスケールさせてきたのか？ どのように運用しているのか？ どうやってサービスを迅速に提供しているのか？ AWSのブログに投稿された記事「Check
retries-on-errors.html
関数を呼び出す場合、2 つのタイプのエラーが発生する可能性があります。関数が呼び出しリクエストを受け取る前にリクエストが拒否されると、呼び出しエラーが発生します。関数エラーは、関数コードまたはランタイムがエラーを返す場合に発生します。エラータイプに応じて、呼び出しのタイプ、関数を呼び出すクライアントまたはサービス、エラーを管理するための方針や再試行動作も異なります。 リクエストや発信者、アカウントに関する問題により、呼び出しエラーが発生する可能性があります。呼び出しエラーには、エラーの原因を示すレスポンス内のエラータイプおよびステータスコードが含まれます。 一般的な呼び出しエラー リクエスト － リクエストイベントが大きすぎるか JSON が有効ではない、関数が存在しない、パラメータ値のタイプが間違っている、のいずれかです。 発信者 － ユーザーまたはサービスに、関数を呼び出すアクセス権限
【AWSしかやったことない人向け】AWSとGCPのネットワークの違いを理解してみよう - まーぽんって誰がつけたの？
背景 AWSでVPC作ったりしたことあるけど、GCPやったことないって人は色々違いに戸惑う アカウントの関係性、ネットワークの概念の違いなどを理解したのでまとめた AWSとGCPのアカウントの考え方の違い AWSの場合、ある人間に対して色々なAWSアカウントが付与される。 (人間) -> 個人で発行されたアカウント -> 会社で発行されたアカウント GCPの場合、ある人間は色々なプロジェクトというものに属することができる。 そして、その人間が使うアカウントはGmailとかで使ってるようなGoogleアカウントである。 (人間 with Googleアカウント) -> プロジェクト 会社のやつ -> プロジェクト 何の関係もない個人のやつ GCPの方が始めるのはすごく簡単な気がする。アカウント管理もGoogleアカウントさえやっときゃいいみたいな感じなので、Googleにロックインされる感は
S3のアクセスコントロールが多すぎて訳が解らないので整理してみる | DevelopersIO
おまけ 今回調査に使ったシェルスクリプト載せておきます。 権限毎にバケット何個も作って、オブジェクトも作って、アクセスしてみて、終わったら削除してという感じのものです。 #!/bin/bash UNIQ=$(date +'%Y%m%d%I%M%S') alias aws='aws --region ap-northeast-1' BUCKET_PREFIX=akeri-acl-test-$UNIQ- TARGET_PRINCIPAL="arn:aws:iam::123456789012:user/s3acltest" TARGET_MAIL="example@example.com" # create Bucket Policy Document UPLOADFILE=akeridayo.txt IAM_USERNAME=s3acltest echo "akeridayo" > $UPLO
Amazon Athena: カラムナフォーマット『Parquet』でクエリを試してみた #reinvent | DevelopersIO
先日『AWS re:Invent 2016』にて発表された新サービス『Amazon Athena』は、マニュアルにもある通りAWSが提供するフルマネージドHiveサービスと言えるでしょう。DWH用途で考えるとレコードをフルスキャンするよりも特定のカラムを集計・フィルタするというユースケースが多くなりそうですので、カラムナフォーマット『Parquet』を試したみたいと思いました。Parquetファイルの変換や、一般的なCSVとの簡単な比較をしてみました。（意外な結果が...） カラムナフォーマット『Parquet』とは データ分析では大福帳フォーマットのテーブルデータに対して、特定の列の値を集計したり、フィルタリングすることが多いため、カラム毎にデータが連続して格納されていると必要なデータのみをピンポイントで読み込むことができるからです。また、列方向には同じ種類のデータが並んでいるため、圧縮
Linux Network Namespace(netns)でEC2のENIごとに異なるネットワーク設定 | DevelopersIO
ども、大瀧です。 EC2インスタンスに追加のENI(Elastic Network Interface)を設定すると、ルートテーブルの不整合でうまく通信できなかったり、アプリケーションを追加のENI経由で通信させるのに苦戦したという経験はありませんか。自分は悶々とトラブルシューティングしていた時期があり、極力使わないのがいいなという結論をブログで吐露していました。時を経てひょんなことからnetns(Network Namespace)に触れる機会があり、追加のENIの管理と相性が良かったのでご紹介してみたいと思います。 Linux Network Namespaceとは Network Namespace(netns)は、OSのネットワークスタック(ルーティングテーブルやiptablesを含むネットワーク設定)を分離して管理できるLinuxカーネルの機能です。古くはXenやKVMなどLin
【レポート】DEV322：ソフトウェア開発チームにおける継続的インテグレーションのベストプラクティス #reinvent #dev322 | DevelopersIO
森永です。 最近DevOps系のサービスをガッツリ触るようになってその魅力に取りつかれております。 そんな中魅力的なタイトルがありましたので受講しました。 物凄い並びましたがなんとか入れました… 登壇者 Clare Liguori Senior software engineer for the AWS Code services セッション内容 Continuous Integration(CI)の紹介 Continuous Integrationとは 以下のループが基本 デベロッパー がコードを共有リポジトリに登録 自動で実行して確認 開発者がそのフィードバックを受取る なぜCIが必要なのか？ バグの発見/修正が早くなる デリバリが早く/頻繁になる 開発者をブロックしない/時間を使える分成長する CIのためのツール AWSが提供しているツール コードの共有 CodeCommit ビルド
AWSの新サービス群に対する一行所感 - プログラマでありたい
今年もラスベガスで、AWSの最大のイベントre:Invent開催中です。初回のキーノートが終わった所ですが、怒涛のサービス発表で頭が混乱中です。整理のために、サービスに対する感想をつけてみます。間違っているかもしれないので、悪しからず。 AWS AppSync モバイル等での複数端末のデータ同期を見据えたソリューション。必要性はすごく解るが、それってCognito Syncでやりたかったことじゃないのかな？認証認可のサービスにデータ同期を加えた筋の悪さを解消に来たのか？ 2017/12/3 追記 中の人曰く、次のような役割分担とのこと AWSの新サービス群に対する一行所感 - プログラマでありたい ありがたし / Cognito Syncは「一つのIdentityに（≒一人の人間）が持つ」複数端末間での設定値等の同期のためのものだったので、前提と志向が違うのです > AppSync “それ
AWS CloudFormation のベストプラクティス - AWS CloudFormation
ベストプラクティスはワークフロー全体で AWS CloudFormation をより効率的かつ安全に使用するために役立つ推奨事項です。スタックの計画方法と整理方法を学習し、リソースとそこで実行するソフトウェアアプリケーションを記述するテンプレートを作成して、スタックとそのリソースを管理します。次のベストプラクティスは、現在の CloudFormation のお客様の実際の経験に基づいています。 フィードバックループを短縮して配信速度を向上させる CloudFormation テンプレートで記述したインフラストラクチャのフィードバックループを短縮するのに役立つ、プラクティスやツールを採用します。これには、ワークステーションで早期にテンプレートのリンティングとテストを行うことが含まれます。そうすることで、コントリビューションをソースコードリポジトリに送信する前でも、潜在的な構文や構成上の問題を
記事 & チュートリアル - AWS CloudFormation | AWS
AWS CloudFormation は、関連する AWS リソースを収集し、整った予測可能な方法でそれらをプロビジョニングする簡単な方法を開発者やシステム管理者に提供します。以下のアーティクルとドキュメントには、テンプレートを構築し、様々な AWS CloudFormation 機能を使用して AWS リソースをプロビジョニングするためのガイダンスが含まれています。 AWS CloudFormation Designer は、ドラッグアンドドロップインターフェイスを使用して CloudFormation テンプレートを作成、変更できる視覚ツールです。リソースの追加、変更、削除を簡単に行うことができ、基本となる JSON は状況に応じて変更されます。実行中のスタックと関連付けられているテンプレートを変更する場合、テンプレートに適合するようにスタックを更新できます。 続きを読む... AWS
裏セグメントからyumやwget等したい場合の設定
裏セグメントのホスト(たとえばVPCのEIPついてないのとかDBやNASなど裏においときたいやつ) から名前解決とかメールとかyumとかwgetとか時刻同期とかメールしたい！ という場合の設定についてざっくりまとめさせていただきます。 とりあえず2パターンあります。 NATする(AWSの場合NATインスタンスを使う)パターンと、 グローバル通信できる管理サーバにソフトウェアを入れて解決するパターン。 ★NATする(AWSの場合NATインスタンスを使う)パターン db側はInternetGatewayつけてなくてパブリックでなくローカルなルーティングな場合、 名前解決をはじめ外に出られないです。（※） NATインスタンスを作るのも勿体ないと、複数NICがついたwebをnat化しようとしたところ、 マルチインタフェースなインスタンスはNATの出口に出来ない模様でした。 （※）最近新しくとったア
Amazon WorkSpaces ～Windows 10環境の日本語化～
こんにちは、Bogartです。 今回はクラウド型仮想デスクトップサービスAmazon WorkSpaces で提供されているWindows 10 desktop experience の日本語化を行っていきます。現時点では英語版バンドルのみでの提供となっているため、Amazon WorkSpacesでWindows 10環境を利用したい方や、ブラウザ経由でAmaozn WorkSpacesを利用する場合も現時点では英語版バンドルを利用する必要があるので、参考なれば幸いです。 言語パックのインストール まずはAmazon WorkSpaces上のWindows 10環境へアクセスを行い、画面左下のWindowsボタンを右クリックし、「Control Panel」をクリックします。 「Clock, Language, and Region」を選択します。 「Add a language」をクリ
【登壇資料】目的別、サーバーレスアーキテクチャの教科書！これのときはこう！【アーキテクチャ20連発】 #cm_osaka | DevelopersIO
大阪でサーバーレスの話をしてきました クラスメソッドの開発を知る！大阪勉強会 第7回 これから始めるサーバーレス！〜最新サービス使いこなし術〜で スピーカーとして登壇しました。参加率が非常に高く、多くの方にご参加いただきました。誠にありがとうございました！ 本記事では、勉強会でお話しした「目的別、サーバーレスアーキテクチャの教科書！これのときはこう！」の発表資料を公開します。 発表資料 内容 本セッションでは、これからサーバーレスを始める人向けに、サーバーレスとは何か？という話から、具体的にどのようなアーキテクチャを構築するのか？というお話しをさせていただきました。 サーバーレスアーキテクチャパターン 本セッションでは、サーバーレスアーキテクチャのパターンを20種類ご紹介しました。サーバーレスと言えるアーキテクチャは20種類では語りきれないほど沢山ありますが、今回は独断と偏見で選んでみまし
時系列データベースという概念をクラウドの技で再構築する - ゆううきブログ
サーバ監視サービスMackerelにおいて開発中の、高解像度・長期間のサーバメトリック収集を実現するための新しい時系列データベースDiamondを紹介します。具体的には、Amazon ElastiCache、Amazon DynamoDB、Amazon S3を組み合わせ、Amazon Kinesis StreamsとAWS Lambdaによりコンポーネント間を接続した、階層構造のデータストアアーキテクチャの設計と実装を解説します。 2018/06/05 追記: この記事の内容をWSA研#2でより一般的なアーキテクチャレベルでの貢献として書き直しました。 サーバレス時代におけるヘテロジニアス時系列データベースアーキテクチャ - ゆううきブログ はじめに 先日開催されたAWS Summit Tokyo 2017にて、「時系列データベースという概念をクラウドの技で再構築する」というタイトルで登壇
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWSエンジニアのためのOpenStackコンポーネント/用語 対応表 - Qiita
AKIBA.aws 第1回 基礎編で「負荷分散だけじゃないELBのメリット」を話しました | DevelopersIO
AWS マネージドサービスで実現する CI/CD パイプライン
https://d0.awsstatic.com/events/jp/2017/summit/slide/D4T2-5.pdf