こんにちは！スタンディングデスクを導入して快適な開発環境と運動不足の両方を解消できるようになったのではと感じている、広告技術部のUT@mocyutoです。 今回は半年ほどEKSを運用して秒間3万リクエストのトラフィックをさばくほどになりました。 秒間3万は広告システムだと割とあるとは思いますが、kubernetesでも運用できているので紹介しようと思います。 対象のEKSで構築したサービスは広告の配信サーバです。 広告配信サーバの要件として、まず50ms以内にレスポンスを返さなければいけません。 構築したk8sのレスポンスタイムの99パーセンタイルは10msほどで返せています。 以下は必要最小限のクラスタの構成図です。 全体像 API 弊社のサーバサイドはほぼGoで作られているので、例に漏れずGoで作られています。 pod構成はAPI、fluentd、envoyの サイドカーパターン です
Terraform + fluentd + Docker + Puree で小さく始めるモバイル行動ログ収集基盤構築 | PSYENCE:MEDIA
Terraform + fluentd + Docker + Puree で小さく始めるモバイル行動ログ収集基盤構築 河合 航平 2015.07.07 1273 194192628259 こんにちは。 4月から新卒駆け出しインフラエンジニアとして日々奮闘しております河合です。 "モバイル行動ログ収集基盤" を "小さく" 始めたので、以下にインフラ構築からモバイルまでの設計までをまとめたいと思います。今回このログ収集基盤を作るにあたって私自身がこれまで経験したことのない技術・ツールを利用しましたので、それらの導入についてもご紹介いたします。 導入の背景 私は英単語サプリを中心にインフラを担当しています。 英単語サプリとは、聞ける・話せる・覚えてるをコンセプトとした高校受験からTOEICまで対策できる英単語学習のサービスです。 ユーザの分析によく使われるツールの1つにGoogle Analy
2019年のAmazon Prime Day。AWS上の42万6000台相当のサーバや1900個のデータベースインスタンスなどで乗り切る
2019年のAmazon Prime Day。AWS上の42万6000台相当のサーバや1900個のデータベースインスタンスなどで乗り切る Amazonは毎年、プライム会員向けのセールである「Amazon Prime Day」を開催しています。2019年のPrime Dayも、7月15日と16日の2日間行われました。 Amazon Prime Dayは世界各国で同じ日に行われているため、国ごとの時差はあるものの開催期間中はものすごい勢いでプライム会員がAmazonのECサイトにアクセスを繰り返します。Amazon Prime Dayが世界最大級のオンライントランザクションが発生するイベントであることに異論を唱える人はいないでしょう。 そのECサイトの基盤を支えているのがAmazon Web Services（AWS）です。 AWSのチーフエバンジェリストJeff Bar氏は、ブログ「Amaz
ソニー銀行は金融機関としてAmazonクラウドをどう評価し導入したのか？ AWS Summit Tokyo 2014
ソニー銀行は金融機関としてAmazonクラウドをどう評価し導入したのか？ AWS Summit Tokyo 2014 7月17日と18日の2日間にわたって都内で開催された「AWS Summit Tokyo 2014」での大きなトピックは、金融機関がクラウドの採用を明らかにしたことでした。1日目の基調講演ではマネックスグループ代表執行役社長CEOの松本大氏が登壇し、クラウドの採用を表明。 そして2日目のセッションでは、ソニー銀行のシステム企画部 マネージャー 基盤統括担当 大久保光伸氏が、同社によるAmazonクラウドの評価と導入について詳しい説明を行いました。 1年前のAWS Summit Tokyo 2013は、企業の基幹業務をクラウドへ移行する事例が相次いで発表されたイベントでした。それから1年がたち、金融機関もついにクラウドを基盤として採用し始めたことになります。 本記事では、ソニー
こんにちは。池田です。本州からは梅の便りが届いていますが、札幌はまだまだ雪景色です。 最近になり周囲で「今度はEchoの招待が届いた！」とか「2回目のEcho Dotの招待が届いた！」とか「2台目ゲット！」とか聞こえてきました。我が家にEcho Plusを迎え入れる日はいつになるのでしょうか。 早くスマート家電を声で制御する生活を体験したくてワクワクしています。 はじめに 今年に入ってからAWS再入門シリーズと題して勉強を進めているのですが「たまにはAWSホワイトペーパーを読んでみよう」と思い立ちいくつか読んでいた中でAWS_Security_Checklistという資料を見つけました。 内容は非常に簡潔ですが、各項目はそれぞれ関連するAWSドキュメントへのリンクが設けられていました。 そこで今回は資料からの各リンク先ドキュメントを基に筆者が整理したチェックポイントなどを「AWS再入門20
Amazon EC2性能検証！気になるパフォーマンスをインスタンスタイプやリージョン毎に計測・比較してみた - 元RX-7乗りの適当な日々
大手クラウドサービスであるAmazon EC2では、9種類ものインスタンスタイプ(サーバの種類)から、利用したいスペックのサーバを選択できます。また、EC2のサーバは、4ヶ所ものリージョン(アメリカ東海岸、同西海岸、ヨーロッパ西部、シンガポール)から稼動させる場所を選択することができます。 ここで、気になるのが、Amazon Web Servicesの説明ページで、各インスタンスタイプの公表スペック差異として、EC2独自のCPU単位である"ECU"の数値や、IO性能のModerate(中)やHigh(高)で、どのくらいパフォーマンスが違うのかが見え辛いといった点。 また、一部の場所ではパフォーマンスが出ていない等の話が以前に出ていましたが、4ヶ所のロケーション(Region)によって、各場所でのインスタンス性能が全く同じなのか等も気になるところ。 ここを解明すべく、各種ベンチマークを実行し
Amazon EC2、1年間限定でフリーミアムサービスを開始。日本でも利用可能：In the looop：オルタナティブ・ブログ
Amazonが11月1日から無料Webサービスを開始すると発表(記事)した。機能限定で、期間は1年間だ。 対象となるのは、2010年9月に発表したばかりの廉価Webサービス「Amazon EC2 Micro インスタンス」、新型Webサービス「Amazon Elastic Block Store(EBS)」、ストレージサービス「Amazon S3」など。 ・ Amazon EC2が1時間1円台で使える「Microインスタンス」提供開始 ITpro (9/9) そして、発表された限定機能は次の通りだ。 AWS Free Usage Tier (Per Month): 750 hours of Amazon EC2 Linux Micro Instance usage (613 MB of memory and 32-bit and 64-bit platform support) – en
【動画】新しく発見された目の錯覚 「顔の歪み効果」が面白い件
■編集元：ニュース速報板より「【動画】新しく発見された目の錯覚 「顔の歪み効果」が面白い件」 1 名無しさん＠涙目です。(埼玉県) :2011/07/09(土) 17:15:40.19 ID:CJFzpVrO0 ?PLT(12001) ポイント特典 視線の両側にある顔が怪物の様に醜く変化する目の錯覚（動画） これは、「Flashed Face Distortion Effect」（一瞬で切り替えた顔の歪み効果）と言われる、比較的最近発見された、目の錯覚現象だそうです。まずは下記の注意点を読んでから、動画を御覧ください。 1. Keep your eyes on the cross （動画の真ん中にある十字を見つめ、目を離さないで下さい） 2. These faces have not been altered （両側に現れる顔は何も加工していません。） YouTube -
6. 例例えば... (CloudHubパターン) • 解決したい課題 VPNをハブ状に構成し、メンテナンスコ ストを下げる。この場合ハブとなるVPN 機器の可⽤用性と性能に対するコストが問題 になる。 • クラウドでの解決 ハブ構成に対応したVPN機能を安価に提 供しているサービスを利利⽤用する。 • 実装 vpcのVPNゲートウェイに対して複数のカ スタマーゲートウェイを設定する。 • 利利点 管理理コスト、初期費⽤用の削減 • 注意点 対応可能なVPN数などの制約に注意する v 構造 6 9. AWS Innovations をふりかえる 2009 Amazon RDS Amazon VPC Auto Scaling Elastic Load Balancing +48 2010 Amazon SNS AWS Identity & Access Ma
【CyberAgent】技術情報／TechReport - テックレポート／Amazon Web Servicesについて | 株式会社サイバーエージェント
概要 既存のインフラを利用しないで、「Amazon Web Services」（以後AWS）のみを利用し新規でサービス展開を行う場合に必要な情報、知識をまとめる。 注意 基本的な利用方法を除外し、実際の構築時に必要なトピックスに焦点をあて本ドキュメントを作成しました。 特にオープンに公開されている情報については割愛（Web及び書籍で多数公開されている情報）しています。 補足 本ドキュメントは、2012/08時点でのAWSで提供されているサービスを元に記述されています。AWSは日々新機能がリリースされていますので、利用する際は最新の情報を取得してください。 目次 概要 注意 補足 目次 序論 クラウドのメリット クラウドのデメリット AWSの製品・サービス構成 内容 アカウント管理 Consolidated Billing(一括決済) 使用例 作成手順 補足 AWS Support 補足 A
ログ・モニタリングのやること AWS CloudTrail の設定 CloudTrail は AWS リソースに関して「誰が」「いつ」「何に」対して「どうような」操作をしたのかのイベントを記録するサービスです。イベント履歴から 90 日間分のイベントを確認することはできますが、イベントログの長期保管の設定（証跡の作成を行い、S3 に保管）をしておくことで、トラブル発生時の解析やインシデント発生時の調査などに利用できます。 有料です（無料利用枠もあります）。 [YouTube] AWS CloudTrail を触ってみた CloudTrail Insights イベントを利用することで、機械学習により異常なアクティビティを検出することもできます。通常の操作で検出されることがあるため、始めに試してみて、あまり活用しないようであれば無効化を検討でも良いと思います。 イベントログは S3 と Cl
ども、大瀧です。 Linuxのメモリ管理で欠かせないのがswapですよね。EC2のディスク管理には独特な仕様があるのでその辺りを踏まえつつ、EC2(Linux)でどのようにswap領域を用意するのが良いのかまとめてみたいと思います。 理屈をこねながらの解説になるので、先に本エントリーの結論を。 公式AMIにはswap領域が含まれない m1.small、c1.mediumには900MBのスワップ領域がおまけでついてくる(Amazon Linux AMIであれば、Cloud-initによって自動マウントされる) swap領域には、インスタンスストア(別名Ephemeral Disk)を使うべし では、それぞれ見ていきます。 公式Linux AMIの初期構成にはswapパーティションが無い Amazonから提供される公式のLinux AMIのブートディスクには、swapパーティションが含まれてい
アドテク本部の黒崎( @kuro_m88 )です。 2019/08/23にAWSの東京リージョンで特定のAZ内で大きめの障害がありました。 私が開発しているプロダクトもAWSの東京リージョンを利用していて、常時数百インスタンスが稼働しているため、今回の障害の影響範囲に含まれていました。 何が起きたのか？ AWSから公式発表が出ています。 東京リージョン (AP-NORTHEAST-1) で発生した Amazon EC2 と Amazon EBS の事象概要 データセンタ内の冷却の障害が原因で一部のハードウェアホストが過熱し電源が失われてしまったようです。これにより影響を受けたハードウェアホスト上で稼働していたEC2インスタンスやEBSボリュームは電源が失われているため、外部から見ると突然応答がなくなったように見えました。 担当サービスでも公式発表と同じくらいの時刻にELBやその配下のサーバ
歴史・年表でみるAWS全サービス一覧 －アナウンス日、General Availability(GA)、AWSサービス概要のまとめ－ - NRIネットコムBlog
小西秀和です。 Amazon Web Services(AWS)に関する情報や魅力を様々な観点から記事にしてみていますが、技術史が好きなこともあって今回はAWSサービスの発表の歴史を年表でまとめました。 AWSからもWhat's Newとして公式アナウンスは発表されていますが、アナウンス日、GA日(一般提供開始日)、サービス名、サービス概要といった情報に圧縮して時系列でAWSサービス一覧を一枚もので確認できる記事が今まで欲しかったので自分で作成してみることにしました。 AWS全サービスの歴史年表の作成方法 AWS全サービスの歴史年表の対象となるAWSサービスは次の手順で選定しました。 AWSサービス・製品一覧「Cloud Products(英語版)」にあるサービスのうち「～ on AWS」といったサードパーティー製品がメインとなるサービスを除いたリストを作成 AWSサービス・製品一覧に記載
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? AWS認定ソリューションアーキテクト アソシエイトを受験しました。 受験に向けてどんな事をしたのか、そんな勉強をしたのかをまとめます。 #結果 合格しました！ 得点は74%でした。 試験中に手ごたえがあまりなくドキドキでしたが、無事合格できてうれしいです！ #所感 今回、認定取得を目指して学習したことで、AWSの知識が相当増えたと感じます。 具体的には AWSのサービスを使用してシステムをどう構成すればよいのか AWSのおのおののサービスの得意なこと不得意なこと AWSにおけるベストプラクティス というようなことが学べ、業務にいかすこと
AuroraかRDSどちらを選ぶべきか比較する話をDevelopers.IO 2019 in OSAKAでしました #cmdevio | DevelopersIO
こんにちは、大阪オフィスのかずえです。10/11に、弊社は Developers.IO 2019 in Osakaを開催いたしました。お越し下さった皆様、ありがとうございました！ 私は今回、「AuroraかRDSどちらを選ぶべきか」というタイトルで登壇させていただきました。このエントリはその内容をブログ用にアレンジしたものになります。 ゴール AuroraとRDSの違いを理解して、 適切に使い分けることができるようになる もくじ RDSとは Auroraとは� RDSとAuroraの違い� アーキテクチャの違い� Auroraにしかない機能� RDSかAuroraどちらを選ぶべきか� Auroraを使えないケース� (Auroraも使えるけど)RDSを使うべきケース� まとめ� 登壇資料� 参考資料� RDSとは 皆さんご存知かと思いますが、RDSはAmazon Relational Da
最新版は以下となります。 https://dev.classmethod.jp/etc/ec2-tcp-port-check-command-2018/ こんにちはコカコーラ好きの梶です。 EC2では色々なOSが構築できますよね。構築後の通信確認はどのように実施してますか？ 各OSで他のインスタンスへTCP通信確認のために、ツールをインストールしたり、ICMPなどの別なプロトコルで確認するためにSecurity Groupを一時解放していませんか？ 構築直後の状態で、簡単にTCPポート疎通確認可能なコマンドをご紹介します。 Amazon Linux,Ubuntu,Windows2012R2,CentOSについて自分も忘れやすいのでまとめてみました。 どなたかのお役に立てれば幸いです。 Amazon Linux 動作確認AMI:amzn-ami-hvm-2014.09.2.x86_64-eb
robots.txtとは robots.txtは、検索エンジンのクローラー（bot）に、クロールされたいページや、クロールされたくないページを教えるテキストファイルのことです。多くの検索エンジンのクローラーは、そのドメインの最上位ディレクトリに設置されたrobotst.txtを最初に読み込んで、クロールするべきページとクロールするべきでないページを取得し、それに基づいて巡回します。ただ、一部のクローラーには、このrobots.txtを無視するものもあります。 robots.txtの書き方はおよそ以下の通りです。 User-agent:（ここにbotのユーザーエージェントを記述。ワイルドカード指定も可能） Crawl-Delay:（クロールの時間間隔を指定） Disallow:（クロールされたくないページやディレクトリを指定） Allow:（Disallowで指定されたディレクトリの小階層で
メルカリのコンテナアーキテクチャを公開！ 利便性の高いアプリを実現する AWS 活用法 | Amazon Web Services
AWS Startup ブログ メルカリのコンテナアーキテクチャを公開！ 利便性の高いアプリを実現する AWS 活用法 2019年8月30日。AWS Loft Tokyo にて、AWS におけるコンテナサービスの解説とともに、株式会社メルカリにおける AWS Fargate、Amazon EKS の活用についてお話しいただくイベント AWS Containers talk with Mercari が開催されました。 このレポートでは、前半パートで株式会社メルカリの中河 宏文 氏による「メルカリ写真検索における Amazon EKS の活用事例とプロダクトにおける Edge AI Technology の展望」の模様を、後半パートで株式会社メルカリ 高橋 三徳 氏とアマゾン ウェブ サービス ジャパン株式会社のソリューションアーキテクト 塚田 朗弘、原 康紘による「Fireside Cha
舘岡さん（@iara）さんに、Amazon Web Services 実践入門を頂きました。ありがとうございます！！ 早速読んでみましたが、実践入門という名前に違わず入門なのに実践的という内容にまとまっていました。その辺りは、著者陣の経験の深さがにじみ出ています。著者陣は、舘岡さんを筆頭に、今井さん、永淵さん、間瀬さん、三浦さん、柳瀬さんとAWS界隈のスーパースターたちです。それぞれの所属する会社は、日本で5社しかないAWSのプレミアパートナー、従来の情報システム部の常識をスーパーのパックの刺身のツマほどの価値しか認めず常に大胆かつ合理的な方法でAWSを利用し周囲を驚かせるハンズラボ、オンラインによる名刺管理という業界を作りリーダーとして君臨するSansanの中の人とAWSを知り尽くした人々によって書かれています。 Amazon Web Services 実践入門が実践的な理由 本書で取り
サーバアプリケーションの配置はますます複雑になっています。いくつかのPerlスクリプトをコピーするだけでインストールが完了する時代は終わりました。今日、ソフトウエアは多くの種類の要求を抱えています。 インストールするソフトウエアやライブラリの依存物("Python >= 2.6.3とDjango 1.2に依存する") 実行するサービスへの依存("MySQL 5.5とRabbitMQのキュー"が必要) 特定のOSに対する依存("64-bit Ubuntu Linux 12.04でビルドとテストをした") リソースの要件: 利用可能なメモリの最少量("1GBのメモリが必要") 特定のポートへのバインド("80と443を使う") 例えば、比較的シンプルなアプリケーションの配置を考えてみましょう。Wordpressです。典型的なWordpressのインストールでは、 Apache 2 PHP 5
Amazon Web Servicesの障害はなぜ起こったのか アマゾンが詳細な経緯と対策を発表 − ＠IT
2011/04/30 米Amazon Web Services（AWS）は米国時間4月29日午後、同社のブロックストレージサービス「Amazon Elastic Block Store（EBS）」および、リレーショナルデータベースサービスの「Amazon Relational Database Service（RDS）」における約4日間にわたる障害につき、詳細な経過報告と対策を発表した。これによると、障害のきっかけはネットワークの構成変更作業におけるミスだった。同社は今回の障害が複数のAvailability Zone（AZ）に影響を与えた理由も説明した。 AWSが発表した今回の障害に関する説明（英語） EBSはAWSの仮想サーバサービスであるAmazon EC2のインスタンスから、仮想ディスクとして使える永続ストレージサービス。実態としてはディスクを備えたノード（コンピュータ）の集合体を
先週6月14日に発生したAmazon Web Servicesの米国東部リージョンでのシステム障害は、HerokuやPinterestなど大手のサービスにも影響を与えたようです。その障害報告が、Service Health Dashboardで公開されています（現在はRSS内の記述として読めます）。 障害は米国東部リージョンでの特定のアベイラビリティゾーンで発生したもの。報告によると、プライマリの電源ケーブルのトラブルをきっかけにバックアップとしての発電機へ移行したものの、そこでもまたトラブルが発生し、二重、三重の防護策が次々に倒れていったことが示されています。 Amazonクラウドの多重の防護策の一端が分かると共に、これだけバックアップ策が用意されていても、わずかなトラブルによって防護策が倒れることの教訓を得ることができます。 一方で、障害は特定のアベイラビリティゾーン内だったため、マル
米Amazon Web Services（米AWS）が提供するクラウドサービス「AWS」の東京リージョンで、2月20日午前0時ごろに障害が発生した。発生から約5時間がたった午前5時9分に同社は、障害の大部分を解消したと発表した。この影響でAWSを利用するオンラインゲームの一部などが利用しづらい状態に。また、気象庁の公式サイトが一時接続できない状態になり、同庁は復旧作業や関連性の調査を急いでいる。 追記 2021年2月20日午後4時 気象庁Webサイトは完全復旧 気象庁は、午前10時50分ごろに公式サイトの全ページが正常に閲覧できるようになったと発表した。原因は「同庁が利用しているクラウドシステムの障害」としており、同庁の担当者はこのクラウドシステムがAWSであることを認めている。 暗号資産取引所を運営するコインチェックは午前11時24分、同社の全てのサービスが通常通り利用できるようになった
クラウド破産しました - Candy
EC2 で大量のストレージを借りてさまざまな実験を繰り返していたら、僅か数日で 25 万円もの課金が発生しました。 まあ大規模課金が発生したということそのものは、俺がアホでしたで済む話なんですが、課金額の相当分を EBS の I/O Request が占めている感じです。 EBS を使うさいは事前に I/O がどれくらい発生するか正確に見積もる必要があるでしょう(だけどこれ難しいよね)。
おはようございます。一番よく使うemojiは 👀 (:eyes:) のうなすけです。 さて弊社では、最近社内Railsアプリをひとつ構築しました。それをECSで運用することにしたので、そこに至るまでの経緯、つまづき、これからの課題などなどを記事にしていこうと思います。上の図は現時点での簡単なAWS上での構成図です。 以下、見出しは時系列順でやったことを記録していきます。 社内Railsアプリ、一体どんなもの？ ここで新規に構築することになった社内Railsアプリですが、特に凝ったことはしていない単純なRailsアプリです。初めからECSで運用することにしていたので、開発環境も全てDockerで構築しています。Railsのバージョンは5.1.0、Docker imageのFROMにはruby:2.4.1-silmを採用しています。 Docker imageのtagについて developm
2015/11/13追記：現行のサービスにおける上限値や制限値については下記のAWS公式ページに情報がまとまっているようです。サービス毎の状況を確認される場合はこちらをご参照ください。 - AWS Service Limits - Amazon Web Services - AWS サービス制限 - アマゾン ウェブ サービス AWSでインフラ構築作業を行っていると、規模によってはあっという間に(定められている)要素数の上限に達してしまいます。後述する『上限緩和申請』を行えばその上限は増やす事が出来るのですが、実際に構築を行う前にその辺りの申請はスムーズに済ませておきたいところ。と言うわけで、現在AWSで利用上限が定められている要素とそれらの上限を増やす(上限緩和申請)ための依頼フォームの情報を個人的学習目的及び今後の備忘録として整理してみました。 AWS Service Limits(A
2010/01/15 米アマゾン傘下のAmazon Web Servicesは1月14日、クラウドコンピューティング上でシステム構築を行う場合のベスト・プラクティスをまとめた「Architecting for the Cloud: Best Practices」を公表した。 これまでにも同社は、AWSのサービスを組み合わせてスケーラビリティや可用性を実現する事例を紹介したり、具体的なサービスの組み合わせ方などを解説する文書を公開してきた。今回新たに公開されたホワイト・ペーパーは、こうした解説の集大成と言えるもので、自社だけでなくマイクロソフトやIBM、グーグルが公開しているホワイト・ペーパーも参照している。 20ページの英文PDFはクラウド一般のメリットや特徴から説き起こし、AWSの各サービスの簡単な解説を続けた後に、クラウドの各種の特性を最大限に引き出すシステムについて、一般論としての概
登録から12ヶ月間無料で使える枠と、その後も引き続き無料で使える枠がゴッチャになるのでまとめた 新規利用から12ヶ月間（毎月）無料の枠 EC2 t2.micro Linux 750時間 ELB 750時間 + 15GB分のデータ処理 EBS 30GB + 1GB分のスナップショットストレージ S3 5GBの標準ストレージ 20,000 Getリクエスト 2,000 Putリクエスト RDS micro DBインスタンス Linux 750時間（Single-AZ） 20GBのストレージ 1000万のI/O 自動バックアップと任意スナップショット用 20GBストレージ CloudFront 50GBのデータ転送（アウト） 2,000,000件のHTTP/HTTPSリクエスト Cognite 10GBのクラウド同期ストレージ 1,000,000回の同期操作 AppStream 20時間分 デー
EC2からNFS経由でS3オブジェクトを保管できるようになりました！[Storage Gateway] | DevelopersIO
EC2からNFS経由でS3オブジェクトを保管できるようになりました！[Storage Gateway] 神アップデートな予感がしてます、コンニチハ、千葉です。 2016年11月30日に、ご紹介しました[新機能]オンプレミスからNFS経由でS3オブジェクトを保管できるようになりました！[Storage Gateway]が、なんとEC2上で利用できるようになりました。 これで、EC2からもNFS経由でS３のオブジェクトを直接利用できるようになります。APIを利用してS3へアップロードする必要がなく、NFSにて利用できるのレガシーなシステムでは重宝するのではないでしょうか。 また、NFS(オンプレ/EC2) > Storage Gateway > S3 > Redshiftのような利用も考えられます。 注意点としては、Gatewayインスタンスは現状は冗長化できないという点です。ただ、種々バック
![EC2からNFS経由でS3オブジェクトを保管できるようになりました！[Storage Gateway] | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/5cef8c014e947c6d69a900c17c28496da9c46366/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2014%2F05%2FAWS_Storage_Gateway.png)
AWS 認定 ソリューションアーキテクト – プロフェッショナル(AWS Certified Solutions Architect – Professional)の学習方法 - NRIネットコムBlog
小西秀和です。 この記事は「AWS認定全冠を維持し続ける理由と全取得までの学習方法・資格の難易度まとめ」で説明した学習方法を「AWS 認定 ソリューションアーキテクト – プロフェッショナル(AWS Certified Solutions Architect – Professional)」に特化した形で紹介するものです。 重複する内容については省略していますので、併せて元記事も御覧ください。 また、現在投稿済の各AWS認定に特化した記事へのリンクを以下に掲載しましたので興味のあるAWS認定があれば読んでみてください。 ALL Networking Security Database Analytics ML SAP on AWS Alexa DevOps Developer SysOps SA Pro SA Associate Cloud Practitioner 「AWS 認定 ソリュ
ウィスキー、シガー、パイプをこよなく愛する大栗です。 2017年10月2日からAmazon EC2とAmazon EBSの料金が秒単位の請求となります。内容についてまとめてみました。 New – Per-Second Billing for EC2 Instances and EBS Volumes 秒単位の請求 今までEC2は従量課金モデルに従い、1時間単位の請求が発生していました。10月2日から以下のサービスについて1秒単位で請求が発生します。 Amazon EC2 Amazon EBS Amazon EMR AWS Batch 以下のように請求書は時間単位のままで小数で表示されます。 Source: <https://aws.amazon.com/blogs/aws/new-per-second-billing-for-ec2-instances-and-ebs-volumes/>
夏も終わりに近づいた時期ですが、エンジニア必読のストレージ入門が発売されました[1]。 基礎からの新しいストレージ入門 基本技術から設計・運用管理の実践まで こちらはゼットラボやSNIAで最新ストレージの情報発信をして下さっている坂下さんの待望の新刊技術書です。 クラウド時代にも陳腐化しないストレージ技術について、基礎からわかりやすく説明してくれています。 （私が考える）対象となる読者 アプリケーション開発をしている方からストレージ以外のインフラエンジニアまで、「ストレージなんもわからん」と感じている人々に、ぜひおすすめしたい入門書です。 特にクラウドからシステム開発に入って、 EBSとかEFSとか雰囲気で使ってる とりあえずS3、他は難しくて分からない ファイルストレージ？ファイルシステム？マウント？なんのこと？？ という方は、最初から最後まで本書を通して読んでもらえれば、会社に1人は居
よく訓練されたアップル信者、都元です。AWSにおいては、ネットワーク環境をあまり気にせず、数クリックで簡単にサーバを構築できるのは一つのメリットだと言えます。しかし、本格的に運用するシステムに関しては、ネットワーク環境をコントロールする需要も出てきます。AWS Virtual Private Cloud (VPC)を使えば、AWS上に仮想ネットワークを定義し、その上に各種サーバを配置することができます。 深く考えずに非VPC環境に構築してしまったAWSサーバ環境は、簡単にはVPC環境に移行することはできません。従って弊社では、小さなシステムであっても、最初からVPC環境にシステムを構築することを推奨しています。「非VPCが許されるのは小学生までだよねー」とボスが申しておりました。かといって、ネットワークの構成をゼロから考えて構築するのもひと苦労であるため、本エントリーでは、システムの初期段
AWSのアーキテクチャ図を描くときに意識していること
最初に 公式のガイドライン AWSが配布しているツールキットの中に基本的なガイドラインが記載されています。 描き方に正解はない こちらの記事のあるようにアーキテクチャ図に正解はなく、伝えたいことが適切に伝わるということが大切だと思います。 伝えたい内容や伝える相手によって重点や粒度を変えることを心がけています。 描画ツール diagrams.net（Draw.io）を使ってます。 意識していること アイコンは最新バージョンを使用する AWSのアイコンは定期にアップデートされるので最新のアイコンを使うようにします。 ちなみにdiagrams.netでEC2と調べると古いアイコンが先頭に出てきたので意識していないとこちらを使いがちかもです。 アイコンのバージョンを混ぜない アイコンは最新バージョンを使用すると同じような内容ですが、複数バージョンのアイコンが混在しないようにします。以下の図ではE
高負荷システムでNVMeデバイス使用時のfstrimとdiscard mount optionの話 - たごもりすメモ
先にまとめると ディスクI/Oに高い負荷をかけるシステムでNVMeデバイスを使うときweekly cron jobでfstrimが走る状況になってたら停止しろ じゃないとfstrimが走った瞬間にI/Oパフォーマンスが刺さって死ぬ fstrimを停止するならdiscard mount optionを有効化しろ、ただしその状態でのI/O性能で問題ないかどうか測っておけ discard mount optionを有効化しても大きいファイルの削除には気をつけろ、プチfstrimみたいになるぞ 追記されるばかりで大きくなるファイル(そして削除されるファイル)はNVMeじゃないデバイスに置いとけ 高I/Oスループットを期待するシステムでのNVMeとfstrim 社内で小さめのインスタンスを多く並べてトラフィックを捌いてたのを色々要件があって大きめのインスタンスにまとめるようなシステムアップデートをや
オンプレミスからAWSへ移行した後の『次の一歩』がよくわかる「AWSコスト最適化ガイドブック」 | DevelopersIO
また1冊、この世に名著が生まれました。AWSを運用中のすべてのユーザー企業の方に読んでいただきたいです。 みなさん、こんにちは。 明るい笑顔がトレードマークの芦沢(＠ashi_ssan)です。 『AWSコスト最適化ガイドブック』と題するもはやタイトルだけで万人が読みたくなりそうな本が出版されていたので、購入して即読了しました。 興奮のあまり勢いだけで書評を書いたので、購入を検討している方の参考になればと思いブログ化してみました。 書籍の概要と著者について まずは出版元のKADOKAWAのWebサイトから概要を確認していきます。 利用費用の削減から体制整備・運用プロセス構築までAWSがすべて公開！ 本書は、DXを効率的で持続可能にするためのクラウド最適化の勘所をお伝えすることを目的としています。AWSの個々のサービスの特徴やクラウド利用費用の削減アプローチ、AWS コスト管理に係るサービスの
手作業で構築した AWS リソースの管理には awspec が良いと思ったのでメモ - ようへいの日々精進XP
tl;dr 手作業で構築した AWS リソースの管理には以前から気になっていた awspec が良いと思ったのでメモ。 二台、三台のインスタンスなら...とうっかりと手作業で構築したインスタンスや、どんな設定で作ったか判らないけど、なんとなく利用されている S3 Bucket の管理をどうしようかなと思っていたら awspec の generate コマンドがリソース情報を生成してくれるので試してみた。 参考 github.com qiita.com memo インストール $ cat Gemfile source "https://rubygems.org" gem 'awspec' gem 'rake' $ bundle 初期化 $ bundle exec awspec init + spec/ + spec/spec_helper.rb + Rakefile + spec/.giti
こんにちは。サービスグループの武田です。このエントリは、2018年から公開しているAWS全サービスまとめの2022年版です。 こんにちは。サービスグループの武田です。 このエントリは、2018年から毎年公開している AWS全サービスまとめの2022年版 です。昨年までのものは次のリンクからたどってください。 AWSにはたくさんのサービスがありますが、「結局このサービスってなんなの？」という疑問を自分なりに理解するためにまとめました。 今回もマネジメントコンソールを開き、「サービス」の一覧をもとに一覧化しました。そのため、プレビュー版など一覧に載っていないサービスは含まれていません。また2021年にまとめたもののアップデート版ということで、新しくカテゴリに追加されたサービスには[New]、文章を更新したものには[Update]を付けました。ちなみにサービス数は 223個 です。 まとめるにあ
こんにちは。小椋です。 「まあ15分ぐらいなら落ちてても実際そこまで困らないけど、基本的には24時間起動していてほしいんだよね……」 という緩めのサービスレベルで稼働しているSPOF気味なサーバー、ありますよね。社内向けのジョブスケジューラーとか、一日に数回なんか集めて分析する奴とか。あんまり表立って言わないだけで、御社にもありますよね？ サービスレベルが緩めだし、ミッションクリティカルでもないので、ただ起動しっぱなしにしてほっとけばいいや……と思いきや、やっぱり止まったら止まったで処置も必要だし、生死確認はちゃんとしないといけないし、そもそも起動しっぱなしなのでお金もかかるし、とか、意外とお金も労力もかかりますよね。 私HDEの社長ですが、サーバ代に関してはかなりケチです！ そういうケースに関しては、場合によってはEC2のAutoScaling Groupで管理すると節約ついでに横着でき
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
秒間3万リクエストをkubernetesでさばく - Gunosy Tech Blog
AWS再入門2018 セキュリティチェック編 | DevelopersIO
AWS初心者向けWebinar 失敗例を成功に変える AWSアンチパターンのご紹介
【資料公開】AWSアカウントで最初にやるべきこと 〜2022年6月版〜 | DevelopersIO
Amazon EC2(Linux)のswap領域ベストプラクティス | DevelopersIO
AWSのAZ(アベイラビリティーゾーン)とは？AZ障害が起きたときどうすればよいのか
【合格しました！】AWS 認定ソリューションアーキテクト アソシエイト 受験記 - Qiita
【初心者向け】各OSのTCP通信チェックコマンド入門 | DevelopersIO
大手サイトのrobots.txtでわかる「検索でヒットされたくないページ」の特徴
まさに実践入門！！「Amazon Web Services 実践入門」 - プログラマでありたい
Docker: Linuxコンテナを使ってアプリケーションの配置を支援する
Amazonクラウド先週のシステム障害、原因は電源トラブル。二重三重の防護策が次々と倒れる
AWS障害、5時間でほぼ復旧 気象庁Webサイトなどに影響【各サービス復旧状況を追記】
RailsアプリをECSで運用するまでにやったこと、これからしていくこと - スパイスな人生
AWSサービスの各種上限値一覧 | DevelopersIO
Amazon EC2/S3の使い方解説、決定版をAWSが公開 － ＠IT
AWSの無料枠についてまとめた - 食べられません
Amazon EC2とEBSの料金が秒単位の請求に変わります！ | DevelopersIO
「基礎からの新しいストレージ入門」は、2023年夏の課題図書
Amazon VPCを使ったミニマム構成のサーバ環境を構築する | DevelopersIO
【2022年】AWS全サービスまとめ | DevelopersIO
1台のサーバですら Auto Scaling でケチる - HDE BLOG