AmazonのクラウドサービスであるAWSは、コンピューティングやデータベース、ストレージなど、膨大で複雑なサービスで構成されています。こうした豊富なサービス群をうまく組み合わせて利用する「ビルディングブロック」がAWSのメリットでもありますが、サービス数が多すぎてなかなか全体像を把握できないのも事実。フリーランスのエンジニアでありコンサルタントでもあるジョシュア・テイセン氏が自身のブログで、AWSのすべてのサービスを「たった1行」で説明しています。 Amazon Web Services https://adayinthelifeof.nl/2020/05/20/aws.html テイセン氏によると、Amazon Dashboardから利用可能なAWSのサービスは記事作成時点で163あるとのこと。そのすべてを正確に理解する必要はありませんが、基本を押さえておくことはいいことであり、問題の
このエントリは、2018年、2019年に公開したAWS全サービスまとめの2020年版です。これまではいくつかに分割して公開していましたが、1エントリにまとめてほしいという要望をもらっていたため、今年は1エントリに集約してみました。 こんにちは。サービスグループの武田です。 このエントリは、2018年、2019年に公開した AWS全サービスまとめの2020年版 です。これまではいくつかに分割して公開していましたが、1エントリにまとめてほしいという要望をもらっていたため、今年は1エントリに集約してみました。どちらがいいのか正直わからないので、フィードバックなどあれば参考にさせていただきます。 2020-01-08 リクエストがあったためAmazon Mechanical Turkを追加。 2018年まとめ 【2018年】AWS全サービスまとめ その1（コンピューティング、ストレージ、データベー
広告技術部のUTです。 最近はカービィディスカバリーをゆっくりやってます 概要 過去の失敗 どうやったか 仕組み 結果 まとめ 概要 昨今ではデータドリブンな意思決定を重視する企業がどんどん増えており、データを活用することにより事業成長へのインパクトを出そうとしています。 データを事業へと活用するためには、蓄積されるデータを分析するために保管しておく必要があります。 弊社も創業時からデータを蓄積し事業に活用することに力を入れてきた企業の一つであり、日々大量のログが収集されています。 またAWSアカウントを複数運用していますが、一番データ量の多い広告アカウントのS3にはペタバイトレベルのデータが保管されています。 普段何気なく使っているデータレイクとしてのS3ですが、少量であれば無視できるくらい小さいので、コストを気にせず使っておられる方も多いのではないでしょうか？ そのようなS3でも巨大な
AWSのログ管理についてはいくつか考えるポイントがあると思います。 どのログを保存するか。 CloudWatch Logs（以下CW Logsと記載）とS3のどちらに保存するか、もしくは両方に保存するか などなど。 システムの特性によるところも多いかと思いますが、自分の中でのログ管理のベースラインが定まりつつあるので、頭の整理がてらまとめます。 自分の中での大まかな方針としては以下です。 S3に保存できるものは基本S3に保存する。 以下の場合は、CW Logsに保存する。必要に応じてS3に転送する。 アラームを出したい場合 さっとCW Logs Insightでログを確認したい場合 CW Logs に出さざるを得ない場合 全体像としては以下になります。 なおあくまで個人的な経験に基づくものなので、実際にはシステムの特性を踏まえて方針の決定が必要かと思います。 またこれは必要、これは不要など
こんにちは。おうちKubernetesを勧めるためにやってきました。 このシリーズでは、Part 1で「なぜやるのか」、Part 2で「どうやるのか」について話します。 この記事は自宅サーバー上のKubernetesで不特定多数向けのサービスを展開することを勧めるものではなく、自分用・身内用のアプリを自宅サーバー上のKubernetesで運用することを勧めるものです。 エンジニアは全員おうちKubernetesをやるべき絶対的な理由 自己研鑽のために （鑽←この字「研鑽」と「大鑽井盆地」でしか見ない） 企業がKubernetesを採用する場合、ほとんどがEKSやGKEといったクラウド上で動作するマネージドKubernetesサービスを使用すると思います。ただ、Kubernetesであればコマンドやマニフェストファイルの書き方は共通なので、おうちKubernetesで学んだことがそのまま業務
サーバーサイドからみたGraphQL Serverlss Meetup#19 2021/03/31 に行われた Serverlss Meetup#19 で上記のタイトルで登壇してきました。サーバーサイドの話をしようと思ったけどGraphQLの解決している話をしようと思ったらクライアントの事もかなりはいってしまったので記事のタイトルは変えました。 以下内容です。記事の最後に資料を書くにあたって参考になった資料のリンクを置いてます。 GraphQL and me この1年書いたQiita記事 GraphQLの特徴を分解する ~API インターフェース・Universal BFF・API Gateway~ GraphQLはサーバーサイド実装のベストプラクティスとなるか GraphQLの全体像とWebApp開発のこれから 今回話す事 そもそもGraphQLはなんで作られたのか、何を解決しようとして
こんにちは。サービスグループの武田です。このエントリは、2018年から公開しているAWS全サービスまとめの2021年版です。 こんにちは。サービスグループの武田です。 このエントリは、2018年から毎年公開している AWS全サービスまとめの2021年版 です。昨年までのものは次のリンクからたどってください。 AWSにはたくさんのサービスがありますが、「結局このサービスってなんなの？」という疑問を自分なりに理解するためにまとめました。 今回もマネジメントコンソールを開き、「サービス」の一覧をもとに一覧化しました。そのため、プレビュー版など一覧に載っていないサービスは含まれていません。また2020年にまとめたもののアップデート版ということで、新しくカテゴリに追加されたサービスには[New]、文章を更新したものには[Update]を付けました。ちなみにサービス数は 205個 です。 まとめるにあ
・AWSの学習順序を「路線図風」にまとめました。 ・黄色の丸は重要な項目です。 ・「AWS完全未経験」の方であれば、目安は「3ヶ月」の学習期間で「SAA資格に合格」が標準です。 （経験者であれば、より短い期間で合格が可能です。） ・SAA合格後は他資格の学習と合わせて、ハンズオンを中心に手を動かす学習を推奨します。 ChatGPTでも、ここまでのロードマップは出せないはず⛅️ 1週目：AWS基礎知識(AWS Basics) まずは「AWS」と「従来型のITインフラ環境」について整理していきましょう。 なぜAWSがこれほど世間から求められているのか？AWSのどのような点がメリットなのかについて理解するのが大切です。 オンプレミスのデメリットは ・多額の初期費用が必要 ・キャパシティの予測が必要 ・通常、サーバー購入から設置まで1ヶ月程度かかる などがあります。 一方、AWSは利用した分だけ支
絶滅したと思っていた容量無制限のオンラインストレージが月額1,360円で存在した - nomolkのブログ
※追記：G Suite自体が終わってしまい、この技ももうできなくなったっぽいです。残念… 後継サービスでGoogle Workspaceが始まりました。こちらは容量無制限ではありません（無制限のもあるけど高い）。一応紹介コードはあるのでそれで良ければご案内できます。 まだ試していませんが、無制限バックアップとしてはBackblazeというサービスがあるのでそちらを試してみるといいかもしれません。そのうちレビューします。 www.backblaze.com 仕事で動画やってる人に会うと必ず「ストレージどうしてますか？」って聞いてるんですけど、もうテラ単位のデータってやり場がないじゃないですか。光学メディアもそんなに大容量なのないし、ハードディスクもバンバン買い足すには高いしかさばるし。それなのにデータはどんどん増えていくし、バックアップもちゃんと取りたい。 ほんとはクラウドストレージがいいん
歴史・年表でみるAWS全サービス一覧 －アナウンス日、General Availability(GA)、AWSサービス概要のまとめ－ - NRIネットコムBlog
小西秀和です。 Amazon Web Services(AWS)に関する情報や魅力を様々な観点から記事にしてみていますが、技術史が好きなこともあって今回はAWSサービスの発表の歴史を年表でまとめました。 AWSからもWhat's Newとして公式アナウンスは発表されていますが、アナウンス日、GA日(一般提供開始日)、サービス名、サービス概要といった情報に圧縮して時系列でAWSサービス一覧を一枚もので確認できる記事が今まで欲しかったので自分で作成してみることにしました。 AWS全サービスの歴史年表の作成方法 AWS全サービスの歴史年表の対象となるAWSサービスは次の手順で選定しました。 AWSサービス・製品一覧「Cloud Products(英語版)」にあるサービスのうち「～ on AWS」といったサードパーティー製品がメインとなるサービスを除いたリストを作成 AWSサービス・製品一覧に記載
AWS 認定 ソリューションアーキテクト – プロフェッショナル(AWS Certified Solutions Architect – Professional)の学習方法 - NRIネットコムBlog
小西秀和です。 この記事は「AWS認定全冠を維持し続ける理由と全取得までの学習方法・資格の難易度まとめ」で説明した学習方法を「AWS 認定 ソリューションアーキテクト – プロフェッショナル(AWS Certified Solutions Architect – Professional)」に特化した形で紹介するものです。 重複する内容については省略していますので、併せて元記事も御覧ください。 また、現在投稿済の各AWS認定に特化した記事へのリンクを以下に掲載しましたので興味のあるAWS認定があれば読んでみてください。 ALL Networking Security Database Analytics ML SAP on AWS Alexa DevOps Developer SysOps SA Pro SA Associate Cloud Practitioner 「AWS 認定 ソリュ
こんにちは。サービスグループの武田です。このエントリは、2018年から公開しているAWS全サービスまとめの2022年版です。 こんにちは。サービスグループの武田です。 このエントリは、2018年から毎年公開している AWS全サービスまとめの2022年版 です。昨年までのものは次のリンクからたどってください。 AWSにはたくさんのサービスがありますが、「結局このサービスってなんなの？」という疑問を自分なりに理解するためにまとめました。 今回もマネジメントコンソールを開き、「サービス」の一覧をもとに一覧化しました。そのため、プレビュー版など一覧に載っていないサービスは含まれていません。また2021年にまとめたもののアップデート版ということで、新しくカテゴリに追加されたサービスには[New]、文章を更新したものには[Update]を付けました。ちなみにサービス数は 223個 です。 まとめるにあ
https://kusano-k.hatenablog.com/entry/2022/01/27/004517
追記: 無料にならなそう。後半を参照。 Amazon Simple Storage Service。 ファイル（オブジェクト）を保存したり、配信したりできるクラウドサービス。 料金は細かく設定されていて、リクエストや転送帯域に関しても課金される。 タイトルで「ストレージ料金」と言っているのは、それらを全部ひっくるめた料金ではなく、狭義の、オブジェクトを保存していることに対して毎月掛かる料金。 最も安いS3 Glacier Deep Archiveでも、0.002USD/GB/月（東京リージョン、2022年1月現在）掛かる。 一見とても安く思えるが、例えば100 TBを10年保存しようと思うと、24,576ドル、約300万円にもなってしまう。 オブジェクトを保存したり取り出したりするときに金が掛かるのは諦めるとして、この保存に掛かる料金を無料にしたい。 はい。 ファイルサイズが0バイトなので
Docker Desktop 4.16登場。AWSをローカルエミュレーションするLocalStackなど拡張機能が正式版。AppleシリコンMacでx86/amd64版Linuxバイナリの実行がβ版に
Docker Desktop 4.16登場。AWSをローカルエミュレーションするLocalStackなど拡張機能が正式版。AppleシリコンMacでx86/amd64版Linuxバイナリの実行がβ版に WindowsやMac、Linuxなどのマシンに対して手軽にDockerコンテナ環境を導入し、GUIで統合管理できるDocker Desktopの最新版「Docker Desktop 4.16」が正式リリースされました。 525,600 minutes - how do you measure a year? The space-time continuum complicates the answer, but #DockerDesktop 4.16 is out! Things to look forward (or backward) to: #DockerExtensions GA
Intel MacからM1 Macの移行を想定。実際にはIntel MacからM1 Pro Macへ移行をしたのでその忘備録です。出来る限りというのは手動作業が存在するため。移行セットアップを利用せずにクリーンインストールを行う。 なぜクリーンインストールなのか CPUアーキテクチャがarm64に変わるからです。TimeMachineやThunderboltケーブル経由での移行を行ったとしてもM1に最適化されたアプリケーションやミドルウェアではなく、Intel環境下のファイルとarmアプリケーションが入り混じってグチャグチャになった環境を直すよりもクリーンインストールで綺麗な状態でセットアップをしたほうが利点が大きいと考えている。 逆に言えばアーキテクチャが同じであれば良いので、見ている方がいるかわからないがM1 MacからM1 Pro・Maxへの移行はThunderboltケーブル経由で
もう5年以上続けている取り組みのひとつにデスクトップ環境をdisposableに保つというのがある。いつでも何があっても即座に環境を捨てて作り直せるようにするということ。EC2やVPSのインスタンスに対してAnsibleでプロビジョニングできる状態にしておけば即座に新しいホストを立てて古いホストを捨てられる、そんな状態を目指すということ。具体的には以下のようなことを心がけている。 書類のマスターデータを端末上に置かない デスクトップ環境をdisposableに保つ第一歩は、とにかく手元になんらかのデータのマスターを置かないことにつきる。端末上にマスターデータを置いていると当然新しい環境を用意する際にデータ移行が必要になる。移行をしないためにはこれらを手元に置かないようにする。書類はGoogle DriveやNASに入れる、ソースコードは全てGitHubに上げておく、などなど。現代では機密情
地球温暖化に対する関心が高まる中、融解が進行しているとたびたび報じられてきた南極の「スウェイツ氷河」が5年以内に崩壊する可能性があるという研究結果が発表されました。 AGU Fall Meeting 2021 https://agu.confex.com/agu/fm21/meetingapp.cgi/Paper/978762 Antarctica's 'doomsday' glacier: how its collapse could trigger global floods and swallow islands https://theconversation.com/antarcticas-doomsday-glacier-how-its-collapse-could-trigger-global-floods-and-swallow-islands-173940 The 'Doo
ファイルストレージ・ブロックストレージ・オブジェクトストレージの違いと、AWSのストレージサービスとのマッピング - プログラマでありたい
こんにちは。仕事でAWSの構築し、プライベートでAWSの研究と技術書の執筆をし、Amazonで本を売っているAmazon依存症疑惑のある佐々木（@dkfj）です。 AWS使い始めてまず悩むことのベスト10の一つが、ストレージサービスの選び方です。AWSにはS3やEBSの他に、EFSやFSxなど多種多様なストレージサービスがあります。今回は、ストレージサービスの種類から、AWSのサービスの使い分けを説明したいと思います。 ストレージサービスの種別 一口にストレージといっても、用途に応じて幾つか分類できます。代表的なのが、ファイルストレージ・ブロックストレージ・オブジェクトストレージです。まずは、この３つの違いをみてみましょう。 ブロックストレージ まず一番イメージしにくいのが、このブロックストレージ。ブロックストレージは、ものすごくザックリいうとハードディスクのようなもので、ブロックと呼ばれ
AWS Asia Pacific (Osaka) Region Now Open to All, with Three AZs and More Services | Amazon Web Services
AWS News Blog AWS Asia Pacific (Osaka) Region Now Open to All, with Three AZs and More Services AWS has had a presence in Japan for a long time! We opened the Asia Pacific (Tokyo) Region in March 2011, added a third Availability Zone (AZ) in 2012, and a fourth in 2018. Since that launch, customers in Japan and around the world have used the region to host an incredibly wide variety of applications
コスト最適化目的で個人 AWS アカウントの整理をした
ここしばらく円安が続いているのと、結局自宅サーバのおもりがへたっぴで崩壊し続けている関係で EC2 とかばんばか使っていたら日本円コストが嵩んでしまっていた。2024/2 から Public IPv4 Address 課金も開始されるのもきっかけ。 なんとかすべく 2023 年末に休みを取って大整理をやった。サボっていたけどこのままだとさすがにキツいなと思って基本的にはしょうもない整理です。基本的には homelab として意図的に色々あそべるようにしていたのを止めたりとかになる。ご笑覧ください。 どんなもん 月間コスト 378 USD (2023/8) → 153 USD (2023/12), without tax 日本円コスト 59,099 JPY → 24,583 JPY/mo, with tax 内訳 (USD); EC2-Instances: 140.92 → 61.27 S3
AWS 認定 DevOps エンジニア – プロフェッショナル(AWS Certified DevOps Engineer – Professional)の学習方法 - NRIネットコムBlog
小西秀和です。 この記事は「AWS認定全冠を維持し続ける理由と全取得までの学習方法・資格の難易度まとめ」で説明した学習方法を「AWS 認定 DevOps エンジニア – プロフェッショナル(AWS Certified DevOps Engineer – Professional)」に特化した形で紹介するものです。 重複する内容については省略していますので、併せて元記事も御覧ください。 また、現在投稿済の各AWS認定に特化した記事へのリンクを以下に掲載しましたので興味のあるAWS認定があれば読んでみてください。 ALL Networking Security Database Analytics ML SAP on AWS Alexa DevOps Developer SysOps SA Pro SA Associate Cloud Practitioner 「AWS 認定 DevOps エ
ご機嫌いかがでしょうか、豊崎です。 S3のストレージクラスは現在6つあります。どういったユースケースでどのS3のストレージクラスを選択したら良いのか、整理したかったので、チャートを作ってみました。 それではまずはS3の種類からです。 S3の種類と特徴 執筆時点でS3には以下6つのストレージクラスが存在します。（正確にはAmazon S3低冗長化ストレージ(RSS)を含めると7種類ですが、推奨されていないため、除外し6種類と記載しています。） S3 Standard S3 Standard-IA S3 Intelligent-Tiering S3 One Zone-IA S3 Glacier S3 Glacier Deep Archive 6つのS3ストレージクラス 特徴 それぞれ以下のような特徴があります。 S3 Standard 頻繁にアクセスされるデータ向け S3 Standard-I
AWS Backup によるバックアップ取得の全体像をやっぱり絵に描いて理解してみた | DevelopersIO
各サービスを AWS Backup によるバックアップ対象とするかどうかを、オプトインの画面から選択することができます。 2020 年 5 月のアップデートにより有効になった機能です。 AWS Backup ではバックアップ対象のリソースをタグベースで指定することが基本となりますので、複数のサービスにまたがって同一のタグが付与されている場合には、このオプトインを活用して取得対象をコントロールすることが可能になります。 また、新規で AWS Backup の対象となったサービスについては、明示的に有効化しない限り無効のままとなっている可能性があります。ご注意ください。 バックアップボールト バックアップボールトは「バックアップを整理するためのコンテナ」であると説明されています。EC2 のバックアップである AMI 、RDS のバックアップであるスナップショットなどをまとめて管理するための器の
こんにちは。SRE部MA基盤チームの川津です。 私たちのチームでは今年サービスを終了した「IQON」の10TBを超える大規模データをBigQueryからS3へ移行しました。本記事ではデータ移行を行った際に検討したこと、実際にどのようにデータ移行を行ったかを紹介します。 データ移行の経緯 IQONは2020年4月6日をもってサービスを終了しました。そのIQONではデータ分析にBigQueryを利用していましたが、Amazon Web Services(AWS)上にもIQONに関するリソースが存在します。そのため、IQONはGCPとAWSの2つのクラウドで運用していました。 しかし、サービス終了に伴いGCP・AWSどちらかにリソースを統一する必要が出てきました。統一する意図としては、終了したサービスが利用する取引先を減らし、請求対応などの事務的なコストを減らしたい意図がありました。そのためGC
This is a guest article by Stanislav Kozlovski, an Apache Kafka Committer. If you would like to connect with Stanislav, you can do so on Twitter and LinkedIn.AWS S3 is a service every engineer is familiar with. It’s the service that popularized the notion of cold-storage to the world of cloud. In essence - a scalable multi-tenant storage service which provides interfaces to store and retrieve obje
歴史・年表でみるAWSサービス(Amazon S3編) －単なるストレージではない機能・役割と料金の変遷－ - NRIネットコムBlog
本記事はNRIネットコム Advent Calendar 2021 1日目の記事です。 🎄 0日目 ▶▶ 本記事 ▶▶ 2日目 🎅 小西秀和です。 現在、AWSでは年に一回のAWS re:Inventというイベントの真っ最中で多数の新サービスの発表やセッションがおこなわれています。 そんな状況ですが、今回は当ブログ初のアドベント企画ということで、最新情報とは真逆のアプローチで記事を書いてみました。 最新情報を追うことに疲れた方はこちらの記事で、自分の歴史と照らし合わせながらチルアウトしてみてはいかがでしょうか。 さて、今回のテーマはAmazon S3の年表を作って歴史やアップデートを振り返ろうというものです。このテーマにしたきっかけは2つあります。 まず、1つ目は2006年3月14日にサービス開始したAmazon S3が今年、2021年3月14日に15周年を迎えたことです。 そして2つ
概要 全般 何はともあれコストタグ Cost Explorer でリソース別にコストを見よう IaC化しよう QuickSight も使おう 稼働時間対応する際はマスタカレンダを用意したい コンピューティング、コンテナ関連 EC2 定時バッチはマネージド化しよう EBS, Snapshot, AMI, EIP を消す ECS Container Insights の有効/無効を使い分けよう 何でも Fargate を選択すれば良いわけではない Fargate スポットを活用しよう Lambda Graviton対応しよう ECR イメージサイズを抑えよう ライフサイクルポリシーを設定しよう ネットワーキング VPC VPCエンドポイント入れ忘れに注意 VPC Flow Logs のS3バケット設定に注意しよう ストレージ系 RDS スロークエリ出てないかAPMを使って確認 DynamoDB
こんにちは。サービス開発室の武田です。このエントリは、2018年から毎年公開しているAWS全サービスまとめの2024年版です。 こんにちは。サービス開発室の武田です。 このエントリは、2018年から毎年公開している AWS全サービスまとめの2024年版 です。昨年までのものは次のリンクからたどってください。 AWSにはたくさんのサービスがありますが、「結局このサービスってなんなの？」という疑問を自分なりに理解するためにまとめました。 今回もマネジメントコンソールを開き、「サービス」の一覧をもとに一覧化しました。そのため、プレビュー版など一覧に載っていないサービスは含まれていません。また2023年にまとめたもののアップデート版ということで、新しくカテゴリに追加されたサービスには[New]、文章を更新したものには[Update]を付けました。ちなみにサービス数は 247個 です。 まとめるにあ
※本ブログは2022/2に執筆されています。そのため、アップデートによって内容が現在と異なる可能性があります。 はじめに モバイル事業本部プロダクトエンジニアリングセクション マネージャーの安田です。 インフラっぽいことやクラウドっぽいことやデータエンジニアっぽいことをやってます。 今回、モバイル事業部で使うS3のコスト削減のため、ストレージクラスの移行等を行うライフサイクルの設定を行いましたのでご紹介します。 これからS3の管理を行っていく方、コスト削減に興味のある方の参考になれば幸いです。 実施の背景 モバイル事業本部ではドワンゴジェイピーやアニメロミックスなど音楽配信ビジネスを中心に展開しており、様々なレーベルからお預かりした楽曲データを管理しています。 また、ニコニコ事業本部ができる前からサービスを行っており、多大な量のシステムログやクラウドサービスのログデータなどが存在しています
【保存版】Azure/AWS/Google Cloud(GCP)/OCI サービス比較 - NOBTAの気ままにITブログ
※ 2021年1月 更新 マルチクラウド化が進むにつれて、各種クラウドサービスを比較する機会が増えるのではないかと思います。 今回は、自分の整理も兼ねて、Azure (Microsoft 365)／AWS／Google Cloud (Google Workspace)／OCI のサービス比較表 を作成してみようと思います。 *1*2 Azure/AWS/Google Cloud (GCP)/OCI サービス比較 マーケットプレース データベース ID WEB コンピューティング ストレージ セキュリティ 仮想デスクトップ 統合 分析 まとめ 参考情報 Azure/AWS/Google Cloud (GCP)/OCI サービス比較 マーケットプレース Azure AWS Google Cloud OCI マーケットプレース Azure Marketplace AWS Marketplace
AWS 認定 SAP on AWS - 専門知識(AWS Certified: SAP on AWS - Specialty)の学習方法 - NRIネットコムBlog
小西秀和です。 この記事は「AWS認定全冠を維持し続ける理由と全取得までの学習方法・資格の難易度まとめ」で説明した学習方法を「AWS 認定 SAP on AWS - 専門知識(AWS Certified: SAP on AWS - Specialty)」に特化した形で紹介するものです。 重複する内容については省略していますので、併せて元記事も御覧ください。 また、現在投稿済の各AWS認定に特化した記事へのリンクを以下に掲載しましたので興味のあるAWS認定があれば読んでみてください。 ALL Networking Security Database Analytics ML SAP on AWS Alexa DevOps Developer SysOps SA Pro SA Associate Cloud Practitioner 「AWS 認定 SAP on AWS - 専門知識」とは 「
Mountpoint for Amazon S3 – Generally Available and Ready for Production Workloads | Amazon Web Services
AWS News Blog Mountpoint for Amazon S3 – Generally Available and Ready for Production Workloads Update (September 2023) – Add information about enabling file deletion. Mountpoint for Amazon S3 is an open source file client that makes it easy for your file-aware Linux applications to connect directly to Amazon Simple Storage Service (Amazon S3) buckets. Announced earlier this year as an alpha relea
絵で見て 3分でおさらいする Amazon S3 のバージョニングとライフサイクル | DevelopersIO
コンバンハ、千葉（幸）です。 S3 のライフサイクルやバージョニング、使ってますか？ 私は「あぁそれね、4年くらい前に完全に理解しましたよ」という気分でいたのですが、いざ きちんと思い出そうとすると 90分ほどかかってしまいました。 3歩あるくと大抵のことを忘れる私としては、都度 90分かけて思い出すわけには行きません。今後は 3分くらいで思い出せるよう、まとめてみることにします。 まとめ バージョニング はバケット単位で設定する ステータスは以下のいずれか 無効 有効 停止 「以前のバージョン」のオブジェクトは復元できる 削除マーカーによる論理的な削除という状態が生まれる ライフサイクルはスコープを限定可能で、ルールを複数設定できる 選択できるアクションは以下 現行のバージョンのストレージクラスの移行 以前のバージョンのストレージクラスの移行 現行のバージョンの失効 以前のバージョンの完
【SAP試験対策】IAMの勉強であやふやな理解だったポイントをしっかり整理する | DevelopersIO
AWS認定のSolution Architect Professional試験用に、AWS IAMに関連したキーポイントを断片的にまとめました。 「SAPの試験問題って、大学センター試験の国語に似てね？」 UdemyにあるAWS認定のSAP模擬試験を4本こなした結果、問題の傾向として気づいたことです。どう考えても絞りきれない選択肢が2つ3つあるんですよね〜。 私は受験教科の中で国語が一番苦手でだったので、塾の先生から「問題文に書いてあることに沿って、合っているものではなく、間違ってないものを選べ」と、しょっちゅう教えられていたことを思い出しました。SAPの試験でも同じように「問題の要件と関係ない用語が含まれている選択肢をまず消去し、選択肢が2つ残ってしまったら、問題文に書いてあることに沿った、間違っていない選択肢を選ぶ」ことが大事だなと感じています。 さて、「間違っていないかどうか」を判断
AWS re:Invent 2021の会期中に発表された新サービス/アップデートのまとめです。 今年も、後から出来るだけ素早く簡単に振り返ることができるようにまとめました！ 凡例 (無印) 新サービス (Update) 既存サービスのアップデート (APN) パートナー制度に関連したリリース/アップデート 日時は日本時間で表記します。 11/29(月) 今年の開幕は「Amazon IoT RoboRunner」でした。 Midnight Madness (15:30-) Amazon IoT RoboRunner ロボットと作業管理システムを接続し、単一のシステムビューを介した業務作業全体のオーケストレーションが可能 詳細はYouTubeでも公開 https://youtu.be/q8POXvJ4nMI AWS Management Consoleで1つの施設（サイト名と場所など）を作成す
【$13,000→$5,000】AWS S3 コスト削減!! オブジェクト削減とS3 Standardから Glacier Instant Retrievalへの移行 - CARTA TECH BLOG
はじめに 新卒3年目のらぴおです。入社当初からエンジニアとして広告事業を営むZucksでアドネットワークの開発、運用に携わっています。 Zucksでは、2022年夏頃から円安の影響でサーバ費が上昇しコスト削減の温度感が高まっていました。 そこで、 僕が携わるアドネットワークにおいては、少ない作業量で大きい見直し効果が期待できそうなAWS S3のコスト最適化に取り組む ことになりました。 S3全体で月々のコストが $ 13,000 を超えており、特に広告配信関連のログデータが大部分を占めていました。 今回は、僕が実施したコスト削減調査と実施プロセス、その成果を共有します。 S3のコスト削減は、以下のアプローチで行います。 オブジェクト数を減らす 最適なストレージ階層に移行し保存する これらの取り組みにより、月々のストレージコストを $ 13,000 から $ 5,000 に削減 することがで
みてねの動画再生にHLSを導入した話
こんにちは、みてねプロダクト開発部 基盤開発グループ SREチームの尾関です。 『家族アルバム みてね』（以下、みてね）ではユーザーがアップロードした大量の動画データをS3に保存していますが、非常に大きなコストがかかっています。 様々な方法でコスト削減を行ってきましたが、本記事ではその中でもユニークな、HLSを使った改善についてお話させていただきます。 みてねで動画をアップロードしてから再生できるまでの流れまず、従来(2022年3月頃まで)のみてねで動画をアップロードしてから再生するまでのフローを説明します。 アップロードした動画ファイル(original)が保存されるとともに、スマートフォンで再生するための少し解像度を調整した動画(smartphone)とサムネイル画像(small, medium, large)を保存しています。特に何の変哲もないシステムだと思います。 S3のストレージ
AWS 認定トレーニング「Advanced Architecting on AWS」を受講してみた | DevelopersIO
お疲れ様です。AWS 事業本部のヒラネです。 AWS 認定トレーニング「Advanced Architecting on AWS」を受講してきたので内容のご紹介や感想をお伝えしたいと思います。 お疲れ様です。AWS 事業本部の平根です。 AWS 認定トレーニング「Advanced Architecting on AWS」を受講してきたので内容のご紹介や感想をお伝えしたいと思います。 AWS トレーニングとは AWS トレーニングとは、AWS の利用方法の知識とスキルを身に付けるための公式教育プログラムです。 クラスメソッドのメンバーズプレミアムサービスにご加入いただいているお客様の場合は、 特別割引価格で受講いただけます! 提供トレーニングの詳細やお申込みは以下 URL をご参照ください。 今回は、トレーニングの中でも「Advanced Architecting on AWS」を受講しまし
Terraform AWS Provider Version 4がリリースされました | DevelopersIO
2022/2/11に Terraform AWS Provider Version 4がリリースされました。2/22現在、もうVersion 4.2まででています。実際に触ってみて何が変わったのか確認したいと思います。 aws_s3_bucketの大規模リファクタリング 要は「aws_s3_bucketがデカくなりすぎて大変だから、細かく分けようぜ！」ということです。 御存知の通りS3は非常に多機能です。そしてTerraformではその機能の殆どをaws_s3_bucketのattributeで設定していました。 以下はaws_s3_bucketのコード例です。 resource "aws_s3_bucket" "v3" { bucket = local.bucket_name acceleration_status = "Enabled" acl = "private" cors_rul
はじめに 本記事はAWS SAAの勉強中に、「とりあえず主要なサービスの概要ぐらい知っておいたほうがいいよな...」と思い立ち、自分用にまとめたものです。 2/3ほど記事を作成した後に見つけてしまった(悶絶) クラスメソッド先生の 【2020年】AWS全サービスまとめ がこの上なく、コンパクトで的確にまとまっていた ので、こちらを見たほうがいいと思います(本末転倒) 各サービスの雰囲気を掴むぐらいの温度感で見ていただければ(逃げ道) 対象のサービス 本記事で取り扱うサービスは2020年5月時点のAWSマネジメントコンソールの ここをクリックした際に表示されるサービス群が対象です。 結構な頻度でレイアウトが変更されたり、サービスが追加されるので 「おい！！！このサービスが書いてねーぞ！！！」 とかは許してほしいのだ(ハム太郎) コンピューティング アプリケーションを動作させるためのマシンリソ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWSの膨大で複雑なサービス群をすべて「たった1行」で説明していくとこうなる
【2020年】AWS全サービスまとめ | DevelopersIO
S3のコストを大幅に削減した話 - Gunosy Tech Blog
個人的AWS ログ管理のベースライン - mazyu36の日記
エンジニアは全員おうちKubernetesをやるべし【Part 1：なぜやるのか】 - Qiita
GraphQLが解決する問題とその先のユースケース
【2021年】AWS全サービスまとめ | DevelopersIO
AWSエンジニアロードマップ2023 - Qiita
【2022年】AWS全サービスまとめ | DevelopersIO
Intel MacからM1 (Pro・Max) Macへ(出来る限り)滑らかに開発環境を移行する
デスクトップ環境をdisposableに保つ - あんパン
南極の「終末の氷河」が5年以内に崩壊して海面が数メートル上昇する可能性
6つのS3ストレージクラスの選択に迷った時みるチャートをつくってみた | DevelopersIO
10TB超えのBigQuery巨大データを高速にS3に同期する - ZOZO TECH BLOG
Behind AWS S3’s Massive Scale
2023年のSREチームのAWSコスト削減を振り返る - Uzabase for Engineers
【2024年】AWS全サービスまとめ | DevelopersIO
S3のコストダウンを実施してみた - dwango on GitHub
AWS re:Invent 2021で発表された新サービス/アップデートまとめ - Qiita
【2020年5月版】AWSのサービスをゆるく大体3行で - Qiita