Amazon S3よりパフォーマンスが10倍向上しリクエストコストを50％抑えられる低レイテンシーストレージクラス「Amazon S3 Express One Zone」が発表される
Amazon Web Services(AWS)が、2023年11月27日から12月1日にかけてラスベガスで開催されるイベント「AWS re:Invent 2023」の基調講演で、従来のAmazon Simple Storage Service(S3)と比較して最大10倍のパフォーマンスを発揮するストレージクラス「Amazon S3 Express One Zone」を発表しました。 Announcing the new Amazon S3 Express One Zone high performance storage class | AWS News Blog https://aws.amazon.com/jp/blogs/aws/new-amazon-s3-express-one-zone-high-performance-storage-class/ Need low laten
[Python] Amazon S3のオブジェクトキーとして安全な文字列に変換する | DevelopersIO
こんにちは。サービス部の武田です。Amazon S3のオブジェクトキーの命名に関するガイドラインは見たことがあるでしょうか。一部の文字はURLエンコードすることが推奨されています。 こんにちは。サービス部の武田です。 ファイルをS3バケットに保存しようとした際に、それがオブジェクトキーとして問題ない名前になっているか気になったことはないでしょうか。 AWSのドキュメントでは、オブジェクトキーの命名に関するガイドラインがあります。 オブジェクトキー名の作成 - Amazon Simple Storage Service 変換せずに安全に使用できる文字は0-9a-zA-Zに加え、!-_.*'()の8文字です。 またそのままでは使用できない可能性のある文字としては、制御文字を除くと&$@=;/:+ ,?の11文字です（空白を含む）。 これらの文字が含まれる場合は、問題が起きないようにURLエンコ
![[Python] Amazon S3のオブジェクトキーとして安全な文字列に変換する | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/47371cd63121a4cc67ed74841e706530c7e548f8/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F04%2Fpython.png)
Amazon Web Services（AWS）は米国時間3月18日、異なる要件に関わらず、複数のアプリケーションで同じデータセットを使用できるようにする新機能「S3 Object Lambda」を発表した。この機能は、データを「Amazon Simple Storage Service」（Amazon S3）から取得して、自動的に処理を行い、既存アプリケーションで利用できるようにする。 「AWS Lambda」のサーバーレスファンクションサービスは、年次イベント「re:Invent 2020」で大きな注目を集めた。 同じデータセットが、異なるデータニーズを持つ、さまざまなアプリケーションで役立つ事例は幾つも考えられる。例えば、EC（電子商取引）サイトでは顧客情報の明細データをマーケティング施策で使用し、分析目的ではそうした詳細を省きたい場合などがある。 通常は、各アプリケーション向けにデ
CloudFrontのS3 Originにはhostヘッダーを転送してはいけない - KAYAC engineers' blog
SREチームの長田です。 CloudFrontでstaticなファイルを配信しようとした時に少々ハマったのでそのメモです。 TL;DR CloudFront distributionのS3 Originは、Managed Policyの Managed-AllViewer を使うと機能しない。 何をしたのか statcなファイルを配信する要件があり、その対応としてCloudFront distributionのOriginにS3を設定しました。 CloudFrontのOrigin Access Identity(OAI)を作成し、S3 bucket policyにはこのOAIからのAPIリクエストのみを受け付けるよう設定しました。 docs.aws.amazon.com いざ配信用URLにHTTPリクエストすると以下のようなエラーになってしまいました。 <Error> <Code>Sign
困っていた内容 EC2インスタンスが起動できなくなりました。インスタンスのステータスチェックを確認したところ、「インスタンスステータスチェックの失敗」の状況であることがわかりました。 インスタンス内部に問題がある可能性があるため、OSやファイルシステムに問題がないかを確認する必要がありますが、EC2インスタンスが起動できないためログインができません。 起動不可となったEC2インスタンスの内部を調査するための方法はありますか? どう対応すればいいの？ 何らかの問題によりインスタンスが起動できない/ログインができない場合、当該EC2インスタンスにアタッチされているEBSを別のEC2インスタンスへアタッチすることで、調査が可能となる場合があります。 実施手順 この手順は、下記の前提において進めます。 インスタンスのステータスチェックに失敗したインスタンスがある 上記のインスタンスとは別に、既に起
はじめに プログラミング初心者です。自分のための備忘録として記録を残します。 環境 macOS10 Rails 5.2.3 Nginx Unicorn Postgresql Sidekiq Redis EC2インスタンス作成 Amazon Linux AMI 2018.03.0(HVM,SSD Volume Typeを選択 t2.microを選択(無料枠を利用の場合) キーペアの作成 ↓ パブリックDNSが生成される。 *https://qiita.com/Quikky/items/2897573a42fd71cfc47fを参考にしました。 rbenvインストールの準備 $ sudo yum install git $ sudo yum -y install gcc $ sudo yum -y install gcc-c++ $ sudo yum -y install zlib-devel
S3+CloudFrontでS3のURLにリダイレクトされてしまう場合の対処法 | DevelopersIO
大阪オフィスのYui(@MayForBlue)です。 S3+CloudFrontの構成で静的サイトを構築していてハマったところがあったので書き留めておきたいと思います。 CloudFrontのURLにアクセスしてもS3のURLにリダイレクトされる S3+CloudFrontの構成で静的サイトをホスティングしたのですが、CloudFrontで指定したドメインにアクセスしてもS3のオブジェクト自体のURLにリダイレクトされてしまう現象になりました。（今回はS3をオリジンサーバに設定して構築しました。） 例えば https://example.com/sample.html （CloudFrontで指定したドメイン） にアクセスしても https://example.s3.amazonaws.com/sample.html （S3のオブジェクトURL） にリダイレクトされてしまう状態です。 色々
EC2 Image BuilderによるOSイメージビルドパイプラインの自動化 | Amazon Web Services
Amazon Web Services ブログ EC2 Image BuilderによるOSイメージビルドパイプラインの自動化 社会人になったばかりの頃、開発チーム向けのOSイメージビルドの仕事がアサインされたのを今でも思い出します。時間はかかるし、エラーはよく出るし、再作成とスナップショット再取得をなんども実行する必要がありました。さらに、ご想像のとおり、そのあとには大量の手動テストが控えていたのです。 OSを最新に保つことの重要性は現在も変わりません。場合によっては自動化スクリプトを開発してくれるチームがあるかもしれませんが、いずれにせよVMのスナップショットを手動で取得するという作業は、多くのリソースを消費し、都度エラー対処が要求される、時間のかかる作業であることに変わりはありません。今日ここで、EC2 Image Builderを発表できることを大変うれしく思います。これは、自動化
【待望】コンテナデバッグが捗る！ECS-optimized AMIにSSMエージェントがプリインストールされるようになりました | DevelopersIO
【待望】コンテナデバッグが捗る！ECS-optimized AMIにSSMエージェントがプリインストールされるようになりました 「やっぱり…タスクが変な動きしてる時、Dockerコマンド使いたくなるやん。それが人間ってもんやん…」 ECS（on EC2）の環境で、コンテナが妙な起動をしているとき、そのホストインスタンスにログインしてDockerコマンドで原因追求することを日常のオペレーションとして実施されている現場多いと思います。Fargateではできない、docker execを利用した調査、捗りますよね。そんな皆様に待望のアップデートです。 AWS Systems Manager Agent を Amazon ECS 用に最適化された Linux 2 AMI にプリインストール SSMエージェントがプリインストールされるということは、セッションマネージャーが使えるということです。という
EC2のWindows Server 2022でWSL 2を使うのは一筋縄ではいかないのでWSL 1で我慢してみた | DevelopersIO
しばたです。 弊社のんピが記事を書いてくれた様に最新の更新が適用されたWindows Server 2022ではWindows Subsystem for Linux 2 (WSL 2)が利用できる様になっています。 ただ、WSL 2はその実行基盤がWindowsサブシステムから軽量VMに変っているため、実行可能な環境が (所定の仮想化機能が有効な) 物理サーバー Nested Virtualization(入れ子の仮想化)をサポートするハイパーバイザー上の仮想サーバー のどちらかである必要があります。 残念ながら通常のEC2は入れ子の仮想化をサポートしておらず、AWS上でWSL 2を利用したい場合はベアメタルインスタンスを使うしかありません。 WSL 2のためにベアメタルインスタンスを選ぶのは残念ながらコストに見合わないでしょう。 このため本記事ではWSL 2ではなく以前のWSL 1を選
はじめにこんにちは、Strategic AI Group(SAIG)の山野です。 今回は、機械学習の実験管理をテーマにMLflowについて紹介します。 1. 実験管理の必要性モデル開発では、様々な条件で大量の実験を時には複数人で回していくことがありますが、徐々に管理し切れなくなり、後から（必要に迫られて）もう一度その実験を再現しようと思ってもできなくて困る、ということがあります。 つまり、実験が終わって数ヶ月後に「あの実験てどういう条件で実施してどういう結果出たんだっけ？+再現できる？」と聞かれても困らない状態を作れれば良いです。PoCが終わってプロダクション化のフェーズで、PoCの実験について確認されるケースが意外とあったりします。 管理すべき情報は、前処理・学習・評価それぞれで以下があります。 前処理 元データ <-> 前処理コード <-> 加工済データ 学習 加工済みデータ（学習用）
Amazon EC2 (AWS) で動かしていた t2 インスタンスを、今更ながらですが、t3 インスタンスへ移行したので、そのメモ書き。 t3 インスタンスに変更すると、CPUクレジットの扱いが少し変わりますが、コストパフォーマンスはよくなるケースが多いはず。 t2 から t3 へ移行したブログエントリーは探すといくつか見つかるが、日本語での欲しい情報にたどりつけなかったこともあり、その辺もこのエントリにメモしておくことにする。 はじめに: このエントリーを書こうと思ったきっかけ 事前に作成されていたAMIから都度 t2 インスタンスを起動して使用するようなユースケースが前提としてあり、その保存済みのAMIからは、t3 インスタンスが起動できない状態でした。 インスタンスタイプの選択画面はこんな感じ。 で、この保存済みの AMI の設定をなんとか変更して、t3 インスタンスタイプに対応で
AWS Transfer for SFTP (AWS SFTP) をご利用のお客様は、Amazon Simple Storage Service (Amazon S3) バケットパスにマッピングされる論理ディレクトリ構造を作成できるようになりました。この機能により、指定フォルダー (一般的に「chroot」と呼ばれる) への SFTP ユーザーによるアクセスを簡単に封鎖したり、複数のユーザー間でファイルをレプリケートすることなく、SFTP を介したデータ分散の複雑なフォルダー構造を単純化できます。Amazon S3 のバケット名とパスを AWS SFTP ユーザーに非表示にできるようになりました。このため、セキュリティ要件を満たすために、プライバシーの保護レベルを追加できます。 AWS SFTP では、Secure Shell File Transfer Protocol (SFTP) ベ
【新機能】Amazon DynamoDB Table を S3 に Export して Amazon Athena でクエリを実行する | DevelopersIO
テーブルのデータを S3 へエクスポート DynamoDB にエキサイティングな機能が追加されました。Data Export 機能です。この新機能を使えば、No Code で DynamoDB Table のデータを S3 に出力できます。 New – Export Amazon DynamoDB Table Data to Your Data Lake in Amazon S3, No Code Writing Required | AWS News Blog ユースケースは？ そもそも DynamoDB は NoSQL データベースです。大量のデータを保存するワークロードに向いている一方、集計、走査、検索については効率の面で限界があります。では「DynamoDBに保存されたデータを集計して分析したい」という要件にどう応えるかというと、分析したいデータはとりあえずS3に入れておいてETL
Amazon S3にマルウェアを発見したらアクセスをブロック「Malware Protection for Amazon S3」提供開始
Amazon S3にマルウェアを発見したらアクセスをブロック「Malware Protection for Amazon S3」提供開始 Amazon Web Services（AWS）は、Amazon S3に保存されているオブジェクトをAmazon GuardDutyでスキャンし、マルウェアを発見した場合にはそのオブジェクトへのアクセスをブロックできる新サービス「Malware Protection for Amazon S3 Amazon GuardDuty」の提供開始を発表しました。 AWSには以前から継続的に環境内をモニタリングしてマルウェアを検出するサービスであるGuardDutyが提供されています。 Malware Protection for Amazon S3 Amazon GuardDutyでは、このGuardDutyによってAmazon S3のオブジェクトをスキャンし、
【AWS】AWS Lambda + ChatGPT でS3オブジェクトの自動タグ付けを実現する (Terraformコード付き) - APC 技術ブログ
はじめに こんにちは、クラウド事業部の葛城です。 今回は、AWS Lambdaを活用してS3にオブジェクトを配置した際に、ChatGPTを活用して自動で内容を分析してタグ付けするシステムを構築しました。 AWS LambdaとAmazon S3を初めて触る方や、コードを書いて少し格好良くシステムを構築したいAWS初学者向けの内容になります。 GitHubでコードを公開しています。 github.com こだわったポイントとしては、ChatGPTのAPIを試してみたかったので、s3のタグ生成の機能として活用しました。 また、AWSのインフラストラクチャをTerraformを使ってコード化したので、IaCにする際のTipsやAWSの IaCに興味ある方の参考になればと思います。 目次 はじめに 目次 1. AWSサービスの概要 AWS Lambda Amazon S3 2. 自動タグ付けアプリ
【速報】新機能！S3 Access Analyzerがリリースされました！【導入5分 / ノーコスト】 #reinvent | DevelopersIO
S3 Access Analyzerとは S3 Access Analyzerは本日発表された、S3のアクセスコントロールに問題がないか検知するための新機能です。 Monitor, review, and protect Amazon S3 buckets using Access Analyzer for S3 | AWS Storage Blog Now you can use the new Access Analyzer for S3 to discover, review & remediate unintended permissions for S3 buckets or objects. #reInvent https://t.co/CiR59f9Zp6 pic.twitter.com/nBvrwqnxSN — AWS re:Invent (@AWSreInvent) De
Update on Amazon Linux AMI end-of-life | Amazon Web Services
AWS News Blog Update on Amazon Linux AMI end-of-life Update Jan 2, 2024 – The Amazon Linux AMI (also called Amazon Linux 1) reached its end of life on December 31, 2023. Amazon Linux AMI will no longer receive any security updates or bug fixes. We encourage customers to upgrade their applications to use Amazon Linux 2023, which includes long term support through 2028. Update Jan 4, 2021 – The Amaz
Amazon Web Services ブログ 新機能 – Amazon S3 向け、追加のチェックサムアルゴリズム Amazon Simple Storage Service (Amazon S3) は、オブジェクトおよびオブジェクトに関連付けられたメタデータのために 99.999999999% (イレブンナイン) の耐久性を提供するように設計されています。S3 は PUT した内容を正確に格納し、GET 時に格納された内容を正確に返すので、安心してご利用いただけます。オブジェクトが適切にやり取りされるように、S3 はチェックサムを使用します。チェックサムは基本的にデジタルフィンガープリントの一種です。 S3 の PutObject 関数では、オブジェクトの MD5 チェックサムを渡すことが既に許可されており、指定した値が S3 によって計算された値と一致する場合にのみオペレーションを受
バージョニングが有効化された 大量のAmazon S3 バケットをシェルスクリプトで一撃削除してみた（ver.2） | DevelopersIO
大量のS3バケットを手動で削除するのはめんどくさい…シェルスクリプトで一撃削除しましょう。S3のオプジェクトが1000を超える場合に使えるシェルスクリプトです。 こんにちは！AWS事業本部のおつまみです！ S3バケットを一撃で削除したいなぁと思ったことはありますか？私はあります。 そう思い昨日こちらのブログを執筆しました。 このブログのスクリプトでも問題なく動くのですが、とある方からTwitterでこちらのコメントをいただきました。 #DevelopersIO バージョニングが有効化された 大量のAmazon S3 バケットをシェルスクリプトで一撃削除してみた https://t.co/esjLT5Nq32 こんだけ呼び出してAPIのレート制限は大丈夫かな。? — Kento.Yamada (@ymd65536) April 14, 2023 そしてアドバイスをいただきスクリプトを修正した
WindowsにFluentdをインストールしてS3にデータ転送して、管理用の設定も追加 - YOMON8.NET
WindowsにFluentdを入れる機会があったのでまとめておきます。 td-agent(Fluentd)インストール td-agentダウンロード td-agentインストール プラグインのインストール ディレクトリ 設定例 設定ファイルの退避 設定ファイル Append用 Update用 Monitor用 AWSクレデンシャル 起動してテスト テストデータ準備 append(ファイル追記)の方のテスト。 update(ファイル更新)の方のテスト サービス化 管理用RPC API モニタリング 参考URL td-agent(Fluentd)インストール td-agentダウンロード 以下からmsiファイルをダウンロードしてWindowsに配置します。 本手順では td-agent-3.3.0-1-x64.msi を利用します。 https://td-agent-package-brow
Amazon S3の正式名称は、Amazon Simple Storage Serviceです。Simpleを辞書で紐解くと、次のような言葉が出てきます。 1. 易しい、難しくない 2. 簡素な、簡略した、シンプルな 3. 質素な、地味な、豪華でない 4. 単一の、一つだけで構成される 5. 単純な、複雑でない 6. 〔人が〕気取らない、控えめな、見えを張らない 7. 〈軽蔑的〉〔知的レベルが〕単純な、ばかな 8. 〈軽蔑的〉教養がない、無知な 9. 〔人が〕素朴な、洗練されていない 10. 〔人が〕真面目な、誠実な、うそをつかない 11. 普通の、いつもの、ありふれた 12. 基本の、初歩の 13. ささいな、重要でない、つまらない 14. 《植物》単一の◆【対】compound 15. 《化学》〔化合物が〕単純な 16. 《言語学》〔文構造が〕単純な 引用元 英辞郎 on the We
こんにちは。Enigmoインフラエンジニアの夏目です。 この記事は Enigmo Advent Calendar 2020 の13日目の記事です。 なんだか競馬関連のエントリがいっぱいですが、弊社の主要サービスは競馬予想サイトではありませんので誤解なきよう。僕は競馬のことはさっぱりわからないのですが、先月末のジャパンカップは大変熱いレース展開でしたね。着順自体はまったく面白みがなく収支マイナスになってしまいましたが。 さておき。1年前と同様、今年もKubernetesクラスタ運用に翻弄される日々を過ごしておりまして、今日の記事はそんなKubernetes...というかAmazon EKSクラスタに関するお話です。 Kubernetesのリリースサイクルに乗り遅れるな 皆さんご存知の通りKubernetesのマイナーバージョンはおよそ3ヶ月ごとにリリースされ、各マイナーバージョンは最新バージ
AWS BackupでEC2インスタンスのバックアップ作成と削除を自動化してみた | DevelopersIO
こんにちは、オペレーション部の橋本です。 AWS BackupでのEC2インスタンスのバックアップライフサイクルが、実際どのように動作するのか気になったので検証してみました。 今回設定すること 下記の要件で動作するように設定します。 EC2インスタンスのバックアップをAMIで取得する バックアップの送信先リージョンは、元のEC2インスタンスが稼働しているのとは別のリージョンとする バックアップ取得のタイミングは毎日 取得したバックアップの有効期限は3日 有効期限切れのバックアップ（AMI）は自動削除する バックアップ作成のための設定 それでは、実際に設定していきます。 なお、前提としてバックアップ元のEC2インスタンスは既に作成済みとします。 設定手順に関しては、下記のAWSドキュメント及びDevelopers.IOの記事を参考にしています。 バックアップのルール設定 バックアッププランの
GitHub - awslabs/mountpoint-s3: A simple, high-throughput file client for mounting an Amazon S3 bucket as a local file system.
Mountpoint for Amazon S3 is a simple, high-throughput file client for mounting an Amazon S3 bucket as a local file system. With Mountpoint for Amazon S3, your applications can access objects stored in Amazon S3 through file operations like open and read. Mountpoint for Amazon S3 automatically translates these operations into S3 object API calls, giving your applications access to the elastic stora
AWS、LinuxからAmazon S3をファイルシステムとしてマウントし利用できる「Mountpoint for Amazon S3」正式公開
この記事は新野淳一氏のブログ「Publickey」に掲載された「AWS、LinuxからAmazon S3をファイルシステムとしてマウントし利用できる「Mountpoint for Amazon S3」正式公開」（2023年8月17日掲載）を、ITmedia NEWS編集部で一部編集し、転載したものです。 米Amazon Web Services（AWS）は、オブジェクトストレージサービスとして提供しているAmazon S3のバケットをLinuxからマウントし、ローカルのファイルシステムと同様にさまざまな操作を可能にする「Mountpoint for Amazon S3」を正式に公開しました。 基本的にAmazon S3の操作はS3専用のAPIを呼び出すことによって行いますが、今回公開されたMountpoint for Amazon S3はそうした操作を不要にし、いくつかの制限はあるものの、
Railsアプリに最適なAWS EC2インスタンスタイプとは（翻訳）｜TechRacho by BPS株式会社
概要 原著者の許諾を得て翻訳・公開いたします。 英語記事: What's the Best EC2 Instance Type for Rails Apps? - FastRuby.io | Rails Upgrade Service 原文公開日: 2020/10/28 著者: Noah Gibbs サイト: FastRuby 皆さんはAmazon EC2 インスタンスタイプのリストをご覧になったことはありますか？このリストにはさまざまなサイズの仮想マシン（VM）が並んでいて、皆さんはこれらをレンタルしてコードを実行できます。グループごとにさまざまなサイズのVMが山ほどあるので、サイズによってグループ分けされています。 では「Railsアプリを動かすならEC2インスタンスのどのタイプで動かすべきでしょうか？」 その答えは見た目よりもシンプルです。百聞は一見にしかず。 皆さんは数字がお好きで
困っていた内容 CloudWatchからtomcatプロセスを監視したいのですが、どうすればよいでしょうか? CloudWatch Agentの設定ファイルにおいて、httpdの様にexeでtomcatと指定しても、正しく監視できていません。 どう対応すればいいの? procstatプラグインの「pattern」を使用することで監視が可能です。 本記事では、実際の設定方法について解説します。 やってみた 前提 CloudWatch Agentをセットアップが完了していること (SSMのParameter storeに設定を保存していること) tomcatがインストールされていること 手順 ドキュメントでは、以下の様に記載されています。 procstat プラグインでプロセスメトリクスを収集する - Amazon CloudWatch ・pattern: プロセスの起動に使用するコマンドライ
Amazon S3 Encrypts New Objects By Default | Amazon Web Services
AWS News Blog Amazon S3 Encrypts New Objects By Default At AWS, security is the top priority. Starting today, Amazon Simple Storage Service (Amazon S3) encrypts all new objects by default. Now, S3 automatically applies server-side encryption (SSE-S3) for each new object, unless you specify a different encryption option. SSE-S3 was first launched in 2011. As Jeff wrote at the time: “Amazon S3 serve
EC2 のまるごとバックアップを AWS Backup がサポートしたので早速試してみました - Qiita
AWS バックアップってなんですか？ AWS Backup は、AWS Storage Gateway を使用して、オンプレミスだけでなくクラウド内で AWS のサービス全体のデータのバックアップの集中管理と自動化を簡単に実行できる、完全マネージド型のバックアップサービスです。 EC2 のバックアップ集中管理と自動化に対応しました。 以下の AWS Blog 1月14日号で発表がありました。 https://aws.amazon.com/jp/blogs/aws/aws-backup-ec2-instances-efs-single-file-restore-and-cross-region-backup/ AWS Backup に以下3つの機能が追加されました。 you can now back up entire Amazon Elastic Compute Cloud (EC2) i
GitHub - replicate/keepsake: Version control for machine learning
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
新しいEC2割引モデル「Savings Plans」プラン別の損益分岐点を調べてみた | DevelopersIO
AWSチームのすずきです。 AWSの新価格モデル「Savings Plans」。 購入すべきプラン選定の参考情報として、以下の比較を試みましたので紹介させていただきます。 契約期間: (1年/3年) 前払い区分: (前払いなし/一部前払い/全額前払) 対象区分: (Compute / EC2) EC2やFargateが最大72%割引となる新しい料金モデル「Savings Plans」がリリースされました 検討対象 以下のEC2インスタンスを1台、3年間連続稼働させる想定で試算を行いました。 インスタンスタイプ: m5.large 東京リージョン オンデマンド価格: 0.124 USD (1時間/UNIX) 比較 1年 Compute Savings Plans: 契約期間1年 9ヶ月以上の利用で、オンデマンド利用より Savings Plans (全額前払) が廉価になります。 経過(月)
個人検証用のAWSアカウントで利用しているキーペアを失くしたのでその時の対応ブログです。 SSMが利用できる場合はSSM接続などをして公開鍵を設定しなおせばよいですが、できない場合どうやるのか気になったのでやってみました。 参考 AWSの公式ブログを参考にしています。 こちらのブログを読むと、新しく公開鍵、秘密鍵を作成してユーザーデータを利用して秘密鍵を設定しなおす手順になっています。 マネジメントコンソールからやる手順になっていますがAWS CLIを使用してやってみました。 環境 SSH接続先OS：Amazon Linux2 SSHができるようにセキュリティグループにIPアドレスが設定されている環境になります EC2の起動している場所はパブリックサブネットになります ローカルPCはWindows10を使用しています AWS CLI：2.7.22 手順 1. 新しい秘密鍵と公開鍵を作成 S
Amazon Web Services ブログ AWS DataSync を使った Amazon S3 へのデータ同期 このブログは2021年8月24日に David DeLuca (Senior Storage Solution Architect)によって執筆された内容を日本語化した物です。原文はこちらを参照して下さい。 オンプレミスからクラウドへデータを移行する際には、スピード、効率、ネットワーク帯域、コストなど、考慮すべき要素が数多くあります。多くの企業が直面する共通の課題は、大量のデータをオンプレミスから Amazon S3 バケットにコピーする際の適切なユーティリティの選択です。 私はよく、お客様が無料のデータ転送ユーティリティーや AWS Snow Family デバイスを使って、データをS3に取り込むことから始めるケースを目にします。また、同じお客様が AWS DataSy
こんにちは、クラスメソッドの岡です。 今回Step Functionsを使って簡単なETL処理を試す機会があったので実際に作ったものを公開します。 サーバーレスでETL処理、といえばAWS Glueが浮かぶかと思いますが、今回はGlueは使わず、LambdaのPythonランタイムでPandasを使ってS3のデータとDynamoDBのデータを結合するような処理を行ってみたいと思います。 ちなみに私はデータ分析に関する知識はほぼ皆無ですが、PythonライブラリPandasを使う事で簡単にデータ処理を行えました。 シナリオ 今回はIoTデバイスから送られてくる時系列データがS3に出力されている前提として、そのファイルとDynamoDBにあるデバイスのマスタデータと結合して分析データとして別のS3バケットに出力する、といったシナリオを想定しています。 構成 サンプルコード 今回はServerl
hirose31/s3surfer でさくらのクラウド オブジェクトストレージにアクセスする - Hateburo: kazeburo hatenablog
hirose31さん作のAmazon S3にあるファイルリストの閲覧とファイルのダウンロードにとても便利なツール s3surfer にAPIのエンドポイントURLを切り替えるオプションをつけていただき、さくらのクラウドのオブジェクトストレージにもアクセスできるようになりました。 github.com さくらのクラウドのオブジェクトストレージについてははこちら cloud.sakura.ad.jp こちらのサービスではS3互換のAPIを提供させていただいています。 使い方 Mac/Linuxの場合はGitHubのリリースページからバイナリをダウンロードしてインストールできます。v1.0.3 以降で --endpoint-url オプションが使えます。 さくらのクラウドのオブジェクトストレージのAPI Endpointを指定して起動します。その他のS3互換ストレージでも利用できるかと思います。
Amazon EC2 enables replacing root volumes for quick restoration and troubleshooting
Amazon EC2 announces the Replace Root Volume feature that enables customers to replace the root volume for a running instance. The feature restores the root volume of an instance to its launch state, or to a specific snapshot, without stopping the instance. This allows customers to fix issues, such as root volume corruption or guest operating system network configuration errors, while retaining th
New – Savings Plans for AWS Compute Services | Amazon Web Services
AWS News Blog New – Savings Plans for AWS Compute Services I first wrote about EC2 Reserved Instances a decade ago! Since I wrote that post, our customers have saved billions of dollars by using Reserved Instances to commit to usage of a specific instance type and operating system within an AWS region. Over the years we have enhanced the Reserved Instance model to make it easier for you to take ad
AWS Backup で EC2・RDS のバックアップを取得してみた | Wedding Park CREATORS Blog
こんにちは、インフラエンジニアの綿引です。 今回は AWS Backup を使って EC2 と RDS のバックアップを取得してみました。 なかなか面白かったので、AWS Backup の概要も含めてアプトプットさせていただきます。 AWS Backup とは AWS の各サービスのバックアップを一元的に管理できるサービス です。 今までのバックアップは各サービス毎に取得するしかなかったので、 一元管理できるのは嬉しいですね。 AWS Backup で現在までにサポートされているサービスとリソースは以下となっています。 サービス リソース
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWS、複数アプリケーションでのデータ利用を可能にする「S3 Object Lambda」を発表
起動できないEC2インスタンス内部の問題を調査する方法 | DevelopersIO
【AWS】EC2へのデプロイの手順<備忘録> - Qiita
MLflowで実験管理入門 | フューチャー技術ブログ
Amazon EC2 (AWS) のインスタンスファミリーを t2 → t3 に移行した - 元RX-7乗りの適当な日々
AWS Transfer for SFTP、Amazon S3 の論理ディレクトリのサポートを開始
新機能 – Amazon S3 向け、追加のチェックサムアルゴリズム | Amazon Web Services
S3のマイナー機能の四天王候補の一つであるS3 オブジェクトロックの機能について - プログラマでありたい
Amazon EKS アップグレードにてこずった話 - エニグモ開発者ブログ
https://ec2.shop/
EC2インスタンスのTomcatプロセスを監視する方法 | DevelopersIO
EC2のキーペアを失くしたので設定しなおしてみた | DevelopersIO
AWS DataSync を使った Amazon S3 へのデータ同期 | Amazon Web Services
Step FunctionsとPandasを使ってサーバーレスETL入門 | DevelopersIO