GPUより安く、かつ高速な推論を実現。Amazon EC2 Inf1・Inf2インスタンスの徹底活用法 - Findy Tools
公開日 2025/04/24更新日 2025/04/24GPUより安く、かつ高速な推論を実現。Amazon EC2 Inf1・Inf2インスタンスの徹底活用法 本記事は、株式会社ゼンプロダクツの清原弘貴さんによる寄稿です。 Shodoの開発・運用に携わる中で得た実践的な知見をもとに、自社でAIモデルをホスティングする際の技術的な工夫を紹介します。特に、AWS Inferentia（Inf1、Inf2インスタンス）を活用して、安価かつ高性能な推論基盤を構築する方法を解説します。 はじめにAI校正のShodoでは、自社のAIモデルを動かしてお客様の文章を校正しています。ですがAIを自分でホストするのは簡単ではありませんし、他のミドルウェア等と比べると費用もかかるものです。この記事では自身のAIモデルを、より安価で手軽にホストする方法を紹介します。BERTとLlamaベースの日本語モデルを例にし
AWSにおける送信者制約付きトークン実現の一検討 - カミナシ エンジニアブログ
はじめに カミナシでID管理・認証基盤を開発しているmanaty（@manaty0226）です。 以前の記事にて、RFC 8705 OAuth 2.0 Mutual-TLS Client Authentication and Certificate-Bound Access Tokens を利用したクライアントと認可サーバー間のAWSアーキテクチャ構成について考察しました。今回の記事では、以前の記事に基づきクライアントが認可サーバーからアクセストークンを取得したのちに、クライアントがどのように安全にアクセストークンを利用してAPI認可を行うのか検討した内容を書きます。 kaminashi-developer.hatenablog.jp なお、本記事で紹介するAWSの各種仕様は2025年3月3日時点のものであり、今後AWSのアップデートによって変わる可能性があります。 最新の仕様については公
S3のメタデータを用いた攻撃
例えば、Content-Typeメタデータの値を細工したオブジェクトを取得させることでXSSを発生させたり、Content-Dispositionメタデータを細工してRFD (Reflected File Download) を引き起こしたり、 x-amz-storage-classメタデータを操作して意図せぬストレージクラスを使用させEDoS (Economical Deninal of Sustainability)を発生させたり、といった攻撃が成立する可能性があります。 中でもContent-Typeを悪用したXSSは、S3の仕様や使用方法だけでなく、ブラウザの挙動にも注意を払う必要があり、アプリ開発者は攻撃の原理と対処を理解しておく必要があります。 9/21にAzaraさんとSecurity-JAWSのコラボで、この問題にフォーカスしたCTFイベント「とある海豹とSecurity-
令和に構築するEC2踏み台サーバー - y-ohgi's blog
TL;DR 令和に踏み台サーバーを作成する Amazon Linux 2023AMIとSSM Agentを利用したEC2 証跡を取得する About EC2とSSMのセッションロギングを使用して証跡を取得することが目的。 ECS/Fargateでも同様のことが可能ですが、SSM AgentがプリインストールされているAMIのEC2を使い捨てる方が運用コスト的や構築コスト的に楽なためEC2を選択。 How To アーキテクチャ Instance Profileの作成 assumerole.json $ cat <<EOL > assumerole.json { "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Principal": { "Service": "ec2.amazonaws.com" }, "Action
多段 ssh するなら ProxyCommand じゃなくて ProxyJump を使おう
概要 AWS とかで踏み台ホスト経由（ここでは AWS っぽく bastion と呼ぶ）で ssh する必要があるなら ~/.ssh/config は↓みたいにしとくのが良いんじゃないかな？ Host bastion Hostname bastionのIPアドレス User bastionのユーザ名 # ↓は規定のファイルだったり ssh-agent 使ってれば不要 IdentityFile bastion接続用の秘密鍵ファイル名 # ↓の3つはWindowsでは使えないので諦めて ControlMaster auto ControlPath ~/.ssh/cp-%r@%h:%p ControlPersist 10m Host 好きな接続先名 Hostname 接続先のIPアドレス User 接続先のユーザ名 # ↓は規定のファイルだったり ssh-agent 使ってれば不要 Identi
AWSのEC2ってなんやねん
1. はじめに どもども、東京喰種にどハマり中の井上弥風（いのうえみふう）です 今回は「EC2ってなんやねん」です 1.1 この記事を書こうと思った理由 現在インフラ案件でAWS構築に取り組んでいて、プロジェクト内でELBを利用していることからELBの内部機能を完全に理解したいと思っていました 手始めに「ロードバランサーってなんやねん」という記事を書き、その流れで「ELBってなんやねん」も書いてみたのですが、ELBの背後にあるEC2の冗長化やオートスケーリングの部分がいまいちピンときませんでした そこで、まずはELBの背後にあるEC2についてしっかりと理解することから始めようと思い、この記事を書くことにしました！って感じです 1.2 記事のゴール この記事を通じて、ELBを完全に理解するための基礎として、その背後にあるEC2が何なのか、どのように利用されるのかを明確にすることが当記事のゴー
マルチAWSアカウント環境のセキュリティって無理ゲーじゃね？
対象読者 様々なプロダクトへ AWS アカウントや環境を提供する SRE / CCoE チームを想定しています。 マルチAWSアカウント環境 SRE / CCoE は各プロダクトが安全かつ便利に AWS を利用できるよう、AWS アカウントの設定・払い出しや周辺コンポーネントの提供（踏み台・ID管理・ログ収集 etc...）を行います。 個別プロダクトの基盤設計や構築は行いません。 私の担当案件では 100 以上の AWS アカウントを提供しています。これでも多いとは言えず、例えば NTT ドコモでは 2,000 以上の AWS アカウントを管理[1]しているそうです。 セキュリティ対応方針 セキュリティグループの全開放や S3 バケットのパブリック公開など、AWS リソースの不適切な設定についての対応を考えます。 ゲート型 IAM ポリシーやサービスコントロールポリシー (SCP) で
これからはじめる Azure の基礎知識 | 外道父の匠
まいど AWS の犬が、少々 Azure に触れてみましたので、絵は描かずに基礎知識の整理と共有だけしていきたいと思います。 全然ド素人な状態なので、なにかしら間違ってたり不足していると思われますが、同じようにイチから調べる人の足がかりにでもなれば、くらいの質感で進めていきます。 はじめに 今のところ少々用事があっただけなので、これから Azure を掘り下げるぞとか、Azure の犬になるぞ、とかは考えていなく一発ネタで終わる可能性が高いです。雑なメモをブログに起こして、いったんの区切りとする個人的な清書のため、詳しくはちゃんとリンク先のドキュメントなどを読んでくださいませ。 さて、AWS に似たパブリッククラウドはいくつもあり、Azure もその１つです。公式ドキュメントに何箇所も AWS との比較が出てくるくらいには、Azure も AWS を意識しています。 例）AWS サービスと
Google Cloud Run と AWS Lambda のコールドスタート時間を言語別に観察してみる - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? コンテナをリクエスト処理時間ベースの料金体系で実行できるサーバレス環境としては、Google の Cloud Run（2019年11月GA）と AWS Lambda（2020年12月にコンテナに対応）が特に有名でしょう。 これらの環境は、一度起動したコンテナインスタンスをしばらく生かしておき、その後のリクエストに使いまわします。しかし、生きているインスタンスが足りない場合は新たなコンテナの起動から始めるいわゆる「コールドスタート」となり、応答のオーバーヘッドが大きく増加します。用途によっては、このコールドスタートにかかる時間が問題になり
AWS LambdaをDocker化する際の注意点と学びの備忘録 - Qiita
はじめに AWS Lambdaを使ってデプロイするときに、 Dockerイメージを使って、デプロイしたいケースがありました。 すでに、動いているLambdaをLambda Dockerへ変更する際に、 つまずきポイントがあったので、備忘録として、残しておきます Lambdaでコンテナイメージを利用とは？ Lambdaには、通常のLambda(ソースコードのみを記述するタイプ)と Dockerイメージを利用するパターンが存在する ※Dockerイメージは、ECRから参照し、Lambda上で実行が出来る なぜDockerイメージを使うのか？ 通常のLambdaとLambda Dockerには、仕様の一部に違う部分が存在している 今回、Lambda Dockerを利用したいと考えたのは、 通常のLambdaよりも、大きいパッケージを展開できる為 ●Lambda 50 MB (圧縮、直接アップロー
AWS Lambdaの高速なコンテナロードの仕組み | CyberAgent Developers Blog
CTO統括室の黒崎(@kuro_m88)です。今回はAWS Lambdaの高速なコンテナロードの仕組みについて紹介します。 AWS Lambdaはサーバレスなマネージドサービスであり、難しいことを知らなくてもユーザ(私たち)は簡単にアプリケーションをホストでき、簡単にスケールします。 ユーザから見るとシンプルですが、その裏側では様々な仕組みがあったり最適化が行われたりしています。 マネージドサービスの裏側を必ずしも知る必要はありませんが、仕組みを知っておくとより使いこなせるはずですし、自信を持って技術選定ができるはずです。(そして何より裏側を知ることは楽しい！🤗) 本記事はUSENIX ATC 2023で発表された論文「On-demand Container Loading in AWS Lambda」の内容に基づいて、読んでいて面白かったポイントをまとめています。 On-demand
サーバーレスアプリケーションをKotlinで開発してAWSに構築できるサーバーレスフレームワーク『Kotless』 - 虎の穴ラボ技術ブログ
こんにちは、虎の穴ラボの磯江です。 今回はKotlinのサーバーレスフレームワークである「Kotless」を紹介します。 KotlessはJetBranisが開発しているフレームワークです。 github.com Kotlessを利用するのに必要なもの 管理者権限のあるAWSアカウント AWS Command Line Interface (AWS CLI) のインストール アプリケーションに適用するDNS名を作成するRoute 53のDNSゾーン Kotless関連のアーティファクトを保存するためのS3バケット 公開するURLのUS-EAST-1リージョンでのAWS Certificate Manager（以降、ACM）証明書 ACM証明書の発行以外はAP-NORTHEAST-1（東京）リージョンに用意して大丈夫です。 上記に必要なS3バケットもAP-NORTHEAST-1（東京）リージ
[速報]これでLambdaのコネプー問題も解決？！LambdaからRDS Proxyを利用できるようになりました(まだプレビュー) #reinvent | DevelopersIO
CX事業本部@大阪の岩田です。 またまたLambda関連のアップデート情報です。 Lambda <-> RDSのDB接続を管理するために、RDS Proxyという新しい機能が利用可能になるというものです！ Using Amazon RDS Proxy with AWS Lambda なお、まだプレビュー段階ですですのでご注意下さい。 プレビュー版の注意事項はこちら [AWS] re:Invent 前に理解しておくべきベータ/プレビューサービスの扱いについて #reinvent 概要 Lambda実行環境ではコネクションプーリング機構が利用し辛く、RDSの最大同時接続数以上にLambdaが起動した場合にRDSヘの接続エラーが発生しやすい環境でした。このため、LambdaとRDS(B)の組み合わせは一般的にアンチパターンとされてきました。 今回発表されたRDS Proxyの機能を利用するとRD
![[速報]これでLambdaのコネプー問題も解決？！LambdaからRDS Proxyを利用できるようになりました(まだプレビュー) #reinvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/5befd03c5a33412a329f35f893c852a7971bb511/backend=imagemagick;height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F12%2Freinvent2019_update_eyecatch.jpg)
AWS News Blog
Add your Ruby gems to AWS CodeArtifact Ruby developers can now use AWS CodeArtifact to securely store and retrieve their gems. CodeArtifact integrates with standard developer tools like gem and bundler. Applications often use numerous packages to speed up development by providing reusable code for common tasks like network access, cryptography, or data manipulation. Developers also embed SDKs–such
Docker MachineでAmazon EC2をコントロールする | DevelopersIO
はじめに 先日、Dockerから新機能のリリースがありました。 ORCHESTRATING DOCKER WITH MACHINE, SWARM AND COMPOSE 様々な環境にコマンド一発でDocker環境を構築するDocker Machine(ベータ版)、複数のDocker Engineを集約して一つのDocker Engineに見せるクラスタリングツールであるDocker Swarm、そして複数のDockerコンテナで構成されるアプリケーションをデプロイするオーケストレーションツールであるDocker Composeです。 この3つの機能をAWSに特化した形で有しているのがAmazon EC2 Container Service(ECS)ですが、いろいろな環境で使えるツールをDockerがオフィシャルに出してきたという意味で、インパクトのある発表でした。 さて、今回はDocker
色々な言語・環境(計8言語12種類)でAWSを触ってみた | DevelopersIO
様々なAWSのAPIやツールを紹介：『Tools for Amazon Web Services』 AWS SDKs & Tools しばらく前に、上記『Tools for Amazon Web Services』というページが公開されました。AWS利用に関するToolやAPIが整理され、ここを見ればどんな情報が用意され、何が出来るのか…そういった事が一目で把握出来るようになりました。 ただ、見渡してみるとその種類の多さにちょっと面食らいますw (※種類数は2013年04月末現在のもの) SDKs：8種類 IDE Toolkits：2種類 Command Line Tools：23種類 Command Line Tools(復数サービス対応)：2種類 既に使っている言語でAWSを利用する、またはAWS利用に当たって言語や環境が決まっている、と言うのであればそこまで悩むものでも無いかも知れま
RubyからAmazon SESでメールを送る - プログラマでありたい
プログラムからちょこっとメールを送りたい時って、ありますよね？メールサーバを立てること自体はそれ程大変ではないですが、維持管理していくのは昨今非常に面倒くさいです。またスパム撲滅の為にプロバイダの規制が多くて、気が付いたら送れなくなっていたということもあります。 そんな時にお薦めなのが、Amazon Simple Email Service (Amazon SES)。プログラムからメールを送るのに最適なサービスです。料金も安くて、1,000通あたりで$0.10。使わない手はないですね。ということで、Rubyから使う方法を簡単にまとめてみました。そんなに難しくないのですが、DKIM署名の辺りが面倒くさいかなぁと思います。 サインアップ 本格的に使うには、管理コンソールからRequest Production Accessを行う必要があります。これは、任意のアドレスからメールを送る為に必要です
AWS-CloudDesignPattern CDP2.0候補
AWSクラウドデザインパターンとは？ AWSクラウドデザインパターン (AWS Cloud Design Pattern, 略してCDPと呼ぶ)とは、AWSクラウドを使ったシステムアーキテクチャ設計を行う際に発生する、典型的な問題とそれに対する解決策・設計方法を、分かりやすく分類して、ノウハウとして利用できるように整理したものである。 これまで多くのクラウドアーキテクト達が発見してきた、もしくは編み出しきた設計・運用のノウハウのうち、クラウド上で利用が可能なものをクラウドデザインのパターンという形式で一覧化し、暗黙知から形式知に変換したものであるといえる。 パターンの中には、クラウドでなくても実現できるもの、今まででも実現されていたものも含まれているが、クラウド上でも今まで通りのアーキテクチャが実現でき、かつクラウドを利用する事で、より安価にそしてより容易に実現できるものは、CDPとして収
さあ、AWSをはじめよう！ for PHPer
春ということで、Amazon Web Services（AWS）をはじめてみませんか。 AWS盛り上がっていますね。2011年3月に東京リージョンができたことで、そろそろ触ってみようかなというPHPユーザの方も多いかと思います。 そんなあなたへ、AWSをはじめる際に役立つ情報をご紹介です。 1. AWSアカウントを新規作成して、EC2の利用申し込みを行う まずAWSのアカウントを作成して、EC2の利用申し込みを行います。 手順については、AWSエバンジェリストの @KenTamagawa さんが書かれた以下の資料が参考になります。このとおりに進めていけば、おおよそ問題無いと思います。 進める中で自分が詰まった点は以下。 郵便番号、電話番号にはハイフンを 郵便番号、電話番号はハイフンが必要なので入力するようにして下さい。 書式は日本国内のもの、郵便番号8ケタ（ハイフン入り）、電話番号は12〜
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
運用エンジニアのための AWSドキュメントの歩き方・まとめ方 / 20240822-jawsug-tokyo-aws-documents