エンジニアの@macs_6です。 このブログでは社内のAWS EC2上で運用しているアプリケーション群をECS移行したプロジェクトについて紹介します。 ローカルの開発環境をDockerした話は以前の記事(複数の rails プロジェクトが共存する開発環境を Docker 化した話を晒してみる)で西辻が紹介しているので、そちらを参照して下さい。 概要 プロジェクトを始める前に感じていた課題 目指す状態 ECSを選択する理由 設計 移行のために必要な作業 Digdagによるスケジューリングについて ECSを使って見て気づいたこと 今後やりたいこと プロジェクトを始める前に感じていた課題 ローカル・本番で再現性のある環境を簡単に作れるようにしたい 簡単にスケールできるようにしたい コストを抑えたい ECS移行プロジェクトを始める前にはこれらの3つの事に課題感を持っていました。 1.ローカル・本番
目的別クラウド構成と料金試算例 | AWS
アマゾン ウェブ サービス（AWS）は、開発環境としてはもちろん、ウェブサイト・ウェブアプリケーションからファイルサーバー、社内業務アプリケーション、動画配信、IoT、AI/機械学習までにいたるまで、数多くの用途で活用されています。 ここでは、お客様の目的別に応じた 30 の代表的な構成とその試算例を基礎的なものから応用したのまで幅広く紹介します。導入検討時の情報として是非ご活用ください。
AWS、Amazon S3やEFSを爆速にする「Amazon File Cache」発表。複数のストレージを単一のビューでアクセス可能に
Amazon Web Services（AWS）は、8月10日に開催したオンラインイベント「AWS Storage Day 2022」で、新サービス「Amazon File Cache」を発表しました。 Amazon File Cacheはその名の通りAWSで利用できる高速なファイルベースのキャッシュです。特徴は2つあります。 1つ目は、ミリ秒以下のレイテンシと数百ギガバイト/秒のスループットという高い性能です。Amazon S3やNFSサーバといったストレージのキャッシュとして利用することで、これらのストレージに対するアクセスを高速化できます。 2つ目は複数のストレージに対する単一のファイルビューを提供できることです。AWSの説明によると、Amazon File CacheはAmazon S3やAmazon EFSなどAWS上のストレージだけでなく、AWSからオンプレミス上のファイルサー
私がやった Amazon S3 コストカット全ステップ | CyberAgent Developers Blog
本記事は CyberAgent Advent Calendar 2022 23日目の記事です。 「節約は固定費から。」 こんにちは、しゅん（@MxShun）です。 今年11月に中途入社、AI事業本部オペレーションテクノロジーに仲間入りしました。 今回は、年間にして 1,200 万円削減 した Amazon S3 のコストカット全ステップ を紹介します。 目次 オペレーションテクノロジー AWSコストの見直し S3コスト対象 S3コスト分析 1. ストレージ容量の削減 2. ストレージクラスの見直し まとめ オペレーションテクノロジー 私がジョインしたオペレーションテクノロジーは、 サイバーエージェント 連結売上高の53%（2022年通期決算時点）を占めるインターネット広告事業売上を最大化する システム開発 大規模インターネット広告運用を可能にする 社内システム開発 の役割を担っています。
PuTTY ごった煮版
概要 PuTTY は、Simon Tatham 氏によって作成された、フリーの Win32 用 Telnet/SSH クライアントです。 そのPuTTYのbeta 0.54に対しhdkさんの作成された「PuTTY で ISO 2022 による日本語入力・表示を可能にするパッチ」やAritaさんの作成された「PuTTY を INIファイル対応にするパッチ」や「PuTTY を PortForwarder みたいにするパッチ」をあててコンパイルが通るようにしたあと、私が必要とする機能をいくつか付け加えてみました。 当時のhdkさんやAritaさんのパッチがbeta 0.53b用だったためこのパッチを作成したのですが、その後hdkさんが0.55対応したパッチを公開され、それ以降も随時本家PuTTYリリースにあわせてリリースされていますので、このパッチの役目は終わりましたが、折角なので公開は続けます
【レビュー】良くも悪くも『Amazon EC2』は"自由"だった - MOONGIFT運営でわかったこと (1) コストは算出しづらいが…… | ネット | マイコミジャーナル
Amazon EC2の利用を考えていますか? 筆者の管理サイト「MOONGIFT」は、2008年3月にAmazon Web Services(AWS)が提供する『Amazon EC2』(Amazon Elastic Compute Cloud)上での運営に切り替えました。今年に入ってから"クラウド"という単語が出回るようになり、その先駆者とも言えるAmazon EC2に注目が集まっています。日本の企業や個人であっても利用者が増えているのは事実ですが、実際の利用にまで踏み切れず躊躇している方が多いのもまた事実です。要因としてはセキュリティの確保や、米国のデータセンターにデータが預けられること、速度面での問題など様々に考えられますが、もっとも大きい問題としては未知なものに対する怖さがあるのだと思われます。 そこで今回はMOONGIFTがこれまでAmazon EC2を利用してきた中で感じたメリッ
AWS 公式オンラインセミナー: https://amzn.to/JPWebinar 過去資料: https://amzn.to/JPArchive
ぐるなびにあった２億ファイルをAWSにデータ移行しました - ぐるなびをちょっと良くするエンジニアブログ
こんにちは！店舗開発チームの滝口です。 ぐるなびでは、認証・認可のプラットフォーム開発に携わったのち、現在はレストランデータの運用をしつつ、ぐるなび掲載ページや、店舗向け管理画面の開発をしています。 はじめに このたび、オンプレで稼働していた「非構造化データストレージ（通称：UDS）」をAWSに移行しました。 UDS は NAS に保存されているファイルを REST API を介して CRUD 操作できるシステムで、ぐるなびで掲載している店舗の画像や CSS 、Javascript 等の保存に利用されています。 この記事では NAS に保存されたファイルをどのようにして AWS に移行したのか、その移行方式や AWS アーキテクチャを紹介します。 目次 はじめに 目次 UDS 基本情報 今回使った主な AWS AWS を活用して実現したいこと AWS 導入におけるアーキテクチャ AWS へ
先週6月14日に発生したAmazon Web Servicesの米国東部リージョンでのシステム障害は、HerokuやPinterestなど大手のサービスにも影響を与えたようです。その障害報告が、Service Health Dashboardで公開されています（現在はRSS内の記述として読めます）。 障害は米国東部リージョンでの特定のアベイラビリティゾーンで発生したもの。報告によると、プライマリの電源ケーブルのトラブルをきっかけにバックアップとしての発電機へ移行したものの、そこでもまたトラブルが発生し、二重、三重の防護策が次々に倒れていったことが示されています。 Amazonクラウドの多重の防護策の一端が分かると共に、これだけバックアップ策が用意されていても、わずかなトラブルによって防護策が倒れることの教訓を得ることができます。 一方で、障害は特定のアベイラビリティゾーン内だったため、マル
Amazon Web Servicesの障害はなぜ起こったのか アマゾンが詳細な経緯と対策を発表 − ＠IT
2011/04/30 米Amazon Web Services（AWS）は米国時間4月29日午後、同社のブロックストレージサービス「Amazon Elastic Block Store（EBS）」および、リレーショナルデータベースサービスの「Amazon Relational Database Service（RDS）」における約4日間にわたる障害につき、詳細な経過報告と対策を発表した。これによると、障害のきっかけはネットワークの構成変更作業におけるミスだった。同社は今回の障害が複数のAvailability Zone（AZ）に影響を与えた理由も説明した。 AWSが発表した今回の障害に関する説明（英語） EBSはAWSの仮想サーバサービスであるAmazon EC2のインスタンスから、仮想ディスクとして使える永続ストレージサービス。実態としてはディスクを備えたノード（コンピュータ）の集合体を
こんにちは。大阪の市田です。 今回は、下記のブログの内容を元に、踏み台サーバ経由のSSHセッションを記録する方法をご紹介します。 How to Record SSH Sessions Established Through a Bastion Host | AWS Security Blog 尚、踏み台サーバはAmazon Linuxを想定しています。 ポイント この記事のポイントは下記です。 OpenSSHの設定の修正 scriptコマンドの利用 踏み台サーバユーザの権限制限 ログファイルのS3保管 S3による踏み台サーバユーザの自動管理 SSHのエージェントフォワード利用 CloudFormationで環境構築 それでは順に説明していきたいと思います。 構成 想定の構成は下記の通りです。 ログファイルのディレクトリ作成 まずは、踏み台サーバにログの保存ディレクトリを作成し、アクセス制限
AWSはとんでもないものを盗んでいきました（JawsDays2013@shimy_net）
【LTセッション】推論をエッジで？いえ、PaaSです。 paasで推論を運用するとこんなに楽チン。_DLLAB推論ナイトDeep Learning Lab（ディープラーニング・ラボ）
Cerevo営業の栗林です。 取引先である機材屋様のYouTubeチャンネルでCerevoのライブ配信機器「LiveShell W」を、ご紹介いただきました！ AZDEN様のマイクアダプター MC-1PHと接続することに […]
一部のサブシステムの構築で、プロビジョニングツールを捨ててみた。じゃあどうするのかというとシェルスクリプトでやる。今回はこのやりかたが一番楽できるような気がしたので試している。 具体的にはPackerからシェルスクリプトとServerspecを実行してAMIを煮込む。おいしくできあがったらそいつから構築。もしミドルウェアより下の層のコンフィグ類に変更があったらまた煮込む。構築する。新しい方に切り替える。つまり”捨てるインフラ”にする。 プラットフォームはAWS。 (追記)ちなみにchefなどのプロビジョニングツールがめんどくさいからシェルスクリプトにしたというよりは、捨てる前提のサーバだからシェルスクリプトでの構築も選択肢として出てきたということです。ただ自分個人の嗜好としてchefはもう飽きたというのも事実です。なお、オンプレだと同じサーバで継続してプロビジョニングすることになるのでch
ウノウラボ Unoh Labs: Amazon Web Services入門: PHPとEC2/S3/SQS/SimpleDBで作るビデオ共有サイト
新年あけましておめでとうございます、五十川です。 PHPデベロッパー向けのAmazon Web Services（AWS）のリソースはhttp://aws.amazon.com/php/にまとめられていますが、そのArticles & Tutorialsカテゴリーにある、Introduction to AWS for PHP Developersという記事は、AWSの主要サービスの概要と、PHPによるその操作を学ぶチュートリアルで、ここで取り上げられているサービスに初めて取り組むPHPデベロッパーには格好の入門となっており、ここではこのチュートリアルを紹介したいと思います。 また、このチュートリアルはAmazon純正のライブラリを利用していますが、AWS用のライブラリには様々なものがあり、この記事の最後ではそのひとつ、Tarzanを紹介しようと思います。 なお、以下のチュートリアルのスクリ
via del.icio.us/popular LinuxWorldの記事で、10個のWebサービスAPIが解説と共に紹介されている。 Google Maps API Geonames.org OpenID Amazon S3 Amazon EC2 Atom API OpenSearch Open Media Profile MediaWiki API JS-Kit 特定のサービスを便利に使うためのAPI(Flickr APIとか。あれはあれでよくできているけど)ではなく、実際の問題を解決するために使える10個を選んだ、ということだ。 1, 4, 67は「PHPxWebサービスAPIコネクションズ」でも扱っている。2番も同じものではないが日本で使えるものを紹介した。 上記のリストには、日本向けに出てないものもあるし、日本語の解説がまだまだ少ないものも多い。全部が伸びるかどうかはわからないけ
【超重要】対応しないと使えなくなるかも？！今、全S3ユーザがチェックすべき署名バージョン２の廃止について | DevelopersIO
ご機嫌いかがでしょうか、豊崎です。 注意喚起記事です。一部のS3利用者に影響が出ることなので、是非ご確認、および対象の方はご対応いただければと思います。 具体的に何のことかというと、Amazon S3のAWS署名バーション２の廃止についてです。 弊社suzukiがすでに記事を書いていますが、Amazon S3のAWS署名バーション２が2019年6月24日に廃止されます。これは、より安全にAWSおよびS3を利用できるようにするために署名バージョンの変更が行われるためです。 これによって一部のAWSユーザのS3の利用に影響が出ます。 署名バージョン4専用のS3エンドポイントを古いCLIで試してみた AWSの各サービスのAPIを利用する際、AWSが送信元を特定できるようにリクエストに署名が必要です。現在AWSのAPIで利用されている署名バーションは「２」と「４」の２種類あり、「４」が推奨されてい
クラウド破産しました - Candy
EC2 で大量のストレージを借りてさまざまな実験を繰り返していたら、僅か数日で 25 万円もの課金が発生しました。 まあ大規模課金が発生したということそのものは、俺がアホでしたで済む話なんですが、課金額の相当分を EBS の I/O Request が占めている感じです。 EBS を使うさいは事前に I/O がどれくらい発生するか正確に見積もる必要があるでしょう(だけどこれ難しいよね)。
ここでは少しの間、自律走行車のことは忘れてください。物事は深刻になってきています。この記事では、独自のコードを書くマシンを作ることに的を絞って話を進めていきたいと思います。 GlaDoS Skynet Spynetを使用します。 具体的に言うと、Pythonのソースコードを入力することで、自分でコードを書くように、文字レベルでのLong Short Term Memoryニューラルネットワークを訓練していきます。この学習は、TheanoとLasagneを使って、EC2のGPUインスタンス上で起動させます。説明が曖昧かもしれませんが、分かりやすく説明できるように頑張ってみます。 この試みは、 こちらの素晴らしいブログ記事 に触発され行うに至りました。皆さんもぜひ読んでみてください。 私はディープラーニングのエキスパートではありませんし、TheanoやGPUコンピューティングを扱うのも初めてで
2007/11/26 マーク・アンドリーセン氏が2007年9月16日のブログエントリで、非常に興味深いことを書いている。Web上に登場した3種類の“プラットフォームについてだ。 アンドリーセン氏のことを忘れてしまった読者、あるいはよく知らない若い読者のために氏の来歴を少し書いておくと、アンドリーセン氏は世界で初めて広く普及したWebブラウザ「Mosaic」（モザイク）を作ったことで知られている。1993年にネットスケープコミュニケーションズを共同で設立。1995年の同社IPO以後、ドットコムバブルまでの間は米TIME誌のカバーを飾ることもあった時代の寵児だった。 アンドリーセン氏は、その後もいくつかのスタートアップで成功を重ね、2005年には参加者が自由にSNSサイトを構築できる一風変わったソーシャルネットワークサービスのプラットフォーム「Ning」を提供する同名のベンチャー企業を創業して
AWS Summit 2013の2日目にあたる6月6日には、回転寿司チェーンを展開するあきんどスシローがIT活用やクラウド導入について披露した。自慢の寿司をふるまいながらの講演は、回転寿司屋の舞台裏がつまびらかにされた笑いの絶えないセッションとなった。 中とろ vs システム 「スシロー」は関西を中心に全国350店舗を展開する回転寿司のチェーン店。年間の来店客数は日本の人口と同じ1億2000万人にのぼり、売上高では1000億円を超えるという。全店舗1皿105円という均一価格で有名だが、えびアボガドを始め、既存の寿司の常識を覆す新しいメニューを出すことでも知られている。最近では、189円の吟味ネタという取り組みも進めている。 今回のAWS Summit 2013では、情報システム部 部長の田中覚氏が「中とろより価値あるITを。あきんどスシローのクラウド活用術」というタイトルで、AWS上に構築
Amazon API Gateway & Lambda & S3 で放置可能なサービスを作ってみた - Qiita
1年半ほど前に書いたこちらの記事、タイミングが良かったのか naoya 砲なのか分かりませんが、色んな方に読んで頂けたようです。 しかし、「放置可能なサービス」というタイトルに反し、この記事で作成した楷書体サービス、とうとうメンテを行うことになりました。 理由は、node v0.10 のサポートを Lambda が打ち切るためです。 コードそのまま node v6 で動かせるとは思いますが、それでも放置できなかったことには変わりありません。謹んでお詫び申し上げます。 いやまぁ1年半もメンテナンスせずに動いてたんだからすごいじゃんと思う。今クリックしたら普通に動いてびっくりした また、近年 serverless や microservices の流れがあったり、 GCP も Azure も対抗サービス出したりして、Lambda と API Gateway を取り巻く環境は大きく変わりました。
サーバレスアーキテクチャによる時系列データベースの構築と監視 / Serverlessconf Tokyo 2017
サーバレスアーキテクチャによる時系列データベースの構築と監視
みなさんこんにちは。@ryuzeeです。 6月10日にAmazon Web Services企業導入ガイドブックが発売になっていますのでよろしくお願いします。 さて今回はAWS上でログ収集と分析をする際に、Amazon Elasticsearch Serviceを使う前提とした場合だとどのような構成案がありそうかいくつか考えてみたのでご紹介します。 なお、検討の材料にしている全体の構成としては、複数のVPC(またはAWSアカウント)があって、さらにオンプレ側とDirect ConnectやInternet VPNで接続しているような、よくあるそれなりの規模の構成になります。 各VPCの中には複数のサブネットがあり、そのうちのいくつかはプライベートサブネットに分かれているものとします(個人的にはインターネットゲートウェイの有無しか違いがないので、プライベートサブネットあまり作りたくない)。
『画像システムの車窓から』
2年半くらい画像システムを担当していたのですが、3月イッパイで異動することになりましたokzkです。 異動記念ということで、とりとめもなくエンジニアブログを書いてみます。長いです。よろしくお願いいたします。 画像システムのこれまでのストレージ事情最初にアメブロ(以下、単にブログ)のユーザ投稿画像関連でのストレージの歴史をアレコレをまとめてみようと思います。なお、以下swiftと書いたらOpenStack Swiftのことです。流行のプログラミング言語のことではありません。 はるか昔の状況昔は単純にWebDAVを複数台並べ、イッパイになったら更に次の世代のWebDAVを追加する、というような構成で、参照時に画像URLパスに含まれる年月ベースで適切な世代のWebDAVにルーティングしていました。 (参考:画像URLのパスの例) /user_images/20160401/00/shibuya/
WebOS Goodies へようこそ！ WebOS はインターネットの未来形。あらゆる Web サイトが繋がり、共有し、協力して創り上げる、ひとつの巨大な情報システムです。そこでは、あらゆる情報がネットワーク上に蓄積され、我々はいつでも、どこからでも、多彩なデバイスを使ってそれらにアクセスできます。 WebOS Goodies は、さまざまな情報提供やツール開発を通して、そんな世界の実現に少しでも貢献するべく活動していきます。 遅ればせながら、新年明けましておめでとうございます。今年もよろしくお願いいたします。 2008 年に移行してからずっと XREA で動いていたこのブログですが、さすがにこのご時世にレンタルサーバーはないだろということで、年末年始の休みを利用して Amazon S3 に移行してみました。 DNS は以前から Route 53 に移行済みなので、サイトのほぼ全体で 9
マーケット情報 | ビットバンクプラス
運営者情報本サイトは、日本最大級暗号資産取引所・販売所「ビットバンク」が運営する、ビットコイン(Bitcoin)、ブロックチェーン、暗号資産(仮想通貨)に関する知識、世界中の最新のトピックス、最先端の技術、プロジェクト、規制、相場など、暗号資産投資のヒントになるお役立ち情報を発信するメディアです。 金融庁のホームページに記載された暗号資産交換業者が取り扱う暗号資産（仮想通貨）は、当該暗号資産交換業者の説明に基づき、 資金決済法上の定義に該当することを確認したものにすぎません。 金融庁・財務局が、これらの暗号資産（仮想通貨）の価値を保証したり、推奨するものではありません。 暗号資産（仮想通貨）は、必ずしも裏付けとなる資産を持つものではありません。暗号資産（仮想通貨）の取引を行う際には、以下の注意点にご留意ください。 ＜暗号資産（仮想通貨）を利用する際の注意点＞暗号資産（仮想通貨）は、日本円や
Hands-on with the new iPad Pro M4: Absurdly thin and light, but the screen steals the show
JAWS-UG（AWS User Group – Japan）
JAWS-UGとは、AWS (Amazon Web Services) が提供するクラウドコンピューティングを利用する人々の集まり（コミュニティ）です。 JAWS-UGとは Cover photo by kaga.takashi
Amazonクラウドは3月2日23時、日本でのデータセンター「東京リージョン」の開設を発表しました。東京リージョンはすでに稼働を開始しており、現時点で利用可能になっています。 東京リージョンの利用価格はLinux/UNIXのスモールインスタンスで1時間あたり0.10ドル。ラージインスタンスで1時間あたり0.40ドルなど。今後数カ月の間に、決済に日本円を選択できるよう準備中とのこと。 Publickeyはすでに利用を開始している一部のパートナーの発言を聞く機会があり、「東京リージョンを試したところレイテンシは数ミリセカンドと、国内のほかのデータセンターと全く変わらない」と、国内データセンターならではのレスポンスを確認する発言を聞けました。 日本円での課金は数カ月以内、日本語でのテクニカルサポート開始 東京リージョンでもAmazonクラウドの主な機能はほとんど利用可能。ただしHadoopの機能
Aptana.com
Aptana Studio 3 is an open-source web development IDE, and while we are no longer actively maintaining the repository, it is still open-source and public so if you wish to download Aptana Studio 3 you can do so on GitHub.
Herokuの無料プランで月間100万PVをさばく（さばかない）話Feb 03, 2018 個人開発論技術系Heroku「Heroku Meetup #19 Heroku Trust!」でLTさせてもらってきました！ せっかくなので、LTのスライドを一部修正して掲載しておきます。 Heroku Meetupはずっと行きたかったけど今まで都合がつかず、初参加できてよかったです。 ピザごちそうさまでした🍕 LT内容というわけで発表したスライドはこちら。 3行で要約それなりにアクセスが多いサイトでも、場合によってはHerokuのFreeDynoだけでさばけるよHerokuは更新系に集中して、アクセスが多い閲覧系のコンテンツはGoogleCloudStorage(GCS)とかS3に置いちゃえばいいんだよ最近だとFastlyとか使うのがいいらしいけど、GCS/S3も安くて手軽にできるからおすすめだ
2010/01/15 米アマゾン傘下のAmazon Web Servicesは1月14日、クラウドコンピューティング上でシステム構築を行う場合のベスト・プラクティスをまとめた「Architecting for the Cloud: Best Practices」を公表した。 これまでにも同社は、AWSのサービスを組み合わせてスケーラビリティや可用性を実現する事例を紹介したり、具体的なサービスの組み合わせ方などを解説する文書を公開してきた。今回新たに公開されたホワイト・ペーパーは、こうした解説の集大成と言えるもので、自社だけでなくマイクロソフトやIBM、グーグルが公開しているホワイト・ペーパーも参照している。 20ページの英文PDFはクラウド一般のメリットや特徴から説き起こし、AWSの各サービスの簡単な解説を続けた後に、クラウドの各種の特性を最大限に引き出すシステムについて、一般論としての概
#jawsdays の #最強のAWS で「ぜんぶ AWS でやらないワケ」という話をしてきた · takus's blog
@hirose31 さん経由で @con_mame さんからお話をいただき、 JAWSDAYS 2014 の「これで最強AWSに」というセッションで話をしてきました。 内容としては、オンプレも AWS も運用してる立場から両者を比較してみてどうなのといった感じのお話です。 2014/03/15 JAWS DAYS 2014 - 『これで最強のAWSに』セッション #jawsdays #最強のAWS にツイートまとめがあるので、資料と一緒にご覧いただければと思います。 こんな話も出ていましたが、 AWS は必ずしも銀の弾丸ってわけではなく、どこの会社も悩ましい部分を抱えながら運用しているわけで、 @sgwr_dts さんの Roadworker のようにユーザ側でイケてる仕組みにするようなアプローチもありますが、このような機会を利用して AWS の中の人に直接フィードバックできたという意味で
Packer by HashiCorp
Images as codePacker standardizes and automates the process of building system and container images. Multi-cloud image workflowCreate one workflow for images across multiple clouds and private infrastructure. Extend Packer with pluginsPlugins extend Packer’s functionality without modifying Packer's core by adding new builders, provisioners, post-processors, and data sources.
今回の課題 こんにちは植木和樹です。7月にserverspecを使ったChefの自動テストのエントリを書きました。 【AWS】JenkinsとserverspecでChefのテストを自動化する このエントリは初めてJenkinsを触った時に書いたので、いろいろと流儀がわかっていませんでした。その後弊社にJenkinsマイスターの渡辺修司さんが入社したということで、Jenkinsの設定について見てもらいました。その時に次の6点を見直すよう指摘がありました。 ジョブは意味ある単位で1つにまとめるべし ジョブで実行するシェルスクリプトもgitから取得すべし EC2の起動に失敗したら後続処理を停止させるべし serverspecの実行結果はJUnit（XML）形式で出力すべし 実行結果のXMLをJenkinsで読み込んで統計グラフを出力すべし 定時実行でなくgit push hookを入れるべし
EC2からNFS経由でS3オブジェクトを保管できるようになりました！[Storage Gateway] | DevelopersIO
神アップデートな予感がしてます、コンニチハ、千葉です。 2016年11月30日に、ご紹介しました[新機能]オンプレミスからNFS経由でS3オブジェクトを保管できるようになりました！[Storage Gateway]が、なんとEC2上で利用できるようになりました。 これで、EC2からもNFS経由でS３のオブジェクトを直接利用できるようになります。APIを利用してS3へアップロードする必要がなく、NFSにて利用できるのレガシーなシステムでは重宝するのではないでしょうか。 また、NFS(オンプレ/EC2) > Storage Gateway > S3 > Redshiftのような利用も考えられます。 注意点としては、Gatewayインスタンスは現状は冗長化できないという点です。ただ、種々バックアップストレージやデータ連携としてバックエンドにS3を利用できるのできるのと、直接S3にオブジェクトとし
![EC2からNFS経由でS3オブジェクトを保管できるようになりました！[Storage Gateway] | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/5cef8c014e947c6d69a900c17c28496da9c46366/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2014%2F05%2FAWS_Storage_Gateway.png)
署名付きURLを利用したファイルアップロードWeb API設計の勘所 | フューチャー技術ブログ
はじめに現代のWebアプリケーションにおいて、ユーザが写真や動画などのファイルをアップロードする機能は、しばしば求められます。 本記事では、ファイルアップロードを実現するための一手段として、「署名付きURL」を利用した方式を取り上げ、その設計について詳しく解説します。 今回は、Amazon Web Services（AWS）を利用する前提のもと、このアプローチを探求していきます。 前半部分は署名付きURLをそもそもよく知らない方向けの導入部となっていますので、要点だけ抑えたい方は設計上のポイントから読まれることをお勧めします。 ファイルアップロードの実現方式パターン署名付きURLの話をする前に、ファイルアップロード機能をWeb APIとして実現する方式について、いくつか代表的なものを紹介します。 Pattern 1. multipart/form-datamultipart/form-da
おまけ 今回調査に使ったシェルスクリプト載せておきます。 権限毎にバケット何個も作って、オブジェクトも作って、アクセスしてみて、終わったら削除してという感じのものです。 #!/bin/bash UNIQ=$(date +'%Y%m%d%I%M%S') alias aws='aws --region ap-northeast-1' BUCKET_PREFIX=akeri-acl-test-$UNIQ- TARGET_PRINCIPAL="arn:aws:iam::123456789012:user/s3acltest" TARGET_MAIL="example@example.com" # create Bucket Policy Document UPLOADFILE=akeridayo.txt IAM_USERNAME=s3acltest echo "akeridayo" > $UPLO
登録から12ヶ月間無料で使える枠と、その後も引き続き無料で使える枠がゴッチャになるのでまとめた 新規利用から12ヶ月間（毎月）無料の枠 EC2 t2.micro Linux 750時間 ELB 750時間 + 15GB分のデータ処理 EBS 30GB + 1GB分のスナップショットストレージ S3 5GBの標準ストレージ 20,000 Getリクエスト 2,000 Putリクエスト RDS micro DBインスタンス Linux 750時間（Single-AZ） 20GBのストレージ 1000万のI/O 自動バックアップと任意スナップショット用 20GBストレージ CloudFront 50GBのデータ転送（アウト） 2,000,000件のHTTP/HTTPSリクエスト Cognite 10GBのクラウド同期ストレージ 1,000,000回の同期操作 AppStream 20時間分 デー
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
会社の本番環境をDocker(ECS)に置き換えるために準備したこと気づいたこと
AWSのセキュリティについて
Amazonクラウド先週のシステム障害、原因は電源トラブル。二重三重の防護策が次々と倒れる
踏み台サーバ経由のSSHセッションを記録する方法 | DevelopersIO
Cerevo TechBlog - (株)Cerevoの中の人が書く、様々な技術情報を発信するBlog.
chefを捨ててシェルスクリプトにした | Ore no homepage
秋元@サイボウズラボ・プログラマー・ブログ: 本当に使える10個のWebサービスAPI
Pythonコードを使用して、Pythonコードを書く方法を人工知能に学習させる | POSTD
Web上に登場した3種類の“プラットフォーム” ― ＠IT
寿司もITも鮮度が一番！あきんどスシローのAWS活用術 (1/2)
Amazon Elasticsearch Serviceを使ったログ収集基盤の構成を考えてみた
サイトを Amazon S3 に移行しました - WebOS Goodies
Engadget | Technology News & Reviews
［速報］ついにきた！ Amazonクラウドの東京データセンターが稼働開始
Herokuの無料プランで月間100万PVをさばく（さばかない）話 - NOT SO BADなブログ
Amazon EC2/S3の使い方解説、決定版をAWSが公開 － ＠IT
Jenkinsの使い勝手をよくするための見直し6点 ｜ Developers.IO
S3のアクセスコントロールが多すぎて訳が解らないので整理してみる | DevelopersIO
AWSの無料枠についてまとめた - 食べられません