はじめに この記事は CrowdWorks Advent Calendar 2017 の8日目の記事です。 Terraform職人の @minamijoyo です。Infrastructure as Codeしてますか？ インフラのコード管理に Terraform を使い始めて2年ちょっと、本番環境で運用していると日々色んな学びがあるので、Terraformやってみた系の入門記事では語られない、現場の運用ノウハウ的なものを共有してみようかと思います。 Terraformを使い始めた or 使っている人が、こんなときどうするの？っていうときに参考になれば幸いです。 書き始めたら超長文になりました。概要は以下のとおりです。 公式ドキュメントを読もう tfファイルを書く技術 インデントを揃える 組み込み関数に親しむ lifecycleブロックを使う リソースの差分を無視する リソース再生成のとき
AWS アカウントを複数人で使ってシステムを作っていく時に、 セキュリティの面からやるべきことについて。 主に Web アプリケーションを想定した内容ですが、特に書いてあることは特殊ではないと思います。 各所の Blog にも記事書かれてますが思っていることをつらつらと書いてみます。 なんか変なこと言ってたらご指摘ください。 参考: AWSのセキュリティが気になるなら読んでおくべきAWSセキュリティのベストプラクティス - yoshidashingo はじめに (AWS アカウントと IAM ユーザ) 前提というか用語の話。 AWS アカウント アカウント作成時のメールアドレス、パスワードでログインして使うユーザ IAM ユーザ AWS アカウントから発行できる、ユーザ名とパスワードでログインして使うユーザ AWS アカウント周り AWS アカウント (ルートユーザ) で作業できないように
クラウドのアーキテクチャ図作成ツール「CloudSkew」、Webブラウザから無料で利用可能。AWS／Azure／GCP／Kubernetes／Oracle Cloudなどマルチクラウド対応
クラウドのアーキテクチャ図作成ツール「CloudSkew」、Webブラウザから無料で利用可能。AWS／Azure／GCP／Kubernetes／Oracle Cloudなどマルチクラウド対応 クラウドのアーキテクチャ図を作成するためのWebアプリケーション「CloudSkew」が公開されています。 AWS／Azure／GCP／Kubernetes／Oracle Cloud／HashiCorp／Alibaba Cloudなど人気のクラウドやツールのアイコンがあらかじめ用意されており、Webアプリケーションとして提供されているためインストール不要で、誰でも無料で利用可能です。 操作は一般的なドローツールと同じように、左側からアイコンを選んで真ん中の図に置き、アイコン同士を矢印でつなげていくことでアーキテクチャ図が作成されていく、という感じです。 開発しているのは、元マイクロソフトのエンジニアを
そんなことあるんだ AWS
awswakaran.tokyo #1 で用いたスライドを一部修正したものになります。 間違えたことを言ってたら私を殴ってください。 PDF 化の影響で若干画像がズレてますがご愛嬌でよろしくおねがいします。
AWS をフル活用して「サーバレス」な SPA を実装できる「サーバーレスシングルページアプリケーション」を読んだ - kakakakakku blog
6月末に O'Reilly から出版された「サーバーレスシングルページアプリケーション」を読んだ．ただ読むだけじゃ理解度が浅くなってしまうかもしれないなと感じて，今回は全ての実装を写経してみた．そのため少し時間はかかってしまったけど，フロントエンドには苦手意識があったし，今まで SPA の実装もしたことがなかったので，前半部分は特にワクワクしながら楽しめた．今回，監訳者の id:yoshidashingo にご献本を頂き，本当に感謝しかありません．ありがとうございます！と同時に，ガッツリ読もうと意気込んだタイミングで仕事に忙殺されてしまったりして，書評のタイミングが遅れてしまったのはすみません！ サーバーレスシングルページアプリケーション ―S3、AWS Lambda、API Gateway、DynamoDB、Cognitoで構築するスケーラブルなWebサービス 作者:Ben Rady発売
【AWS】アカウント契約の準拠法をワシントン州法から日本法に、管轄裁判所をワシントン州キング郡州裁判所から東京裁判所に変更する方法 - Qiita
【AWS】アカウント契約の準拠法をワシントン州法から日本法に、管轄裁判所をワシントン州キング郡州裁判所から東京裁判所に変更する方法AWS要件定義契約非機能要件AWSArtifact はじめに AWSを利用しているプロジェクトのリーダーは一読ください。 AWSアカウント契約の準拠法と、管轄裁判所を変更する手順をまとめます。 お客様のAWS環境を自社が代行して契約しているようなケースの場合、米国法のままになっている可能性があります。後述するAWS Artifactから、本番環境で使用しているAWSアカウントの準拠法を確認することをお勧めします。 AWSを使うプロジェクトでPLが意識すること RFPや要件定義時の非機能要件の確認事項として、「クラウドサービスの準拠法が日本法であること」 を確認されたほうが良いと思います。 AWSとの契約のおさらい AWSは米国企業であるため、たとえ東京リージョン
はじめに Amazon VPCは、AWS上で仮想ネットワークを構築できるサービスです。 VPCの概要や理論については以下の記事で詳細に解説しました。 一方で、「理論だけでなく実践も重要！」 と思われる方も多いと思いますので、 本記事では実際にVPCによる仮想ネットワークを構築する方法を解説します。 構築の指針として、以下のベストプラクティスを極力満たすよう進めていきたいと思います。 特にVPCフローログやVPCピアリング、VPN等は設定が複雑でハマりがちですが、極力分かりやすく解説したつもりなので、効率よく構築法を習得できる記事となれば幸いです。 本記事で構築するVPCの構成 下図構成のVPC (上記記事の冒頭で紹介した構成)の構築を、実際のコンソール操作方法を交えて解説します。 上記構成の意図として、VPC1 (Webアプリ用のVPC)とVPC2 (社内ネットワークを模擬したVPC)を組
サーバレスでスケーラブルかつ堅牢なシステムを構築するためのデザインパターンとアーキテクチャ。Serverlessconf Tokyo 2017 － Publickey
サーバレスコンピューティングは新しいシステム開発手法である。Serverlessconf Tokyo 2017で紹介された、スケーラブルで堅牢かつ高性能なアプリケーションの構築に役立つ6種類のデザインパターンを紹介する。 2017年11月2日、3日の2日間、東京都内でサーバレスコンピューティングのイベント「Serverlessconf Tokyo 2017」が開催されました。 サーバレスコンピューティングもしくはサーバレスアーキテクチャと呼ばれるアプリケーション実行環境は、一般にサーバのことを意識せずにアプリケーションを実行できる環境のことを指します。 そのサーバレスコンピューティング環境の実装として一般的なのが、あらかじめアプリケーションとして実行したいコードを関数として登録しておくと、指定されたイベントによって自動的に関数が呼び出されて実行されるという、いわゆるFunction-as-
ミクシィグループではこちらで説明している通り、様々な事業領域にてサービスを展開しています。運営しているプロダクトには10年以上稼働しているシステムもあれば、リリースしたばかりのものまで多岐にわたっているため、様々な技術が各所で採用されています。 多数のサービスを展開していることもあり、改めてミクシィグループの各サービスや事業部が現在どのような技術を採用しているか、技術スタックをまとめてみました。開発言語やインフラ環境、デプロイツールなどをサービス/事業部ごとにまとめています。 【サービスおよび、技術スタック一覧】 ※サービスやプロダクトに該当しないケースは、各事業部で採用している技術を紹介します。 ※2018年8月30日時点での情報です。 ※8月30日に実施された社内イベントの内容を元に作成しています。 その2はこちら スマートヘルス 事業部の取り組み スマートヘルス事業部は、超高齢社会を
時系列データベースの論文を書いた - ゆううきブログ
先週、第11回インターネットと運用技術シンポジウム (IOTS2018)にて、投稿した論文の発表をしてきました。 IOTSは査読付の国内の研究会であり、2年前に招待講演をさせていただいた研究会でもあります情報処理学会でウェブオペレーション技術について招待講演した話 - ゆううきブログ。 実は、そのときに、来年論文を投稿するぞと意気込んでいました。 実際にはそこから2年かかりましたが、この度論文を投稿することができました。 予稿 HeteroTSDB: 異種混合キーバリューストアを用いた自動階層化のための時系列データベースアーキテクチャ スライド 実務から研究へ 今回投稿した論文の内容は、Mackerelで開発した時系列データベースに関するものです。 これらはすでにAWS Summit Tokyo 2017、Web System Architecture研究会で発表済みのものになります。 時
Amazon が所有する AWS Systems Manager ドキュメントの一覧を AWS CLI で取得して眺めてみた
政府は2020年10月に運用を開始する予定の「政府共通プラットフォーム」に米アマゾン・ウェブ・サービスのクラウドサービス「Amazon Web Services（AWS）」を採用する方針であることが分かった。日経 xTECHの取材に複数の政府関係者が明らかにした。 政府共通プラットフォームは政府情報システムのプライベートクラウド基盤である。政府は民間クラウドサービスの利用を前提に次期基盤となる「第二期整備計画」を進めており、現行の政府共通プラットフォームに比べて5割超の運用コスト削減を目指す。 政府は2018年度から政府共通プラットフォームの整備に向けた入札を実施し、このうち設計・開発などの請負業務の一般競争入札について、アクセンチュアが19年5月に4億7520万円で落札して受託契約を結んだ。政府関係者によると、アクセンチュアはAWSの利用を前提に設計・開発を進めている。 これまで自治体な
はじめに 個人でも仕事でもAWSを使っている時に気になるのはセキュリティですよね。 万が一アクセスキーなどが漏れてしまい、それが何でも出来ちゃうユーザーだったら もう大変なことになります。 ただAWSのIAMはAWSの中でも一番難しいサービスなのでは？と思うくらい複雑です。 その中でも簡単ですぐにも実践出来るTipsを4つ紹介します。 目次 MFA認証してない時の権限を最小にする IAMユーザーのMFAデバイスを有効化する ユーザーに権限を委任するロールを作成する CLIを使う時も、MFA認証してロールを切り替える 1. MFA認証してない時の権限を最小にする まず、下記のポリシーを作業用のユーザーに紐付けます。 { "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "iam:ListVirtu
本当にあったIT怖い話 AWSの設定ミスで300万円のコスト超過、1日1回だったはずの処理が1分で160万回に 当事者に聞く反省点
本当にあったIT怖い話 AWSの設定ミスで300万円のコスト超過、1日1回だったはずの処理が1分で160万回に 当事者に聞く反省点（1/3 ページ） バックアップデータがあると思って安心していたのに、いざ障害時に取得できていなかったことが発覚したり、ネットワークアクセスの制限を強化しようと設定をいじったら、自分すらアクセスできない状態にして手詰まりになったり……もっとヒヤッとする事態も含め、IT業界には「本当にあった怖い話」がいろいろある。 クラウドサービスの利用料金がいつの間にかに膨大になる「クラウド破産」もその一つだ。検索してみると、便利だからとあれもこれもとクラウドサービスを利用していたら料金が想像以上に大きく膨らんでしまい、課金額を見て目を回した経験談がいくつかのブログにつづられている。 システムインテグレーションやセキュリティサービスを提供するラックも、そんな経験をしてしまった企
WikiLeaksがこれまでベールに包まれていたAmazonが運用するデータセンター(クラウド向けサーバー)の正確な所在地を暴露しました。世界9カ国15都市に分散されたAmazonデータセンターは東京、大阪にも設置されているようです。 WikiLeaks - Amazon Atlas https://wikileaks.org/amazon-atlas/ WikiLeaksはAmazonの「機密性の高い内部文書」を入手することに成功。これは、世界9カ国15都市にまたがって設置された100以上のデータセンターの所在地と運用に関する文書だとのこと。なお、この文書についても上記ページで公開されています。 AWSによって世界最大のクラウドプロバイダーとして君臨するAmazonは、世界のクラウドインフラストラクチャサービス市場の34％を占めているという調査が出されていますが、その所在地や運用内容につ
渡辺です。 2017/04/19開催(日本時間:2017/04/20)の『AWS Summit in San Francisco』で発表された新サービス『AWS CodeStar』についてお知らせします。 一言で言えば、CodeCommit, CodePipeline, CodeBuild, CodeDeployとそれらに付随する実行環境を一撃で構築・管理できます（2017年4月の時点で、東京リージョンでは利用できません）。 実行環境もカバーする最強のスキャホールド AWS CodeStarが何者か、一言で言えば、一時期に流行ったスキャホールドの類です。 Ruby on Railsが登場した時、コマンドひとつでウェブアプリケーションの雛形ができることに衝撃を覚えた人は多いでしょう。 ベース部分をスキャホールド（足組）として作り、肉付けをしていくというスタイルが流行ったかと思います。 AWS
![[新サービス] 一撃でCI環境を作れる AWS CodeStar | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/495673edbefe7b7bc5e6e9e54b2565989b893342/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2013%2F09%2Faws1.png)
第1回仮想マシンレンタルサービスAmazon EC2、大容量ストレージサービスAmazon S3を使ってみよう 増井雄一郎 2008-05-19
無料で使えるAWSの初期トレーニングまとめ | NHN テコラス Tech Blog | AWS、機械学習、IoTなどの技術ブログ
こんにちは。sunnyと申します。運用企画チームというところで、サーバ監視運用部隊の運用をやっています。趣味はジョギングでマラソン大会にも出場しますが、一向にスリムになる気配がありません。知ってる方はつまらないけど、知らない方にとって「へー」となりそうな緩めの記事を書きます。よろしくお願いします。 AWSを学ぶ 今日は、AWS初学者にオススメの学習ノウハウのお話です。 何かをきちんと学ぶには本やドキュメントなどを読むという方法が一般的かと思いますが、私はどうも文字が苦手なので（もちろん必要な時は読みますが）、実際に手を動かしたり動画で学べるものが無いかと探しました。それで効果的だと思ったものをまとめましたので、書いていきたいと思います。ちなみに幸いなことに「AWSを勉強したい」と会社に言ったら、AWSのアカウントが貰えました。ありがとうございますありがとうございます。 注意 : AWSは日
「HTTP/3」がHTTP-over-QUICの新名称に。IETFのQUICワーキンググループとHTTPワーキンググループで合意 － Publickey
現在IETFで仕様策定が進められている、UDPをベースに効率的で高速な通信を実現するためのプロトコル「QUIC」をトラスポート層に用いる新しいHTTPの名称が「HTTP/3」になることが決まりました。 HTTP/3のベースはGoogleが開発したQUIC。IETFで標準化へ もともとQUICは、Googleが高速なHTTPの通信を実現するためのプロトコルとして2013年に発表し、同社のChromeブラウザやクラウドサービスなどに実装してきました。 QUICは、従来のHTTPでトランスポート層に用いられているTCPの代わりに、UDPを用いています。 TCPはエラー訂正機能などを備え信頼性の高い通信が可能な一方、比較的オーバーヘッドの大きなプロトコルです。そこでTCPの代わりに通信の信頼性は保証されないもののオーバーヘッドの小さいUDPを用い、独自に一定の信頼性を保つ実装を組み込みつつHTTP
こんにちは、技術部の Taiki (@taiki45) です。 近年の Web サービスの開発ではマイクロサービスに代表されるように分散アーキテクチャが採用されるようになってきました。大規模でも素早いプロダクト開発をするために、クックパッドでもマイクロサービスを採用し分散アーキテクチャへの移行を進めています*1。今回は、そのような分散アーキテクチャを利用したシステム構築において必須のコンポーネントになりつつある分散トレーシングについて、クックパッドでの事例を紹介したいと思います。 分散トレーシングとは マイクロサービスのような分散アーキテクチャでは、個々のサービス同士の通信が複雑になるため、モノリシックアーキテクチャと比較して、システム全体としての振る舞いを把握することが難しくなります。これはプロダクト開発においては、障害発生時の原因究明が難しくなったり、あるいはシステム全体でのパフォーマ
米動画配信のNetflix、Chaos MonkeyのおかげでAmazon EC2のメンテナンスリブートを難なく乗り切る
Amazon EC2は9月末、その内部で使用しているXenハイパーバイザのセキュリティリスクに対処するため、全インスタンスの約10％にあたるインスタンスに対して段階的にリブートを行うメンテナンスを実行していました。 リブートをユーザーが回避する手段はなく、AWSから事前に通知を受けたユーザーはリブートによってデータを失ったりシステムがダウンしたりしないように、何らかの処置をする必要がありました。 AWS上で大規模なシステムを運用しつつもこのメンテナンスリブートを難なく乗り切ったのが、米国で動画配信サービスなどを運用するNetflixです。その理由は同社が開発したChaos Monkeyというツールにありました。 同社のブログにポストされた記事「A State of Xen - Chaos Monkey & Cassandra」で、その顛末が紹介されています。 Chaos Monkeyによっ
最近、販売された仕事で始める機械学習を買ったので、購入を考えられている方や機械学習を始めたいと思っている方に読んで、参考になればと思います。 この記事の目的と全体の流れただ読むのと、アウトプット（ブログに書く）前提で読むのとはインプットの質が違うということがわかったので、ブログに書きながら理解していく形を取ります。 全体の流れとしては、章の要約。あぁこの内容知ってるなって人は買わずに済むし、わからないこと多いという人は購入を検討して頂ければ。（出版関係者でもなければ、アフィリエイトなどの営利目的でもなく、いち消費者としての個人的意見になります。 ご了承ください。） 結論から言うと（書評）いままでのオライリーのデータサイエンス本だと英語から翻訳したのでわかりにくい日本語が非常にうっとうしいのですが、 この本は、日本の方が書かれており、日本語スムーズに理解できます。 また、非常に論理立てられて
AWSの開発環境の利用時間をGoogleカレンダー連動させたら開発チームが自由に使えてコスト70%削減！！ - Uzabase for Engineers
こんにちはNewsPicks SREチームの美濃部です。 NewsPicksのSREのミッションの1つに「コストを適正化する」というものがあります。サービスの規模拡大に比例してインフラコストが増えないようにし、売上に対するコストの割合を低く維持していくのがミッションになります。 今回はこのミッションに対するアクションとして開発環境のインフラコストを適正化した話をします。 NewsPicksの開発環境について 開発環境のコストをどうやって適正化したか 稼働時間対応を実現する仕組みについて 実際どれくらい削減できたのか まとめ NewsPicksの開発環境について まず、NewsPicksの開発環境について概要を説明します。 インフラ基盤は本番環境と同様にAWSを利用しており開発チームは現在10以上のチームが存在し、それぞれのチーム専用に用意された開発環境を利用しています。 2年程前までは開発
システム構築に関わる人ならだれでも、一度ならず何度でも、人によっては日常的にシステム構成図やネットワーク構成図を作っているはず。 Amazonクラウドはそんなエンジニアのために、システム構成図に必要なほとんどすべての機能がアイコンとして網羅されているアイコンのセット「AWS Simple Icons」を無料で公開しました。こんなのが欲しかった、と思っていた方も多いのではないでしょうか。 Amazon Web Services Blog: Introducing AWS Simple Icons for your Architecture Diagrams アイコンのフォーマットは4種類。パワーポイント、Visio、EPS、そしてオンラインのCacooです。 ガイドラインに従って利用 ガイドラインには「その時点での最新バージョンを使うこと」「アイコンとラベルを必ずセットで使うこと」「AWSと
ども、大瀧です。 ここのところ新機能を追いかける記事ばかりだったので、今回は少し毛色の異なるノウハウ系を書いてみます。 負荷テストの前置き(読み飛ばし可) 「Webサイトがテレビ番組で紹介されることになった！大幅なアクセス増がやってくる！」という場合に、ロードバランササービスのElastic Load Balancing(ELB)やCDNのCloudFrontなどスケールするサービスを組み合わせ乗り切るというのは、クラウドらしい柔軟性の高さを活かせる典型な例かと思います。実際、弊社の事例でも多くのお客様に提供し、ご好評をいただいています。 これらのサービスを構成するにあたり、実際のアクセス増に耐えられるか試すため負荷テストを実施することも多いと思いますが、大規模なケースになってくると難しいのが負荷テストを実施するマシンの確保です。これについてもAmazon EC2であれば、Auto Sca
https://flic.kr/p/os8Taq 要約：AWSは素晴らしいが、Googleはその グーゴル 倍素晴らしい。 AWS re:Invent （参加料は1,600ドル）に参加したり、チーフ･エバンジェリストの Jeff Barr をフォローしたりすれば、あなたはたちまち、Amazon Web Servicesのとりこになるでしょう。 毎年何百もの新機能が登場しており、食べ放題・融通が利く・運用担当者不要の、オンデマンドサービスのビュッフェのようです。まあ、実際に食べてみるまでは、の話ですが…。 Amazonは素晴らしいです。しかし、Google Cloudは「開発者によって、開発者のために構築された」ものであり、それが一目で分かるのです。 移行した理由 App Engine GAE はきちんと機能し、オートスケーリング機能も持ち、ロードバランサや無料のmemcacheも備えていま
SSH不要時代がくるか!?AWS Systems Manager セッションマネージャーがリリースされました! | DevelopersIO
はじめに おはようございます､加藤です｡す...すごい機能がリリースされました!AWS Systems Mangerの新機能でセッションマネージャーという機能です｡ 一言で言えば､｢EC2インスタンスにSSH・RDPで接続せずにブラウザ上からCLI操作ができる機能｣です｡ブラウザがSSHクライアントとして動作している訳でなく､制御はSSMによって実現されています｡ セキュリティグループのインバウンド設定や踏み台ホストを作ること無く安全にEC2インスタンスへ接続できちゃいます!テンション高まる! やってみた 前提 SSMエージェントのバージョンが2.3.12以上である必要があります(2018/09/12 09:00 時点で起動したインスタンスはアップデート必要と思われます) 作成済みのインスタンスの場合はRun CommandのAWS-UpdateSSMAgentを使うなどしてバージョンアッ
第67回Ruby関西の勉強会です。 RubyからAWSを使おうということでSDKの紹介や、2Tier-Architectureなどの紹介をしています。
前置き 情けないことだが、自身の過失により、GitHubで長年Privateリポジトリで運用していたリポジトリを、とある事情でpublicに変更したのだが、その中にAWSのS3のアクセスキーとシークレットキーがファイルに直接ハードコーディングされているのにすっかり気づかず、自身のAWSのアクセスキーとシークレットキーが流出してしまうという失態を起こしてしまった。 その不正利用により届いた請求金額は約300万円。請求を見た時は頭が真っ白になり冷や汗ものだったが、過去に同様のミスとその状況と対応をまとめてくださっていた方々のおかげで、なんとか深呼吸して対応することができたので、自分も少しでも今後起きうる同様の状況の方に対する助けになればと、一部始終を共有しておくことにしようと思う。 初心者がAWSでミスって不正利用されて$6,000請求、泣きそうになったお話。 AWS で不正アクセスされて凄い
AWSの障害に起因したHerokuの障害について、Herokuによるレポートが公開されたので要点を翻訳しました（全訳ではありません）。「だ、... - Sooey
AWSの障害に起因したHerokuの障害について、Herokuによるレポートが公開されたので要点を翻訳しました（全訳ではありません）。「だ、である」調にしたため多少偉そうに見えるかもしれませんが、原文はとても誠実な表現で書かれていますので、その点は誤解なきよう。 一部、文意が汲めなかった部分は原文を併記していますので、ご意見・ご指摘などがありましたら@junyaまでお願いします（@irohirokiさん、アドバイスありがとうございます）。 Resolved: Widespread Application Outage Herokuを4年間運用してきて最大の障害 専用データベースを利用している大規模アプリケーションでは最大16時間のダウンタイム 共有データベースを利用している小規模アプリケーションでは最大60時間のダウンタイム アプリケーションのデプロイについてはプラットフォームの広範囲にわ
サーバーレスがアプリケーションにもたらす本当のメリットとは？「サーバーレスのポテンシャルとシステム表現」#devsumi ｜ Developers.IO
サーバーレスがアプリケーションにもたらす本当のメリットとは？「サーバーレスのポテンシャルとシステム表現」 #devsumi 「そのサーバーレス、本当に意味あるの？」 AWS re:Invent 2014で、AWS Lambdaが発表されてから丸3年が経過。サーバーレスという単語もすっかりこの界隈では定着した感はあります。 ですが、実際の開発・運用ノウハウについては、まだまだ試行錯誤が続いているのが現状じゃないでしょうか。ぶっちゃけ、既存アプリケーションのEC2をLambdaに置き換えるだけではほとんどメリット無いでしょ、という感触は、ある程度サーバーレスアプリケーションをゴリゴリ作っている人であれば、よく感じていることだと思います。 そんななか今回受講したこのデブサミのセッションでは、新しい観点でサーバーレスがもたらす恩恵やメリットを捉えることができてごっつ新鮮だったので、その模様をお届け
【AWS発表】 Glacier – 1GBあたり月額約1円で利用可能なアーカイブストレージが登場 - Amazon Web Services ブログ というわけでS3以来の衝撃だったので早速使ってみました。がしかし未だダウンロードは時間まちで試せていません。まずは概要のレポートです。 Amazon Glacierとはなんぞや 一言で言うと、いつでも手軽には取り出せない代わりに、安く長く安全に大量にデータを保存してくれるサービスです。1GBあたり月額1円と、Amazon S3の十分の一の価格で、MacBookAirのSSD256GBをフルバックアップしても、月額256円しかかからないのです。 Dropbox的につかえるの？ 使えません。アップロードしたデータを取り出すには、申し込みリクエストを送信してから、3、４時間待つ必要があります。 つまり利用用途としてはお気に入り動画を何年も安全にバッ
実録パフォーマンス改善 - 高速化のためアーキテクチャやアルゴリズム選択から見直すSansanの事例 - エンジニアHub｜Webエンジニアのキャリアを考える！
実録パフォーマンス改善 - 高速化のためアーキテクチャやアルゴリズム選択から見直すSansanの事例 インフラの特性をふまえ、ミドルウェアの挙動を理解し、プロファイリングによってボトルネックを把握し、要求に合ったアーキテクチャを選択する。そういった工夫を重ねることでアプリケーションのパフォーマンスを改善する事例を、Sansanの千田智己さんに聞きました。 アプリケーションの設計・実装方法を変えることで、性能が格段に向上するケースは数多くあります。有名IT企業のエンジニアは、どのような方針のもとでアーキテクチャあるいはアルゴリズム選択などでパフォーマンスを改善しているのでしょうか？ 法人向けクラウド名刺管理サービス「Sansan」や個人向け名刺アプリ「Eight」を提供するSansan株式会社の千田智己さんに、これまで取り組んできた事例と、そのノウハウを教えていただきました。 千田 智己（せ
はじめに サーバーレス開発部の藤井元貴です。 サーバーレスな設計や開発は意外と難しいものです。特に「やりたいこと」が「サーバーレス」で実現できるのか？ を常に意識し続け、トライ・アンド・エラーを繰り返すことが重要です。 そこで、先日みつけた形で始めるサーバーレス設計をご紹介します。簡単ですが、ひとことコメントもあります。 上記の内容を知らなくとも、結果的に「あ、同じ構成（考え方）だ！」となる場合が多いです。 そのため、事前に知っておくことで手札を増やすことができ、より効率よくサーバーレスな設計を実現できると思います。 おすすめの方 サーバーレスに興味がある サーバーレスな設計を知りたい 形で始めるサーバーレス設計 下記となります！ 形で始めるサーバーレス設計 動的 Web / モバイルバックエンド API Gatewayを用いる王道パターンです。業務でもプライベートでも、よく使う構成ではな
概要 AWS で人気のサービス DynamoDB についての論文が公表され巷で噂になっていたと思う。 今回は、その論文を読み込んでいき、ざっくりまとめていくという記事になります。 完全趣味な記事なので、興味ある人がいれば幸いです笑 Abstract まず論文のタイトルですが、「Amazon DynamoDB: A Scalable, Predictably Performant, and Fully Managed NoSQL Database Service」と題したものとなっています。 Amazon DynamoDB は、NoSQL とよばれる部類のデータベースサービスです。 一貫した耐久性、可用性、パフォーマンスを提供してくれるマネージドなサービスなのが特徴ですね。 冒頭、2021年に66時間にわたる「Amazon Prime Day」中にピーク時8920万リクエスト/秒をさばいてい
Amazonプライムデー初日にサーバーがダウンしたのは「DBをOracleから自社製に乗り換えた」ことが最大の理由 - GIGAZINE
By 禁书 网 日本時間で2018年7月16日の正午に始まったAmazonプライムデー2018では、セール開始直後にサーバーがダウンして約1時間にわたってアクセス障害が発生しました。Amazonが内部調査を行って作成した報告書によると、この問題は取引のデータベース(DB)を従来のOracle製から自社製に乗り換えたことが最大の理由である可能性が高まっています。 Amazon move off Oracle caused Prime Day outage in warehouse https://www.cnbc.com/2018/10/23/amazon-move-off-oracle-caused-prime-day-outage-in-warehouse.html Amazonプライムデー2018は同社にとって「史上最高」となるセールス記録を樹立しました。Amazonは売上高を公表しな
はじめに はてなサマーインターン2018の大規模システム開発コースの成果報告をします。 今年は、メンターのid:cohalzさん、id:wtatsuruさんの下、実際に使われているサービスをAmazon ECS(Elastic Container Service)にデプロイする基盤を構築しました。 コンテナでサービスを本番運用するために、AutoScaleの検証や、デプロイ時間の計測、改善策の検証を行いました。また、開発、デプロイフローを楽にするために、AWS CodeBuild、CodePipelineを使ってCI/CDの構築も行いました。これにより、PullRequestごとにCIが走り、masterにマージされたら自動でECSにデプロイすることができるようになります。高速なデプロイ切り替えを行うために、Blue-Green Deploymentの検討も行いました。 他にも、Micro
メルカリのAI EngineeringでTech Leadを務めている中河です。今回は3/18に正式リリースされた「写真検索機能」を支えるバックエンド・インフラをシステム側からの視点でご紹介します。 写真検索とは 所謂、画像検索機能で商品名を知らなくても画像から商品を検索できる機能の事です。詳しくは下記の公式リリースをご覧ください。 about.mercari.com 基本的な写真検索の仕組みは、Deep Neural Networks (DNN)を使用して商品画像から特徴ベクトルを取得し、取得した特徴ベクトルをApproximate Nearest Neighbor Index(ANN Index)に追加して画像indexを構築。 検索時には同じく商品画像からDNNを介して特徴量ベクトルを取得し、ANN Indexから検索します。 アーキテクチャの概要 Figure1 上記がアーキテクチ
53サービス・アプリのクラウドやフレームワーク・言語など聞いてみた！ アーキテクチャ大調査2020｜ハイクラス転職・求人情報サイト AMBI（アンビ）
53サービス・アプリのクラウドやフレームワーク・言語など聞いてみた！ アーキテクチャ大調査2020 エンジニアHub恒例のアーキテクチャ大調査。2020年版では、フロントエンドとサーバサイドの開発環境や、クラウドサービスの利用を分けてアンケートを実施。53のアプリ・サービスから回答がありました。 ソフトウェア開発には日進月歩で新しいテクノロジーが続々と登場し、開発からデプロイ・運用までさまざまな環境でトレンドが次々と移り変わっていきます。そこには、技術選択した開発者の設計思想も見えてきます。 エンジニアHubでは、2017年と2019年にさまざまなIT企業にアンケートを実施し、各社のサービスやアプリを開発しているプログラミング言語やアーキテクチャ、またインフラを構成するミドルウェアやデータベースをまとめて掲載しました。 今回の2020年版ではテクノロジーの進化にあわせ、開発環境についてWe
「みんなのPython勉強会」は、Pythonを中心として、プログラミングを仕事、研究、趣味など、さまざまなシーンで生かす方法を一緒に学ぶ勉強会です。56回の今回は、サーバーサイドエンジニアをテーマに学びます。 AWSソリューションアーキテクトの西谷圭介氏が、前半ではサーバーレスについて説明しましたが、後半はいよいよその実行環境であるAWS Lambdaの基本について解説します。関連資料はこちら。 イベントドリブン 西谷圭介氏：Lambdaには、イベントドリブンという言葉があります。イベントドリブンをちょっと簡単に説明したいと思うんですが、Lambdaとかサーバーレスアプリケーションにおける非常に重要なキーワードなんですね。先ほどのサーバーレスのスタックに置き換えたときにLambdaというものがようやく出てきたんですが、このイベントドリブンをキーワードにしたサービスと言えます。 イベントド
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Terraform職人入門: 日々の運用で学んだ知見を淡々とまとめる - Qiita
AWS で作るシステムのセキュリティ考 - 水深1024m
【ベストプラクティス】Amazon VPC の構築方法を分かりやすく解説 - Qiita
ミクシィグループのサービスと利用技術(技術スタック)についてまとめてみた｜ミクシル
AWS特集 の記事一覧 | DevelopersIO
［独自記事］政府が共通プラットフォームにAWSを採用へ、来秋稼働
AWSアカウントを作ったときこれだけはやっとけって言うIAMの設定
WikiLeaksが謎に包まれたAmazonのデータセンターの所在地を暴露、地図も公開 - GIGAZINE
[新サービス] 一撃でCI環境を作れる AWS CodeStar | DevelopersIO
連載：はじめてのAmazon EC2&S3 〜これからの新サービスの公開の形〜｜gihyo.jp … 技術評論社
クックパッドと分散トレーシング - クックパッド開発者ブログ
”仕事で始める機械学習”の要点をまとめてみたらとても良い入門書だった
Amazon Web Services、システム構成図に使えるアイコンセットを無料公開
Amazon EC2から負荷テストを行うときの落とし穴と対策 | DevelopersIO
私たちがAmazon Web ServicesからGoogle Cloud Platformに乗り換えた理由 | POSTD
Slerがawsで運用してきた話
AWSが不正利用され300万円の請求が届いてから免除までの一部始終 - Qiita
1GB/1円 衝撃のAmazon Glacierを早速使ってみた - ku-sukeのブログ
AWS公式で「形で始めるサーバーレス設計」が紹介されています！ | DevelopersIO
Amazon DynamoDB の論文を読んでいく - Qiita
コンテナデプロイ基盤の検証 - Hatena Developer Blog
メルカリの写真検索を支えるバックエンド | メルカリエンジニアリング
Pythonで作るサーバーレス環境 AWSのスペシャリストが教えるLambdaの基本