バッチ処理をAWS Batchを利用して本番運用してみた | CyberAgent Developers Blog
こんにちは。OPENREC事業部で基盤系のエンジニアをしている石田です。 今回はOPENREC.tvに導入されているバッチ処理の基盤をご紹介したいと思います。 この記事では以下のことに関して話そうと思います。 OPENREC.tvでのバッチ処理内容 従来のバッチ処理基盤の課題 新バッチ処理導入のモチベーション 新バッチのインフラ構成 実際に稼働してみて 本番稼働をして明らかになった課題 まとめ OPENREC.tvでのバッチ処理 OPENREC.tvでは、主に以下の処理をバッチとして実行しています。 視聴時間の計測結果の集計 ランキングの集計 検索用のデータの作成 おすすめ動画の作成 従来のバッチ処理基盤の課題 初期のバッチ処理は、1台のEC2で稼働していました。それゆえ、以下の問題を抱えておりました。 インスタンス1台で稼働していることからスケーラビリティが皆無 SPOFなので万一ハード
サーバーレスパターン
やりたいこと（ユースケース）から利用パターンへ到達できるように、ユースケース主導で紹介。利用するサービスのすべての機能をを覚えなくてもやりたいこと/部分からスタートできます。実際、類似するアーキテクチャの実例が多くあることがわかります。 パターン別のテンプレートから始めてみよう! チュートリアルで体感しよう! - いくつかのパターンはテンプレート/雛形から始めることができます。それぞれのパターンの「Template」「Sample」「Solution」のリンク先を参照ください。 - 実際に作って動かせるチュートリアルに「Tutorial」「Workshop」リンクからアクセスできます。ちょっとしたトライに費用が気にならないのもサーバーレスの良いところ。 - 各パターンの特性に合わせたエラーハンドリングの記事を拡充中。それぞれのパターンの「エラーハンドリング」リンクからご確認ください。 -
【速報】【新サービス】時系列データベースであるAmazon Timestreamが発表されました #reinvent ｜ DevelopersIO
サーバーレス開発部の阿部です。 re:Invent 2018のキーノートにて、時系列データベースであるAmazon Timestreamが発表されました。現在はプレビュー受付中です。 時系列データベースとは、その名の通り、タイムスタンプを持つデータを保持、扱うことに特化したものです。他の製品だとInfluxDBやBeringei (Gorilla)などがあります。 概要(サマリ) Amazon Timestreamは、関係データベースの1/10のコストでIoTや運用系のアプリケーションのような大量のイベントを扱うケースを想定した時系列データベースサービスです。リレーショナルデータベースでも保持はできますが、時間感覚でのクエリや保存の最適化については不十分です。 Timestreamはこれら時系列データの保存やクエリを処理することを目的に構築されたデータベースとなります。 サーバーレスなマネ
［速報］AWS、独自の機械学習用プロセッサ「AWS Inferentia」発表。高速な推論処理に特化。AWS re:Invent 2018
［速報］AWS、独自の機械学習用プロセッサ「AWS Inferentia」発表。高速な推論処理に特化。AWS re:Invent 2018 Amazon Web Servicesはラスベガスで年次イベント「AWS re:Invent 2018」を開催しています。 イベント3日目のアンディ・ジャシーCEOによる基調講演において、AWSが独自に開発した機械学習用プロセッサ「AWS Inferentia」が発表されました。 機械学習の処理には、大量のデータを用いて機械に学習を行わせてモデルを作る処理と、学習済みのモデルを用いて推論する処理があります。「AWS Inferentia」は推論を高速かつ効率よく実行することに特化したプロセッサです。 TensorFlow、MXNET、PyTorch、Caffe2、ONNXなど主要な機械学習フレームワークに対応。ユーザーはより低コストで推論処理を行えるよ
AWS Loft Tokyo 〜 挑戦をカタチにする場所へ 〜 | AWS
Japan startups have a home at the AWS Startup Loft Tokyo.
GitHub に AWS キーペアを上げると抜かれるってほんと？？？試してみよー！ - Qiita
🤔 前書き 稀によくある 、AWS を不正利用されちゃう話、 AWSで不正利用され80000ドルの請求が来た話 - Qiita 初心者がAWSでミスって不正利用されて$6,000請求、泣きそうになったお話。 - Qiita AWSが不正利用され300万円の請求が届いてから免除までの一部始終 - Qiita ブコメ等で GitHub にはアクセスキーを検索するBOTが常に動いていて、公開するとすぐに抜かれて不正利用される 的なコメントがつくのを何度か目にしたのですが、 本当にそんな BOT が動いているの？ どのくらいの時間でキーを抜かれて、不正利用が始まるの？ というのが気になったので、検証してみました。 GitHub にそれっぽいパブリックリポジトリを作成、権限が一つもついてない AWS のアクセスキー＆シークレットアクセスキーをうっかり公開、外部から利用されるまでの時間を計測します。
AWSの新サービス群に対する一行所感 - プログラマでありたい
今年もラスベガスで、AWSの最大のイベントre:Invent開催中です。初回のキーノートが終わった所ですが、怒涛のサービス発表で頭が混乱中です。整理のために、サービスに対する感想をつけてみます。間違っているかもしれないので、悪しからず。 AWS AppSync モバイル等での複数端末のデータ同期を見据えたソリューション。必要性はすごく解るが、それってCognito Syncでやりたかったことじゃないのかな？認証認可のサービスにデータ同期を加えた筋の悪さを解消に来たのか？ 2017/12/3 追記 中の人曰く、次のような役割分担とのこと AWSの新サービス群に対する一行所感 - プログラマでありたい ありがたし / Cognito Syncは「一つのIdentityに（≒一人の人間）が持つ」複数端末間での設定値等の同期のためのものだったので、前提と志向が違うのです > AppSync “それ
【コスパ最強】現代エンジニアの必須スキル，AWSが学べる教材を紹介します！
Udemyとは 「Udemyって何？」って言う人もいると思うので，はじめにUdemyの簡単な紹介をしておこうと思います． Udemyはオンライン教育プラットホームを提供するサービスで，そこで公開されているレクチャーはITに関するもの以外にもビジネススキル，マーケティング，デザインなどなど様々なカテゴリーのものがあります． また，Udemyは講義の資料さえ作ることができれば誰でも講師としてコースを作成できるという点が最大の特徴です． 先日，当ブログの運営者である迫くんも講師としてコースを設立していましたよね． つまり，Udemyは学びたい事がある人と，それを教えられる人をつなぐサービスなんです． 有料のコースもありますが，無料のものもあるので是非この機会に登録してみて下さい！ AWS講座でやったこと カリキュラムでやったことの一部を簡単に紹介していきたいと思います． 最初は本当にAWSアカウ
AWSが不正利用され300万円の請求が届いてから免除までの一部始終 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 前置き 情けないことだが、自身の過失により、GitHubで長年Privateリポジトリで運用していたリポジトリを、とある事情でpublicに変更したのだが、その中にAWSのS3のアクセスキーとシークレットキーがファイルに直接ハードコーディングされているのにすっかり気づかず、自身のAWSのアクセスキーとシークレットキーが流出してしまうという失態を起こしてしまった。 その不正利用により届いた請求金額は約300万円。請求を見た時は頭が真っ白になり冷や汗ものだったが、過去に同様のミスとその状況と対応をまとめてくださっていた方々のおかげで、なんと
［速報］「AWS Batch」発表。AWS上でスケーラブルなバッチ処理を実現。AWS re:Invent 2016
こうした膨大なデータ処理にはバッチ処理が用いられるが、サーバクラスタのプロビジョニングやバッチ処理ソフトウェアのインストール、ジョブの管理やスケジューリングなど、困難が多いとVogels氏は指摘。 そこで発表されたのが「AWS Batch」です。どんなスケールのバッチ処理もフルマネージドで提供するサービス。 動的にリソースを配分し、スポットインスタンスを利用したコストの最適化、キューの管理やスケジューリングなどを行ってくれます。
［速報］AWS LambdaでC#のサポートを発表。オープンソースの.NET Coreを採用。AWS re:Invent 2016
Amazon Web Servicesはラスベガスで開催中の年次イベント「AWS re:Invent 2016」において、サーバレスコンピューティングを実現する「AWS Lambda」でC#言語をサポートすると発表しました。 AWS Lmabdaに対してC#対応のリクエストは多かったとAmazon.com CTO Werner Vogels氏。「C#は私も個人的にも大ファンで、モダンなプログラミング言語」と、発表に合わせて基調講演で話しました。 C#対応は、マイクロソフトがオープンソースとして開発を進めている.NET Core 1.0ランタイムを用いて実現されています。 AWS Lambdaはこれで、Node.jsのJavaScript、Java、Pythonに続く新しい言語対応を実現したことになります。 参考 Announcing C# Support for AWS Lambda |
【2022年】AWS と Google Cloud の利用料金を徹底比較 | クラウドエース株式会社
総合的に見ると、AWS よりも GCP の方が低価格で運用できることがわかります。 Google Cloud ではコスト節約に繋がる仕組みが整っている 利用料金を単純比較しても GCPは 安価で使えるサービスであるということがわかりました。しかし、Google Cloud には、さらにお得に利用できる仕組みも整っています。詳しく見てみましょう。 無料クレジットが用意されている 1 つ目は、無料クレジットの存在です。Google Cloud には、初めて利用する人へ向けた90日間のトライアルが用意されています。Google Cloud の全てのサービスで利用できる 300 ドル分の無料クレジットが付与され、それを使い切るか、90 日が経過するまでは課金が発生しません。 また、無料クレジットを使い切った場合や、90 日間を超えた場合にも、自動的に課金が始まることはありません。クラウドサービスを
Inside of awspec -AWSをテストする方法。そしてその中のはなし-
JAWS Festa 東海道 2016
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon ECS とマネージドサービスを活用したフルコンテナ構成によるゲームサーバの構築と運用 / Amazon-ECS-game-server
AWS vs GCP 今から作る ならどっちがいいの!?
https://jp.techcrunch.com/2017/07/28/20170727it-looks-like-amazon-would-be-losing-a-lot-of-money-if-not-for-aws/
ペットAIとチャットで遊ぶ？Ledge、ハウスコム共同開発の『AI PET(アイペット)』がついにβリリース | Ledge.ai（レッジエーアイ）
RDS for MySQLからAuroraに移行した話 / RDS for MySQL to Aurora
AWSに移行して本当によかったです(小並感)
クラウド破産しないように git-secrets を使う - Qiita
