バッチ処理をAWS Batchを利用して本番運用してみた | CyberAgent Developers Blog
こんにちは。OPENREC事業部で基盤系のエンジニアをしている石田です。 今回はOPENREC.tvに導入されているバッチ処理の基盤をご紹介したいと思います。 この記事では以下のことに関して話そうと思います。 OPENREC.tvでのバッチ処理内容 従来のバッチ処理基盤の課題 新バッチ処理導入のモチベーション 新バッチのインフラ構成 実際に稼働してみて 本番稼働をして明らかになった課題 まとめ OPENREC.tvでのバッチ処理 OPENREC.tvでは、主に以下の処理をバッチとして実行しています。 視聴時間の計測結果の集計 ランキングの集計 検索用のデータの作成 おすすめ動画の作成 従来のバッチ処理基盤の課題 初期のバッチ処理は、1台のEC2で稼働していました。それゆえ、以下の問題を抱えておりました。 インスタンス1台で稼働していることからスケーラビリティが皆無 SPOFなので万一ハード
GoのRaceDetectorと気をつけるべき所｜株式会社CAリワード
この記事はGo (その3) Advent Calendar 2016 2日目の記事です。 こんにちは。開発部の平田です。今回は、Golang に標準で組み込まれているデータ競合の検知の仕組みである race detector と、どのようなケースで検知してくれるのかについて https://golang.org/doc/articles/race_detector.html を元に簡単に紹介したいと思います。 Golang には goroutine という並行処理のための機構があるので、気軽に goroutine を起動して並行処理を書くことが出来ます。その為、意図しない所でレースコンディションが発生してしまうことが時々あります。極力そういったことが起きないように基本的には channel を使って値をコピーして渡したりするのですが、思わぬ所で発生してしまうデータレースに対して検知する仕組
React.jsではなくRiot.jsを採用した話、運用中サービス『GAMY』でリニューアル - Qiita
今回、ゲーム攻略コミュニティ『GAMY』というサービスでRiot.jsを採用しました。 知る限りでRiot.jsで実装されたサイトの中でも最大規模のサービスだと思います。 これまではjQueryとjQueryプラグインを使っていましたが、デザインのリニューアルを機に、全部書き換えることにしました。 ドキュメントも兼ねてアウトプットしていきます。 Riot.jsとは Riot.jsは今流行りのReact.jsに似た仕組みを持っている、それで非常に軽量なJavaScriptライブラリーです。 最近GitHubのリポジトリが**/muut/riotjsから/riot/riot**にお引っ越しして、これからがより注目なライブラリーです。 詳しくはこちら↓ Riot公式 Riot.js 2.0 情報まとめ GitHub 捨てることを前提としたライブラリー選定 最初は今ブームの２大フレームワークとなっ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
