S3のコスト削減に成功した話 〜カギはバッチウィンドウ〜｜ハンズラボ株式会社
こんにちは！POSグループのhktです。 こちらの記事は、「S3のコスト削減に失敗した話」の後編になります。 もしまだ前編をご覧になっていない方は、ぜひ読んでみてください。 さて、前編では、S3のコストを調査したところ、最も費用がかかっているのがPutObjectであることが判明しました。 今回は、S3のコストを削減するために、PutObjectの実行回数を減らすことはできないか検討しました。 PutObjectの実行回数を減らしたい POSグループが運用するAWSアカウントでは、ログデータをS3に保存するために、Kinesis Data StreamsをトリガーとするLambda関数が稼働しています。 具体的には、以下のような構成になっています。HandsPOSアプリからKinesis Data Streamsにログデータが送信され、Kinesis Data StreamsからLambd
AWS Batch とは - AWS Batch
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 AWS Batch とは AWS Batch を使用すると、AWS クラウド でバッチコンピューティングワークロードを実行できます。バッチコンピューティングは、開発者、科学者、エンジニアが大量のコンピューティングリソースにアクセスするための一般的な方法です。AWS Batch は、従来のバッチコンピューティングソフトウェアと同様に、必要なインフラストラクチャの設定および管理に伴う、差別化につながらない力仕事を排除します。このサービスでは、送信されたジョブに応じてリソースを効率的にプロビジョニングし、キャパシティー制限の排除、コンピューティングコストの削減、および結果の迅速な提供を行うことができます。 AWS Batch はフルマネージドサービスであり、あらゆるスケー
データ変更を伴うバッチ処理を書く時に考慮していること - shallowな暮らし
こんにちは、id:shallow1729です。最近はインフラ寄りなお仕事をよくやっていますがこれまでにいくつかデータ移行やデータ基盤構築などのバッチ処理のお仕事をしてきました。以前にも一度そういった経験を元に記事を書いたのですが、MySQLやシステムに関する知識が以前よりも増えた今もう一度書き直したいなと思いました。 なので今回はバッチ処理を書く時のテクニック2022版という感じです。今の仕事の関係でMySQLやrailsを前提にしている話が多いですが、おそらく他のデータベースを使っている人にも役に立つ話が多いのではないかと思います。ただ、今回の記事は経験に基づくものが多く、あまりよくないアイデアもあるかもしれません。改善点や間違いなどあればご指摘ください。 冪等性を持つように 冪等性とは端的に言えばある操作を複数回実行しても一回しか実行しなかった時と同じ結果になる性質の事です。長時間かか
バッチとストリーミング、それぞれの障害に立ち向かう
Data Engineering Study #4 の資料です https://forkwell.connpass.com/event/189259/
巨大なバッチを分割して構成する 〜SQLバッチフレームワークBricolage〜 を使ってみた - Qiita
テーブルの名前をちょっとだけ変えてcreate tableしたりデータをinsert intoすることがしたくなり、なにか良いツールはあるかな？と探していたところ、Cookpadの青木さんが「たべみる」で使われているbricolageを見つけました。 不思議と使ったという情報がみつからず、使用した記録をまとめました。 bricolageの利用例など是非教えてください。 参照サイト 巨大なバッチを分割して構成する 〜SQLバッチフレームワークBricolage〜 GitHub Wiki 試した環境 OS: OSX 10.11.1 Ruby: 2.2.3 PostgreSQL: 9.4.5 MariaDB: 10.0.21 導入 PostgreSQLとMySQL(mariadb)等が必要になるようなので事前に導入しておきます。 本体はgem install bricolageで導入できます。
バッチ処理 - Wikipedia
この記事は検証可能な参考文献や出典が全く示されていないか、不十分です。 出典を追加して記事の信頼性向上にご協力ください。（このテンプレートの使い方） 出典検索?: "バッチ処理" – ニュース · 書籍 · スカラー · CiNii · J-STAGE · NDL · dlib.jp · ジャパンサーチ · TWL (2024年12月) バッチ処理（バッチしょり、英: batch processing）はバッチ単位で行なわれる処理である。特に以下の2つの意味で用いられる。 コンピュータでひとまとまりのデータを一括して処理する方式。本項で詳述する。 ひとつの設備である程度まとまった時間、または単位操作ごとに処理を区切り、原材料をこの区切りごとにまとめて投入する処理のこと。回分処理（かいぶんしょり）も同義。発酵工程やバッチ殺菌などは典型的なバッチ処理である。反対語は逐次処理または連続処理。 コ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Transactions and batched writes | Firestore | Google Cloud
GitHub - bricolages/bricolage: AWS-oriented Data Warehouse Framework
PHPで100万件バッチ回したら死ねる
