Scala + Akka Streamで既存のバッチを10倍以上速くした話 - Qiita
完了まで約2時間半かかっていた既存のバッチ処理を、最近興味があったReactiveでリプレイスして10分以内に完了するようにした時の躓きポイントのまとめ Scala/Akka Streamをチョイスした理由は、下記のスライドに触発されたのと、Spark on EMRを触っていてScalaに躓いていたのでScalaともう少し友達になりたかったからです。 バッチを Akka Streams で再実装したら100倍速くなった話 #ScalaMatsuri from Kazuki Negoro システム概要 処理概要 MariaDBから処理対象のデータIDを取得 idから必要となるデータを取得して、JSONを生成 ElasticSearchのBulk APIでデータ投入 ElasticSearchのAlias切り替え 1〜3を繰り返す サーバ EC2(vCPU 4コア) 既存システム概要 PHP
Akka StreamsでMySQLからデータを取得してCSVに書き出す | DevelopersIO
こんにちは。山崎です。 MySQLのデータをCSVに書き出すバッチ処理をAkka Streamsで実装する方法を紹介します。 Akka Streamsとは ノンブロッキングなバックプレッシャ付きの非同期ストリーム処理の標準を定めるReactive StreamsのAkkaを使った実装です。 Akka Streamsに関しましては、こちらの記事に詳しくまとまっていますのでご覧ください。 実際にコードを書いてみる 今回は「商品の情報をDBから取得しCSVファイルに書き出す」という例で実装していきます。 処理は３つの部品から構成されます DBから商品の情報を取得するSource 流れてきた商品情報をCSVの1行分に変換するFlow ファイルに流し込むSink これらの部品を実装してつなげることで処理を実装します。 実際にコードを見ていきましょう。 依存関係 今回使用するライブラリをbuild.s
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
