Spark Streaming と Kryo シリアライザーの話 - MicroAd Developers Blog
マイクロアドでアプリケーションエンジニアをしている「G」です。日々、バッチを作ったり WEB アプリケーションを作ったりしています。 今回はライトに Spark Streaming でカスタム Kryo （クライオ）シリアライザーが必要になってしまったお話を書いていきたいと思います。 Spark Streaming とは Spark Streaming とは Apache Spark という分散コンピューティング基盤上でストリーム処理を行うためのソフトウェアです。 マイクロアドでは秒間数万件以上発生するユーザーのアクセスログの処理のために Spark Streaming を利用しています。 詳細は以下の記事をご確認ください。 developers.microad.co.jp ブロードキャスト変数とシリアライズの罠 Apache Spark では、メインプログラムが実行されるドライバーと呼ば
SparkでGeoIP2を使うとjava.lang.NoSuchMethodErrorが発生する問題の回避方法 - MicroAd Developers Blog
マイクロアドのサーバサイドエンジニアの松宮です。今回はプログラミングのTips的な記事になります。 タイトルの通り、「SparkでGeoIP2を使うとjava.lang.NoSuchMethodErrorが発生する問題の回避方法」を説明したいと思っておりまして、というのも、SparkでGeoIP2ライブラリの依存を上手く解決できずに、結構時間を使ってしまったので、犠牲者を増やさないためにもこの場でみなさんに共有したいと思います。 事象と解決策を先に示して、詳細な原因は後述しますので、解決策だけ早く知りたい方は前半まで読んでもらえれば大丈夫です。 前提 言語はScala/Java ビルドツールはsbt or Maven 実行可能なjarを生成するために本記事ではsbt-assemblyを使っている Sparkのバージョンは最新の2.3.2 (2018年8月現在) GeoIP2ライブラリのバー
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
