Apache Spark をたのしく使う話 (ローカル の Docker で試そう) - マンガ〜ノ伊藤ノ〜ト

前職で Apache Spark で鬼でかい 10 年分の記事データの形態素解析をゴリゴリするっていうことをしたことがあった． 辛い思いで実装したものだったが，それをインターネットに残してなかったのはもったいないな，という思いになった． なので，記憶のあるうちに残しておこうと思った． しかしながら，Spark の環境自体は自分ではない人に作ってもらってて， それに乗っかっただけだったので，インフラノウハウはなくて， Spark を支える技術，もよく知らないという状態にある． 現実的には AWS におまかせするということで，Amazon EMR とか AWS Glue でやるのがいいだろうけど， それもよくわからないということで，まず ローカルの Docker でやってみようと思った． 僕の理解では Spark は複数台でクラスタを作って worker に仕事をさせるのがキモなので， ローカ