手を動かす Spark MLlib & Word2Vec Part 2 （Wikipedia 英語版から Word2Vec モデルを作るまで） - 無印吉澤

このシリーズについて Part 2 の範囲 Wikipedia 英語版のデータからコーパス作成 最終的にやったこと つまづいたこと コーパスの、S3 へのアップロード 最終的にやったこと つまづいたこと spark-submit で使う jar の作成 最終的にやったこと つまづいたこと Amazon EC2 への Spark クラスタの構築（5台構成） 最終的にやったこと つまづいたこと spark-submit の実行 最終的にやったこと つまづいたこと(1)：ドライバのメモリ使用量を増やさないと落ちる つまづいたこと(2)：vocabSize*vectorSize が大きすぎると落ちる つまづいたこと(3)：モデルのサイズが大きすぎると akka のフレームサイズ上限を超えて落ちる ローカルマシン上での Word2Vec モデルの利用 最終的にやったこと パターン1：minCount