Spark on EMRで環境変数を渡す方法とちょっと注意点 - まーぽんって誰がつけたの？
公式docには書いてない？かも spark-env—spark-env.sh ファイルで値を設定します。詳細については、Spark ドキュメントの「Environment Variables」を参照してください。 公式docには、saprk-env.shで設定してくださいぐらいしか書いてなくてパッと分からなかった。リンク先のSparkドキュメント見ても、configurationで設定する方法なども見つけられなかった。 結局、別のAWSのブログ記事に書いてあるやつで、見つけられた。 spark-env.shじゃなくてconfigurationで設定する こういうconfigを書けばOK [ { "Classification": "spark-env", "Configurations": [ { "Classification": "export", "Properties": { "J
EMR上でMahoutを使ってレコメンデーション | DevelopersIO
7月にAWS Big Data Blogというブログが始まったのですが、最初の記事がBuilding a Recommender with Apache Mahout on Amazon Elastic MapReduce (EMR)というタイトルでEMR上でMahoutを使ってレコメンデーションを行ってみるというものでした。EMR上でMahoutというと既にAmazon Elastic MapReduce入門 〜 Apache Mahoutでレコメンデーション！というエントリーがありますが、こちらはAmazon EMR CLIを使っていることもあり、ブログにしてみました。 Building a Recommender with Apache Mahout on Amazon Elastic MapReduce (EMR)について まず機械学習の概要について説明した上でMahoutを使って
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
