Pythonで大量データ処理！PySparkを用いたデータ分析のきほん #pyconjp #pyconjp_202ち @chie8842 フリーランスでデータ/AI戦略、データ/ML基盤/AI導入支援などやってます。ex-MongoDB, ex-AWS, ex-google. お仕事の依頼はDMまでお願いします。 https://t.co/xRWKasCa0Q
機械学習 x PySparkでアルゴリズム開発をサクサクやる検証
こんにちは、プレイドの @nashibao です。 ちょっと前になりますが、PySparkの勉強会向けにPySparkの機械学習ライブラリであるmllibを弄ってみたりして面白かったので共有しようと思います。 コンテンツ 実験の動機 PySparkの紹介 MLLibのアルゴリズムの拡張 感想 この検証はPyData Tokyo #3の発表にかこつけて行われたので、その時の発表資料も貼っておきます。 PyData Tokyo Meetup #3での発表資料 実験の動機 分散環境での機械学習は実装が面倒なので、どこで実験するかは結構重要かな、と思います。その中でPythonが研究者周りでよく使われてる & ライブラリが豊富 & Spark扱いやすそう、というのもあってPySparkは人気のある候補な気がします。 ちなみにプレイドでは購買系やその他ディープなデータを数PBレベルでいじくりまわして
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
