Apach Spark + Spark MLlib + MongoDBでwikipedia記事をクラスタリング
JWordのO.Yです。 ビッグデータがムーブメントとなって久しく、用途はなんであれ今はHadoopを導入している企業さんも多いことかと思います。 JWordでもHadoopを導入しており検索クエリーの集計等に使用しています。 Hadoopは簡単に分散処理環境を実現することができますが、分散させる処理単位でmapreduceアプリケーションを書かなきゃならないので複雑な処理だとプログラム量が多くなりやすい、Hadoop Streamingを使用した場合には処理スピードが遅い（JWordでは開発効率を優先してPHPかPythonでmapreduceアプリケーションを書いている）、起動デーモンが多すぎる、メモリコントールが難しい（メモリ系の設定がたくさんありバージョンによって微妙に名前が変わってたり廃止されてたりする）、HDFSを必要としない場合でもセットで付いてくる等デメリットもあります。
MongoDB PyMongo 2.7.1 よく使う機能のまとめ
MongoDBへPythonからPyMongoを使用して接続。 PyMongoのチュートリアルを試してみました。 PyMongo 2.7.1のインストールと使い方(チュートリアル) チュートリアルに登場していない、よく使うことになりそうな機能を試してみます。 MongoClient MongoDBに接続するためのオブジェクトです。 ドキュメントはこちら。 mongo_client – Tools for connecting to MongoDB database_names()で、データベースの一覧表示。 drop_database(name_or_database)で、データベースの削除が行えます。 「mongo_test」というデータベースを作成して、名前を表示。 その後、データベースを削除するサンプルはこんな感じになりました。 # -*- coding:utf-8 -*-impor
PythonとMongoDBの勉強がてらにTweetを保存してみた | お絵描きするプログラマ
MongoDBにちょっと興味があったのでMongoDBイン・アクションを買って読んでます この本でTwitterからツイートをためて出力する例があるですが この本rubyで例題が書かれてるんです.. まえがきに例題はrubyで示しますが基本的な機能しか使わないので他の言語でもできるでしょうと書いてあるんだけどSinatraモジュールさらっと使っててえっ!!てなった PHPで作っても面白くないな〜と思ったのでPythonの勉強も兼ねてPythonでその例題を書いてみました 使用したもの MongoDB 2.4.9 Python2.7.5 pymongo twitter 1.10.2 Juno 0.1.2 jinja2 2.7.2 MongoDBはHomebrewで, モジュールはpipでインストールしました。 ファイル構成 . ├── config.py ├── templates │
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
