General InformationDocumentationDeveloper Articles & TopicsCommunity ForumsBlogUniversity
Captcha security check kodamatic.com is for sale Please prove you're not a robot View Price Processing
しばらく前にMongoDBのバックアップスクリプトのサンプルを探してみたが、mongodumpの例が多かったみたいだな。シングル構成のmongoでmongodumpをシェルで実行とか。こういっちゃ何だけど、それで済むならググらない。 レプリカセットのセカンダリで取得、かつ環境はAmazon EC2だからスナップショット取得するのがいい、という条件が重なると結局自作か。で、Pythonで書いてみたのが以下。本来は切り詰めてもっとスマートにするべきなのだが、ここではベタにやることそのまま書いている。でないと、書いた本人も忘れるから。 追記 AWSの認証情報は、/etc/boto.cfgに記載している前提です(過去記事参照)。 mongo_backup_ec2.py #!/usr/bin/env python # -*- coding: utf-8 -*- from pymongo import
記事投稿者:山下 晴規 記事公開日:2014/03/17 最終更新日: (この記事は約1年以上経過しています。) apacheアクセスログなどの時系列ログを、fluentd(td-agent)からMongoDB(ドキュメント指向データベース)とElasticSearch(検索エンジン)に取り込み、確認する方法を記載しています。 apache稼働サーバ(192.168.1.10)と、MongoDBとElasticSearch稼働サーバ(192.168.1.20)は、別サーバとしています。 1.apache稼働サーバの td-agent.conf apache稼働サーバ(192.168.1.10)におけるtd-agent.conf 設定を記載します。 source ディレクティブ設定(入力元)は以下になります。 <source> type tail path /var/log/httpd/ac
どうもこんにちは。検索サービス開発室にて非イケメン枠を担当している大平です。 twitterでは「@just_do_neet」と名乗っていますが、実際はさだまさしと自転車が好きな、ごく普通のサラリーマンエンジニアです。 さて、先日開催されました「第6回 MongoDB 勉強会 in Tokyo」にて、機会をいただき僭越ながら発表をさせていただきました。 7月末にリリースした「NAVER Photo Album」という写真共有アプリにてMongoDBを用いたという事もあり、テクニカルな方面に深掘りした内容よりも実践的なTipsの方が良いかなと思い、事例紹介という文脈で発表をさせていただきました。 発表させていただいた資料は以下になります。 構成としては3章立てです。仔細については資料を見ていただくとして、ざっくりご紹介すると以下のテーマについて話しました。 MongoDBを用いたデータの設
世界制覇をもくろむLINE――ベールを脱いだプラットフォームの全体像とは:LINE Developer Conferenceまとめリポート(前編)(3/3 ページ) LINEにおけるネットワーク周りの高速化への取り組み LINEビジネスコネクトなどの利用が本格化していくと、サービスや通信の負荷は増大していく。LINEでは、サービスの高速化に向けてどのような取り組みを進めているのだろうか。 SPDYの最適化 LINEのクライアントとサーバー間は、HTTPを拡張して高速化を図ったプロトコルである「SPDY」をベースに通信を行っている。なぜSPDYの仕様をそのまま使っていないかというと、LINEサーバーの場合は、通信の相手はLINEアプリしかなく、UserAgentは1種類に限定される。UserAgentが未知の状態でサーバーがリクエストを受け付ける場合、どのプロトコルで相手と通信するかを最初に
TOPICS Data Science , Database , Python 発行年月日 2014年04月 PRINT LENGTH 236 ISBN 978-4-87311-671-6 原書 Agile Data Science FORMAT PDF 本書は、データの収集・集約・解析・レポート化をアジャイルに行うアプリケーションを構築するための考え方と方法を解説します。Python、Apache Pig、D3.jsライブラリのような軽量ツールを使い、メール受信ボックスを使ったデータマイニングを行うためのサンプルアプリケーションを作成します。データを解析するためのアジャイルな環境を作る方法やツールの組み合わせ方などを解説し、さらに行いたい解析やデータの特性によって解析の手段を変更できるようにする方法も学びます。日本語版では付録としてクラスメソッドの能登諭氏と佐々木大輔氏による「Fluen
最近発売された技術評論社のムック「データベース徹底攻略」に寄稿しました。 この本は、データベースのための本ということで、データベース設計、SQL、MySQL、Redis、MongoDB、Redshiftという代表的な要素技術についてのまとめとなっています。各プロダクト(MySQL、Redis、MongoDB、Redshift)については、現場で実際に本格的に使われている方々による記事なので大いに参考になると思います。 私は冒頭のまとめ記事を寄稿しました。詳細はぜひお手に取って読んでくださればと思います。ここでも自分が各技術を現時点でどのようにとらえているか、本ではいささか書きづらい内容について、最近流行りの言葉でもある「技術的負債」という観点も踏まえて書いておこうと思います。 ・MySQL (RDBMS) 私はMySQLの中の人でもありましたし、これまで至るところで話してきたので省略します
Grails用MongoDBプラグイン、バージョン 2.0 リリース! プラグインの情報: http://grails.org/plugins/mongodb 本家リリース情報: http://grails.org/news/1289916 GeoJSON対応 SSLコネクション対応 MongoDBコネクションURI対応 バッチ削除・更新対応の最適化 さらに! プラグインの中で使用されているコア部分の、MongoDB用GORM系ライブラリがSpring BootやGroovyスクリプトからも使用可能になりました。 Spring Bootサンプルコード https://gist.github.com/graemerocher/9683543 Groovyスクリプト https://gist.github.com/graemerocher/9683650 詳しい情報は、プラグインのドキュメント
Integration of Hadoop and MongoDB, Big Data’s Two Most Popular Technologies, Gets Significant Upgrade | 10gen, the MongoDB company MongoDB Connector for Hadoopは、Hadoopへの入出力データとしてMongoDBを使えるようにするソフトウェアで、新バージョンでは主に以下の機能が追加されています。 Apache HiveからMongoDBのデータへSQLライクな問い合わせ インクリメンタルなMapReduceジョブのサポートによる、アドホックな分析を容易に実現 MongoDB BSONファイルをHadoop Distributed File System(HDFS)上に保存することで、データの移動を削減 これにより以下のようなメリットが
追記 2/22 毎回微妙に追記していますが、今回も追記です。最後にmongodbのinsert性能について80lines/secで厳しくなった、と書いてますが、環境か設定まわりがあやしいので訂正します。もうすこし検証してみようと思います。 → 検証して fluentd側の設定の問題であることが分かりました。詳しくは、http://blog.stanaka.org/entry/2013/02/22/171053 追記ここまで 最近は、fluentd + mongodb でログを蓄積していろいろ便利に使っているわけですが、数分に一回集計スクリプトを周したり、 GrowthForecast の画面をリロードしまくるのではなく、もっとリアルタイムで見たい! という欲求が募ってきたので、 node.js を使って実装してみました。( https://github.com/stanaka/realti
前回はMongoDB Shellからでしたが、今度はJava系の言語からMongoDBを扱ってみたいと思います。 今回行うのは、前回の縮小版です。 http://d.hatena.ne.jp/Kazuhira/20130613/1371127093 はい。 で、対象はJava、Groovy、Scalaで。それではいってみましょう。 *Clojure版も書きました http://d.hatena.ne.jp/Kazuhira/20130901/1378019591 Java Javaは、オフィシャルなドライバが提供されています。今回使ったバージョンは、2.11.1ですね。 Java Driver http://docs.mongodb.org/ecosystem/drivers/java/ Getting Started with Java Driver http://docs.mongod
米IBMは2013年6月6日(米国時間)、NoSQLのデータベース(DB)の「MongoDB」を開発する米10genと提携すると発表した。IBMはMongoDBのデータ形式やクエリー言語に関する規約である「BSON」の標準化に参画するほか、BSONをIBMのリレーショナルDB「DB2」やインメモリーDB「WebSphere eXtreme Scale」で利用可能にする。 IBMでは10genとの提携の理由として、MongoDBがモバイルアプリケーションやWebアプリケーションの分野で、代表的なNoSQL DB技術になっていることを挙げた。IBM製DBがBSONに対応することで、DB2などのIBM製DBに情報を蓄積しているユーザー企業は、MongoDBをバックエンドとするモバイルアプリケーションからIBM製DBに蓄積されている情報を活用できるようになる。 IBMは「IBM MobileFir
はじめに 前回の記事では、MongoDBを使ったアプリケーション開発の前提知識として、MongoDBの基本概念と基本操作を解説しました。今回は実際にSpring Data MongoDBというフレームワークを用いて、MongoDBを操作するアプリケーション開発を行っていきます。 Spring Data MongoDBとは Spring Data MongoDBの前に、まずSpring Dataについて触れておきたいと思います。Spring Dataとは、Javaのフレームワークとして著名なSpring Frameworkのサブプロジェクトの一つです。従来、SpringではデータアクセスをサポートするコンポーネントとしてSpring JDBCを提供したり、O/RマッパーとしてHibernateやJPAをサポートしていました。しかし、あくまでもデータストアとしてRDBMSが利用されることを前提
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く