死んでしまったサービスの供養
この記事は 闇アドベントカレンダー、 22 日目の記事です。何書こうか迷って担当日に書けなかったので三日ほど遅れてしまったけど書きます。 2011 年の 10 月から FANIC という音楽配信サービスの開発に携わっていたのだけど、サービスを成長させることができず、 2013 年の 8 月にサービス終了した。 サービスが死ぬのは技術者がクソだということだけではないと思う。市場とか外部環境に左右されるし、企画とか売り方がダメなことの方が多いと思う。しかし現実に自分はプログラマーとして FANIC というサービスの死に荷担してしまった。弔いになるか分からないけど、 FANIC で何がよくて何が良くなかったのかを書いてみたいと思う。 FANIC とは FANIC は主にアマチュアのミュージシャンをターゲットにしたホームページ作成＆音楽販売サービスで、アーティストは自分の公式ホームページを簡単に作
MongoDB 深くネストしてしまった要素を検索する
データのネストを深くしてしまった!! 何でもMongoDB様は入れることができるので、 調子に乗ってあれよこれよとデータをくっつけていたら思いのほか配列の配列になってしまって、 どうやって取るんだこれみたいな感じになってしまいました。 こんな感じ、 { "_id" : ObjectId("53a8590e2d8a3d0169bcf5b8"), "MongoID" : "xxxxxxxxxxxxxxxxxxxxx", "data" : [ [ "data1", "data2" ], [ "data1", "data2" ], [ "data1", "data2" ] ] } $elemMatchを利用して配列以下のデータを取得 $elemMatchを利用して配列以下の中身に対して$inをかけて取得します。 http://docs.mongodb.org/manual/reference/op
45歳以上はMongoDBを使ったシステムが使えなくなる件 - Qiita
MongoDBを使うシステムが、最近多いと思います。 2.6系(安定版)の最新2.6.7ですが、Date型のインポート処理にバグがありそうです。 「1970/01/01」以前の Date型 を mongoexport すると、負の "$numberLong" として出力されるのですが、それを mongoimport すると、それ以降のフィールドが欠落してしまうのです。 例えば、ユーザマスタに「誕生日」フィールドがあると、45歳以上の人は「1970/01/01」以前の値が入っているわけで、マスタデータを移行したりでもすると、その人のフィールドがガッツリ無くなってしまいます。でも若手は大丈夫だから「どうせ部長の使い方がおかしいんでしょwww」といういつもの「偉い人に限って障害が発生する」パターンが展開されます。 大急ぎで調べた所、以下が判明しました。 2.6形式
MongoDBのメモリの使い方とプレヒーティング - Qiita
MongoDBのMongoDBのメモリの使い方とプレヒーティングについて簡単に解説します。 前提はMongoDB ～2.6 on Linuxです。2.8の新しいストレージエンジン(wired tiger)ではこの話は関係ありません。 MongoDBのメモリ管理 まずMongoDBがどうやってメモリを管理しているかですが、 結論から言うとメモリは管理していません。 OSにすべてを任せています。具体的にはLinuxOSのmmap()というシステムコールを利用しています mmapとは？ mmapはファイルシステム上のファイルをメモリにマッピングして、プロセスからはメモリ上に乗せられたファイルの中身に高速にアクセスできる仕組みです。 プロセス起動直後にmmapでファイルをマップしても、最初は何もメモリには乗りません。 プロセスがファイルを読み取ろうとしたときに初めてメモリに乗せます。 その後はメモ
php×mongodbで配列のn番目の要素(index)について集計したいときメモ(find*cursorでゴリゴリ、groupby、aggregate*unwind) - tweeeetyのぶろぐ的めも
はじめに mongodbでのデータ集計で 配列のn番目の要素に関して集計したかったときのメモ 特にjsというよりはphpで この記事のサンプルのメインはjavascriptです。 実際はMongoDB PHP ドライバからMongoへアクセスする必要があったので javascriptで試す ↓ phpに置き換えてバッチとか作成 って流れでやったのでその所感もつづっておきます。 とはいえ文書だと説明しずらいのでまずは事例から 集計したい事例 集計したいデータ データは以前の記事で1億件つっこんでみたデータと同じものにしました ただしドキュメント数は100分の1(100万件)ほど。 どんなデータか ゲームやらなんやらでポイントGETするたびに１ドキュメントinsert insertされるのはポイントの総計と内訳 内訳は、[GETしたポイント + ボーナスポイント]の配列 ボーナスポイントはGE
MEAN(MongoDB, Express, AngularJS, Node.js)を解説する
MEAN(MongoDB, Express, AngularJS, Node.js)を解説する 前に触った感想です。 MongoDB 良くも悪くもNoSQL。トランザクション無を補うためスキーマが基本汚くなる。 汚いスキーマにアプリケーションの変更が入って安全にデータが壊れる。 結局、不整合が起きてバッチに頼る。バージョン変えるとデータが壊れる。スケール環境は不安定になって止まるのは基本。基本いつのまにか変更されて変な動きして死んでる前提で、動く/戻せる環境構築できない奴は死ぬ Expressシンプルに書けるんじゃなくて、薄い機能しか無い。ミドルウェアをたくさん詰むことになり、ミドルウェアのチェーンは黒魔術詠唱と変わらん。 唱えた本人もどうなるか分からないのがざら。エラーが勝手に握りつぶされるのは基本。 落ちるのがミドルウェア内のエラーとか基本。 いつの間にか落ちるのも基本。基本いつのまに
MEAN(MongoDB, Express, AngularJS, Node.js)スタックが優れている理由 - Mozilla Open Web Day in Tokyoを終えて - albatrosary's blog
MEANとは、LAMP(Linux, Apache, MySQL, PHP)に変わる技術としてじわじわと注目されはじめているアーキテクチャです。このアーキテクチャMEAN(MongoDB, Express, AngularJS, Node.js)は、シンプルでかつ強力なアーキテクチャで、現在のJavaを利用したアプリケーション開発とは一線を画すところです。HTML5開発にとってJavaの役割が殆どなくなるというのも注目すべき点だと考えます。MEANで一般的に言われる注目すべき事項は次のところです： JavaScriptフルスタックである データモデルとしてクライアントからデータベースに至までJSON そして、この記事を書こうと思ったきっかけですが、2014/10/5(日) Mozilla Open Web Day in Tokyo | Mozilla Japan でのMEAN解説展示で、様
MongoDB Index基本 - L4L
MongoDBのIndexメモ Indexの作成 1 db.things.ensureIndex({a: 1}); フィールドaに対してIndexを作成する。すでに作成済みであれば何もしない。 試してみる テスト用のCollectionを作成。 1 2 3 > for (var i=0; i<10000; i++) { ... db.things.save({a: i, b: i*i, c: i*i*i}) ... } 初期状態でのIndexの作成状況を確認。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 > db.things.stats() { "ns" : "test.thi
MongoDBでReplicaSetにメンバーを追加／削除する方法と、その注意点 - matsukaz's blog
MongoDBで、ReplicaSetにメンバーを追加／削除する方法は、Adding a New Set Memberにある通りです。 rs.add("node1:27018");で追加したり、 rs.remove("node1:27018");で削除したり。 追加する際は 既存データを物理的にコピーしてきて戻す方法 カラの状態から同期を取る方法 があります。 1000万件程度であれば、1.でも数分で終わる模様。数億件以上ある場合は、2.で戻した方が作業が早いかもしれません。 注意点1 その際に気をつける点は、local.*のファイルはコピーしてこないこと。local以外のコレクションに対応するファイルだけコピーしてきて、あとは起動後にrs.add()すればOKです。local.*がいると、データの整合が取れなくなって「still initiating」って状態で止まってしまいます。これや
sourceforge.jp
We’re getting things ready Loading your experience… This won’t take long.
GitHub - frankdejonge/Monga: MongoDB Abstaction UNMAINTAINED, go here ->
Monga was created with the acknowledgement of the MongoDB PHP package already being pretty awesome. That's why in a lot of cases Monga is just a simple wrapper around the MongoDB classes. It provides some helpers and helps you set up queries using a query builder. Which you cal also choose not to use! All will still works accordingly. During the development a lot of planning has gone into creating
MongoDBをためしてみた - D-ramu blog
NoSQLが話題になりはじめてそろそろ1年くらいになるでしょうか。仕事ではMySQLで足りているしスケールアウトが求められる案件もでてこないので触ることもなく時は過ぎ・・ 触ってみなければと、Herokuで使えるということもありMongoDBを使ってみました。 環境はCentOS5.5。 インストール ここから環境にあったものをダウンロードします。 $ wget http://fastdl.mongodb.org/linux/mongodb-linux-i686-1.6.5.tgz $ tar zxvf mongodb-linux-i686-1.6.5.tgz $ cd mongodb-linux-i686-1.6.5/binデータベースを作成するディレクトリを適当に作成します。 $ makedir ~/mongodbbinディレクトリ内のmongodを実行するとフロントエンドで起動するみ
はじめてのmongoDB 入門編 構築・設定・ツールまとめ
最近、巷ではRDBMSでなく、NoSQLの話題が出てくるようになりました。 NoSQLとは、リレーショナルデータベース（RDBMS）を象徴するSQL言語がない （NoSQL）から誕生した言葉です。 最近では、「Not Only SQL（SQLだけじゃない）」の略という解釈が一般的です。 Hadoop、Cassandraや、先日のNoSQL勉強会で聞いた、 okuyama、Riak、Couchbaseなどがありますが 今回は、MySQLに近い感じで開発などにも利用出来そうな 「mongoDB」について調べてみました。 折角調べてみたので、BLOGにまとめておきたいと思います。 濃！Know！NoSQLセミナー http://togetter.com/li/418464 mongoDB概要 mongoDBは、オープンソースのドキュメント指向データーベースです。 NoSQLデータベースの、1種に
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
MongoDB: システム可用性を拡張するインデクス戦略
ても日記
Release Notes for MongoDB 3.4 — MongoDB Manual