スタバのTwitterデータをpythonで大量に取得し、データ分析を試みる その１ - Qiita
from requests_oauthlib import OAuth1Session from requests.exceptions import ConnectionError, ReadTimeout, SSLError import json, datetime, time, pytz, re, sys,traceback, pymongo # from pymongo import Connection # Connection classは廃止されたのでMongoClientに変更 from pymongo import MongoClient from collections import defaultdict import numpy as np KEYS = { # 自分のアカウントで入手したキーを下記に記載 'consumer_key':'**********',
「MEANスタックで始めるWebアプリ開発入門」最新記事一覧
MongoDB、Express、AngularJS、Node.jsで構成されるMEANスタックを用いたWebアプリの開発方法について紹介していく連載。 MEANスタックで始めるWebアプリ開発入門（終）： AngularJSユーザーのためのAngular2超入門 MEANスタックを用いたWebアプリの開発方法について紹介していく本連載。今回は、前回カスタムディレクティブで解説しきれなかった内容と、最近リリースされたAngular2を紹介します。（2016/11/17） MEANスタックで始めるWebアプリ開発入門（10）： AngularJSを使いこなすなら絶対に知っておきたいフィルタとカスタムディレクティブの基本 MEANスタックを用いたWebアプリの開発方法について紹介していく本連載。今回は、AngularJSでもよく使用する機能であるフィルタの使い方とそのカスタマイズ方法、そして、独
MEAN(MongoDB, Express, AngularJS, Node.js)を解説する
MEAN(MongoDB, Express, AngularJS, Node.js)を解説する 前に触った感想です。 MongoDB 良くも悪くもNoSQL。トランザクション無を補うためスキーマが基本汚くなる。 汚いスキーマにアプリケーションの変更が入って安全にデータが壊れる。 結局、不整合が起きてバッチに頼る。バージョン変えるとデータが壊れる。スケール環境は不安定になって止まるのは基本。基本いつのまにか変更されて変な動きして死んでる前提で、動く/戻せる環境構築できない奴は死ぬ Expressシンプルに書けるんじゃなくて、薄い機能しか無い。ミドルウェアをたくさん詰むことになり、ミドルウェアのチェーンは黒魔術詠唱と変わらん。 唱えた本人もどうなるか分からないのがざら。エラーが勝手に握りつぶされるのは基本。 落ちるのがミドルウェア内のエラーとか基本。 いつの間にか落ちるのも基本。基本いつのまに
MEAN(MongoDB, Express, AngularJS, Node.js)スタックが優れている理由 - Mozilla Open Web Day in Tokyoを終えて - albatrosary's blog
MEANとは、LAMP(Linux, Apache, MySQL, PHP)に変わる技術としてじわじわと注目されはじめているアーキテクチャです。このアーキテクチャMEAN(MongoDB, Express, AngularJS, Node.js)は、シンプルでかつ強力なアーキテクチャで、現在のJavaを利用したアプリケーション開発とは一線を画すところです。HTML5開発にとってJavaの役割が殆どなくなるというのも注目すべき点だと考えます。MEANで一般的に言われる注目すべき事項は次のところです： JavaScriptフルスタックである データモデルとしてクライアントからデータベースに至までJSON そして、この記事を書こうと思ったきっかけですが、2014/10/5(日) Mozilla Open Web Day in Tokyo | Mozilla Japan でのMEAN解説展示で、様
分散環境でどうなるかはテストしてみないとわからない - ワザノバ | wazanova
https://www.youtube.com/watch?v=QdkS6ZjeR7Q 1 comment | 0 points | by WazanovaNews ■ comment by Jshiike | 約2時間前 Kyle Kingsburyは、「クラウドにおいてもネットワークパーティションは起こりうるゆえに、DBなどのプロダクトはマニュアルやマーケティング資料で説明している仕様 & パフォーマンスを、分散環境では必ずしもだせない。」というテーマでの検証結果を公表しているブログのシリーズと、ストレス下での計測ツールJepsenで知られています。ここ1年半ほどで、 PostgreSQL / Redis / MongoDB / Riak / Zookeeper / NuoDB / Kafka / Cassandra / Redis / RabbitMQ / etcd / Consu
Mongooseを使って複数のMongoDBを1つのDBのように扱う方法 | Tokyo Otaku Mode Blog
Tokyo Otaku ModeではNode.jsからMongoDBにアクセスするのにODMとしてMongooseを採用しています。 Mongoose（ODM）を利用するメリットとしては、 collectionのSchema設計がコードに残る virtualなどデータ周りの機能がModelに集約できる populationが利用できる などが上げられます。 どれもサービスを効率的に作る上で助かる機能ばかりですが、とくにpopulationは別ドキュメントのreference（_id）を持っているだけで、自動的にドキュメントに展開してくれる強力な機能です。 一方で、DBロック回避の目的やある程度の規模になってDBを分割するようになると、別DBのcollectionをpopulateできないという問題がでてきます。 Mongooseの仕様上、特定DBへのconnectionとModel(col
AngularJS+NodeJS+MongoDB+OAuthでWebサービスを作る - Qiita
JavaScriptの勉強を兼ねて、Webサービスの作り方まとめです。 簡単なTodoリストを作ります。 AngularJS+NodeJS(ExpressJS)+MongoDB Webサービスを作るには色々と手段はありますが、今回選んだのは上記の組み合わせ。 サーバからクライアントまで全部JavaScriptで書けるためです。 MongoDBのサイトでは、MEANスタックなどと呼ばれている模様です。 以下、meanstack-sampleと名付けて、動くようになるまでにやったことを順番に書いていきます。 Yomanの設定 NodeJSでのREST MongoDBのインストールとNodeJSとの接続 AngularJSとRESTの連携 NodeJSでのOAuth認証 まとめと参考 Yeomanの設定 別エントリ参照 NodeJS(+ExpressJS)でRESTもどきを作る まずはサーバ側が
Node.js + Express + MongoDB でのセッション管理 - hogehoge
なんでMongoDBでセッション管理するのか Node.js + Express (Connect) で標準で提供されている MemoryStore でセッション管理を行うとメモリ上での管理になるため node が落ちるとセッションデータが消えることになりセッションの永続化ができませんし、動作確認もソースの確認も行っていませんが、production で起動した際に出力されるメッセージ（https://github.com/senchalabs/connect/blob/master/lib/middleware/session.js#L199）に Warning: connection.session() MemoryStore is not designed for a production environment, as it will leak memory, and will n
【デブサミ2012】16-C-2 レポート ピグライフのスケ―ラビリティを支える2つのインフラ「MongoDB」「Chef」
大規模環境でもスケーラビリティや冗長性を確保するMongoDB ピグライフはアメーバピグのサービス内ゲームであるが、まったく別のシステムで動作しており、アーキテクチャもまったく異なる。アメーバピグがJava＋MySQLという従来型のWebアプリケーションであるのに対し、ピグライフはアプリケーションサーバがNode.js、データベースサーバにはMongoDBを採用している。 MongoDBは、オープンソースのドキュメント指向データベースで、米10gen社によって開発・提供されている。いわゆるNoSQLの一種だが、KVSほど単純ではなく、JSONをベースとした「BSON（バイナリJSON）」によるスキーマレスで柔軟なデータモデルであることが特長だ。 本セッションの前半では、ビグライフでMongoDBを採用した理由とその運用成果について桑野章弘氏が発表した。その理由としては、次のようなアーキテク
MongoDB : サルでもわかるMapReduce · DQNEO日記
まずは「集計ができる」と覚えておきましょう。 最初はこれだけで十分でしょう。 利用事例 ある日、ピカチューがつぶやきサービスでつぶやき始めました。 ピカチューのつぶやきに対して、仲間からたくさんの「いいね！」ボタンが押されました。 あなたはつぶやきサービス管理人として、ピカチューのつぶやき数と、ピカチューがゲットした「いいね！」のトータル数を集計してみましょう。 準備 Mongoクライアントを起動して、DBを作成しましょう。 ./mongodb/bin/mongo MongoDB shell version: 2.0.1 connecting to: test > use sample; switched to db sample サンプルデータ ピカチューが３回つぶやいて、「いいね！」がたくさんつきました。 > db.entries.save( {username:'pikachu',
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
きっつ（KitS）｜画面の中で終わらない。手がよごれるICT
MongoDBを用いたソーシャルアプリのログ解析 〜解析基盤構築からフロントUIまで、MongoDBを最大限に活用する〜
http://dl.dropbox.com/u/224433/kamakura_pm_2/index.html
MongoDBで作るソーシャルデータ新解析基盤