This document discusses using MongoDB as a message queue. It summarizes the author's prior use of RabbitMQ, how MongoDB is now used at About.me for asynchronous and periodic tasks, and the benefits MongoDB provides as a message queue including sharding and durability. It also compares features of MongoDB queues to AMQP queues and provides code samples and performance benchmarks for using MongoDB a

タイトルのとおりですが、ケースとしてはFlaskみたいな軽いフレームワークでMongoDBをデータベースに使うModelを自分で実装するような場合です。 実際にデータベースを動かすModelのテストを書くときに、FlaskはフルスタックのDjangoと違って何も面倒を見てくれないので、自分でテストのときだけ使用するdbの作成、破棄などを行う必要があります。 やりたいことは、 テスト起動時にテスト用のdb('test')を作成 テスト用のデータ(json)を予めdbに入れておく Modelクラスのメソッドをテスト テスト終了時にテスト用のdbの破棄 という流れです。mongodの起動と終了まで面倒を見てくれるともっと便利なはずですが、今回はそこまで求めなかったので、mongodは事前に起動しているという前提になります。 *1 コードにするとこんな感じです。Python2.7で動作確認していま

この記事の対象は「サーバーって何？」くらいの人を想定しています。というか、これから何か作ろうというゼミの仲間に向けて書きました。ウェブについて「何も知らないのでまずはどういうものか知りたい」という人に役立てれば幸いです。 目次 ウェブとは HTMLとCSS クライアントとサーバー ローカル環境と本番環境 使う言語の選択肢 独学するためのいろいろ 今回紹介しなかったいろいろ 何を作る？（2014年4月、加筆） まとめ ウェブとは via: photo by Iguana Jo World Wide Webはとっても便利な通信手法です。ウェブ上では様々な資源がHTMLという言語で書かれた文書として、ハイパーリンクを通じてつながっています。 ハイパーリンク サイトひとつひとつのドメインを覚える必要も無くネットのコンテンツを楽しめているのはハイパーリンクのおかげと言ってもいいのではないでしょうか。

実践Vim　思考のスピードで編集しよう！ (アスキー書籍)posted with カエレバＤｒｅｗ Ｎｅｉｌ,新丈 径 角川アスキー総合研究所 2014-01-28 Amazonで探す楽天市場で探すYahooショッピングで探す 目次 目次 はじめに プラグイン管理 Neobundle 使い方 コメントプラグイン NeoBundle 'scrooloose/nerdcommenter' ファイル編集履歴リストプラグイン NeoBundle 'yegappan/mru' 括弧やクォーテーションを自動で閉じる NeoBundle 'Townk/vim-autoclose' ソースコードの自動整形 NeoBundle 'junegunn/vim-easy-align' 画面分割したウインドウのサイズをスムーズに変更するプラグイン NeoBundle 'simeji/winresizer' C++の

あけましておめでとうございます。濱野 賢一朗です。 1年は早いものですね。本当にあっという間に過ぎ去ってしまうものです。しかし、いざ1年を振り返ってみると、いろんなことが起きていたのだと実感したりもします。ここでは「ビッグデータ（Big Data）活用」が2015年にどう変化していきそうか、Hadoopの話題を中心に紹介したいと思います。 2014年を振り返る まずは、昨年を振り返ってみましょう。急浮上したバズワードという印象の「ビッグデータ活用」も、すこし落ち着いてきました。まだまだ浮ついた話を耳にしましたが、一方で、具体的な事例や技術の話も増えてきた1年でした。 システム基盤の観点では「Hadoop」の変貌が始まりました。皆さんご存じのとおり、Hadoopは並列分散処理を実現するオープンソースソフトウェアです。技術的側面での変貌は2015年に本格化すると思いますが、その下準備が着実に行

はじめに みなさんこんにちは！ この記事は「必要最小限の努力で最大限実戦で使える知識を提供するRSpec入門記事」、略して「使えるRSpec入門」の第4回です。 今回はCapybaraを使ったフィーチャスペックについて説明します。 ただし、今までの記事とは異なり、フィーチャスペックのイロハよりも「Capybaraの使い方」に重点を置きます。 なぜなら、僕個人の経験からいって、フィーチャスペックで困るのは「このブラウザの操作って、どうやってコードで表現するの？？」というケースが大半だからです。 それ以外は第1回～第3回の内容をそのまま応用できるので、特に「フィーチャスペックだから困る」ということはないと思います。 今回は説明する主な項目は以下の通りです。 フィーチャスペックの基本 ページの移動や画面のクリック、フォームの操作など 画面やフォームの検証 画面の操作や検証の応用テクニック その他

あなたとスレッドダンプ - スレッドダンプ入門 - この国では犬が が非常にわかりやすく、自分でブログエントリを書く必要はないが、Oracle Database や Linux の性能分析に携わる者の観点から Java のスレッドダンプについて整理してみた。具体的なスレッドダンプの分析方法はサポートエンジニアが語るWebLogic Serverトラブルシュートのノウハウがとてもわかりやすい。 WebLogic のスレッドダンプの見方については id:yamadamn さんの スレッドダンプから見るWebLogic Serverの世界 #javaee - yamadamnのはてな日記 がわかりやすい。 スレッドダンプとは Javaのスレッドのスナップショット。 取得した瞬間のJava仮想マシン(JVM)内に存在するスレッド（ID、名前、状態、タイプなど）とコールスタックを見ることができる。

こんにちは。正月から小ネタを投下する男、せーのです。 今回はCloudFormationのテンプレートに新しい項目が追加されたよ、というお話です。 CloudFormationは地味に進化し続けている AWSサービスはかなり早いスピードで新機能やアップデートが繰り返されていきます。CloudFormationは基本的にAWSサービスをJSONにてテンプレート化して表現しているものなので、新機能のリリースに合わせてCloudFormationもアップデートしてくれると嬉しいのですが、なかなかそういうわけにもいかずCloudFormationに新機能やアップデートが反映されるのにはどうしても少しタイムラグがあります。 新しい機能がリリースされた時は注目を浴びるのですが、そのうちその機能が当たり前のものになっていき、CloudFormationに反映される時には必然的にひっそり追加されることにな

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

Gunicornで動いているアプリをサーバー側で起動、再起動ができるようにした。 プロセスを止めるにはpidを指定してkillすればいいということを学んだ。 gunicorn.conf.py usr/bin/python gunicorn.conf.py bind = "0.0.0.0:5000" workers = 2 worker_class = 'sync' max_requests = 1000 timeout = 30 keep_alive = 2 preload = True daemon = True GUNICORN=/usr/bin/gunicorn ROOT=/your/app/path PID=/var/run/gunicorn/your.pid APP=run:app if [ -f $PID ]; then rm $PID; fi cd $ROOT source

予選の時間内では足りてないことばかりだったので、もう少し試行錯誤することにしました。 #isucon 2014の予選をほぼ一人で戦うハメになった話 - orangain flavor 目標は50000点、できれば60000点出したい。 予選終了時 Python実装 DBはRedisのみを使う Cookieがないときだけnginxで静的ファイルを返す Gunicornを使ったマルチプロセスモデル ワーカー数10、ワークロード10 最終提出スコア: 32710 細々とした改良 nginxの設定を追加。 redis-pyのパーサーをhiredisに置き換え。 テンプレートエンジンを使わないよう変更。 アプリを見なおして、RedisのRead/Write数を削減。 スコアはあまり上がらず 32912。 Gunicornのワーカーをmeinheldに置き換え 前回のエントリのコメントで id:met

最近、redmineやら、joruri gwやら、python,pyramidで作った自作アプリやら、trac(bloodhound)やら、色んなサービスを動かしています。 しかしながら、インフラ周りを触れる人の少ないこと少ないこと。 公開されていて、簡素なドキュメントのあるWebアプリですら、挫折してしまうこと有りますよね。 （私にも身に覚えが。。。 と言うのは、Webに求められている事が大変多くなっていることに原因があると思われます。 javascriptなどを用いたアーキテクチャの変異などアプリケーション層が複雑化してきている事 フレームワークの手厚いサポートにより、 開発者はアプリケーション層に専念できるようになっていること(その反面、インフラまで手が伸びない。 また、昔ほど長期間エンジニアを抱えてる現場も少なくなってきたように感じます。 一つの言語やフレームワークを使ってノウハウ

簡単なアプリならPyramidで書けそうな感じにはなったので、次はDeploy周りについて調べてみた。 pipでインストールできるし定番っぽいところでGunicornの上で動かしたので手順をメモっておく。 インストール 新しいvirtualenv作ってそこにインストールしていく。 $ mkvirtualenv --distribute --no-site-packages --python=python2.7 gunicorn $ pip install pyramid gunicorn Pyramidアプリケーション生成 適当なディレクトリにscaffoldからpyramidアプリを作る。 $ mkdir dev $ cd dev $ paster create -t pyramid_starter sample $ cd sample $ python setup.py develop

gunicornをdaemontoolsで死活監視したことあるか的な質問がどこかに流れていたので、手順を簡単にメモっておく。OSの環境は debian(leny)を例にとります。 gunicorn て何よ？、daemontoolsて何よ？って人はこちからどうぞ。 gunicornメモ - 偏った言語信者の垂れ流し Django アプリサーバ、gunicorn と fastcgi の比較 - Ian Lewis daemontools 1. daemontoolsのインストール よくネットで調べると「daemontools-installer」が出てくるけど、もう最近のでは無いというか普通にdaemontoolsだけでインストールできるようになってる。 sudo apt-get install daemontools daemontools-run 2. gunicorn のインストール お

以下メモ。 nginx をリバースプロキシにして、Unix domain socket で Gunicorn/meinheld で起動している。 開発/テスト環境ではサーバで gunicorn_paster*1 してるだけだったけど、さすがに本番の運用環境ではマズいと思い、daemontools を入れた。 # 因に daemontools を使うのは初めて…。 環境が Fedora なので daemontools を RPM でインストールする。 $ wget http://www.qmailtoaster.com/download/stable/daemontools-toaster-0.76-1.3.6.src.rpm $ rpmbuild --rebuild daemontools-toaster-0.76-1.3.6.src.rpm $ cd ~/rpmbuild/RPMS/x8

適当なスクリプトをデーモン化しようと思った時の典型的な要件が以下であるが、この記事でも紹介したpython製のプロセス管理ツールであるSupervisorを使うことによって解決できる。 プロセスの生死の監視する プロセスが死んだら勝手に再起動する 標準出力やエラー出力のログを取る 場合によっては複数プロセスを起動したい プロセスのステータスを簡単に確認したい この記事では、プロセス管理ツールSupervisorの導入を簡単に紹介する。 インストール easy_installからインストールできる。そもそもeasy_installが入ってない場合は以下みたいにインストール。 $ curl -O http://peak.telecommunity.com/dist/ez_setup.py $ python ez_setup.pySupervisorをeasy_installからインストールしま

この1ヶ月、土日の休みを使いTUBELONGERってWebアプリをつくってました。 言語はPython。 Pythonは日本語の取り扱いが若干面倒だったりするけど、書いてて楽なので好き。 以下、PythonでWebアプリをつくるにあたって調べたり分かったりしたことのメモ。 構成 OS：さくらVPS CentOS 5.5 サーバ：Nginx + Gunicorn データベース：MySQL 当初はGoogle App Engineで開発を進めてたけど、データストアの使い方を調べるのにいちいち時間をとられたり、Cron的な動作に制限があったりといろいろ面倒くさかったので、途中からroot権限のあるサーバでいちから構築する方向に切り替えました。 やっぱりroot権限は自由度が半端じゃないです。 GAEがダメってわけではないです。 むしろ僕の知識が足りなすぎて学習コストが尋常じゃなかったのでまた今度

SQS等のキューを介して非同期に処理を行う Queue Chain パターンを実装する場合、SQSに突っ込む処理はWebアプリ等の処理中に書けばよいので特に考えることはないが、SQSからメッセージを抜いて後続の非同期処理を実行するワーカープロセスをどのように起動管理するか？が肝になる。非同期処理を出来るだけ早く処理したい場合は特に。 JavaならMDB(Message Driven Bean)のような仕組みがすでにあるが、軽量言語(PHP,Pearl, Ruby, Python,etc)向けに何かうまい方法を用意したい。Cronで１分間隔起動だと、処理時間によっては重複起動になるし、そもそも分単位での制御しかできないので出来れば常駐化させたい。言語ごとには解決策があるのかもしれないが、もう少し汎用的な仕組みが欲しい。 で、辿り着いたのが Supervisord というプロセスをデーモン化(

第1回『いまさら聞けない！システム運用・管理のコツ』　『クラウド管理・運用サービス「E.C.O」のご紹介』Naoya Hashimoto

ディストリビューションで用意されていないパッケージをデーモン化したい場合、supervisorが便利です。init scriptを書くという面倒な作業をやらなくても簡単にデーモン化できます。それだけでなく、プロセスが終了してしまった場合に自動的に起動したり、一定数のプロセスを維持したり、標準出力のログをローテーションしたりといった便利な仕組みが用意されています。 インストール ここではRHEL 6 + EPELを前提とします。他のディストリビューションでもだいたい同じかと思います。 easy_installもしくはpipで最新版をインストールします。 sudo yum install python-pip sudo pip-python install supervisor supervisorのinit scriptはGitHubの公式リポジトリに用意されています。 git clone

Supervisordとinit.dの起動の図やらなんやら。 合わせてこちらもご参照ください。 http://d.hatena.ne.jp/graceful_life/20131201/1385912995

Docker の Container Image は，ソースコードを Github で管理するように，Docker Index というサイトで管理することができます． このエントリーでは，Docker 自身の使い方ではなく，Docker Index の使い方について簡単に紹介します． この記事では，つぎのような流れになります． Docker Index の紹介 Docker Index にリポジトリ作成 Docker Container Image の作成と Docker Index への push Docker Container Image に変更そ加えて Docker Index へ push この記事を通して， Github でソースコードを管理するように手元の Docker Container Image を Docker Index で管理するための一連の流れを紹介します． D

Dockerコンテナはどのように使うべきか悩みます。 ①すべてDockerfileでデプロイ部分まで記述してしまう。 -> コンテナビルドする度に最新のアプリケーションをビルドして起動する 一番シンプルかつやりやすそうなパターン。Dockerコンテナをそのままプロダクション環境にデプロイすることが可能なのであればこのパターンを取るのが一番楽そうな気がします。現環境だと、Dockerはまだプロダクションで使うべきでないと、Dockerが公式で言っているので(去年の話だけど)まだ早い感じ。 ②コンテナは環境構築だけですまして、Capistoranoなどのデプロイツールを使ってコンテナにデプロイする。 ->まあいわゆるステージング環境としてDockerコンテナを使うパターンでしょうか。アプリケーションに必要なプロビジョニングなんかはDockerfileに書いて済ましてしまう。アプリケーションはあ

MacからVMを介してダイレクトにSSH接続可能なDockerコンテナを作るDockerfileを作ってみました。プラス、それを便利に管理出来るツールProxyDockerも作ってみました。 今回作るコンテナは MAC -> Vagrant -> Docker Container とsshを２段行なわなければいけなかった問題を MAC -> (VagrantはProxyとして無視) -> Docker Container として、1回ssh接続をするだけでDockerContainerに接続可能にするような設定としております。 sshのProxyCommandを利用して作ってみました。 ブログ記事を色々と参照させて頂きながら作ったのですが、そのままのレシピだと動かないものが多かったので、1から作れるように手順を書いておきたいと思います。 ソースはここ(セキュリティ的に危ないものが抜けてるの

Dockerのブログでunionizeを参照していたけど、unionizeはpipelineを使えば良いっていってる。 なので、pipelineを使用してDockerコンテナのvirtual networkを構築して見る。 1.コンソールを２つ開いて、コンテナを２つ立ち上げる Console A vagrant@precise64:~$ docker run -t -i centos bash-4.1# Console B vagrant@precise64:~$ docker run -t -i centos bash-4.1# 2.もう１つコンソールを開いて状態を確認 Console C dockervagrant@precise64:~$ docker ps CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES 4503a71d4

プロジェクトを閉じて開いてをもっと効率よくしたい！ってことでtmuxinatorをインストールして使い始めるまでを書いてみました。tmux,tmu-powerline,tmuxinatorまで一通りそろってインストールするドキュメントが無くて手間取ったのでまとめておきました。 目次 tmuxのインストール tmux-powerlineのインストール tmuxinatorのインストール 1. tmuxのインストール まずは最初にtmuxをhomebrewからインストールします brew install tmux 設定ファイルを生成して、設定を追加します。 vim ~/.tmux.conf #------------------------------------- # キーバインド設定 #------------------------------------- # prefixのキーバイン

Dockerすごい面白そうです。 最近ハッカソンに行ったりして、プロダクション環境へのデプロイ周りですごいはまった。特にお金もない自分は１つのサーバーの中にいろいろとアプリケーションをデプロイしちゃっている訳ですが、もうごちゃごちゃになって触りたくなくなりそう...。新しくサーバーをデプロイしたいけども、既存のサービスまで影響が及ぶ危険性もあり、めんどくさいなー。あと、あとできっと破棄するだろうけど、もとに戻すこともかなりめんどくさいし、そんなことやりたくないしなー。もっとアプリケーション毎に気軽に（そしてお安く）デプロイ出来ればいいのになー。 と思っていた訳ですが、最近Dockerというものを目にしまして。 Docker, Mesos, Sensu等を利用したBlue-Green Deploymentの仕組み 本番環境のBlue-Green Deploymentの仕組みのプロトタイプを作

Capistrano3で快適なデプロイ生活を目指しています。Railsで定数設定ファイルをgitから外して管理する方法。と組あわせれば、最高なデプロイ生活が待っていること間違い無しです。 が、Capistrano3のまとまった情報があまり手に入らず(Capistrano2とどっちかよくわからんし)、導入の際にかなり苦労したので、インストールから設定までをさらしておきます。 環境: Ruby 2.0.0-p247 Rails 4.0.0 Apache Passenger Server:CentOS6.4 公開鍵認証設定済み Capistranoとは Rubyでできたソフトウェアデプロイメントツールです。 Capistranoは分散環境へのウェブアプリケーションのソフトウェアデプロイメントを簡素化および自動化するために設計されています。 アプリのデプロイの際に生じるいろいろな作業をコマンドで自

一つのコンテナの中で、sshdを動かして、nginxを動かして、mysqlを動かして…みたいなことってやりたくなると思います。でも、Dockerでは、プロセスを起動させるコマンドを一つしか選択出来ない訳です。 CMD ["service","nginx","start"] CMD ["/usr/sbin/sshd","-D"] とか RUN service nginx start RUN /usr/sbin/sshd -D みたいなことは出来ない訳です。ということで、Python製のプロセス管理ツールであるSupervisorを使って同時に起動させることが可能なコンテナを作りたいと思います。 ソースコードはこちらです https://github.com/yss44/docker_supervisord MacからSSH接続可能なDockerコンテナを作る。とかDockerでnginxサー

プロセスが落ちた際の自動再起動をしたい場合や、Docker の1つのコンテナの中に各種ミドルウェアをまるっと入れる場合などでアプリケーションの動作に必要なミドルウェアを Supervisor で一元管理したいときがあります。 Supervisor: A Process Control System http://supervisord.org/ Supervisor でデーモンを管理する場合、デーモンをフォアグラウンドで起動させる必要がありますのでミドルウェアの設定変更が必要になる場合があります。その方法についてまとめます。 ※CentOS での実行パスなどをベースで記載していますので、各種ミドルウェアの起動パスなどが異なる場合にはお使いのディストリビューションに書き換える必要があります。 Nginx 設定ファイルを書き換えてもいいのですが、起動オプションで設定を上書きすることができますの

Programming, guns, ISP/telecom, rural life. Ex-farm boy This is my second post on Docker. Previously I showed you how I develop Rails apps locally using Docker and Vagrant on my development machine. I had planned to cover Rails production deployments using Docker next, but that post is not quite done as it got a lot longer than I originally intended and needs some editing. So for now, I’m going to

Taxes, discounts and shipping calculated at checkout

tl;dr Motivation Required Tools to Install Docker Fig boot2docker Fig Project Setup DNS Server Configure Your Computer’s DNS Load Balancer Fig.yml File to Put it All Together Example Project Output Take Aways tl;dr This setup lets you route through a running fig project to an app you start on your machine outside of docker Motivation When developing locally you frequently need to run dependencies

CentOS 7にDocker + Figを入れようとしたら、ちょっとハマったので備忘録がてらメモ。 ちなみに、悪いのはすべてyumで入るDockerが妙に古いのが原因なので時間が解決すると思われる Dockerのインストール CentOS 7でDockerをインストールする記事を探すと概ね下記のコマンドが紹介されます。 CentOS 7からExtraパッケージに入ったので、EPELとか入れなくても問題なくDockerが入ります。便利ですね。 . . . で、終わってくれない罠が2014/10/13現在だと存在します。yumで入るバージョンが妙に古いのです。 $ sudo yum install docker 読み込んだプラグイン:fastestmirror Loading mirror speeds from cached hostfile * base: mirror.fairway.