Nginxのログをmongodbに入れるために | SawanoBlog 2G
mongoimportが便利でmongodbが柔軟なので、ログを入れたくなる。 取り急ぎWebのログでもいれちゃうか、というお話。 HTTPサーバのアクセスログはそれなりの解析ツールもあるんだが、あえてMongoDBに突っ込んでみよう。 既存のログを加工してinsertするか、あるいは出力時点でmongoimportコマンド向けフォーマットにするか、ここでは後者でいってみましょう。 combinedからMongo向けへ デフォルトのapache httpd2のような combinedでどんなパラメータが使われているかは公式のドキュメントHttpLogModuleをみれば分かる。 combinedを参考にしながらmongoimport用にタブ区切りにして、スペースを含む妙な時刻フォーマットもiso8601に変えてしまう。 log_format mongo '$remote_addr\t
Import Export Tools - Docs-Japanese - 10gen Confluence
このツールは格納データ（これはuser、system双方のcollection内のドキュメントを指します）に対して操作を行うものであり、セーブ・ロードしていないデータや(capped)collection情報を保持しているメタデータに対して行われるものではありません（その意味で上記のデータベースの複製と異なります）。それらが必要ならば、このツールでデータをインポートする前のステップとして再構築しておく必要があります。これらの再構築もこのツールの操作として含ませたいと望む方は、SERVER-808に投票(vote)して下さい。 mongoimport このユーティリティは1行がJSON/CSV/TSV形式の文字列からなる1つのファイルを読み込み、それらのデータをMongoDBの指定したdatabase,collectionへinsertを行います。ですのでdatabaseとcollecti
Backup Methods for a Self-Managed Deployment - MongoDB Manual
When deploying MongoDB in production, you should have a strategy for capturing and restoring backups in the case of data loss events. This page covers backup methods for self-managed deployments. To learn more about Backup Methods for deployments hosted in MongoDB Atlas, see Back Up, Restore, and Archive Data. Back Up with MongoDB Cloud Manager or Ops Manager MongoDB Cloud Manager is a hosted back
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
時刻の変換(Kodama's tips page)
Kodama's home / tips. UNIX time, GMT, ローカル時刻 を相互に変換 この場で変換 変換コマンドなど 関連ページ: 時間の単位と暦法 この場で変換 以下は JavaScript で実現しています. 入力: 調べたい時刻を入力します. (書式例: Feb 07 00:00:00 2007, 2007 Feb 07 00:00:00 など) unix time = : 適当に書き換える. GMT = : 適当に書き換える. Local time = : 適当に書き換える. 結果: unix time = ? GMT = ? Local time = ? 現在の時刻: unix time = ? GMT = ? Local time = ? 変換コマンドなど 現在の UNIX time: date, ruby, gawk, perl の例. $ date +"%
LINUX忘却録 クローン(cron)
細胞を取り出して、同じものを複製するクローン技術・・ではありません。 Linuxでクローンというと、cronの事を言い、毎分毎や毎日何時など、決められた時間に定期的に処理をさせるサービスの事を言います。 Windowsで言うところのスケジューラに近いサービスで、私は非常によく使います。 毎日のログの更新や、システムの監視や定期的なプログラムの実行等、様々な用途で使えます。 このクローンは、基本的なサービスなので、ほとんどのディストリビューションで最初からインストールされています。 cronの使い方は、２種類あってシステムが主に使用している /etc/crontab で宣言されている以下のフォルダに、実行スクリプトを置く方法と /etc/cron.hourly 毎時間 /etc/cron.daily 毎日 /etc/cron.quarter-daily 6時間毎 /etc
YappoLogs: JavaScript::Swell - Web2.0 時代のHackモジュール
JavaScript::Swell - Web2.0 時代のHackモジュール ここ最近はJavaScriptもかなり注目をされており、色々なサイトのjsファイルを読みふけってる方も多いと思います。 そこで困るのがSquishされて見づらくなったソースコードなのではないでしょうか？ 皆さん、それぞれ苦労して見やすいソースに修正して日々Hackされてることと思います。 そんな苦労erにぴったりなモジュールがありました。 JavaScript::Swellです。 Squishの逆でSwellというなんともな名前です。 使い方も簡単でした。 use JavaScript::Swell; print JavaScript::Swell->swell("var i=0;if(i++){var a=-1;}");ってなコードで var i = 0; if (i++) { var a = -1; } こ
JSON
NAME JSON - JSON (JavaScript Object Notation) encoder/decoder SYNOPSIS use JSON; # imports encode_json, decode_json, to_json and from_json. # simple and fast interfaces (expect/generate UTF-8) $utf8_encoded_json_text = encode_json $perl_hash_or_arrayref; $perl_hash_or_arrayref = decode_json $utf8_encoded_json_text; # OO-interface $json = JSON->new->allow_nonref; $json_text = $json->encode( $perl_s
JSON - JSONデータを解析 - Perl入門ゼミ
Perl › モジュール › here JSONモジュールを使用すると、JSONデータを解析することができます。JSONはデータを記述するための言語で、配列やハッシュなどのデータ構造を表現することができます。JSONは単なる文字列ですので可搬性があります。他のプログラム言語とデータをやり取りした場合によく利用されます。 # モジュールの読み込みと関数のインポート use JSON qw/encode_json decode_json/; JSONをPerlのデータ構造に変換するにはdecode_json関数を使用します。 # JSONをPerlのデータ構造に変換する my $json_in = '[{"name" : "Ken", "age" : 19}, {"name" : "Ken", "age" : 25}]'; my $data = decode_json($json_in); こ
かしこい人のニュース読解法／議論の苦手な人は何ができていないのか - デマこいてんじゃねえ！
ヒトは「頭の使い方」を覚えると賢くなる生き物だ。 かけ算九九しかり、元素記号の語呂合わせしかり、丸暗記してしまうことで思考をスピードアップできる。理系大学生のサイフは平均的に文系大学生のサイフよりも軽い。なぜなら彼らは数字に強く、「おつりのコインを最小にする計算方法」を身につけているからだ。それに加えて実験とレポートに追われてバイトができないという涙ぐましい事情がある。 私は学生時代に、ちょっとだけ英語ディベートをやっていた。その時に先輩に教えてもらった「ニュースの読み方」が今でも役に立っている。ニュースを読むにはトレーニングが必要で、読み慣れないうちは、「なにが問題なのか分からない」のが最大の問題となる。逆に「読み方のテンプレート」を覚えてしまえば、そのニュースの論点を即座に見抜けるようになる。かしこい人はこうやってニュースを読むのか！ と当時は感心した。 今回のエントリーでは、その一部
マンガで分かる JavaScriptプログラミング講座
はじめに 「マンガでわかるJavaScript」は、難しそうに思えるプログラムを、簡単そうに見えるマンガで解説するという初心者向けの入門講座です。 架空の高校生たちに教える形式で、プログラムの基礎から応用を、解説していきます。一通りのマンガを読めば、かなり実践的なところまで、プログラムを書けるようにしていきます。 （マンガは、左上から右下へと読みます） プログラムというと、けっこう大変そうに思えますが、この講座のテーマは「面倒くさいことを楽にする」です。面倒臭がりで、手抜き大好きの女子高生を主人公にして、楽しくプログラムを学んでいくことにします。 主な対象読者は「これからプログラムを学んでみたい人」「Webの世界に関わっていてJavaScriptを学んでみたい人」「昔JavaScriptを触っていたけど最新のトレンドが分からないので改めて学んでみたい人」などです。初心者だけでなく、Webデ
「ノンプログラマーのためのjQuery入門」のスライドが凄く分かりやすいですね - かちびと.net
Twitterに流れてきたスライドがとっても 分かりやすかったのでブログでより多く の方に拡散。ノンプログラマー向けの jQueryの基本講座。これからjQuery を使おう、という方は読んでおくと良さ そうですね。 ノンプログラマー向けにjQueryの基礎をスライド化してくれています。 @pocotan001さん作のスライドです。 このスライドを見ながらコーディングする、というより、基礎知識を頭に入れるのに適したスライドだと思いますので気軽にご覧になってみて下さい。ハードルがかなり下がると思います。 また、当ブログでもjQueryプラグイン等の情報を取りあえげていますので合わせてどうぞ。 jQueryのリファレンスサイトと入門書籍 [2011.09.21アップデート] よくアクセスいただくのでハブ的な役割くらいは果たそうと思います。 jquery / jQueryの本家です。 jQuer
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
エポック秒をフォーマット変換して表示する方法（1行 perl ）: rootdown メモ
JavaScript-Swell-0.01
移転しました
JavaScriptのイロハ：特集 - builder by ZDNet Japan