・「Connection refused by host」で「Critical」が出る。 原因:nagios側のcheck_nrpeとリモートサーバ側のNRPEが4層以下で接続できていません。 対処:nagios側の設定ファイルでIPアドレスが間違っていないか、リモートサーバ側でNRPEが起動しているか確認してください。 また、NRPEのポートを変更している場合は双方でポートに齟齬がないか確認してください。 ・「Return code of 127 is out of bounds - plugin may be missing」で「Critical」が出る。 原因:nagios側のcheck_nrpeコマンドが「/usr/lib/nagios/plugins」ディレクトリにないために出る。 対処:「# ls /usr/lib/nagios/plugins | grep check_nrp
PythonScrapyはPythonの軽量スクレイピングライブラリです。Scrapy | An open source web scraping framework for Python PythonのスクレイピングライブラリというとBeautifulSoupが一般的なようですが、 ちょっと調べてみた感じだと、XPathが分かるならScrapyのほうが簡単っぽいです。 [Tutor] Scrapy vs. Beautiful Soup If you altready know XPath then scrapy would definitely be worth a try, if not I'd stick with BS. スクレイピングの対象とするサイト今回はYahoo!カテゴリを実験に使わせて頂きました。 図書館事件みたいなことにはならないよう控えめに…。Yahoo!カテゴリ
斜め読み, MQ 仕事柄 MQ には余り関わりが無い(更にいうと OSS の MQ にはもっと関わりが無い)のでちょっと調べてみた。ActiveMQ と RabbitMQ が有名だよね、と思ってググってみると、皆大好き Stack Overflow にこんなエントリを発見。この辺りの MQ に興味があるんだけど、何か聞かしてよ、という声に対する反応を斜め読み。 斜め読みTwitter は自前の MQ (Kestrel) を持ってるよ(ActiveMQ と RabbitMQ にストレステストをかけたが、ActiveMQ は遅すぎて、RabbitMQ は Producer と Consumer が多いときに壊れちゃうから自前で作ったみたい。でも RabbitMQ 2.0 以降ではこの問題はもう直ってるらしい)。ActiveMQ はパフォーマンスを向上させたり、スケーラビリティを向上させるため
大規模データが公開されているサイトについて以下のQuoraでid:makimotoさんが質問していました。Data: Where can I get large datasets open to the public? - Quora以下、紹介されているサイトの一覧です。一部有料のものもあるようです。UCI Machine Learning RepositoryPublic Data Sets : Amazon Web ServicesCRAWDADno titleCity of Chicago | Data PortalGovLoop | Social Data Network for Governmentdata.gov.uk | Opening up governmentData.Medicare.GovData.Seattle.Gov | Seattle’s Data SiteOp
執筆した井上誠一郎氏ら共著者に敬服。お疲れさまでした。 パーフェクトJavaScript (PERFECT SERIES 4) 言語仕様のpart2(2〜7章)まで読みました。その後はパラパラっと流し読み。まずは言語仕様までの内容について雑感を述べます。 JSには既にサイ本と呼ばれるバイブルが存在しますが、サイ本は「仕様を淡々と解説している本」といった印象を持っています。対してパーフェクトJavaScriptは「仕様における用語を整理し、分かりやすくまとめて解説している本」といった印象でした。そして表紙がダサいです。ガラケーがのってます。サイ本に対してガラケー本といったところでしょうか。・・・って不名誉な名称だからやめとこうと思いましたが、パーフェクトJavaScriptと長いのでやっぱり使います。 対象読者 入門書ではないと「はじめに」で言い切っています。対象読者についてもそのページで言
Yahoo!のブログにHadoopに関する興味深い記事が上がっていたので紹介したいと思います。かなりボリュームのある記事で翻訳するのは骨が折れました。The Next Generation of Apache Hadoop MapReduce · Yahoo! Hadoop Blog原題はシンプルに「次世代のApache Hadoop MapReduce」です。 概要大規模データを扱うビジネスでは、少数の大規模なクラスタのほうが多数の小規模なクラスタよりも安価になります。大規模クラスタは多くのデータセットを処理し、多くのジョブと多くのユーザをサポートする必要があります。ApacheのHadoop MapReduceフレームワークはだいたい4,000台程度でスケーラビリティの限界が来ます。私たちは次世代のApache Hadoop MapReduceを開発しており、そこではフレームワークを汎
以下の記事ではPig, Hiveなど8種類の言語でMapReduceの一番単純な例、WordCountを記述した場合のスクリプトの比較を行っています。とても興味深かったので紹介したいと思います。Pigs, Bees, and Elephants: A Comparison of Eight MapReduce Languages « Dataspora なお、今回はRSS購読しているDataSporaのブログから発見しましたが、エントリを寄稿したエンジニアの個人ブログも大変興味深いのでオススメです。 はじめにMapReduceを美しく効率的に書くために、私は様々な言語を比較しました。果たしてその勝者は!?私の個人ブログでは統計やグラフのアルゴリズムをMapReduceで記述する方法を紹介し、擬似コードによる実装を示しました。擬似コードには2つの問題点があります:誰もがその命令を理解できると
もうこの手の話題は出尽くした感がありますが、最近Hadoopについて考えることが多いので、エントリにしてみます。なお、ここではベーシックなMapReduce+HDFSのことをHadoopと呼ぶことにします。 HadoopとはHadoopとは言わずと知れたGoogleのMapReduce/GFSのオープンソースのクローンです。MapReduceではプログラマはMapとReduceという2つの関数を書くだけで、並列分散処理をすることができます。これは(1) データを実際に持つマシンにプログラムを配布する (2) MapとReduceをつなぐShuffleフェーズでキーをグループ化してソートする、(3) 障害時のフェールオーバーやレプリケーション、といった処理をフレームワーク側が受け持つことによって、プログラマ側の負担を減らすものです。GFSに対応するHDFSにはファイルをクラスタに分散して保存
JavaScriptspock、signOnTheLine、mccoy-0.5.xuluwarriorの3つを試した。Windowsでmccoy-0.5.xuluwarriorだけうまくいった。 mccoy-0.5.xuluwarrior Bug 396525 – Add functionality to sign update.rdf from command line 上記、中段から。 以下、インストールと更新のコマンド。更新時、xpiも指定するとupdateHashも追加してくれる。 -command install -installRDF -key -command update -updateRDF -key [-xpi ] mozzipper/signOnTheLine FF3: How to sign update.rdf without McCoy - mozilla.
早いもので、GALAXY Sを購入してから一ヶ月が過ぎました。 購入直後の一週間は、分けもわからないまま、アタフタしながら以下の記事を書いてたのが懐かしいです。 iPhoneユーザがGALAXY Sと過ごした7日間をまとめてみました 実はこの記事は、GALAXY Sを購入したらまずやろう!と思ってた内容でした。どんな内容になるかまではもちろん分かりませんが、とにかく書いてみようと。そしてもう一つ決めてたのが、使い始めて一ヶ月後にもう一度、その時に思うことを書いてみよう、ということ。 そして今日が、そのちょうど一ヶ月後の日になります。早いものですね。 てことで、この一ヶ月の間にやってきたこと、そして変わったことを、書いてみようと思います。 今のホームを紹介 まず使用後一週間時点のホームがこちらでした。 そして、現在のホームはこのようになりました。 随分スッキリしました。Launcher Pr
先日、以下の記事で初めて作ったAndroidアプリを紹介しました。 一週間で初めてのAndroidアプリを作ってみました その後、そのアプリをAndroidマーケットで公開してみました。 はてブ閲覧用Androidアプリ「HTBPocket」を公開しました この一連の作業で参考にした記事やサイトについて、「Androidアプリ開発関連情報まとめ」としてまとめてみました。 開発環境構築まず必要になるのが開発環境です。以下はMacの環境構築です。MacにAndroid SDKをインストール (Update 2010.05.25) そして以下がWindowsでの環境構築です。私はやったことないのでよく分かりませんが(^^;;世界を目指せ!Androidアプリ開発入門:第2回 Androidアプリ開発のための環境構築 公式の開発情報公式の開発者向けサイトです。Android Developers
以下の記事で、GALAXY Sと過ごした7日間の日々について書きました。 iPhoneユーザがGALAXY Sと過ごした7日間をまとめてみました その中で思ったのは、 やっぱりAndroidのアプリ作ってみたいよなーということ。 ということで、初めてのAndroidアプリを作ってみたら約一週間くらいで形になったので、その過程をメモしてみます。 作ろうとするAndroidアプリのコンセプト 7日間のまとめでも書いたように、今のAndroidは、はてブ環境が充実してないと感じたので(個人的な感想ですが)、どうせならiPhoneアプリ「はてブポケット」を移植してみたらどうだろう?と思いました。ということで、コンセプトは以下。iPhoneアプリ「はてブポケットを移植してみる」 MacにAndroidアプリ開発環境を構築する 何はともあれ必要なのが開発環境です。以下の記事を参考にしてみました。Mac
去る12月16日、クックパッドさんのオフィスで行われたオーマxクックパッド勉強会にて「SPYSEEの新検索機能の裏側」というタイトルで発表してきました。クックパッドの皆様&見に来ていただいた皆様、どうもありがとうございました。発表スライドはこちらになります:Ohmapadslideshareを見られない方は下記のPDFをご参照くださいhttp://dl.dropbox.com/u/9436074/ohmapad.pdfSPYSEEの検索ログを見ると、「さかなクン」や「ウィルスミス」など、検索全体のほぼ99%を人名が占めています。今回の発表では「人名に限らず、『Ruby』や『料理家』などの『キーワード』でも検索できますよ」ということを伝えようとしました。肝心の検索の計算に関しては厳密性にこだわらず、分かりやすさを優先させたつもりですが、「難しかった」との声もあったようですね、すみません。。。
今アメリカ音響学会に参加していて、色々な方のプレゼンをガンガン聞いてます。で、いろいろこれはつかえる、と思ったことがあるのでメモしておきます。自分用のメモなので、あまりまとまってません。使うのは、中学生レベルの英文法だけでよい。英語発表の典型的な英語の使いまわしがあるから、ただそのテンプレいくつか覚えて、口語でひたすら喋ればいい。途中で「あー」とか「えー」とか言わない。タイトルの直後のスライドに、outlineを用意する。outlineのスライドで、「こういう問題があって、これを使ってこーゆー結果がでたので、ここまで紹介します」と5行ぐらいだらだら書いて、それを一気に喋って、聴衆に概要を頭にいれてもらう。図が主体のスライドでは、とにかく問答無用で最初にThis is a picture(figure) of ほげほげ.と言う。図は左からみるのか、上から見るのか説明する。重要で面白い結果、強
JavaScriptIE 6、IE 7、Firefox 2.0、Opera 9で確認。 function absolutePath(path){ var e = document.createElement('span'); e.innerHTML = ''; return e.firstChild.href; } alert(absolutePath('/')); 関連リンクJavaScriptな日々 | 相対パスを絶対パスに変換する方法Imageを使っています。 getAttribute href bugBug Report: getAttribute(”HREF”) is always absolutegetAttribute("href",2)とか。既存のa要素のhrefは上記の方法で絶対パスになるけど、document.createElement('a').href='/'では、
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く