はてなブックマークのエクスポートができないからプログラムにやってもらう
はてなブックマークのエクスポートができないからプログラムにやってもらう はてなブックマークには、自分のブクマを全部ダウンロードする エクスポートという機能があるのですが、 いつの頃からかうまく動かなくなりました。 ブクマ数が多くなった(18,359件)からかもしれないのですが、 エクスポートしても十数分待たされ、 結局「混雑しています」のようなHTMLが保存されます。 はてなアイデアでバグ報告しても反応ないし… そこで自分のかわりに、なんどもリトライさせる仕組みを作りました。 % hatebu-dump fuktommy atom.xml Password: [('X-WSSE', 'UsernameToken Username="fuktommy", PasswordDigest="xxxxxxxxxxxxxxxxxxxxxxxxxxxx", Nonce="xxxxxxxxxxxxxxx
Hadoopで始める並列データ解析／前編 | Inhale n' Exhale
1月13日（金）にPalo Altoで行われたJTPAのギークサロンに参加してきた。今回は参加者がラップトップ持ち込みでコーディングしていくハッカソン形式で、会場入りする前までにHadoopが使える環境を自前で用意しておく必要があった。もうそれだけで、いつものギークサロンよりハードルが高いのだが、当日は15人ほどのギークたち（中には3日前にベイエリアに来たばかりという学生もいた）が集まって、おのおのラップトップとにらめっこしながらHadoopと戯れていた。 今回のギークサロンをホストしてくださった山中仁氏が、EC2上にHadoopクラスタを構築する方法を、参加者向けの資料としてWeb上に準備してくださり、「Hadoop＝未知の領域」だった自分でもすんなりHadoopクラスタを組むことができた。だが残念なことに、この資料自体がEC2上に一時的に立てたサーバーに置かれており情報が恒久的には残ら
MacでHadoopスタンドアローンモード - kj-ki’s blog
HadoopのMapperやReducerを自分で書こうとすると，ローカルマシン上でHadoopを動かしたくなります． Macなら最初からJVMも入ってるし，ソースを持ってくればそのままで動くか，と思ったらそうでもなかった． 何はともあれダウンロード Mac用のパッケージはなさそう(?)なので，TarBallをそのままダウンロードします． 今回はclouderaからゲット．(hadoop-0.20.2+737.tar.gzとかがそうです) JavaVM設定が必要 で，解凍した後にバージョン表示させようとしたら，さっそくコケました... $ bin/hadoop -version Exception in thread "main" java.lang.UnsupportedClassVersionError: Bad version number in .class file at jav
Scala Advent Calendar JP 2010 Day 22: Scala Actor + NIO - cooldaemonの備忘録
この記事は Scala Advent Calendar JP 2010 22 日目(12/28)です。 Scala Actor + NIO で Echo server を書いてみました。 毎度の事ですが、突っ込み添削大歓迎です。 Source 解る方用の説明をさらっと行うと、Actor は Thread Pool として利用しており、NIO 単体で利用するより高速に動作します。当然、接続毎に Thread を消費するよりも高速です。コードは、Supervisor と FSM という考え方を使って整理しています。 詳細な説明は、コード全文の後に行います。 不要な var が二カ所ありましたので削除しました。*1 import scala.actors.{Actor, TIMEOUT, Exit} import scala.actors.Actor.State.{New, Terminated
HTTPサーバにJava NIOは必要か
0x00. はじめに 筆者はJava製のWAF(Web Application Firewall)、Guardian@JUMPERZ.NETの開発とメンテナンスを行っている。元は自社のシステムを守るために（そして半分趣味で）作ったものだが、数年前にこれをコアのエンジンとしてさらに拡張し、SaaS型の商用サービス「Scutum(スキュータム)」を立ち上げた。 その後順調に顧客を獲得することができ、システムリソース的にも増強が必要となる段階などを経験した。Google、mixiやはてな等、さまざまな大規模サイトのインフラエンジニアの方々がインフラ設計に関する考え方などをインターネット上で公開してくれているおかげで、初期のシステム設計時に「将来的にスケールアウト可能なシステム構成にしておくこと」が重要であるということがわかっていた。その教えに従っていたおかげで、リソースの逼迫（ちなみに今回はCP
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Hatena Developer Center