＆MEMBERとは… ＆MEMBERにご登録（無料）いただくと、気に入った記事に共感を示したり、コメントを書いたり、ブックマークしたりできます。こうしたアクションをする度にポイント「＆MILE」がたまり、限定イベントやプレゼントの当選確率が上がります。

先日、Yahoo! ニュースからリンクして頂いたのを切っ掛けに、大量アクセスがありました。いつもは後で気がつくんですけど、たまたま Google Analytics のリアルタイム画面を開いたらその直前にアクセスが爆発していました。通称「Yahoo!爆弾」ってヤツですね。 【追記】現在はコアウェブバイタル対応を完璧にするため、もっとモダンな設定にしています。 iPhone 研究室は WordPress で運営していますが、全く動じないでこの大量アクセスをこなしてくれました。 11時半頃にリンクがあったみたいなんですけど、世の中がお昼休みに入った12時頃から更にアクセスが倍増しました。 だいたい、11時半から12時までの30分で2万ページビュー（PV）、12時から13時までの1時間だけで5万PV位の大量アクセスになりました。 新型iPhoneに関する噂という記事からのリンクだったので、興味を

GridFSの概要 MongoDBに保存できるドキュメントのサイズは、16Mバイトまでという制限があります。一般的なテキストデータを保存するには十分なサイズですが、巨大なテキストデータや動画などのバイナリデータを保存する用途では、16Mバイトを超える場合が出てきます。MongoDBに16Mバイト以上のファイルを保存したい場合、GridFSというインターフェースを使用します。GridFSを使用することにより、データを複数に分割[1]して保存することが可能となります。 今回はMongoDBでサイズの大きなファイルを扱う仕組みである、GridFSについて説明します。 図1　GridFSの概要図 ファイルをデータベースで管理するメリット ところで、ファイルをデータベースで管理することでどのようなメリットがあるのでしょうか。 多くのシステムでは、画像／音声／動画などサイズの大きなバイナリファイルは、

Help us understand the problem. What is going on with this article?

下記のようなシステムでパフォーマンスが良さげな SQLite を使用予定ですが、もっと速いものが無いか確認のため他のデータベースのパフォーマンスを計測してみました。SQL 利用前提ですが、NoSQL が圧倒的な性能を出す場合は検討する必要があるので KVS も確認しました。 データ件数は 1 億件程度、JDBC SQL 利用可能 INSERT、UPDATE はバッチ SELECT は主キーアクセス性能を重視 将来スケールアウトのための分散はありえるが、スタンドアロンで遅いのはだめ データベースのパフォーマンス比較 計測したデータベース データベース名 タイプ 形態 評判 計測についての備考 SQLite RDB 組み込み ※2 おもちゃ、Android標準 JDBC操作 ※1 H2 RDB 組み込み ※2 組み込み最速 JDBC操作 ※1 Derby RDB 組み込み ※2 Java標準で

今まで何度もスクレイピングとかクローリングをしてきたので、マエショリストの端くれとしてコツを公開すべきかなあ、と思い、公開します。 今日の題材は、CNET Newsです。私はウェブ文書にタグ付けをするという研究をしているのですが、そのための教師データとしてクローリングをします。 photo by Sean MacEntee 要件定義 CNET Newsから全ニュースを保存し、その本文をデータベースに保存します。これは、次のようなフローに書き下すことができます。 全URLを取得し、データベースに保存 データベースにある全URLをダウンロードする 保存した全ページを解析して、本文をデータベースに保存する という流れです。これらは独立していますから、それぞれどの言語で解析しても構いません。しかし後述しますが、「あとから追いやすくする」「適材適所」といったあたりを気をつけて、言語選択をするべきだと

もう12月ですよ。 月日の経つのは早い早い…。 つい先ほど浅草で飲んできました。 一緒に飲んだのはプログラミング大好きな友人(・∀・) 途中、Pythonの話になったので「urlparse」と「optparse」を紹介してみた。 optparseを知っている人は結構いそうだけど、 urlparseは意外と知られていない気がする。 というわけで、簡単に紹介。 urlparseはURL形式の文字列を操作しやすくしてくれるモジュールです。 例えば、↓のような文字列。 ‘http://www.google.co.jp/search?gcx=c&sourceid=chrome&ie=UTF-8&q=googlemap’ これをURLとして扱いやすくしませう。 あ、このモジュールはPython2.6.xからは標準で入っているはず…。 [shell] >>> from urlparse import u

MovableType で管理しているサイトで、HTTP と HTTPS が混在していると、設定が少々面倒です。 このような場合「スラッシュから始まる絶対パス」と、「// から始まる絶対URL」を上手に使うと良いですね。 MTの機能というよりは、どちらかと言うとパスの記述ルールやブラウザの機能を利用した方法ですので、もちろんMT以外でも利用できます。 パスの書き方 たとえば、「http://example.com/css/style.css」をルートのindex.htmlから参照する場合、次の4通りの書き方があります。 <link href="http://example.com/css/style.css" type="text/css" rel="stylesheet" /> <link href="//example.com/css/style.css" type="text/css