mixi Engineers’ Blog » 圧縮データベースを使おう
チャリンコ通勤による滝のような汗で、朝からTシャツがシースルーになってしまうmikioです。さて今回は、Tokyo Cabinet（TC）のデータベースを各種のアルゴリズムで圧縮して利用する方法についてご紹介します。 圧縮B+木 B+木とは、比較関数の値による順序が近いレコード群を単一のページにまとめ、各ページにB木（multiway balanced treeの略であり、二分木（binary tree）とは違います）の索引を張ったものです。理論的にはレコードの探索も更新も O(log n) の時間計算量で行え、内部ノード（B木）の操作をキャッシュすると実質的には O(1) の時間計算量で探索や更新が行えるという、かなり安定した性能を備えるデータ構造です。その上、レコードが一定の順序に基づいて並べられているので、数値の範囲検索や文字列の前方一致検索が高速に行えたり、カーソルによって順序に基
memcachedを知り尽くす 記事一覧 | gihyo.jp
運営元のロゴ Copyright © 2007-2024 All Rights Reserved by Gijutsu-Hyoron Co., Ltd. ページ内容の全部あるいは一部を無断で利用することを禁止します。個別にライセンスが設定されている記事等はそのライセンスに従います。
そのソフト，売る？売らない？
「Googleの凄さは，Failure-oblivious computing（エラー忘却型コンピューティング）のような新しい概念を，世界で初めて大規模に取り入れていることだと思います」－－そう語るのは，楽天技術研究所の森正弥所長。4月に始めたクラウド・コンピューティングの取材も，随分と遠いところまで来たな－－と筆者は思わずにはいられなかった。 エラー忘却型コンピューティング（failure-oblivious computing）とは，米Massachusetts Institute of Technology（MIT）のMartin Rinard氏らが提唱した概念（Rinard氏らの論文）。メモリーに何らかのエラーが発生したとしても，プログラムの処理を停止するのではなく，エラーを無視して処理を継続するという考え方だ。楽天技術研究所の森氏は，こう例えながら説明する。 データをキーと値（V
Amazon Dynamo – スケーラブルなハッシュテーブルWebサービス | 秋元@サイボウズラボ・プログラマー・ブログ
via O’Reilly Radar Amazonが来週ACMで話すというDynamoというサービスが面白そうだ。 Amazonのウェブサービスは、たとえばS3は「ファイルを置いて、取り出せる」だけだし、EC2はサーバ一台分だけ見ればただのVPSホスティングサービスだ。だけど、必要に応じて支払いを増やすと、好きなだけスケールさせられるし、不要になれば減らすのも簡単なことから、ネットサービスの運営者が固定費について悩まなくて済むようになるという点で便利だし、そんなサービスを提供するにはたいへんな技術力が必要だということはわかる。 Dynamoも同じで、「キーと値のセットを保存して、取り出せる」、とこれだけ。数が少なければスクリプト内の連想配列とシリアライズでも済みそうな機能だけれど、これを複数サーバに分散させて、たいへんな数のキーを突っ込んでも問題なく動作することを保証したサービス、となるら
Tokyo TyrantによるHAハッシュDBサーバの構築 - mixi engineer blog
来年のバレンタインデーに、正確には「2009-02-14T08:31:30+09:00」に、UNIX時間が「1234567890」を迎えることを発見してちょっと嬉しいmikioです。さて、今回は高効率ハッシュデータベースサーバTokyo Tyrantを用いてHAハッシュデータベースを構築する手法についてご紹介します。ちょっと難しいし非常に長い内容なのですが、最後までお付き合いくださいませ。 可用性と保全性 HA（High Availability：高可用性）とは、可用性（Availability）が高いことです。それでは説明になっていないので詳しく言い替えますと、システムに障害が起きにくくすることと、たとえ障害が起きたとしてもできるだけ迅速に復旧できるようにすることです。データベース系のシステムはユーザのデータを管理するという中核的役割を担うため、可用性を高めることは最も重要な課題となりま
中里一日記: 『Ajax イン アクション』は糞本だ
『Ajax イン アクション』は糞本だ Dave Craneほか著『Ajax イン アクション』（インプレスジャパン）を8割がた読んだ。 突然だが、戦場は4つの基本的な要素でできている。 ・飢え ・埃 ・糞 ・シラミ これだけは絶対に忘れないでほしい。飢え、埃、糞、シラミだ。 これらの四大要素があまり目立たない戦場も、ごく一部にはある。米軍の力はあらゆる不可能を可能にするらしく、毎日シャワーを使うことさえあると聞く。だがそういう恵まれた環境は例外だ。戦場は四大要素でできている。四大要素があるのではなく、四大要素でできている。24時間、四大要素のなかで暮らすのだ。 さて私の経験によれば、Ajax開発は、戦場の暮らしに少しだけ似ている。こちらの四大要素は、多様性、非常識、情報不足、テスト困難だ。 現代のほとんどのプログラマは、こういう経験をしたことがないはずだ。匹敵するものがあるとしたら初期の
P2Pと分散ハッシュテーブル〜その１
さて、P2Pでは最近「分散ハッシュテーブル」というキーワードをよく聞きます。分散ハッシュテーブルついては後で紹介しますが、これを用いるとルーティング、検索が高速に、しかもP2Pネットワーク全体に対して適用することができます。例えば既にeMuleと呼ばれるファイル共有システムでは分散ハッシュテーブルの一種であるkademliaが使われています。ではそもそも分散ハッシュテーブルとはどういうものなのでしょうか？それを説明するにはまず検索で使われるハッシュ法を説明する必要があります。 [お知らせ]分散ハッシュテーブル（ＤＨＴ）についてわかりやすく解説したページを作りました。 ＤＨＴに興味のある方はまずこちらをご覧下さい。 分散ハッシュテーブル（ＤＨＴ）入門〜その１ ハッシュ法 今、あるデータベースを考えてください。ここには人の名前と身長が書いてあるテーブルとしましょう。例えば table_1={
サイドバー症候群--ユーザー獲得をめぐるWeb 2.0企業の新動向 - CNET Japan
この記事はStartup MemeブログのBilal Hameedが執筆した。 今月上旬（4月2日の週）、ウェブ上では新しい流行の兆しが見られた。わたしはこれを「サイドバー症候群」と名付けた。この流行の影響について分析する前に、まず最終的にこのサイドバー時代の旗手になり得るサービスについて見ていくことにしよう。 Google Talk：「サイドバー内のIM」 Google Talkは当初デスクトップクライアントとして発表されたが、現在はブラウザサイドバーに統合することができる。これは確かに素晴らしい機能で、ユーザーは定期的にタスクバーをクリックしなくても友人と連絡を取り合うことができる。 Mozilla：「サイドバー内のソーシャルネットワーク」 Mozillaは最近「Project Coop」を発表した。これはブラウザのサイドバーに入るソーシャルネットワークサービスだ。この製品では、ユーザ
ニコニコ動画専用Opera | 暴満館 ～The House of full Violence～
Operaはプロファイルフォルダを複数作成することにより異なる設定で起動することが可能になっている。これを利用してニコニコ動画を視聴することに特化したOperaを作るのが目的。 専用プロファイルを使用する上での問題点 「標準のブラウザで開く」対策で、通常と専用プロファイルを常駐しなければならない。 他のアプリケーションからURLを渡す際にAutoHotKeyを介するために少し遅い。 他のアプリケーションからの大量のURLを専用プロファイルで同時に開けない。 （URLを開くのにCtrl+Shift+Bを送っているので、同時に大量に発行するとキー入力が追いつかなくなって、取りこぼしが発生するため。） お試し版（2008年8月28日） すぐにニコニコ動画に特化したOperaを体験できるようにお試し版を用意してみたので、試してみたい方はこちらからどうぞ。 ニコニコ動画専用Opera お試し版 作業
いつでもどこでも資料をスキャン――モバイル対応「ScanSnap S300」
いつでもどこでも資料をスキャン――モバイル対応「ScanSnap S300」：2万円台で画質も向上（1/2 ページ） 2001年7月に初代の「ScanSnap! fi-4110EOX」が発表されてから6年になる。その間、ほとんどのモデルは前製品の後継機として登場し、在庫分を除いて並行して販売されることはなかった。唯一の例外はフラットベッドスキャナにドキュメントフィーダがついた形状の「fi-4010SSF」シリーズだが、こちらは2代めの「fi-4010SSF2」ですでに製造終了しており、後継機は登場していない。 だが、ここにきて初めて、現行機種と並行販売されるエントリーモデルが登場した。それが今回紹介する「S300」である。現行最新機種の「S510」に比べ、ほぼ同等の基本機能を搭載しつつ、性能面を抑えて低価格化を実現している。まずはS510との違いから見ていくことにしよう。 従来ScanSn
都合のいい男
もてたいなと思って、都合のいい男を目指してみた。 まぁ純粋に色々な人とHしたいなという男性の根本的欲求に従うためにやってみた。 外見は、細身の清潔な服装、時計、指輪、香水。今まで服にお金かけなかったんだけど、月３万ほどかけるように したら半年くらいでそれなりにそろってきた。 外見は、あるレベルまでいくとどうしても物理的な身長、顔の原型によって限度があるので主に内面を変えてみた。 ・前提 女性は自分を認めて欲しくて、自分が認めれる相手が欲しい ↓ 要するに相手を認めて、相手が自分を認めてくれてるようになればよい ↓ なればよいってわかってても感情に従うとできないので、演技をすると割り切る ↓ 演技をするために小さなプライドは捨てる 以下詳細。 ・第１印象 軽い男性という第一印象を与える。 これが一番相手の壁の高さを低くする。 自分の壁低いよ♪ってアピール。 そうしたら自然に相手の壁も低くなる
HTML をシンプルに保ちつつ、ブロック要素の段組みを実現する方法 パート2 | バシャログ。
「HTML をシンプルに保ったままブロック要素を段組みする方法」のパート 2 です。 前回の記事では、float と position の合わせ技により、全体の横幅ピッタリに要素を段組みしました。 今回は、position を使わない方法をご紹介します。 ボックスと余白の幅の値は前回と同じく以下です。 HTML ソースも前回と同じくこちら。無駄な ID や class のないシンプルなソースになっています。 <div id="photo"> <ul> <li><img src="hoge1.jpg" alt="サンプル1" width="160" height="120" /></li> <li><img src="hoge2.jpg" alt="サンプル2" width="160" height="120" /></li> <li><img src="hoge3.jpg" alt="サン
【レポート】Mpackから探るWeb経由の攻撃 (1) Mpack、その3つの特徴 | エンタープライズ | マイコミジャーナル
6月下旬から7月上旬にかけて、Mpack(※1)というWebサイト攻撃コード詰め合わせパックとでも言うべきツールが話題となった。Mpackそのものが危険であるように紹介されていることもあるが、実際はそうではない。Mpackは2006年から存在が確認されており、またMpackで悪用されている脆弱性は既知のものである。ただし、Mpackは最近主流となっている、Webサイト経由の攻撃の特徴をよく表していると言える。Mpackの事例を見ることで、Webサイト経由の攻撃がどのようなものであるか見ていくこととする。 ※1: PandaLabsが公開している資料がMpack について、詳しく解説している(PDF)。 最近のWebサイト経由の攻撃 最近のWebサイト経由の攻撃の特徴は、大きく3つ挙げられる。 Web サイトに攻撃コードを取得するiframeタグを挿入する 攻撃コードがJavaScriptで
mixi OpenIDのコミュニティ認証をバックグラウンドで行うプログラムを組んでみた - 遥かへのスピードランナー
mixiOpenIDはブラウザのリダイレクトで認証を行うので、１画面で１回の認証しかできないと思われがちですが、これを回避するプログラムを組んでみました。 mixi openIDでは、「この外部サイトの場合常に同意する」を選択していれば、ブラウザ操作なしに認証後URLまで自動で遷移されるので、複数のiframeの中でopenIDの認証を行うことによって、複数のコミュニティ認証、あるいは複数のmixiユーザー認証をバックグラウンドで行うことが可能です。（ただし、認証はリダイレクトだけでなく、途中でmeta refreshが入るのでXMLHttpRequestや、scriptのsrcの中で認証することなどはできない。iframeが限度じゃないかとおもってます。） 以下それをテストするためのスクリプトを書いてみました。 デモURL こちらです⇒http://poly.s49.xrea.com/d
最速インターフェース研究会 :: OperaでJSONPを非同期リクエストする
JSONP が Opera だと非同期処理できない http://d.hatena.ne.jp/secondlife/20060906/1157515075 に書かれているとおりOperaだとscript要素を足した瞬間にJavaScriptの実行が止まって、ロード完了まで後続のスクリプトが実行されなくなります。 サンプル http://la.ma.la/misc/js/opera_jsonp_test.html そこで、リクエストの度にダミーのIFRAMEを作って、そのIFRAME内のcontentWindowで実行するという方法を試してみました。 IFRAME内でJSONをロードするサンプル http://la.ma.la/misc/js/iframe_jsonp_request.html なんかIEで動かないっぽいけど気にしない。相変わらずタイマーは停止しますが、appendChil
AjaxにおいてXMLHTTPRequestとIFRAMEのどちらを使うべきか？ - llameradaの日記
JavaScriptによりサーバと非同期通信する際の手段にはXMLHTTPRequest(XHR)とIFRAMEがある。Ajaxと言えば普通はXHRだが、IFRAMEを使うことによってもサーバとの非同期通信が可能である。IFRAMEの場合、サーバと通信するタイミングでIFRAMEのsrcを変更し、IFRAMEを再読み込みする。そして、IFRAMEの読み込みが終了したら、親ページのコールバック関数に、IFRAMEのデータを渡すことで非同期通信が実現できる。たしか、初期のGoogle MapsはXHRでなくIFRAMEをAjaxに使っていたと思う。 XHRとIFRAMEのユーザビリティにおける最大の違いは、サーバとの通信処理のユーザへの見え方である。XHRの場合、ブラウザはサーバとの通信を画像の読み込みと同じように扱う。一方、IFRAMEの場合、ブラウザはサーバとの通信はリンクのクリックと同じ
“受動的”な検出ツール，Web 2.0系のぜい弱性に強み
この数年来，Webアプリケーションのぜい弱性を狙った攻撃により，個人情報が漏洩したり，Webページが改ざんされる被害がたびたび発生しています。このような被害に遭わないように，Webサイト開発者には今，セキュアなWebアプリケーションを開発することが求められています。 セキュアなWebアプリケーションを開発するために一番重要なことは，そもそもセキュアに設計・コーディングすることです。そのためには開発者の教育や開発ガイドラインなどが必要になります。同時に，開発者が作ったものが本当にセキュアであるかを確認するプロセスが必要です。確認の対象となるのは，設計書，ソースコード，実際に稼働するアプリケーションなどですが，一般にWebアプリケーションにおいて広く行なわれているのは，実際に稼働しているアプリケーションを対象とする検査ではないかと思います。 この種の検査では，Webアプリケーションに対して様々
as3dmodでうねうね・ゆらゆらな作例3点 | ClockMaker Blog
前に作ったサンプルがこちらに紹介頂きました。いまいち一般的なサイトでの使い道が思いつかないas3dmodですが、ふしぎな魅力を感じてしまううねうねとした表現。3点ほどサンプルを作ってみました。 うねうねする石版 HTML版として移植しました（2021年4月25日） demo オリジナルのFlash版はこちら demo (require Flash Player 9) src (記事の最後に用意しています) 風に揺られる旗 HTML版として移植しました（2021年4月25日） demo オリジナルのFlash版はこちら demo (require Flash Player 9) src (記事の最後に用意しています) as3dmodの機能を使ってぱたぱたする表現が実現できるので、さらにリアルにするために風に揺られる演出を簡単な三角関数を加えてやっています。なお、こちらはマウスクリックするとワ
ブログパーツ.com
ミニタイドグラフV3ブログパーツ カテゴリー : 天気/温度計 使用料 : 無料 タイドグラフ（潮見表）のブログパーツです。 全国約300箇所から、選択したポイントの潮の状態、月の状態、日の出時刻、日の入時刻が一目で確認できるシンプルで軽量なタイドグラフ第２弾です。 釣りをはじめとした海のレジャーに潮汐の目安として役に立ちます。
２ちゃんねるIframeタグ問題
<body> <p>このページにはフレームが使用されていますが、お使いのブラウザではサポートされていません。</p> </body>
おとなりページとは はてなの人気・最新記事を集めました - はてな
はてなアンテナの機能のひとつ。あるページが登録されているアンテナの中で、それらのアンテナに登録されているその他のページを、重複の多いものから表示する。 また、重複の度数によって 距離の異なるページ間の地図を表示します。2004年9月27日に地図機能は停止になりました。http://hatena.g.hatena.ne.jp/hatenaantenna/20040927#1096266360 例えばはてなダイアリー日記（http://d.hatena.ne.jp/hatenadiary/）の場合下記URLで見ることができる。 http://a.hatena.ne.jp/map?http://d.hatena.ne.jp/hatenadiary/
Amazon[B!]新着記事・評価 - はてなブックマーク
キーボードショートカット一覧 j次のブックマーク k前のブックマーク lあとで読む eコメント一覧を開く oページを開く ✕
C-JDBC - Home Page
C-JDBC Project links · · · · · · · Developers' Corner · · · · · About · · · May 2008 New support and consulting services available The original creator of C-JDBC provides new consulting services at FrogThinker.com. Wednesday, May 7 2008 Sequoia 2.10.10 available Sequoia is the continuation of the C-JDBC project under an Apache license. A new stable production release is available. You can download
Sequoia: Check Out Our New Community Site!
As of August 28 2008, the contents of sequoia.continuent.org have moved to http://community.continuent.com/community/sequoia∞. The new site has been completely redesigned and has many new facilities like forums, wiki courtesy of MediaWiki∞, and better security. Continuent.org will remain up until we are satisfied that all content has been properly moved. Meanwhile, please enjoy the new site! Welc
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon.co.jp: ITアーキテクト総集編DVD【Vol.1~10】 (IDGムックシリーズ): ITアーキテクト編集部 (著), ITアーキテクト編集部 (編集): 本
ITアーキテクト（技術情報誌）
https://www.openvista.jp/archives/note/2008/online-pdf-reader/?2008/online-pdf-reader/
[JS]フォームのtextareaをサイズ変更できるスクリプト -TextArea Resizer
JavaScript++かも日記 - 1997年からの
結構すごい物理演算動画4本まとめ‐ニコニコ動画(夏)
CSS Lab
Yahoo!デベロッパーネットワーク
Amazon.co.jp: 集合知プログラミング: Toby Segaran (著), 當山仁健 (翻訳), 鴨澤眞夫 (翻訳): 本