転置インデックスを実装しよう - mixi engineer blog
相対性理論のボーカルが頭から離れないmikioです。熱いわっふるの声に応えて今回はTokyo Cabinetのテーブルデータベースにおける検索機能の実装について語ってみたいと思います。とても長いのですが、最後まで読んだあかつきには、自分でも全文検索エンジンを作れると思っていただければ嬉しいです。 デモ モチベーションをあげていただくために、100行のソースコードで検索UIのデモを作ってみました。Java 6の日本語文書を対象としているので、「stringbuffer」とか「コンパイル」とか「倍精度浮動小数」とかそれっぽい用語で検索してみてください。 インデックスがちゃんとできていれば、たった100行で某検索エンジン風味の検索機能をあなたのデータを対象にして動かすことができます。ソースコードはこちら（テンプレートはこちら）です。 でも、今回はUIの話ではないのです。ものすごく地味に、全文検索
もう1つの、DBのかたち、分散Key-Valueストアとは
もう1つの、DBのかたち、分散Key-Valueストアとは：分散Key-Valueストアの本命「Bigtable」（1）（1/3 ページ） RDBとは別の、クラウド時代のデータベースとして注目を浴びている「分散Key-Valueストア」。その本命ともいえる、Googleの数々のサービスの基盤技術「Bigtable」について徹底解説 クラウド時代のデータベース「分散Key-Valueストア」 グーグルがインターネットの世界をここまで席けんできた最大の理由は何でしょうか。実は、それは同社の優れた検索技術ではありません。グーグルが成し遂げた最も大きなブレークスルーの1つは、同社が生み出した巨大な分散データストア、「Bigtable」にあります。 Bigtableは、Google検索をはじめ、YouTubeやGoogle Map、Google Earth、Google Analytics、Goog
IT news, careers, business technology, reviews
Heads on: Apple’s Vision Pro delivers a glimpse of the future
blog.katsuma.tv
greeさんで開催されたKey Value Store勉強会に行ってきました。 時間にして4時間超え、内容も国内のKey-Value Storeなソフトウェアの最前線の話ばかりで相当なボリューム。以下、メモってたのを残しておきたいと思います。（誤字、脱字、内容に誤りを含むものなどありましたらお伝えください）また、発表者の方やプロダクトについて、ざっくり調べてURL見つけられたものについてはリンク張っています。 森さん / 末永さん groonga Sennaの後継エンジン 融通が効かないのがSennaのデメリット スコア算出式のカスタマイズなど Sennaの転置索引 索引の構成部品を自由に組み合わせて使える APIもいろいろ QL DB Low Level memcached互換のkey-value store バイナリのみ対応 計測 クライアント memstorm-0.6.8 mem
MySQLによるデータウェアハウス構築
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、オークション事業部のWangです。 データウェアハウス（以下DWH）という言葉になじみのない方は検索していただいたほうがよいかもしれません。 検索するのがめんどい、という方は、かみ砕いた表現ができなくて恐縮ですが、 基幹系システムから抽出したデータを目的をもって再構成し、 使用可能な状態に保管されたデータの集合体、とお考えください。 オークションでは、具体的には出品、入札、落札などのトランザクションデータや、 それをいろいろな単位で集計したデータなどが該当します。 ここでいう単位というのはたとえば、日ごと、週ごと、月ごとや、以前の記事でも紹介されている カテゴリといったものになります。 こういったデータは、運用、運営、
mixiの年末年始対策 日記投稿システムの改善 - mixi engineer blog
朝晩冷えてきましたね。風邪など引いていませんでしょうか。さて、年末が近づいてくるこの時期に弊社のエンジニアが最も気になるのは、お正月。それも来年1月1日を迎えた瞬間です。 1日1日0時に何があるのでしょう？そう、mixiのサービスで最も日記が書き込まれるタイミングになるのです。個人的に「あけおめことよろアタック」と呼んでいます。今年は日記だけではなく、エコーでもメッセージが飛び交うことでしょう。この時期は携帯電話のキャリアでもさまざまな対策を行っていますが、ミクシィでも年末年始でもユーザの方に快適にサービス提供ができるように努めています 以下は昨年の年末年始の日記投稿数の推移です。青色が12/31から1/1、赤色が1/1から1/2になります 1/1の方が全体的に多いですが、特に年が変わる前後の投稿数は倍近くなっていることがわかります。この時に負荷により日記の投稿がしづらい状態になっていたの
Tokyo Tyrantによるリアルタイム検索 - mixi engineer blog
どうぶつの森にハマって、たぬきち商店が早終いする関係で退勤時間もめっさ早くなったmikioです。今回は、Tokyo TyrantのキャッシュとLua拡張を使って超お手軽にリアルタイム検索システムを作る方法について述べます。 ユースケース 高い頻度で更新されるWeb上のテキストをリアルタイムに検索したいと思ったことはありませんか？ mixi日記や各種のブログサービスやRSSリーダなどで扱う大量のコンテンツを安価かつ簡単に検索したいと思ったことはありませんか？ 私は結構あります。要件を箇条書きすると以下のような感じでしょうか。 最新データの合計100万件くらいを検索できればよく、古いデータは自動的に消えてほしい。 ただし、更新はリアルタイムにして、書いた瞬間に検索結果に反映されてほしい。 サーバ1台で更新1000qpsおよび検索100qpsは処理したい。 再現率よりも精度とリアルタイム性を重視
Kazuho@Cybozu Labs: ウェブサービスにおけるダメージコントロール (MySQL のスロークエリを自動的に kill する方法)
« ウェブサービスにおける SSD 導入にむけて〜検索サービスの可能性 | メイン | ウェブアプリケーションのインストーラジェネレータ » 2008年11月04日 ウェブサービスにおけるダメージコントロール (MySQL のスロークエリを自動的に kill する方法) 適切な設計によって、信頼性の高いソフトウェアやサービスを構築することが重要なのは、言うまでもないことです。一方で、なんらかの原因で問題が発生した際に、障害を局所化し、損害を小さく食い止める「ダメージコントロール」という概念もあります。ウェブサービスの場合も、特に検索や集計といった、計算量がクエリの種類によって大幅に異なるようなケースでは、次善の策として後者の手法が有効に働く場合もあるかと思います。 ともかくそういうわけで、MySQL のスロークエリを強制終了するようなタスクを書きやすくする Perl モジュール MySQL
Tags: Database schemas
An online tech community is the most exciting place for a software developer to spend their time. It not only offers the chance to work and interact remotely, but also helps in honing one’s own skills and becoming a well-rounded programmer. Whether you are a budding software developer or simply passionate about technology, here are the best online software development communities you can join. The
次世代検索はグーグルの上に構築 ― ＠IT
「インターネットの検索において、Webページ検索というのは、そろそろピークを過ぎるのではないか。人物や商品などドメインを区切ったバーチカルサーチや、Webページではなく知識そのものを検索できるようなナレッジサーチなどが今後の研究テーマになってくる」。2007年11月27日から2日間の予定で開催されている「データベースとWeb情報システムに関するシンポジウム」（DBWeb 2007）において「情報爆発に対処できる次世代サーチ技術」と題した講演を行った京都大学大学院情報学研究科の田中克己教授は、今後のネット検索技術の動向をそう総括する。 既存の検索サービスを使ってできることはまだまだある 田中氏は、2005年から5年間の予定で文部科学省が研究補助金を出すプロジェクト「情報爆発時代に向けた新しいIT基盤技術の研究」において「情報爆発に対応するコンテンツ融合と操作環境融合に関する研究」という研究テ
教養がニコニコ動画の代わりだった時代があったんですよ。 - モノーキー
▼永遠に喪われ続けるポストエヴァ。 エヴァで『おめでとう』そしてAIRで『ゴール』した先の時代ってのは YouTubeだったりニコニコだったりブログだったりとかツールの時代なんだよね。 つーか、とうとう着ちゃったんだよね「圧倒的な楽園」に。 批評のインタラクティブ性と社会接続性が奪われちゃって。 「読みの理論」だけが残った、ともいえるかもしれない。 と、とにかく。ソーシャルブックマークの事を『KA☆RA☆SA☆WA ＠ マッシュアップ』とか呼べばみんなの溜飲が下ると思います！ KA☆RA☆SA☆WA氏のブログを引用してた俺涙目。 ▼もう、世代共通の名作はやってこない？（ポストエヴァは高確率で生まれない、その代替としてのwebサービス） SF1000冊読め、名作だけは押さえておけ、昔言われたのは、それが必要なソフトウェアでSF1000冊がインストールされてないと、特定
Googleはデータに何らかの手を加えている？ コンテンツ時代のデータ像
日本SGIは6月28日、東京・恵比寿のウェスティンホテル東京で「SiliconLIVE! Forum 2006」を開催した。同フォーラムの中から、「マルチメディア・コミュニケーション＆データベース」と題したお茶の水女子大学理学部情報科学科の増永良文教授の基調講演を紹介する。 DBの研究開発はシステムからコンテンツへ移行 増永教授は「DBとは何か」の説明について、｢DBには2つ意味がある。1つはDBのコンテンツ。もう1つは、Oracleなどデータを管理するDB管理システム｣と解説した。そして、DBに関する最近の関心事について、「従来は、DB管理システムに関心が集まっていたが、最近は、データウエアハウスなどに蓄積したデータからどういった知識、ルールが出てくるのか、DBの中身に関心が移ってきた」と述べた。 「DBはわれわれが住んでいる世の中の“写し絵”だ。リレーショナルDBは表の形でデータを管理
ゲーム音楽特化検索
このウェブサイトは販売用です！ tokkasearch.com は、あなたがお探しの情報の全ての最新かつ最適なソースです。一般トピックからここから検索できる内容は、tokkasearch.comが全てとなります。あなたがお探しの内容が見つかることを願っています！
素早く正規形を見抜く実践テクニック（1/4） － ＠IT
今回のテーマはデータベースエンジニアの必須知識の1つである「正規化」です。正規化は、リレーショナル・データベースのテーブル設計を行ううえで非常に重要なテクニックであり、データベースを設計、実装したことのある方なら一度は正規化に触れているのではないでしょうか。 それほど基本的な知識であるにもかかわらず、正規化を説明できる人はなかなかいません。多く聞かれるのが「何となくテーブルを作ると自然に第3正規形になる」とか「実務上は第3正規化まで行えば問題ない」というものです。 ではなぜ「第3正規化まで行えば問題ない」のでしょうか。本稿ではひととおり正規化について確認しながら、あまり触れられることのない第3正規化より先の正規化を紹介して、この疑問に答えていきたいと思います。 正規化の位置付け 正規化は、データベース設計全般にかかわる基礎知識ですが、特に論理データモデリングの作業の中で必要になります。本稿
ミクシィのCTOが語る「mixiはいかにして増え続けるトラフィックに対処してきたか」：ITpro
ミクシィのCTOが語る「mixiはいかにして増え続けるトラフィックに対処してきたか」 YAPC::Asia 2006 Tokyo 東京都大田区で開催されているPerl技術者向けカンファレンス「YAPC::Asia 2006 Tokyo」で2006年3月29日，日本最大のソーシャル・ネットワーキング・サイト（SNS）である「mixi」を運営するミクシィのBatara Kesuma（バタラ・ケスマ）取締役最高技術責任者（CTO）が，増え続ける膨大なトラフィックにどのように対処してきたのかについて講演した。カギとなるのは「データベース分割」である。 mixiのシステムはもともとBatara氏が1人で作り上げたものだ。2003年当時，米国でFriendsterなどのSNSがはやっており，同氏が会社（現在のミクシィ，当時はイー・マーキュリー）にSNSを作りたいと提案したところ認められたという。同氏が
オラクル、オープンソースのMySQL買収に失敗
サンフランシスコ発--大手データベースベンダーOracleが、オープンソースデータベースメーカーのMySQL買収を試みた。これは、Oracleが、重要性の高まる協調プログラミングの理念に合わせて大きく変わろうとしていることを示している。 多角化を進めてはいるが、Oracleの本業は自社開発のデータベースソフトウェアを販売することだ。これとは対照的に、競合オープンソース製品の商業化を目指す複数の企業のトップを走るのがMySQLだ。 MySQLの最高経営責任者（CEO）、Marten Mickosは、当地で開催中のOpen Source Business Conferenceでインタビューに答え、買収の試みがあったことを正式に認めた。だが、交渉の時期や、Oracleの提示額など、その詳細については明かさなかった。 しかし、同氏は、Oracleの提示を断った理由を、自身の会社が持つ独立性を維持し
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
サービス終了のお知らせ
ＧＰ’ｓ ＲＯＯＭ （真）声優さんメモリアル・ＴＯＰページ
AV女優データベース
http://sslink.ii2.cc/