FAQ - Cassandra Wiki
Search: Cassandra Wiki Login FAQ FrontPageRecentChangesFindPageHelpContentsFAQ Immutable PageCommentsInfoAttachments More Actions: Superseded by the FAQ here. FAQ (last edited 2016-08-15 15:30:03 by JonathanEllis) Immutable PageCommentsInfoAttachments More Actions: MoinMoin PoweredPython PoweredGPL licensedValid HTML 4.01
DBIx::ProfileManager で SQL Profiling | BLOG - DeNA Engineering
風邪を引きっぱなしで全然治らない山口です。恐らくネット上では zigorou と言うハンドルでご存知の方もいらっしゃるかもしれません。 まずは技術系のネタの第1弾です。 今回は実際にモバゲーオープンプラットフォームで用いている SQL Profiling の方法をご紹介致します。 DBI::Profile について モバゲータウン ではデータベースは MySQL を用いており、サーバーサイドプログラムから管理ツールまでのほとんどが Perl で書かれており、 当然ながら DBI モジュールまたはそれを利用したモジュールを使って DB アクセスをしています。 今回、オープンプラットフォームチームで作った OpenSocial RESTful API ですが、モバゲータウン内のデータベースに大量にアクセスする為に日々どのようなクエリが実行され、どれくらいの実行時間が掛かっているかは常に気になる
Jepack SDKがリリースされたので使ってみる - SWDYH
Mozilla Labs » jetpack » Blog Archive » Announcing the Jetpack SDK: First Milestone Release http://mozillalabs.com/jetpack/2010/03/09/announcing-the-jetpack-sdk/ 環境は、MacOS 10.5.8、python2.5(macportsで入れたやつ、もとから入ってるのでもいいと思う) SDKをダウンロードして解凍 % wget https://ftp.mozilla.org/pub/mozilla.org/labs/jetpack/jetpack-sdk-0.1.tar.gz % tar zxvf jetpack-sdk-0.1.tar.gz % cd jetpack-sdk-0.1SDKの環境をロード % source bin/ac
Project Voldemort
Configuration There are three configuration files that control server operation: cluster.xml – This holds the information about all the nodes (i.e. servers) in the cluster, what hostname they are at, the ports they use, etc. It is exactly the same for all voldemort nodes. It does not hold tuning parameters or data directories for those nodes, since that is not information public to the cluster but
ArchitectureSSTable - Cassandra Wiki
SSTable Overview DRAFT. Notes on documenting how SSTables work in Cassandra (data format, indexing, serialization, searching) SSTables have 3 separate files created, and are per column-family. Bloom Filter Index Data When adding a new key to an SSTable here are the steps it goes through. All keys are sorted before writing. Serialize Index (ColumnIndexer.serialize(!IIterableColumns columns, DataOut
超高速テキスト処理のためのアルゴリズムとデータ構造 (PDF)
超高速テキスト処理のための ゕルゴリズムとデータ構造 東京大学情報理工学系研究科* 岡野原 大輔 hillbig@is.s.u-tokyo.ac.jp NLP2010 チュートリゕル 2010 3/8@東京大学本郷キャンパス * 2010年4月から所属が （株）プリフゔードンフラストラクチャーになります。 内容 • 背景 – 自然言語処理と機械学習 • オンラン学習 – 教師有/無, 正則化 • 疎ベクトル々文字列データ構造 – 特徴情報の格納、全部分文字列情報 • 乱択化ゕルゴリズム – Hash Kernel, Randomized SVD 背景 大規模自然言語処理と機械学習 背景 • 利用可能な言語資源の急激な拡大 – ブログ, 掲示板, 商品情報, レビュー – Wikipedia, Google N-gram Corpus ～1010 語 – c.f. Penn TreeB
ArchitectureOverview - Cassandra Wiki
This is an overview of Cassandra architecture aimed at Cassandra users. Developers should probably look at the Developers links on the wiki's front page Information is mainly based on J Ellis OSCON 09 presentation Why Cassandra MySQL drives too many random I/Os File-based solutions require far too many locks The new face of data Scale out, not up Online load balancing, cluster growth Flexible sche
Bootstrapping local::lib, part 2 - Vox
Talking about Perl Web Application Development using Catalyst, Moose and DBIx::Class The cpanminus people (http://github.com/miyagawa/cpanminus) have this cool idea where you can just use the script hosted from github without even having to download it. So you can do: curl -L cpanmin.us | perl - --helpand just use it. This made me wonder if I could not do something similar with the script I rece
MySQL(InnoDB)でCOUNTしたくないとき - かみぽのメモ
たとえば、MySQL を使ったお手軽メッセージキュー実装 - ドワンゴ 研究開発ブログに出てくるようなInnoDBをメッセージキューのように使っているときに、キューにどれだけメッセージが溜まってるかを確認したいとき、普通に考えるとCOUNTすると思う。 SELECT COUNT(*) AS count FROM test_queue;この軽い気持ちでしたCOUNTが、もしうっかりキューに100万レコードぐらいあったりするとInnoDBだとPRIMARYキー総なめとかしちゃってレスポンスにかかる0.1秒ぐらいのあいだ罪悪感に苛まれることでしょう。 このとき冷静に考えると、もしキューが1件も処理されていなければ、idはauto_incrementなので特に細工していなければ SELECT MAX(id) AS count FROM test_queue;これも全体のレコード数に等しいでしょう。
大規模ソーシャルサーチエンジンの構造 - file-glob こと k.daibaの日記
はじめに Googleのように，どのドキュメントが適切なのかを選ぶのではなく，質問を誰にするのが適切かを選ぶ検索エンジンをAardvarkという会社が作り，その構造を論文で公開しました．この会社はもともとGoogleの社員だった人達が作った物で，最近Googleが買い上げました．今日はその論文の要旨をまとめてみました． タイトルと著者 タイトルはGoogle創始者のLarry PageさんとSergey Brinさんが1988年に発表した"Anatomy of a Large-Scale Hypertextual Search Engine"と韻を踏んでいます．論文を発表したのは，Aardvark社のDamon HorowitzさんとStanford Univ.のSepandar D. Kamvarさんです．以下小見出しが章，少々見出しが節という形式で進めます． ABSTRACT Aard
QuickCheck++に入門した - Faith and Brave - C++で遊ぼう
QuickCheck++は、Haskellで広く使われているテストフレームワークである QuickCheckをC++に移植したライブラリです。 ドキュメントと最新版は以下にあります。 QuickCheck++ Documentation 0.0.2 Version 0.0.2ではsigned/unsigned周りでバグがあるので generate.hhを以下からダウンロードして置き換えてください。 generate.hh さて、では使い方を見ていきましょう。 1.インクルード QuickCheck++はヘッダファイルのみのライブラリなのでインクルードするだけですぐ使えます。 #include <quickcheck/quickcheck.hh> 2.テストするプロパティの作成 以下は、reverseを2回した結果、元に戻るかのテストクラスです。 quickcheck::Propertyクラ
コンピュータサイエンス史上最大の課題「並列処理による性能向上」～情報処理学会創立50周年記念全国大会の招待講演
「いま、並列処理の壁というコンピュータサイエンス史上最大の課題に直面しています。しかしこれはチャンスでもあります。新しい時代を切り開いていきましょう」。IBM名誉フェローのFran Allen氏は、昨日3月10日に行われた日本の情報処理学会創立50周年記念全国大会の招待講演の演壇からこんなメッセージを聴衆に投げかけました。 Fran Allen氏は、コンパイラやプログラミング言語が専門で、女性で初めてチューリング賞を受賞した人。今回の招待講演のためにわざわざ来日したと紹介されました。 講演のタイトルは「The Challenge of the Multicores」。ここからは、Allen氏の講演の内容を紹介しましょう。 （この講演は英語で行われたものです。内容にはできるだけ正確を期したつもりですが、理解不足のところや聞き取れなかったところもありました。もし誤解や不正確なところがありました
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
DistributedDeletes - Cassandra Wiki
MemtableSSTable - Cassandra Wiki
Google Code Archive - Long-term storage for Google Code Project Hosting.
GitHub - onaluf/gameQuery: a javascript game engine with jQuery
IBM Developer