作るプログラムの機能や性能で勝負したい。そうだ、データベースを勉強しよう - きしだのはてな
さて、アルゴリズムの勉強のしかたと、ラムダ計算の勉強のしかたの目星をつけました。 アルゴリズムの勉強のしかた - きしだのはてな ラムダ計算の勉強のしかた、プログラム意味論 - きしだのはてな これでここで書いたプログラムの理論の基礎は勉強できたことになるんじゃないかと思います。 プログラムの理論とはなにか - きしだのはてな ところで、プログラムの勉強地図としてこういう図を書きました。 で、ハードウェアまわりについても、プロセッサを支える技術やネットワークはなぜつながるのかでひととおり勉強したとしましょう。 じゃあ次は、アジャイルか？テストか？UIデザインか？となるわけですが、やはりプログラマなら、プログラムの作り方や使いやすさの前に、作るプログラムの機能や性能で勝負したいじゃないですか。 いい感じに関数が分割できるよとか、読みやすい名前がつけれるよとか、効率よく仕事して定時に帰れるよと
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
信じられないDB文化「Join禁止」に「固定長DB」、、でも、合うんです。大規模コンシューマ向けサービスのRDB設計 - レベルエンター山本大のブログ
僕らが最近手がけているのは、とても大規模なコンシューマ向けサービスだ。 100万人の契約ユーザが使い、1テーブルに1億レコード以上のデータを貯め、24時間止めることが許されず、 要求から応答までのターンアラウンドタイムが1秒以内という厳しいSLAのサービスである。 中でも僕はRDBやフレームワークを担当している。 僕がこの現場に来て、驚愕した文化が2つある それは「Join禁止」と「固定長DB」だ。 ありえない。 とはいえ、正直に言えば「またか、、、」という感想でもある。 RDBを知らないレガシーな人たちが設計したDBではよくありがちな設計だからだ。 と僕は早々にこの文化と戦って、絶対に覆してやろうと考えてた。 過去の経験上それはたやすいハズだった。 しかし、この文化と戦うこと3ヶ月間。 屈した。初めて屈した。いや、屈したというよりは理解した。 大規模コンシューマ向けサービスのRDBという
ランキングのつくりかた:Kenn's Clairvoyance
遅ればせながら、あけましておめでとうございます。 先週には、ベイエリアの友人たちがやっているEchofonがPostUpに買収されるなど、幸先のよい新年のスタートとなりました。 さて、最近ホットなマーケットといえばソーシャルゲームですが、ゲームといえばリーダーボード。ハイスコアのランキングで友人や見知らぬ人たちと競うのは、ビデオゲームが誕生した1970年代から欠かせない要素でした。 ところが、インターネット経由で100万人規模のプレイヤーがつながるようになってきた現在、その全体をランキングづけするのは、技術的にも大きなチャレンジとなってきました。 今回は、そのリーダーボードのつくりかたについて、ぼくらの作っているソーシャルゲーム・プラットフォームであるPankiaの運用で得られた知見を共有したいと思います。 自分の順位を知る方法 リーダーボードの基本的な考え方はシンプルで、それはつまり「ユ
Database Version Control – techPortal
Version control for source code is used by most development teams today. It gives you a history of all the changes you made, you can use it to share your code with others and you can work on an experimental feature without polluting the stable product. These are just some of the reasons why version control software is considered indispensable today. But where does our database fit in all this? How
Apache CouchDB
Data Where You Need It Apache CouchDB ™ lets you access your data where you need it. The Couch Replication Protocol is implemented in a variety of projects and products that span every imaginable computing environment from globally distributed server-clusters, over mobile phones to web browsers. Store your data safely, on your own servers, or with any leading cloud provider. Your web- and native a
MonetDB
MonetDB is a high performance relational database system for analytics RobustMonetDB offers a robust SQL compliant database interface, enabling applications ranging from pure analytics to hybrid transactional/analytical processing. It supports common features including keys, joins, views, triggers, and stored procedures, along with full-ACID properties for concurrent transactions. Additionally, Mo
セールスフォース、無料で使えるクラウドデータベース「Database.com」を発表。Dreamforce '10
セールスフォース・ドットコムは12月7日（現地時間）、サンフランシスコで行われた同社のイベント「Dreamforce '10」の基調講演で、クラウド上にホスティングされたデータベースサービス「Database.com」を発表しました。 （基調講演の内容については、1つ前の記事「セールスフォース・ドットコム、企業向けマイクロブログ「Chatter」を無料化。フリーミアム戦略へ。Dreamforce'10」を参照してください） Database.comはビジネスアプリケーション向けのリレーショナルデータベースサービス。ブラウザからスキーマを自由に定義でき、障害時の自動フェイルオーバー、普段のバックアップ、ディザスタリカバリなどの運用をすべてクラウドに任せることができます。 しかも3ユーザー、10万件、月間5万トランザクションまでは無料で利用可能。 セールスフォース・ドットコムは、同社が以前から
セールスフォースのアーキテクチャ（マルチテナントデータベース編）～ Flex Schemaとオプティマイザ
米国の計算機学会として知られるACMが主催したクラウドコンピューティングのシンポジウム「ACM Symposium on Cloud Computing 2010」（ACM SOCC 2010）が6月10日、11日にインディアナ州インディアナポリスで開催されました。 基調講演では、セールスフォースのアーキテクチャの解説が行われました。複数の利用者のデータを1つのデータベースに格納しているセールスフォースのクラウドでは、どのようなデータベース構造で、また検索のオプティマイズなどはどうしているのしょうか？ （この記事は「セールスフォースのアーキテクチャ（物理アーキテクチャ編）～ Podによるスケールアウト」の続きです） マルチテナントとしてのデータベース構造と最適化 セールスフォースの内部でOracle RACを使っていることは説明したが、すべてのユーザーが共有するデータベースで、どのような構
データベース実践講義を読んで考えた事 - 射撃しつつ前転 改
RDBMSには詳しくないし、将来的にもそれほど詳しくなるつもりはないのだけれど、情報関係の業界で食べていくためにはRDBMSの知識はある程度身につけておいた方がいい、というかつけておかないとまずい。と言うわけで、会社で社長におすすめされて、データベース実践講義(AA) を読んだ。 リレーショナルモデルはいいよ。 今のSQLはリレーショナルモデルとはかけ離れている点がいくつかある。 モデルと実装は違う。モデルは概念であって、物理的に何をどうメモリ上に配置するか、どういうインデックス構造をつけるか、というのは実装である。今のRDBMSはモデルと実装がかなり密にくっついているのが良くない。 というようなことを読み取った。 で、本を読みながら、頭の中では、ウェブアプリとかだと、複雑なクエリで望みの統計データを一発で効率よく出力する、みたいなところよりも、データの安全性をどうやって保証するか、とか、
#appengine JavaではJDOは捨てましょう!
Slim3のMLに次のようなタイトルの議題が上がっていた。 JDOを捨ててLow level APIへ?自分はSlim3は触らないからMLに投稿できないけど、この方向はすごく良い事だと思いました。 スレッド内で少し出ている「App Engine以外では動かなくなる 」は全く問題になら無いと思います。なぜなら、GAE/J用のシステムは設計レベルでGAEに特化してしまうので、結局GAE/J以外に移行するには設計からやりなおす事になり、そーなると実装レベルでJDOを適用して…という話にはならんと思うからです。 low-level APIのメリットその一これはずっと前からの意見なんですが、まず学習コストが低いですし、BigTableを勘違いせずストレートに理解しやすいんじゃないかと思います。JDOから入ると、従来のORMに使い慣れた人が従来のORMとして使ってしまい、あれ？とはまり込む気がします。
Seasar Conference 2006 Spring (5) - 世界線航跡蔵
前の記事 に続いてSeasar Conferenceをレポートする。 セッション4 DB-sideのほうは「EJB3時代のERDレッスン - Activity Based Datamodel」 Seasar-sideのほうは「片手でスイスイWebアプリ2.0 - Tuigwaa劇場へようこそ」 ミニセッションのほうは「S2Flex2」 Tuigwaaのセッションは聴衆を感動と興奮の渦に巻き込んだらしいけれど、それは想像に難くない。 千葉滋PM採択案件最終成果報告会 で一応話は聞いて、私も非常に感動した。 Tuigwaaは一度聞いたからいいやと思って、私は「ERDレッスン」を聞いてきた。 はぶさん ERDセッションの発表者は、はぶあきひろさん。御本人を見るのは初めてで、少しイメージが違った。 はぶにっき は愛読しているけれども、偶に、SIerさんが書いていると想像するとちょっと鼻につくように
yohei-y:weblog: CAPのCとACIDのC
CAP 定理と BASE の概念を考えたのは UCB の Brewer 先生で、彼は inktomi の偉い人だったというのは前回述べた。 当時のinktomiはYahoo!や Microsoft、それにgooにも検索エンジンを提供していて、1億以上のWebページ(テラバイト級のデータ)を扱っていたようだ。 手元のWEB+DB PRESS Vol.49 のはてなブックマークリニューアル記事によると、現在のはてなブックマークは1160万URLと100GBのHTMLデータ(圧縮済み)を扱っているらしいので、ざっくりいって98年の時点でinktomi は現在のはてブの10倍のデータを扱っていたといってもいい。inktomiで使っていたコンピュータの性能は現在のPCサ ーバに比べれば1/10程度の性能なので、システム全体でみると現在のはてブの100倍の規模になるだろうか。 結果的には、inktom
» 第 1 回 Slony-I を使用したシステム構築 – 大規模参照ソリューション | PowerGres
このページに記載の情報は、2005 年にリリースした PowerGres Plus V2 を対象としています。PowerGres Plus V2 の販売はすでに終了しています。 PowerGres Plus の最新バージョンに関する情報は、製品紹介ページまたは PowerGres 体験記ページを参照してください。 最近では、小規模で始めた事業が、ヒット商品の出現やメディアで紹介されることで、一気に流行し、インターネット上でのアクセスが数十倍に増えることもめずらしくありません。 そのような場合、その企業は、迅速、かつ簡単にシステムを増設しなくて はなりません。 Slony-I はチェーン方式と呼ばれる方式により、システムを簡単に増設できるレプリケーションソフトウェアです。 PowerGres Plus では、Slony-I を利用して、大規模なデータ参照を行うシステムを簡単に構築することがで
wedata
もとは、androidのN2TTSやVocalizerという読み上げアプリ用に作ったユーザー辞書(読み替え単語集)です。 最近のTTSエンジンは十分に賢いので、このユーザー辞書を使うと、かえって読み上げ精度や抑揚が悪くなるかも。 （例：「青瓦台」は、googleテキスト読み上げでは「セイガダイ」と正しく読めるが、マイクロソフトのHarukaでは「アオガワラダイ」と読んでしまうなど、TTSエンジンによって得意・不得意がある） ベクターのフリー辞書などを転用して、時代小説などに頻出する地名や人名などを登録してみました。 TabSpeechというChromeプラグインでユーザー辞書（読み替え）のデータベースを指定できるので、このデータベースも利用できると思います。 ★ユーザー辞書を充実させるため、単語追加歓迎します。 ただ、隆盛（人名でのタカモリ、普通名詞のリュウセイ）とか意味によって読み方が変
mixi Engineers’ Blog » 圧縮データベースを使おう
チャリンコ通勤による滝のような汗で、朝からTシャツがシースルーになってしまうmikioです。さて今回は、Tokyo Cabinet（TC）のデータベースを各種のアルゴリズムで圧縮して利用する方法についてご紹介します。 圧縮B+木 B+木とは、比較関数の値による順序が近いレコード群を単一のページにまとめ、各ページにB木（multiway balanced treeの略であり、二分木（binary tree）とは違います）の索引を張ったものです。理論的にはレコードの探索も更新も O(log n) の時間計算量で行え、内部ノード（B木）の操作をキャッシュすると実質的には O(1) の時間計算量で探索や更新が行えるという、かなり安定した性能を備えるデータ構造です。その上、レコードが一定の順序に基づいて並べられているので、数値の範囲検索や文字列の前方一致検索が高速に行えたり、カーソルによって順序に基
Martin Fowler's Bliki in Japanese - トランザクションレス
http://martinfowler.com/bliki/Transactionless.html 2007/3/18 (更新：Bill Caputoからも経験談をいただいた) 数年前にeBayで働く友人たちと話していたときのことだ。 大規模サイトで使われる技術の話を聞くのはいつも楽しいが、特に興味深かったのが、eBayでは滅多にデータベーストランザクションを使用しないという話だった。 トランザクションがない環境というのは驚くべきことではないだろうか。 データベースを扱うときにトランザクションを使うのはごくごく一般的なことだ。 多くの人にとって（私もそうだが）トランザクションはデータベースを使う利点のひとつだ。 eBayがトランザクションを使わないのは、あのような規模ではパフォーマンスに影響が出てしまうからだというものだった。 eBayではデータをいくつもの物理的データベースにパーテショ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
English (US)
Digg Dips Deep Into Open Source
MongoDB 3.0.8 is released - MongoDB Blog