グーグル、また基盤技術の1つをオープンソース化 − ＠IT
2008/07/08 グーグルは7月7日、同社の基盤を支える要素技術の1つ「Protocol Buffers」をオープンソースで公開した。Protocol Buffersはさまざまな構造化データを言語に非依存な形で定義し、利用するためのソフトウェア。JavaやC++、Pythonで利用でき、定義したデータは各言語のクラスライブラリにコンパイルされるという。例えば、いくつかの32ビット整数やストリングからなるデータ型を「.proto」というファイルで定義しておけば、このデータ型で定義されるメッセージストリームを、各言語から利用できるという。 オープンソース化を担当した同社ソフトウェアエンジニアのケントン・バーダ（Kenton Varda）氏によれば、Protocol Buffersは、XMLやIDLで満たせないニーズを満たすものだという。「XMLは優れているが、グーグルで扱うデータ量はXML
【続報】東証が緊急会見、システム障害の引き金はデータベースのデッドロック
3月10日に東京証券取引所の株式売買システムで障害が発生し、午前9時から午後1時まで2銘柄が売買できなかった問題（関連記事1、関連記事2）で、東証は同日午後5時から緊急の記者会見を開いた。鈴木義伯常務取締役CIO（最高情報責任者）は、「データベースのデッドロックが引き金だった」と説明した（写真）。 デッドロックが発生したのは午前8時59分43秒から44秒にかけて。午前の取引が始まる午前9時の直前だ。複数銘柄の注文を1つにまとめた「バスケット取引」のトランザクションと、同注文に含まれる一部銘柄の訂正注文のトランザクションとの間で起こった。 2つのトランザクションが、それぞれどのようなデータベースをロックしたまま放さなかったのかについては公表を避けたが、注文データを格納するデータベースと、バスケット取引のデータを格納するデータベースの2つだったとみられる。 オンラインでデータベースを更新するト
MOONGIFT: » SQLインジェクションを防ぐプロキシ「GreenSQL」:オープンソースを毎日紹介
※ 画像は公式サイトデモより。 DBを使ったWebアプリケーションが当たり前になり、その重要性は増す一方だ。万一、データが消失するような事態になったら、ビジネスに与える影響は計り知れない。 SQLインジェクションはDBに対する攻撃の一つだ。システムにバグがなければ良いが、それは起こってみてからしか分からない。予防措置をしいておこう。 今回紹介するオープンソース・ソフトウェアはGreenSQL、SQLインジェクションを防ぐDB用ファイアウォールだ。 GreenSQLはDBとWebサーバとのプロキシとして動作する。そして、その間で行われるSQL文を監視し、問題があるSQLを予め弾いてくれる。 対応しているDBはMySQLのみになる。ただ防ぐだけではなく、危ないものに対してはウォーニングログを残しておいてくれる。ログをチェックする事で、Webアプリケーションの強化も実施できる。 セキュリティ対策
Twitterのトラブルから見る、DB分割でスケーラブルなRailsサイト構築:TKMR.blog.show
最近、2.0な方々の間でTwitterが話題になってる。で、そのTwitter自体も面白いんだけど、TwitterについてDHHがブログを書いてRailsでの大規模サイト構築が話題になってるのが面白い。 Twitter trouble (Loud Thinking - DHH) まずTwitterの高負荷について言及、Twitterは11,000リクエスト/秒 の高負荷で問題となっているらしい。 そしてスケーラビリティの鍵はDB分割だ、と言っている。Railsは基本一つのDBを見るのでスケーラビリティの問題になる （確かにWebサーバはロードバランサがあればいくらでもスケールするしね、Sessionの共有だけ気を付ければ） ↓ Dr Nic » Magic Multi-Connections: A “facility in Rails to talk to more than o
ココログベーシック／プラス／プロ メンテナンスのお知らせ: お知らせココログ:@nifty
ココログをご利用いただきありがとうございます。 ココログベーシック／プラス／プロにつきまして、データベースのリプレイスを目的としたメンテナンスを実施いたします。 詳しくは以下の通りです。 ======================================================== 詳細情報 ======================================================== ◇メンテナンス日時 2007年4月3日（火）15:00～4月4日（水）15:00の約24時間 ◇メンテナンス目的 データベースのリプレイス ◇ご利用いただけなくなるサービス 下記のサービスがご利用いただけなくなります。 ・ココログベーシック／プラス／プロ －管理画面へのアクセス －管理画面上の各種操作（記事投稿など）※1 －公開日時指定機能 ※2 －トラックバック／コメン
ココログベーシック／プラス／プロ バージョンアップのお知らせ: お知らせココログ:@nifty
ココログをご利用いただきありがとうございます。 ココログベーシック／プラス／プロにつきまして、バージョンアップを目的としたメンテナンスを実施いたします。 詳しくは以下の通りです。 ======================================================== 詳細情報 ======================================================== ●ココログベーシック／プラス／プロ メンテナンス ※本メンテナンスでは、メンテナンス中もすべての機能について平常通りの利用が可能です。 ◇メンテナンス日時 2007年03月22日（木）10:00～16:00の約6時間 ◇メンテナンス目的 ココログベーシック／プラス／プロのバージョンアップ ==============================================
XMLマスター、新資格を追加する狙いとは？
千葉大輔（＠IT自分戦略研究所） 2007/2/20 XML技術者育成推進委員会は1月22日、XML技術者認定制度「XMLマスター」の新試験「XMLマスター：プロフェッショナル（データベース）」を2007年12月から開始すると発表した。XMLデータベースを活用したシステム構築の事例が増加する中、こうした業務に対応できる技術者の育成を目指すという。 新たにデータベース技術者向けに試験を開始するに当たり、その狙いと試験の特徴をXML技術者育成推進委員会運営事務局 穴沢悦子氏に聞いた。 ■XMLマスターとは XMLマスターは、XMLのスキルや知識に関する技術者認定制度。2001年10月に試験を開始した。XMLマスターにはXMLとXML関連技術の基礎技術スキルを問う「XMLマスター：ベーシック」と専門領域での技術力を認定する「XMLマスター：プロフェッショナル」の2種類がある。現在、1万4000人
進化する“Webスクレイピング”技術の世界 ― ＠IT
2007/02/20 WebサービスのAPIやRSSフィードを使って複数サイトのサービスや情報をマッシュアップ――。これはWeb2.0が包含するいくつかの概念のうち、最も重要なものの1つだ。Amazon.comやGoogle、Yahoo!、楽天といった大手Webサイトは、RESTやSOAPを用いたAPIを公開しており、さまざまなサービス提供者や個人がAPIを通して各種サービスを利用している。その一方、世の中のWebサイトの大多数はWeb1.0的なHTMLやCGIフォームしか提供していないのが現実だ。こうした背景からWeb1.0サイトから構造化されたデータを引っ張り出す“Webスクレイピング”技術が急速に発展してきているようだ。 HTMLをXML化し、XPathで関連データだけを抽出 例えば価格情報サイトでは製品名から価格が簡単に調べられるが、Webサーバから提供されるのは、製品名や価格にレ
「EXCEL VBA」を使って、「Google（http://www.google.co.jp/）」で検索した検索結果のソースを読んで、「ホームページのタイトル」「URL」「紹介文」をエクセル…
「EXCEL VBA」を使って、「Google（http://www.google.co.jp/）」で検索した検索結果のソースを読んで、「ホームページのタイトル」「URL」「紹介文」をエクセルファイルに保存する、というプログラムを作りたいと思っています。 どのようにプログラムを書けばいいのかわかりません。どなたか、ソースを書いていただけないでしょうか？ たとえば、エクセルのシートに「不動産」を入力して実行した場合、A列、B列、C列に、 Yahoo!<b>不動産</b> http://realestate.yahoo.co.jp/ 住まいを買いたい、借りたい、建てたい、リフォームしたい…Yahoo!<b>不動産</b>があなたの家探しをサポートします！ 豊富な画像と間取り図で、新築マンション・新築一戸建ての最新物件情報も充実。 【楽天<b>不動産</b>】 全国の<b>不動産</b> 新築物
Amazonのレビューをはてブ的に抽出するサイトを作ったよ。 - 小野マトペの業務日誌(アニメ制作してない篇)
ReviewLine.jp レビューライン.jp http://shinsho.reviewline.jp/ http://lightnovel.reviewline.jp/ http://novel.reviewline.jp/ http://manga.reviewline.jp/ これは何？ Amazon.co.jpのレビューを通して本との出会いを楽しめるサイトです。 概要・仕様 最近１年ぶんのAmazon.co.jpのカスタマーレビューから、新着や評価の高いものを抽出・配信します。 ホットポイント 各レビューについている『 ?pt 』の数字は、そのレビューの人気度を表す『ホットポイント』です。『参考になった数』−『参考にならなかった数』で算出してます。 対象のレビュー 一年以内に投稿された、その商品についての新着5件以内のレビューが対象です。これは、サービスがレビューの多い人気商品
グーグルは何かを知ろうとしている: 極東ブログ
雑記でもないのだがちょっと散漫な話になる。ので、一応結論的みたいのを先に言っておくと標題どおり「グーグルは何かを知ろうとしている」ということだ。何かとは取り敢えず人々の欲望としておく。誤解されるかなと思うのは、私がここで「グーグル」というのはシステムのことであって、その会社の経営者とか開発者という人間を指しているわけではない。 話の起点は先日のことだ。本田健（著）「ユダヤ人大富豪の教え」（参照）の引用が多いあるブログのエントリについて、はてなブックマークが多数付いたことに、私は奇異な感じを持った。該当のはてなブックマークは「はてなブックマーク - ユダヤ人大富豪の教え : akiyan.com」（参照）である。はてなダイアリーでの引用を含めると四百点近いブックマークとなった。 私はこの書籍についてフィクションだと思っているしあまり関心はない。が、はてな利用者がこの書籍についてこんなに関心を
JavaScriptによる全文検索エンジン - llameradaの日記
JavaScriptでインデックス型の全文検索エンジンを作ってみた。全文検索エンジンを作る際に問題となるのは、インデックスデータを部分的に読み込む方法である。通常はmmapやpreadなどを使ってファイルの一部を部分的に読み込むのだが、もちろん、ブラウザには使えない。ブラウザでファイルの一部分を読み込むには2通りの方法がある。1つは、ファイルを多数のファイルに分割する方法であり、もう1つはHTTPリクエストのRangeヘッダを利用して、ファイルの一部を取得する方法である。前者の利点は、ブラウザのキャッシュが効くことや、対応ブラウザが多いことである。後者の利点は、ファイル数が少なくなるので、インデックスの管理が容易になることである。今回はRangeヘッダの実用性にも興味があったので、後者の方法を用いた。 参考ページ：最速インターフェース研究会 :: Ajaxを使ったシンプルなチャット 転置イ
レジデント初期研修用資料: 症例報告のソーシャルブックマーク化
レジデント初期研修用資料 引っ越し前の旧blogです。新しいアドレスは http://medt00lz.s59.xrea.com/wp/ になります 水痘肺炎の患者さんのこと 水痘肺炎の若い方を診療する機会があった。 水痘の発疹が全身に出ていて、40度以上の高熱があって、単純写真真っ白。 そのレントゲンを見た主治医の頭も、同じく真っ白。 成人の水痘は肺炎を合併する可能性があることは知っていても、 本当にそうなった人をみたのははじめて。 とにかく具合が悪くてすぐに入院、空気感染だから個室隔離、ナースのシフトを 水痘既感染者に限定してもらって、とりあえずゾビラックス点滴。 そこまでは手持ちの知識で時間稼ぎ。 状態は相当悪くて、このまんま何もしないで診るの無理。教科書調べても、水痘肺炎のことは ほとんど書いていなくて、ゾビラックスと水痘免疫グロブリンと、あとは致命率が高いことと。 経験の裏づけが
[ThinkIT] 第1回：XMLデータベースのつまづきはなぜ起こるのか (3/3)
これまでの説明を踏まえ、これから目指すべきXMLデータベース導入のポイントを前述のGAPS2分析に当てはめて解説しよう。 最近のXMLデータベースの性能向上により、最大の阻害要因は解決されつつある。性能については、初期の製品において困難だったGBの壁を越え、数10〜数100GB規模のデータベースで実用的な性能を出すことができるようになっている。 また機能の向上によって、製品固有の特殊な知識を持たない技術者でも容易に利用できるようになった。ネイティブ型の場合、スキーマの定義が不要なウェルフォームドXMLへの対応と、チューニングのための知識が不要なオートインデックス機能を備えた製品が主流となっている。 標準の検索言語であるXQueryの採用が広がったことも技術者の層を厚くすることを後押ししている。XQueryはリレーショナルデータベースのSQLに対応するもので、基本的にはXQueryをマスター
12/5 ココログデータベース分散化実施について: お知らせココログ:@nifty
日頃よりココログをご利用いただきまして誠にありがとうございます。 ココログ負荷問題の抜本的な対策として、ココログベーシック・プラス・プロのデータベース分散化を2006年12月5日（火）に実施する予定です。 当日はココログベーシック・プラス・プロのバージョンアップも同時に実施いたします。 詳細な時間、バージョンアップ内容につきましては後日改めてご報告させていただきます。 なお、このバージョンアップで長らくご愛顧いただきましたココログベーシック・プラス・プロ@niftyBooks ISBN Lookup機能が提供終了となります。現在ご利用の場合、該当箇所のリンクがバージョンアップと同時に無くなることはありません。こちらも、詳細につきましては改めてご報告させていただきます。 今後ともココログをよろしくお願いいたします。
【続報】10/18 ココログフリーおよびココログデザインの障害について: お知らせココログ:@nifty
日頃よりココログをご利用いただきまして誠にありがとうございます。 現在、ココログフリーおよびココログデザインで障害が発生しております。ご迷惑をおかけして申し訳ございません。 2006年10月17日（火）16:00−2006年10月19日（木）16:00の約48時間を予定としていたココログフリーのデータベース・バージョンアップを目的としたメンテナンスは、作業が順調に進んだ結果、10月18日（水）15:35にサービスを再開させていただきましたが、同日22:00にシステムの異常が発生したため現在緊急停止させていただいております。 現在、原因の調査とサービスの復旧に向けて作業を進めております。復旧の見通しがたった時点でご連絡させていただきます。 この度はご迷惑をおかけいたしまして誠に申し訳ございません。深くお詫び申し上げます。 詳しくは下記の通りです。 ----------------------
お知らせココログ: ココログフリーメンテナンス実施のお知らせ：2006年10月17日（火）16:00―2006年10月19日（木）16:00
日頃よりココログをご利用いただきまして誠にありがとうございます。 2006年10月17日（火）16:00から2006年10月19日（木）16:00の約48時間にかけて、ココログフリーのデータベースのバージョンアップを目的としたメンテナンスを実施いたします。なお本メンテナンスに伴い、ココログベーシック・プラス・プロのお客様はココログデザインをご利用いただくことができません。 その他、詳しくは以下の通りになります。 -------------------------------------------------------- 詳細情報 -------------------------------------------------------- ◇メンテナンス日時 2006年10月17日（火）16:00～2006年10月19日（木）16:00の約48時間 ◇メンテナンス目的 ココログフリー
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
IBM Developer
IBM Developer
トップページ