Google社の基盤技術「MapReduce」についてエンジニアに聞く
Google社の基盤技術「MapReduce」についてエンジニアに聞く 米Google Inc. Christophe Bisciglia氏 米Google Inc.で大規模並列プログラミングの教育コース「Academic Cluster Computing Initiative（ACCI）」の立案者であるSenior Software EngineerのChristophe Bisciglia氏に，インタビューする機会を得た。Bisciglia氏は現在，中国・上海でサービスの開発に携わっている。 ――Googleのサービスを支える技術として，ACCIで教えているのは何か。 Christophe Bisciglia氏 並列処理のプログラミング/モデルである「MapReduce」と分散ファイル・システムである「GFS（Google File System）」だ。これらを実装した「Hadoop
【ハウツー】もう試しましたか? Googleの脆弱性発見ツール「ratproxy」 (1) XSS問題などを検出可能 | エンタープライズ | マイコミジャーナル
Webアプリケーション開発者にとって切っても切れない問題――それがセキュリティ対策だ。日増しに複雑になっていく要件・機能に対する脆弱性検査に悲鳴をあげているデベロッパ/テスターも多いことだろう。そのような中、あのGoogleが、社内でも活用している脆弱性発見ツールをオープンソース化して公開した。同ツールは脆弱性検査の新しい決め手となるか。以下、基本的な使い方や主要機能について紹介していこう。 Google社内で現役の脆弱性検知ツール - ratproxy Googleは1日(米国時間)、Webアプリケーションのセキュリティ監査を実施するツール「ratproxy」をリリースした。ratproxyはプロキシサーバとして動作するオープンソースソフトウェア。同ソフトウェアを経由してWebアプリケーションを操作することで、XSS(Cross Site Scripting)問題や不適切なXSRF(Cr
グーグル エンジニアのまじめな日常 ― ＠IT
グーグルがどのようにソフトウェア開発を行っているかは、これまであまり詳細が明らかにされてこなかった。だがグーグルは6月10日、開発者向けイベント「Google Developer Day 2008 Japan」を開催し、グーグルのソフトウェアエンジニアがグーグルでの仕事術を語る「Google ソフトウェアエンジニアの日常」という講演会を実施した。スピーカーは、NECでITエンジニアとして勤務した経験がある藤島勇造氏。2006年からグーグルのソフトウェアエンジニアとして働いている。藤島氏は、グーグルでのソフトウェア開発方法について、グーグルのカルチャーと自身の見解を織り交ぜて語った。 グーグル ソフトウェアエンジニアの1日の流れ 藤島氏の1日は、朝10時ごろ出社し、メールをチェックすることから始まる。この時間にメールを見る理由は、米国にいる同僚に連絡が付きやすい時間帯だからだ。 午前中の主な
MapReduce - naoyaのはてなダイアリー
"MapReduce" は Google のバックエンドで利用されている並列計算システムです。検索エンジンのインデックス作成をはじめとする、大規模な入力データに対するバッチ処理を想定して作られたシステムです。 MapReduce の面白いところは、map() と reduce() という二つの関数の組み合わせを定義するだけで、大規模データに対する様々な計算問題を解決することができる点です。 MapReduce の計算モデル map() にはその計算問題のデータとしての key-value ペアが次々に渡ってきます。map() では key-value 値のペアを異なる複数の key-value ペアに変換します。reduce() には、map() で作った key-value ペアを同一の key で束ねたものが順番に渡ってきます。その key-values ペアを任意の形式に変換すること
「Googleを支える技術」に載っていない日本語検索エンジンの技術 - nokunoの日記
Web検索エンジンは、大きく分けて次の2つからなります。利用者からのクエリーを直接受ける検索サーバ検索サーバから利用されるインデックス世界中のWebサイトを集めてきて解析し、インデックスに登録するクローラインデックスというのは、利用者から検索される単語をあらかじめ列挙しておいて、単語からWebサイトのURLを引くのに必要なデータ構造のことです。検索エンジンはGoogleを支える技術にあるように、「下準備があればこその高性能」なわけです。 インデックスを作成するためには、あらかじめWebページの内容を単語に分割する必要があります。英語では単語と単語の間をスペースで区切るため、この作業はさほど難しくありません。しかし日本語では、単語の境界はそれほど自明ではないため、日本語特有の処理をする必要があります。 日本語の文から単語に分解するには、形態素解析を使う場合と、N-gramを使う場合があり、そ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
