Hadoop、hBaseで構築する大規模分散データ処理システムCodeZine編集部では、現場で活躍するデベロッパーをスターにするためのカンファレンス「Developers Summit」や、エンジニアの生きざまをブーストするためのイベント「Developers Boost」など、さまざまなカンファレンスを企画・運営しています。
Hadoopのインストールとサンプルプログラムの実行
前回はGoogleの基盤技術とそれに対応するオープンソースソフトウェアとして、Hadoop & hBaseを紹介しました（図1 参照）。今回はHadoopを1台にインストールし、サンプルプログラムを動かします。次にHDFSとMapReduceのアーキテクチャを解説します。最後にサンプルプログラムのソースコードを解説します。 2. Hadoopの概要 Hadoopは主にYahoo! Inc.のDoug Cutting氏によって開発が進められているオープンソースソフトウェアで、GoogleFileSystemとMapReduceというGoogleの基盤技術のオープンソース実装です。Hadoopという名前は開発者の子供が持っている黄色い象のぬいぐるみの名前に由来しています。HadoopはHDFS（Hadoop Distributed File System）、Hadoop MapReduce F
「成分解析」を行うプログラムを例にして覚える乱数の使い方：CodeZine
データの作成 出力の元になるデータは、プログラムに直接書かないで、別ファイルで管理しましょう。［プロジェクト］メニューの［新しい項目の追加］で［テキストファイル］を選び、ファイル名を「list.txt」にして［追加］ボタンを押してください。追加するときは、ソリューションエクスプローラで［CZ成分解析］を選択しておいてください。「list.txt」の中身は、例えば次のようにしてください（プサイさんのサイトから頂きました）。 下心 微妙さ 優雅さ 華麗さ かわいさ やさしさ やましさ やらしさ むなしさ ツンデレ 厳しさ 世の無常さ ハッタリ ビタミン 努力 気合 根性 砂糖 食塩 愛 電波 毒電波 元気玉 怨念 大阪のおいしい水 明太子 勇気 運 電力 小麦粉 汗と涙(化合物) 覚悟 大人の都合 見栄 欲望 嘘 真空
サロゲートペア入門：CodeZine
はじめに Windows VistaのJIS2004対応により、WindowsのUnicode環境で使用できる日本語漢字の数が増えました。従来、12238字（Windows XP）だったのが13145字（Windows Vista）になり、907字追加されることになりました。これによって、JIS第3水準、JIS第4水準の漢字がすべてサポートされることになったのです（Windows XPまでは一部サポート）。 またWindows XPでも、パッチさえ当てれば、Windows Vistaと同じように追加907字を加えた13145字の漢字が使用できるようになりました。 ところが、この追加された907字の中には「サロゲートペア」という特殊な文字が304字あり、これらは今までのUnicodeの文字とは扱いが少し違います。この点について解説していきたいと思います。 対象読者 Unicode
CodeZine：JavaScriptでつくるSchemeインタプリタの基礎の基礎（lisp）
はじめに 現存するプログラミング言語の中で2番目に古いのがLispです。生まれは古くても、いまだに使われ続け、また、Rubyなどの新しい言語にも影響を与えています。そのLispの派生であり、シンプルさが売りなのがSchemeです。 ここではSchemeの簡単なインタプリタをJavaScriptで作ってみます。対象読者 本稿はLispやSchemeは少し触ったことはあるけど、インタプリタは書いたことがないという方を読者対象としています。また、JavaScriptの文法や、簡単なデータ構造についての知識を前提とし、説明は省きます。必要な環境 テキストエディタと、JavaScriptが動くWebブラウザがあれば十分です。他に特に用意するものはありません。概要作成するインタプリタについて インタプリタのコードはJavaScriptで書き、HTMLのフォームを使って、Schemeのプログラムの入力お
分析関数の衝撃（中編）：CodeZine
はじめに 「分析関数の衝撃（前編）」に引き続き、CodeZineのミック氏の記事で記載されたSQLを、分析関数を使って記述していきます。対象読者SQLの可読性を向上させたい方SQLのパフォーマンスを向上させたい方 この記事では、「自己結合の使い方」と、「相関サブクエリで行と行を比較する」に記載されているSQLを分析関数を使って記述していきますので、先に読まれた方が理解がしやすいと思います。必要な環境 本稿で扱うSQLは、Oracle 10.2.0.1.0で動作確認しました。ソースコードはDB2 V9.1でも動作確認しました。その他、Oracle9i以降DB2SQL Server 2005 でも応用できます。1. 部分的に不一致なキーの検索 まずは部分的に不一致なキーを検索するSQLについてです。「自己結合の使い方」では、以下の自己非等値結合を使うSQLが提示されています。 SELECT
L2Lisp in Ruby：CodeZine
はじめに P.Graham著『On Lisp』に示されているように、現代的なLispプログラミングでは静的スコープ（字句的スコープ）と末尾呼出し（末尾再帰を含む）の最適化のもとでのマクロが重要な意味をもちます。しかし、今まで処理系作成の初心者が内部に手を入れやすい手頃な大きさの実装が事実上ありませんでした。 ここでは、そういったモダンな特徴を備えた小さなLispインタープリタL2LispをRubyで作ってみます。L2Lisp（Little Lambda Lisp）は、Lispの理論的背景であるラムダ算法（lambda calculus）に対し、有力なLisp方言であるSchemeと同程度に忠実である一方、その他の点では広く普及しているEmacs Lispのサブセットとしたオリジナルの小型Lispです。 実行例としてtak関数を定義し、実行する様子を示します。Ruby以外に必要なのはL2Li
Google Developer Day 2007 東京のセッション公開ビデオまとめ：CodeZine
5月31日に行われたGoogle Developer Day 2007 東京のセッションビデオがYouTubeで公開されている。基調講演を含めた全12本の公開ビデオは以下の通りとなっている。 基調講演 ご挨拶－グーグル株式会社 エンジニアリング ディレクター マグラス みづ紀氏 基調講演－Google,Inc. Uber Tech Lead/Manager Greg Stein氏 ゲスト講演－株式会社はてな 取締役（最高技術責任者） 伊藤 直也氏 グーグル最新情報－グーグル株式会社 シニア プロダクト マネージャー 及川 卓也氏 Breakout Session 1 Google Maps API Introduction－Chris Atenasio氏 KML - Geographical Format For Earth & Maps－Bruno Bowden氏 In
CodeZine：Microsoft謹製、フリーのXMLエディタ「XML Notepad 2007」リリース（開発ツール, マイクロソフト）
Microsoftは22日、XMLエディタ「XML Notepad 2007」をリリースした。同社のWebサイトから無償でダウンロードすることができる。 このエディタはXMLをツリーで表示できるペインと、実際の値が表示・編集できるペインからなる。要素や属性の追加、コピー、削除といった基本的な編集を視覚的に行うことができるほか、ツリービューのアイコンをドラッグ＆ドロップすることで要素の移動をすることもできる。 また、XSLTを適用した際のプレビュータブも用意されており、XMLにまつわる開発における強力なツールになりそうだ。XML Notepad 2007は、Windows Server 2003、Windows XP、Windows Vistaに対応しており、.NET Framework 2.0が必要となる。 Microsoft：XML Notepad 2007
PerlによるCSVファイルの高速集計 2：CodeZine
open(OUT, '>result.csv'); open(IN1, 'enquate.csv'); # アンケートデータを1行ずつ処理する while(my $line1 = <IN1>){ # 1行を4つに分ける chomp($line1); my ($id, $ans1, $ans2, $ans3) = split(/,/, $line1, 4); # この行にマッチする顧客データを検索する my $name = ''; my $address = ''; open(IN2, 'address.csv'); while(my $line2 = <IN2>){ chomp($line2); my ($tmp_id, $tmp_name, $tmp_address) = split(/,/, $line2, 3); if($tmp_id eq $id){
PrototypeでAJAX開発を効率化：CodeZine
去る8月30日（土曜日）、ライトウェイトプログラミング言語（Lightweight programming Language）の総合カンファレンス「LL Future」が、なかのZERO（中野区もみじ山文化センター）大ホールで開催された。当日は前線の影響で時おり豪雨に見舞われる中、さまざまな言語のユーザーや開発者など千人近くが集まった。
HAVING句の力：CodeZine
はじめに SQLというのは変わった言語です。こういう印象は人によって差があると思いますが、おそらく最初に手続き型言語を学んだ正統派のプログラマやSEほど強くそう感じると思います。 SQLに違和感を感じる理由は、いくつか考えられます。第一に、SQLが「集合指向」という発想に基づいて設計された言語で、この設計方針を持つ言語が少ないことです。そして第二に、それに劣らず大きいのが、最初に学んだ言語のスキーマ（概念の枠組み）が心理的モデルとして固定され、それを通して世界を見るようになるため、異なるスキーマを持つ言語の理解が妨げられることです。 本稿では、HAVING句のさまざまな応用方法を紹介していきますが、その際、手続き型言語とSQLの考え方を比較します。それによって、私たちが手続き型言語で身に付けた無意識の心理的モデルを自覚し、集合指向という発想に感じる違和感を軽減したいと考えています。 今回は
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
複数マシンへHadoopをインストールする
言語仕様から読み解くC# 3.0入門：CodeZine
JavaScriptでDOMレンジを扱う：CodeZine
「あれは強烈なカルチャーショックだった」 UE清水社長が語った転機とは：CodeZine
Google Gears × Google Readerをさっそく使ってみた：CodeZine