「Amazon Redshift」を使ってみた ～使いどころと、つまずきがちなポイント
はじめに Amazon Redshiftは、Amazon Web Services（AWS）が提供するデータウェアハウス（DWH）サービスで、2013年2月に正式リリースされ、同6月4日には東京リージョンでも利用可能になりました。既存のDWHと比較しても安価で、PostgreSQLベースで容易に高速なデータ分析が可能であることなどが知られており、注目も高まっています。 ところが、日本国内では「使ってみた」という情報は非常に少ないです。幸運にも筆者は、限定プレビューの段階からRedshiftに触れる機会に恵まれました。そこで、今回は「こんな使い方をしてみました」「こんなところでつまずいた」といったことを中心に紹介したいと思います。 なお、本記事は限定プレビュー～サービス開始当初の米国東部リージョンでの使用結果を元に執筆しており、当時のAPIバージョンは2012-12-01です。東京リージョン
Amazon EBSを活用してデータをバックアップしてみよう ～Amazon EC2/S3環境構築のすべて～
今回は、「Amazon EC2」のインスタンスを停止してもデータが失われないストレージオプションである「Amazon Elastic Block Store（EBS）」の使い方や活用方法を紹介し、「Amazon EC2」を取り巻くデータバックアップ方法を紹介していきます。 はじめに 前回は、「Amazon EC2」をより実践的に扱うためのオプションや、GUIで簡単に操作できるツールの利用手順を紹介しました。 今回は、「Amazon EC2」のインスタンスを停止してもデータが失われないストレージオプションである「Amazon Elastic Block Store（EBS）」の使い方や活用方法を紹介し、「Amazon EC2」を取り巻くデータバックアップ方法を紹介していきます。 前提条件 今回も前回同様「Amazon EC2 Command-Line Tools」を利用した方法を紹介していき
Amazon EC2を実践的に使ってみよう ～Amazon EC2/S3環境構築のすべて～
本連載では、Amazonが提供するクラウドコンピューティング・サービス「Amazon Web Services（AWS）」の概要から具体的な使い方までを紹介していきたいと思います。今回は、「Amazon EC2」をさらに便利に活用していくための実践的なオプションや、便利なツールを紹介していこうと思います。 はじめに 前回は、「Amazon EC2」を使用するための準備と、実際にインスタンス（仮想サーバ）を起動させるための基本的な手順を紹介しました。 今回は、その「Amazon EC2」をさらに便利に活用していくための実践的なオプションや、便利なツールを紹介していきます。 これまでの記事 第1回 「AWSの概要と登録手順 ～Amazon EC2/S3環境構築のすべて～」 第2回 「Amazon S3を使いこなしてみよう ～Amazon EC2/S3環境構築のすべて～」 第3回 「Amazon
Googleが発表した新しいプログラミング言語「Dart」を使ってみよう！
はじめに 10日にデンマークで開催されたgoto;カンファレンスにて、Googleの社員であるLars BakとGilad Brachaによって新しいプログラミング言語Dartの発表が行われました。 公式サイトによると、Dartは構造化されたWebアプリケーションを作成するための新たなクラスベースのプログラミング言語と書かれています。さらに、シンプルさ、効率性、スケーラビリティを目標に開発されたとのことです。この新しく、挑戦的なプログラミング言語をぜひ一緒に試してみましょう！ 対象読者 Webサービス開発に興味があるプログラマー 新しいプログラミング言語に興味がある方 必要な環境 SnowLeopad以降のMac XcodeとSubversionクライアントがインストールされていること Dartとは？ Dartとは、10日にGoogleが発表したWebアプリケーションのための新しいプログラ
Hadoop MapReduceプログラムを解剖する
オープンソース・ソフトウェア「Hadoop」のMapReduceジョブは、標準ではJavaで記述します（その他には、Pig、Hive、JAQLといったものがあります）。しかし、意外と初心者には分かりにくいと筆者は感じます。本記事では、MapReduceジョブのサンプルコードを使って、できる限り正しくコードの意味を理解し、MapReduceへの入り口を示したいと思います。 HadoopでMapReduceを記述するときに使うAPIが、0.19から0.20に変わるところで新しくなっています。実は、現時点でHadoopプロジェクト本体からでさえも、新APIを使ったサンプルが提示されていません。本記事では、新しいAPIで筆者が書き直したサンプルを使って解説しますので、このサンプルは0.19以前のHadoopでは動かないことに注意してください。この記事は、0.20.2を使って検証し、解説しています。
blogeyeの実装に学ぶ、Amazon EC2/S3でのHadoop活用術
はじめに こんにちは。Hadoop連載 第4回は太田さんに代わって大倉が担当します。 これまでの連載で、Hadoopによるデータ処理の概略については理解されていると思います。今回はHadoopを利用したシステムの実例ということで、ブログ分析を行う「blogeye」システムの概略と、その中でのHadoop利用法を紹介します。 また、blogeyeはAmazonが提供しているEC2（レンタルサーバ）、S3（ストレージ）をHadoopと組み合わせて利用しているので、その辺りの導入方法についても紹介します。 これまでの連載 Hadoop、hBaseで構築する大規模分散データ処理システム Hadoopのインストールとサンプルプログラムの実行 複数マシンへHadoopをインストールする blogeyeとは 「blogeye」（ブログアイ）は日本語のブログをクロール、リアルタイムに分析して、流行語と思わ
Hadoopのインストールとサンプルプログラムの実行
前回はGoogleの基盤技術とそれに対応するオープンソースソフトウェアとして、Hadoop & hBaseを紹介しました（図1 参照）。今回はHadoopを1台にインストールし、サンプルプログラムを動かします。次にHDFSとMapReduceのアーキテクチャを解説します。最後にサンプルプログラムのソースコードを解説します。 2. Hadoopの概要 Hadoopは主にYahoo! Inc.のDoug Cutting氏によって開発が進められているオープンソースソフトウェアで、GoogleFileSystemとMapReduceというGoogleの基盤技術のオープンソース実装です。Hadoopという名前は開発者の子供が持っている黄色い象のぬいぐるみの名前に由来しています。HadoopはHDFS（Hadoop Distributed File System）、Hadoop MapReduce F
今からでも遅くない W3C XML Schemaを学ぼう！（後編） 少し高度な話題を
筆者の記事でも何度かXMLを使用してきましたが、XMLの正しさを検査する手段を持っていませんでした。実際の業務で使用する場合、正しさを検査する手段がないXMLの操作は非常に扱いづらいものとなります。今回は、少し高度な話題にも触れ、実務に耐えうる力をつけることを目標にしたいと考えています。 W3C XML Schemaの少し高度な話題 「今からでも遅くない」シリーズは、学習する機会を失ったけれどもまだ間に合うという技術を取り上げています。したがって、概要を知りたい方は前編を、業務でも使えるようになりたい方は後編を読むことにより習得できるように工夫してきました。前回は中編を挟み、W3C XML Schemaの読み書きが少しでもできることを目標としてきました。したがって、まだ業務でも使用できると言うほどには説明ができていません。このような経緯から、今回の後編では少し高度な話題を取り上げ、業務でも
Google、「Google日本語入力（ベータ）」をリリース Web上のデータを利用した豊富な語彙力と高い変換精度
Windows（32ビット）およびMac OSに対応した日本語入力ソフトウェアで、Web上の大量のデータを有効に利用して豊富な語彙力と高い変換精度を実現するなど、Googleらしい製品となっている。 Google日本語変換の最大の特徴は、Web上の語句から機械的・自動的に生成された辞書で、人手ではカバーできない豊富な語彙力を誇る。実際に、MS IME 2007には最新語辞書11月版で追加された「婚カツ（こんかつ）」「ニコ動（にこどう）」「飛翔体（ひしょうたい）」「花鶏（あとり）」なども問題なく変換できる。 また、既存の技術も活用されている。変換エンジンは、Web上の大量のデータから統計的言語モデルを構築することで高い変換精度を実現しているが、この分析にはGoogleの大規模分散処理システム「MapReduce」を利用。さらに、強力な予測変換は、Google検索のサジェストや「もしかして」で
Javaで軽快に使える「軽量フレームワーク」特集 ～Apache Wicketで簡単Webアプリ作成（1）（1/5）：CodeZine
時代がライトウェイト言語へとシフトしつつある中、軽快に使えるフレームワークが次々登場してきました。本連載では、Javaで注目されている軽量フレームワークの中から注目株をピックアップし、概略を紹介します。第1回目の今回は「Apache Wicket」の基本的な構成と使い方を覚え、実際にWebアプリケーションを作ってみましょう。 はじめに 以前は、Javaの世界でフレームワークと言えば「Struts」と定番が決まっていました。しかし、フレームワークによる開発は、どうしても大掛かりなものになりがちです。時代がライトウェイト言語（Lightweight Language、PHPやRubyなどのスクリプト言語）へとシフトしつつある中、重量級のフレームワークは、やや時代遅れな印象をもたれてしまうのは仕方のないことでしょう。 もっと軽快に使えるフレームワークがあれば、と思う人は多かったに違いありません。
業務アプリケーションにも浸透が進むオープンソースソフトウェア
最近、オープンソース化の流れは、システムのベースに近いところだけでなく、従来は商用のアプリケーションが中心だった業務アプリケーションのレイヤにも浸透しつつあります。この記事では、代表的なオープンソース業務アプリケーションを例に挙げて、業務アプリケーションのオープンソースソフトウェアについて解説します。 業務アプリケーションのオープンソース化の流れ オープンソースソフトウェアというと、LinuxやMySQL、Apache HTTP Serverなどを思い浮かべる方も多いと思います。これらのソフトウェアは、非常に多くの場面で使われていて、多くのシステムを支える基盤として稼働しています。これ以外にも、OS、データベース、ミドルウェアなどシステムのベースとなる部分で、非常に多くのオープンソースソフトウェアが公開され、多くのシステムで活用されています。これらのアプリケーションも、公開当初は品質やサポ
JavaVM向けの新言語「Noop」リリース 複数人のチームで行う開発をよりスムーズに
Javaの仮想マシンで動く新言語「Noop」が、Google Code上で公開された。Noopは「JVM Language Summit」にて、Googleの開発者であるAlex Eagle氏とJeremie Lenfant-Engelmann氏によって発表されたもので、新旧の開発言語から良い部分を取り出して作り出されたと説明されている。 Javaの仮想マシンで動く新言語「Noop」が、Google Code上で公開された。Noopは、現在開催中の「JVM Language Summit」にて、Googleの開発者であるAlex Eagle氏とJeremie Lenfant-Engelmann氏によって発表されたもので、新旧の開発言語から良い部分を取り出して作り出されたと説明されている。 この新言語では、複数人のチームで行う開発をよりスムーズにするため、メンテナンスしやすく、理解しやすいコ
ScalaによるWebアプリケーションフレームワーク「Lift」とは
Java仮想マシン上で動くオブジェクト指向＋関数型言語として、Scala（スカラ）が最近注目を集めています。Scalaで構築されたWebアプリケーションフレームワークはいくつかありますが、 本連載ではその中で比較的歴史のある（といっても2年程度ですが） フレームワークである、Lift（リフト）を紹介したいと思います。 はじめに Java仮想マシン（以下JVM）上で動くオブジェクト指向＋関数型言語として、Scala（スカラ）が最近注目を集めています。 Scalaで構築されたWebアプリケーションフレームワークはいくつかありますが、 本稿ではその中で比較的歴史のある（といっても2年程度ですが） フレームワークである、Lift（リフト）を紹介したいと思います。 対象読者 Javaは知っているが、Scalaも学んでみたいと思っている方 ScalaでのWebアプリケーション開発に興味がある方 必要な
Oracle JDBCドライバにオブジェクトの自動クローズ処理を追加する
はじめに ReflectionパッケージのProxyを利用すると、指定したインターフェイスに対して、そのインターフェイスを実装したクラスとインスタンスを動的に作ることができます。 本稿では、Oracle JDBCドライバの制約をProxyを利用して回避する方法を示すことで、Proxyの具体的な利用方法を説明します。 Oracle JDBCドライバはJ2SEのAPI規定と異なり、GCによるConnectionやStatementの自動クローズを行いません。そのため、これらのJDBCオブジェクトを自動的にクローズする他のJDBC実装用のコードを流用するとリソースリークの原因となります。これを回避するには、アプリケーションがすべてのStatementなどのオブジェクトをクローズするか、またはミドルウェアなどでアプリケーションが作成したすべてのJDBCオブジェクトを保持しておき、なんらかのタイミン
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ヤフー、業種マスターAPIをリリース
Developers Summit 2011
複数マシンへHadoopをインストールする
Hadoop、hBaseで構築する大規模分散データ処理システム
Google Developer Day 2010 Japan開催、HTML5・Android・GAEの最新動向を紹介
JavaのHTTPライブラリ「Apache HttpClient 4.0」リリース 設計上の問題を解消、APIの互換性は無し