10周年を迎えたHadoop、データ分析の主戦場はクラウドとデータセンターの連携に ―「Hadoop Summit 2016 San Jose」レポート | gihyo.jp
10周年を迎えたHadoop、データ分析の主戦場はクラウドとデータセンターの連携に ―「Hadoop Summit 2016 San Jose」レポート 6月28日～30日（米国時間）の3日間に渡って米サンノゼで開催された「Hadoop Summit 2016 San Jose」には、世界36ヵ国から約4000名が参加し、Hadoop誕生から10周年を迎えたアニバーサリーイヤーにふさわしい盛況を見せていました。Hadoopのユーザや開発者、そしてHadoopビジネスを展開する企業が世界中から集まる現場に居合わせると、あらためてHadoopがデータ分析プラットフォームのデファクトスタンダードとして、確固たる地位を獲得したことを強く実感させられます。 筆者は昨年も本カンファレンスに参加しましたが、変化のスピードが速いIT業界を象徴するかのように、昨年にはなかったいくつかのトレンドがHadoop
「Hadoop/Spark Conference Japan 2016」で小沢健史PMCが語った“YARNのいま” | gihyo.jp
「Hadoop/Spark Conference Japan 2016」で小沢健史PMCが語った“YARNのいま” 2013年10月にHadoop 2.2が正式リリースされて以来、Hadoopの世界は大きく変わりました。それまでの概念である「Hadoop＝ HDFS＋MapReduce」が刷新され、MapReduceが受け持っていたMapデータ処理とクラスタリソース管理が分離できるようになりました。これにより、SparkなどMapReduce以外のデータ処理エンジンがHadoop上で利用可能になりました。 そしてHadoopのクラスタリソース管理を行うミドルウェアとして、新たなデファクトスタンダードの地位を確立しようとしているのが「Apache Hadoop YARN（Yet Another Resource Negotiator： YARN）」です。YARNの登場は並列分散処理にどん
第17回 Impalaの設計と実装［1］ | gihyo.jp
はじめに 今回から3回に渡って、Hadoop上で動作するデータ処理ソフトウェアの1つであるApache Impala（incubating)（以下、Impala）について、以下の流れで説明していきます。 Impala概要（今回） クエリ実行時の並列化の仕組み（第18回） I/O処理における高速化の仕組み（第19回） Impalaの特徴のすべてをお伝えできるわけではありませんが、Impalaの速度に対する取り組みについて参考になれば幸いです。 今回は、Impalaが開発されるに至った背景や特徴、および動作の概要までを紹介していきます。 Impala開発の背景 これまでの連載内でも触れられてきましたが、ImpalaはHadoop上でSQL（正確にはHive Query Language／HiveQL）を高速に処理するために開発された並列データ処理系です。Impala以前から、SQLを実行するH
Hadoop / Spark Conference Japan 2016、2月8日に開催 | gihyo.jp
日本Hadoopユーザー会は、Apache Hadoop、およびApache Sparkに関するイベント「Hadoop Conference Japan 2016」「Spark Conference Japan 2016」を2月8日（月）に東京、大井町のきゅりあんにて開催する。国内外のエキスパートによるHadoopや並列分散処理に関する最新の講演やセッションが多数予定されている。入場は無料。参加申し込み、プログラムの内容はイベントページから。 開催概要は以下のとおり。
第13回 Hadoopの設計と実装～並列データ処理系Hadoop MapReduce［1］ | gihyo.jp
はじめに 第一部では、Hadoopなどの並列データ処理系の基礎である並列データベース技術や分散システム技術を解説してきました。第二部では、実際の処理系により焦点を当て、それらの設計と実装を見ていきます。 第二部では、最初の4回を用いて、Apache Hadoopの並列データ処理系であるHadoop MapReduceを始めとし、当該処理系のリソース管理を行うYARNおよび、汎用的な並列データ処理系であるTezについて解説を行う予定です。 今回は、MapReduceにおける設計方針や特徴について解説します。 MapReduceとは MapReduceは、複数の計算機上で効率的に処理を行うためのデータ処理用のプログラミングモデルと、そのプログラミングモデルが動作する処理系の実装であり、GoogleのJeff Deanらにより開発が始められました。MapReduceの代表的なランタイム処理系には
第1回 なぜ、Hadoopはどのように動くのか、を学ぶのか | gihyo.jp
はじめに ビッグデータ解析のためのシステム基盤として、Hadoopをはじめとするオープンソースのデータ処理ソフトウェア（データ処理系）が広く利用されつつありますが、当該データ処理系をすでに利用している、もしくは利用の検討をしている読者の方々の中には、たとえば以下のような問題を抱えている方が少なからずいらっしゃるのではないでしょうか。 データ処理系の使い方はなんとなくわかるが、その内部をあまり理解できていない。または、内部の動作原理がよくわからないので、本格的に使う気にならない。 同様の目的を達成する複数のデータ処理系において、どれを使って良いかがよくわからない。または、適切に使い分けられていない気がする。たとえば、どのような場合にHadoopを用いて、どのような場合に同類のデータ処理系であるImpalaやSparkを用いれば良いかが“明確に”わからない。 このような問題を解決するには、
2015年のHadoopとビッグデータ活用 | gihyo.jp
あけましておめでとうございます。濱野 賢一朗です。 1年は早いものですね。本当にあっという間に過ぎ去ってしまうものです。しかし、いざ1年を振り返ってみると、いろんなことが起きていたのだと実感したりもします。ここでは「ビッグデータ（Big Data）活用」が2015年にどう変化していきそうか、Hadoopの話題を中心に紹介したいと思います。 2014年を振り返る まずは、昨年を振り返ってみましょう。急浮上したバズワードという印象の「ビッグデータ活用」も、すこし落ち着いてきました。まだまだ浮ついた話を耳にしましたが、一方で、具体的な事例や技術の話も増えてきた1年でした。 システム基盤の観点では「Hadoop」の変貌が始まりました。皆さんご存じのとおり、Hadoopは並列分散処理を実現するオープンソースソフトウェアです。技術的側面での変貌は2015年に本格化すると思いますが、その下準備が着実に行
検索エンジン自作入門 ～手を動かしながら見渡す検索の舞台裏
2014年9月25日紙版発売 2014年9月25日電子版発売 山田浩之，末永匡 著 A5判／224ページ 定価2,948円（本体2,680円＋税10%） ISBN 978-4-7741-6753-4 ただいま弊社在庫はございません。 Amazon 楽天ブックス ヨドバシ.com 電子版 Gihyo Digital Publishing Amazon Kindle 楽天kobo honto 本書のサポートページサンプルファイルのダウンロードや正誤表など この本の概要 まいにち使っている検索エンジンがどうやって動いているか，知っていますか？ 本書では，小さな検索エンジンを作りながら，ソースコードレベルで検索エンジンのしくみを解説。 Yahoo!Japanの検索エンジン開発チームを経て2008年度上期未踏IT人材発掘・育成事業において高性能分散型検索エンジンの開発によりスーパークリエータに認定さ
データベースの限界性能を引き出す技術 ～NoSQLに飛びつく前に知っておきたい原理と最新テクニック
2014年3月18日紙版発売 2014年3月18日電子版発売 山崎泰史，武吉佑祐 著 A5判／224ページ 定価2,948円（本体2,680円＋税10%） ISBN 978-4-7741-6364-2 ただいま弊社在庫はございません。 Amazon 楽天ブックス ヨドバシ.com 電子版 Gihyo Digital Publishing Amazon Kindle 楽天kobo honto この本の概要 「RDBMSだと大規模データをうまく扱えない」といわれ，NoSQLのような代替技術が生まれてきていますが，本当でしょうか？ ビッグデータ時代でもシステムの中核として依然重要なRDBMSの力を100％発揮できれば，開発や運用はもっとラクになります。 本書では，ストレージ，CPU，ネットワークといったあらゆる点から「なぜ，RDBMSは遅くなるのか？」と「どうすれば，性能を最大限引き出せるのか？
第1回 WebSocket登場までの歴史 | gihyo.jp
はじめに 初めまして。NTTアドバンステクノロジの金城と申します。幸運にも記事を執筆させていただけることになりました。WebSocketという新しいウェブの規格についての連載を、全4回の予定でお届けします。 用語統一について WebSocketは「WebSocket」「WebSockets」、単語を切り離した「Web Socket」等、表記に揺れがあります。2009年12月22日のワーキングドラフトのタイトルは「The Web Sockets API」となっていますが、2010年4月26日のエディターズドラフトでは「The WebSocket API」となっています。この連載では、最新の仕様書に則り、用語を「WebSocket」で統一します。 HTML5とWebSocketの関係 WebSocketは、もともとHTML5の一機能として仕様の策定が進められていました。しかし、Web S
第66回 「Ubuntuらしく」仮想マシンを使う（2）：ubuntu-vm-builderをターミナルで動かす | gihyo.jp
Ubuntu Weekly Recipe 第66回「Ubuntuらしく」仮想マシンを使う（2）：ubuntu-vm-builderをターミナルで動かす 今回は61回で紹介したubuntu-vm-builderで構成した仮想マシンを、「ターミナル内で」動作させる方法を紹介します。 サーバーにおけるビデオカードの必然性（仮想マシンに限らない話） 仮想マシンを「ターミナルで」動作させる前に、少しだけ「ビデオカードの存在しないマシン」の話について触れてみましょう。 一般的なPCの利用形態では、ビデオカード（もしくはノースブリッジ等に内蔵されたビデオチップ機能）の存在は欠かせません。モニタに画面を表示するためにはこれらのチップを用いてアナログ、ないしはデジタルで出力する必要があります。 しかし、ほとんどのサーバーはネットワーク越しに利用されるものですし、管理者が行うべき作業のほとんどもSSH越しに
第3回 日常的な学習について | gihyo.jp
日常的な学習の方法 日常的な学習はプログラマにとって不可欠な活動です。ソフトウェアの世界には次々と新しい流行が登場しますし、基礎的な事柄だけでもマスターしておきたいことは山ほどあります。今回は日常的な学習の方法について、私のパターンに照らし合わせて考察してみたいと思います。 ブログ ブログは学習というよりは情報収集に適したメディアです。ブログの記事は、だいたい小粒で、1つの記事で内容が完結しています。ほかの人がどんなことに興味を持っているかわかるのも、流行を知るといった点でプラスです。とはいうものの、ブログで得られる情報の大半は、断片的な雑多なノウハウであるため、長期的に役立つような知識のかたまりはほとんど残りません。 雑誌 プログラムを書いている最中に「今すぐ知りたい」といった類いのピンポイントの情報（たとえば、Perlで文字コードを変換するにはどうすればいいんだっけ、とか）は、Webを
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
