ごあいさつ ソーシャルネットワークやスマートフォン、ICカード、インテリジェンス化する電力メーターや家電―これらが日々生成する膨大なデータ。この大量データ、すなわちビッグデータを高速処理し、より深い“洞察”を企業や組織にもたらすことで、ビジネス... 続きを読む
2009年11月12日木曜日 1台構成のHadoopを30分で試してみる(Ubuntu+Cloudera) 概要 ・1台のLinux環境で、簡単に、Hadoopを体験してみる方法です。 ・HDFSにちょっとファイルを置いてみたり、少しMapReduceジョブを動かしてみます。 ・UbuntuとCloudera社版のディ... 続きを読む
2010年1月27日水曜日 1台でHive, Pig, Cloudera Desktopを試してみる(Ubuntu + Cloudera) 概要 ・1台のLinux環境で、簡単に、HadoopのHive, Pig, Cloudera Desktopを試してみます。 ・Ubuntu(1台)でCloudera社のHadoopが動いていることを前提とします。 → 構築... 続きを読む
今年の6月に、「平成21年度 産学連携ソフトウェア工学実践事業報告書」というドキュメント群が経産省から公表されました。そのうちの一つに、NTTデータに委託されたHadoopに関する実証実験の報告書がありましたので、今更ながら読んでみることにしました。Had... 続きを読む
米Googleは3月14日、企業向けビッグデータ分析サービス「BigQuery」に、マルチテラバイト級の大規模データセットを横断的に分析できる新機能を導入した。 米Googleは3月14日、企業向けビッグデータ分析サービス「BigQuery」に、マルチテラバイト級の大規模デー... 続きを読む
編集部注: この記事はシリコンバレーでHapyrusを起業した藤川幸一(@fujibee)によるゲスト記事である。Hapyrusはクラウド上のビッグデータのためのウェブサービスを提供する会社で、500startupsや日本の有名な複数のエンジェルから投資を受けている。 昨年11月... 続きを読む
Hadoopユーザー会が1月21日にカンファレンス、ユーザー講演は「LINE」のNHN Japanなど オープンソースソフトウエア(OSS)の分散バッチ処理ソフト「Hadoop」のユーザー会であるHadoopユーザー会が2013年1月21日に、ユーザー会議「Hadoop Conference Japan 2013 ... 続きを読む
フェイスブックでは現在、さらに大規模なデータの処理を視野に入れている。今週、同社がメディアを前に公開したのは、Hadoopの規模をさらに拡大した2つの新たなソフトウェアプラットフォーム。そしてフェイスブックは、両方をオープンソース化するつもりだとい... 続きを読む
SourceForge.JP Magazine注目記事 ハードディスクの中身を誤って消した場合のファイル復旧方法 ハードディスクを完全消去する「DBAN」のインストールと使い方 HDD/SSDの健康診断を行うS.M.A.R.T.対応ツール「CrystalDiskInfo」 の使い方 HDDやSSDなどの速度を計... 続きを読む
Googleには、今さら言うまでもなく、大量のデータがあり、それらを扱うためのツールを数多く作ってきた。中でもとくに有力な製品として、MapReduceやGoogleFSはオープンソースのApache Hadoopを生み、BigTableはApache HBaseを孵(かえ)した。 でも、それで終... 続きを読む
この連載ではプログラマーを主な対象として、クラウド上でビッグデータを扱うシステムを開発するための最低限の知識とノウハウを提供することを目的としています。第1回ではHadoopという技術の概要、クラウドとHadoopの親和性の高さ、そして次回からの環境準備... 続きを読む
ノーチラスは、アンデルセンサービスのシステム構築において、アマゾンウェブサービス(AWS)のクラウドサービスを利用することにより、インフラ構築の時間を大幅に短縮、初期コストも低減し、Hadoopのクラスタを早期に準備することができたという。また、AWSの... 続きを読む
1月13日(金)にPalo Altoで行われたJTPAのギークサロンに参加してきた。今回は参加者がラップトップ持ち込みでコーディングしていくハッカソン形式で、会場入りする前までにHadoopが使える環境を自前で用意しておく必要があった。もうそれだけで、いつものギー... 続きを読む
国内の出版物を網羅的に収集・保存している国立国会図書館。2012年1月6日に、新検索システム「国立国会図書館サーチ(NDL Search)」を正式公開した。同館をはじめ、全国の公共図書館や研究所、美術館などが所蔵する資料を検索できるものだ。グーグルが検索エン... 続きを読む
SourceForge.JP Magazine注目記事 ハードディスクの中身を誤って消した場合のファイル復旧方法 ハードディスクを完全消去する「DBAN」のインストールと使い方 HDD/SSDの健康診断を行うS.M.A.R.T.対応ツール「CrystalDiskInfo」 の使い方 HDDやSSDなどの速度を計... 続きを読む
IT業界に身を置いていると、新技術にどれだけ飛びつくかの見極めが必要です。 ひとりの個人が使える時間は限られています。なんでもかんでも新しいモノに飛びついていると、ひとつを深く極める時間が取れません。しかし、新しい技術にまったく無関心では生きて... 続きを読む
Hadoopのメリットを基幹系に利用するためにウルシステムズ 代表取締役社長 漆原 茂氏 企業ITに携わる人々の間で、Hadoopに対する関心が急速に高まっている。Hadoopとは、米Googleが発表した論文のアイデアから生まれた、オープンソースの分散処理基盤ソフトウ... 続きを読む
日立ソリューションズは12月2日、東京・品川で「Hadoopが導く分散処理における次世代のバッチ処理開発とは〜Asakusa FrameworkによるHadoopエンタープライズ適用セミナー〜」を開催した。 本稿ではそのうち、日立ソリューションズ 技術統括本部 技術開発本部 オ... 続きを読む
「IT部門はHadoopのセキュリティ問題に留意すべき」と専門家が助言 さまざまなデータが混在するHadoop環境ではアクセス制限などの課題が 今週からニューヨークで開催されている「Hadoop World」コンファレンスにおいて、幾人かのアナリストやITエグゼクティブた... 続きを読む
本誌独占スクープ: ClouderaのファウンダChristophe Biscigliaが、今日(米国時間11/2)新たに、Odiagoと名付けたスタートアップを立ち上げる。Odiagoは社名、そしてその最初の製品名がWibiDataだ。それは、ApacheのHadoopを利用して大量のデータを管理し分析す... 続きを読む