写真2●トレジャーデータのメンバー。CEOは米レッドハットなどで勤務した芳川裕誠氏。CTOの太田一樹氏はプリファードインフラストラクチャーの前CTO。楽天で分散キー・バリュー・ストアのROMAを開発した西澤無我氏、OSSのログ収集ツールFluentdやメッセージング... 続きを読む
PRESS RELEASE 2012年12月5日 富士通株式会社 世界初! Hadoopとの連携を実現したCOBOL「NetCOBOL V10.5」を販売開始 並列分散処理により、バッチ処理時間を従来の約18分の1に短縮 当社は、COBOLバッチアプリケーションをApache Hadoop(注1)で並列分散処理し... 続きを読む
Facebook、Hadoopのスケーラビリティ問題を解決する、独自の「Hadoop Corona」をオープンソースで公開 Facebookでは、24時間ごとに0.5ペタバイトのデータが生成され、それらを分析するために毎日6万回以上ものHiveのクエリが実行されているそうです。 こうした... 続きを読む
その日の仕事の終わりに hadoop に関する tips をツイートするという日課をはじめてみました。 たまに役に立つ tips も流しますが、基本スタンスはトリビア的な微妙なラインです。 ハッシュタグ #14e35d は、ユニークなハッシュタグ名がほしかっただけで特に意... 続きを読む
Hadoopといえば大規模分散フレームワークであり、実行にはそれなりのサーバ群を揃えなければならない、と思われがち。 Cloudera's Hadoop Demo VM for CDH4 - Cloudera Support しかしHadoopでもっとも有名なディストリビューションを提供するClouderaは、PC上... 続きを読む
株式会社データホテルの伊勢です。 2012年8月18日(土)に開催されました 第2回 NHN テクノロジーカンファレンス の発表資料と動画を公開致します。 ご登壇頂きました皆様、ご参加頂きました皆様、どうもありがとうございました。 また、今回「H」な技術と言う... 続きを読む
日々進化するHadoopの 「いま」 — Presentation Transcript 第2回 NHNテクノロジーカンファレンス (2012年8月18日) 日々進化するHadoopの 「いま」 株式会社NTTデータ / 日本Hadoopユーザー会 濱野 賢一朗Copyright © 2012 NTT DATA Corporation 自己紹介... 続きを読む
Hadoop※本記事ではうるう秒によるjavaの異常と、それに伴って生じたHadoop 0.21.0 HDFSのメタデータ破損からの復旧手順を説明します。なお、本復旧手順は私の環境で上手くいっただけであり、他の環境で同様の手順を行ったとしても復旧できる保証はありませんの... 続きを読む
なんだかんだで Hadoop 周りの本も結構増えてきましたので下にまとめました。抜けてるのもあると思うので(特に和書)、なんかお薦めありましたらコメントください。追加します。 タイプ別お薦め読書コース短期間で全部読むのは不可能なので、とりあえず簡単にお... 続きを読む
TIS株式会社 先端技術センター TIS-Hadoopers 笹尾一夫 2012/5/28 Hadoopをはじめ、Java言語を使って構築されることが多い「ビッグデータ」処理のためのフレームワーク/ライブラリを紹介しながら、大量データを活用するための技術の常識を身に付けていく連載 ... 続きを読む
原文(投稿日:2012/05/09)へのリンク Microsoftスタックを用いてHadoopを試したり、それらを用いてどのような事が可能になるのか知りたくはないだろうか?その手助けとなるいくつかの資料に関して解説する。 MicrosoftはWindows ServerとWindows AzureにHadoop... 続きを読む
原文(投稿日:2012/05/09)へのリンク Microsoftスタックを用いてHadoopを試したり、それらを用いてどのような事が可能になるのか知りたくはないだろうか?その手助けとなるいくつかの資料に関して解説する。 MicrosoftはWindows ServerとWindows AzureにHadoop... 続きを読む
Hadoopをバッチ処理の高速化に活用しているノーチラス・テクノロジーズは、ビッグデータのブームに真っ向から異論を唱える。「ビッグデータは中身のないバズワード」と断言する代表取締役社長 神林飛志氏に、その真意を聞いた。 Hadoop=ビッグデータは大きな誤... 続きを読む
ホーム>お知らせ>ノーチラス・テクノロジーズが株式会社アンデルセンサービスの原価計算の基幹バッチ処理をAsakusa Framework™/Hadoopにて1/12の時間に短縮 アマゾン ウェブ サ―ビス®のAmazon® VPCを利用し、インフラ構築・運用コストを大幅削減 ノーチラス・... 続きを読む
NoSQLの代表的なデータベースであるCassandraの新バージョン「Cassandra 1.1」がリリースされたと、The Apache Software Foundationが発表しました。2011年10月に最初の正式バージョンであるCassandra 1.0がリリースされてから半年で、Cassandra 1.1の登場とな... 続きを読む
前回の記事では、Hadoopが膨大なデータをバッチ処理するための「インフラ」としての性質を備えていること、情報爆発時代の新たなインフラとして普及しつつあることを説明しました。その中で、情報爆発時代に必要とされるインフラは、「スケール・アウトが可能で... 続きを読む
Sign in The Developer Preview for the Apache Hadoop- based Services for Windows Azure is available by invitation. Sign in Microsoft + Big Data Unlock business insights from all your structured and unstructured data, including large volumes of... 続きを読む
エンタープライズのOSSについて こんなこと書くとOSSなモヒカンな人にぶん殴られるわけです。読み手の方で、自分はOSSを引っ張ってきたと自負されている方や組織のかたや、OSSは商用より無条件で優れていると思っている人は気分が悪くなるので、読まないでくだ... 続きを読む
九州電力は、膨大な量のデータを効率的に分散処理するソフトウエア「Hadoop(ハドゥープ)」を活用、社内文書の管理業務を従来に比べて30分の1の時間で処理できるシステムを開発した。ネットワーク経由で情報システムの機能を利用する「クラウドコンピュ... 続きを読む
【Cloud Days基調講演】“AmazonはAWSのクラウドを使っているの?”という疑問に答えます クラウドやビッグデータに関するイベント「Cloud Days Tokyo 2012 Conference&EXPO」が、2月28日から29日まで、東京国際フォーラムで開催されている。28日の基調講演で... 続きを読む