タグ

hadoopに関するtridentfieldのブックマーク (12)

  • NoSQLとHadoopを、オラクルは企業が使うデータベースとしてどう位置づけようとしているのか?

    「NoSQLはソーシャルメディアのようなネットアプリケーション向けであり、企業内のデータベースとしては向かない」。これまでNoSQLデータベースは一般にそう思われていました。 しかしオラクルは今月、サンフランシスコで開催した「Oracle OpenWorld 2011」でビッグデータ市場への参入を表明。製品として、企業向けデータベースとしてキーバリュー型データストア「Oracle NoSQL Database」と「Apache Hadoop」を搭載した「Oracle Big Data Appliance」を発表しました。 オラクルは企業が使うデータベースとしてNoSQLやHadoopをどのように位置づけようとしているのでしょうか? 昨日10月25日に都内で開催された日オラクル主催のイベント「Oracle Database/Exadata Summit」において、米オラクルでデータベース製

    NoSQLとHadoopを、オラクルは企業が使うデータベースとしてどう位置づけようとしているのか?
    tridentfield
    tridentfield 2011/10/26
    でも、お高いんでしょう?
  • テキストマイニングで始める実践Hadoop活用

    Hadoopとは何かを解説し、実際にHadoopを使って、大規模データを対象にしたテキストマイニングを行います。テキストマイニングを行うサンプルプログラムの作成を通じて、Hadoopの使い方や、どのように活用できるのかを解説します いまさら聞けないHadoopとテキストマイニング入門 テキストマイニングで始める実践Hadoop活用(1) それぞれの概要や構成、MapReduceの仕組み、Hadoopの活用場面などを解説し、Hadoopの実行環境を構築します

  • ツイッターStorm:オープンソースのリアルタイムHadoop

    Spring BootによるAPIバックエンド構築実践ガイド 第2版 何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。このでは、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...

    ツイッターStorm:オープンソースのリアルタイムHadoop
  • [O] Hadoop Conference Japan 2011 に参加してきました #hcj2011

    overlasting.net 2019 Copyright. All Rights Reserved. The Sponsored Listings displayed above are served automatically by a third party. Neither the service provider nor the domain owner maintain any relationship with the advertisers. In case of trademark issues please contact the domain owner directly (contact information can be found in whois). Privacy Policy

  • Hadoop WorldでClouderaと提携したNTTデータが目指すもの。Hadoop World: NYC 2010

    Hadoop WorldでClouderaと提携したNTTデータが目指すもの。Hadoop World: NYC 2010 先週10月12日に、ニューヨークでHadoopのイベント「Hadoop World: NYC 2010」が開催されました。参加者は900名を超えたともいわれ、日からも30名程度が参加しました。 イベントを主催するClouderaは、Hadoopを開発したDoug Cutting氏らが所属しており、Hadoopの商用利用におけるリーダー的な存在です。そしてこのイベントでClouderaはNTTデータとの提携を発表。両社でアジア太平洋地域と日でのHadoopビジネスを積極展開することを明らかにしています。 Clouderaとの提携を受け、NTTデータ代表取締役常務執行役員 ソリューション&テクノロジーカンパニー長 CTO 山田伸一氏がHadoop Worldで講演。そ

    Hadoop WorldでClouderaと提携したNTTデータが目指すもの。Hadoop World: NYC 2010
    tridentfield
    tridentfield 2010/10/18
    NTTデータすごいな。 "現在では300台から1000台以上のサーバで構成される規模のHadoop環境を構築、運用しており"
  • HadoopはBI市場の破壊的テクノロジーになる

    「Big Data」という言葉を見かけることが最近増えてきました。数テラバイトなど大規模なデータを表す言葉です。 このBig Dataをデータを分析し、有用な情報を見いだしてビジネス上の意志決定に活かそうというのがBI(ビジネスインテリジェンス)ですが、BIを実現するためにデータウェアハウスを構築し、OLAPなどの分析ソフトを導入するためのシステム構築は非常にコストのかかるものでした。大規模なデータを保存すること、そしてそれを高速に分析するためには高価で高性能なハードウェアとソフトウェアが必要でした。 そのBIの分野で新たなテクノロジーとして注目されているのがHadoopです。HadoopはBig Dataの保存と分析を、安価なコモディティサーバの集合体で実現します。その点が従来のBI市場にインパクトを与えつつあり、先月、BIツールとHadoopを統合しようとする動きが相次いで顕在化しまし

    HadoopはBI市場の破壊的テクノロジーになる
  • Hadoopを表計算のように使える「InfoSphere BigInsights」、IBMが発表

    IBMがHadoopをベースにしたデータ分析ソフトウェア「InfoSphere BigInsights」を、先週ローマで開催された同社のイベント「IBM Information On Demand Europe 2010」で発表しました。 InfoSphere BigInsightsは、Apache Hadoopをベースにした分析エンジンの「BigInsights Core」と、その上で大規模データをWebブラウザを利用してスプレッドシートのようなユーザーインターフェイスで分析を行える「BigSheets」の2つから構成されます。 BigSheetsで表計算のようにデータ分析 BigInsights CoreのベースとなっているHadoopは、数百万件など大規模なデータを大量のサーバで分散処理するためのオープンソースのソフトウェアです。Yahoo!やFacebook、日ではCookpad

    Hadoopを表計算のように使える「InfoSphere BigInsights」、IBMが発表
  • Hadoop、セキュリティ強化でKerberos実装中

    Hadoopには現在、企業などで利用する際にはセキュリティ面での不安があり、そのための改良に取り組んでいます。Yahoo!のHadoop Developmentチームに所属するOwen O'Malley氏による、現在どのような仕組みでHadoopのセキュリティを強化しようとしているのかを説明するプレゼンテーションが「Hadoop User Group March Meeting Recap」のページで公開されています。 Kerberosでシングルサインオンを実現 プレゼンテーションの主なポイントを紹介します。 今回の主たる目的は、「認証されていないユーザーがHDFSにアクセスできないようにすること」となっています。 現在のHadoopには、NameNodeやJobTracker、DataNodeなどでのユーザー認証がないことがセキュリティ上の課題になっていると指摘。

    Hadoop、セキュリティ強化でKerberos実装中
    tridentfield
    tridentfield 2010/04/11
    Hadoop、セキュリティ強化でKerberos実装中 - Publickey
  • オライリーの「Hadoop」本発刊、 翻訳者に裏話を聞きました

    クラウド上で動作する大規模分散処理のプラットフォームとして注目が集まるHadoop。そもそもはグーグルが大規模な検索を行うためにMapReduceと呼ばれる処理を考案し、それを基にオープンソースとして開発されたのがHadoopです。現在ではYahoo!やFacebookが社内の大規模データ処理のために採用していることでも知られていますし、日でも昨年「Hadoopユーザー会」が立ち上がりました。 そのHadoopに関する国内初の、そして決定版的な書籍「Hadoop」がオライリー・ジャパンから1月に発刊されました。そこでこのHadoopの翻訳者の一人である玉川竜司さんに、翻訳の裏話や読みどころなどをメールでインタビューしました。 玉川さんの職と、Hadoopを翻訳をすることになった経緯を教えてください。 職は会社勤めの開発者なんですが、昨年頭からSilverlightのユーザー会をや

    オライリーの「Hadoop」本発刊、 翻訳者に裏話を聞きました
  • Hadoop Streaming - naoyaのはてなダイアリー

    id:naoya:20080511:1210506301 のエントリのコメント欄で kzk さんに教えていただいた Hadoop Streaming を試しています。 Hadoop はオープンソースの MapReduce + 分散ファイルシステムです。Java で作られています。Yahoo! Inc のバックエンドや、Facebook、Amazon.com などでも利用されているとのことです。詳しくは http://codezine.jp/a/article/aid/2448.aspx (kzk さんによる連載記事)を参照してください。 Hadoop Streaming 記事にもあります通り、Hadoop 拡張の Hadoop Streaming を使うと標準入出力を介するプログラムを記述するだけで、Hadoop による MapReduce を利用することができます。つまり、Java 以外

    Hadoop Streaming - naoyaのはてなダイアリー
  • Hadoopを業務で使ってみた話 - クックパッド開発者ブログ

    8月に入社した佐々木です。こんにちわ! 入社してからはHadoopを使うことが多く、日々、大規模データと格闘しています。大変ではありますが、個人ではなかなか触ることが出来ないような大規模データを触れるのは楽しいです。 さて、Hadoopは最近色々なところで使われ始めてきていると思うんですが、実際に利用してみて困った事やtipsなど、実践的な情報はまだあまり公開されていません。その辺の情報をみんな求めているはず…!! そこで、僕が実際に触ってみて困った事やHadoopを使う上でポイントだと思ったことなどを社内勉強会で発表したので公開してみます。Hadoopを使っている(使いたいと思っている)方の参考になれば幸いです。 [slideshare id=2711363&doc=20091214techblog-091213183529-phpapp02] Hadoopの利用はまだまだ試行錯誤の連続

    Hadoopを業務で使ってみた話 - クックパッド開発者ブログ
  • Hadoopの最新動向を「Hadoop World:NY 2009」の資料から(前編)

    Hadoopは、グーグルが大規模分散システムのために用いているMapReduceという技術を、オープンソースとして実現するために開発されたJavaベースのソフトウェアです。開発が始まったのは2005年頃で、当時Yahoo!に所属し現在はClouderaに所属するDoug Cutting氏が中心となって進めてきました。 Hadoopが実現するMapReduce処理とは、簡単にいえば大量のデータを小さく分割して多数のノードに割り当て(Map処理)、各ノードで処理を行ったらそれを集約して結果を出す(Reduce処理)、という分散処理の方法です。数テラバイトにもおよぶ大容量のデータを高速かつ低コストに分散処理する方法として注目を集めています。 ニューヨークでHadoop Worldが開催される そのHadoopのカンファレンス「Hadoop World:NY 2009」が10月2日にニューヨークで

    Hadoopの最新動向を「Hadoop World:NY 2009」の資料から(前編)
  • 1