「Hadoopの時代は終わった」の意味を正しく理解する - 科学と非科学の迷宮
Hadoopの時代は終わった、という言説をたまに見かけるようになりました。 もちろん終わってなどいません。しかし、Hadoopとその取り巻く環境が変化したのは事実です。 本記事では、この変化が何なのかを明らかにし、その上で、なぜHadoopの時代は終わったという主張が実態を正しく表していないのかを説明していきます。 DISCLAIMER 私はHadoopを中心としたデータ基盤を取り扱うベンダー、Clouderaの社員です。 中立的に書くよう努めますが、所属組織によって発生するバイアスの完全な排除を保証することはできません。 以上をご了承の上、読み進めてください。 要約 データ基盤は、Hadoopの登場により非常に安価となり、今まででは不可能だった大量のデータを取り扱えるようになりました。 Hadoopは、NoSQLブームの中、処理エンジンであるMapReduceとストレージであるHDFSが
グーグルのBigQuery、高速処理の仕組みは「カラム型データストア」と「ツリー構造」。解説文書が公開 － Publickey
グーグルのBigQuery、高速処理の仕組みは「カラム型データストア」と「ツリー構造」。解説文書が公開 SQLのクエリに対応し、3億件を超えるデータに対してインデックスを使わないフルスキャン検索で10秒以内に結果を出す。グーグルのBigQueryは大規模なクエリを超高速で実行する能力を提供するサービスです。その内部を解説する文書「An Inside Look at Google BigQuery」（PDF）を公開しました。 グーグルは大規模クエリを実行するサービスとして社内でコードネーム「Dremel」を構築しており、2010年にそのDremelを解説する文書「Dremel: Interactive Analysis of Web-Scale Datasets」を公開しています。BigQueryは、そのDremelを外部公開向けに実装したものです。 グーグルはこのDremel/BigQue
Googleの虎の子「BigQuery」をFluentdユーザーが使わない理由がなくなった理由 #gcpja - Qiita
「BigQueryは120億行を5秒でフルスキャン可能」は本当か？ 先日、kaheiさんがGoogle BigQuery（Googleクラウドの大規模クエリサービス）について、こんなエントリを書いていた。 とにかくパフォーマンスがすごい。（Fluentd Meetupでの）プレゼン中のデモで、ディスクに収められた5億件のデータをSQLでフルスキャンするのに3秒しかかからない。9億件のデータを正規表現を含んだSQLでスキャンしても、7秒で終わる（これ、記憶がちょっとあいまい。もう少しかかったかも）。これには驚いた。佐藤さんがGoogleに入社して一番驚いた技術が、一般公開される前のBigQueryだったと言っていたが、その気持ちはわかる。 From Fluentd Meetupに行ってきました これを読んだ時、BigQueryの検索スピードについてちょっと補足したくなった。確かにFluent
Common Crawl - Open Repository of Web Crawl Data
Common Crawl maintains a free, open repository of web crawl data that can be used by anyone.Common Crawl is a 501(c)(3) non–profit founded in 2007. We make wholesale extraction, transformation and analysis of open web data accessible to researchers.Overview Over 250 billion pages spanning 15 years.Free and open corpus since 2007.Cited in over 10,000 research papers.3–5 billion new pages added ea
Presto: Free, Open-Source SQL Query Engine for any Data
Calling our Presto community speakers – we want to hear from you! Fill out out community call for papers to speak at upcoming meetups and conferences. What is Presto?Presto is an open source SQL query engine that’s fast, reliable, and efficient at scale. Use Presto to run interactive/ad hoc queries at sub-second performance for your high volume apps.
Hadoop初のメージャーバージョンアップ「Hadoop 2」正式版が公開。MapReduce以外の分散処理フレームワークも実行可能に
The Apache Software Foundationは、Hadoopの初めてのメジャーバージョンアップとなる「Apache Hadoop 2」の正式版公開を発表しました。 Hadoopは2004年にGoogleが公開したMapReduceに関する論文を元にオープンソースとして開発されたものでした。Hadoopの開発者であるダグ・カッティング氏は、Hadoop 2のプレスリリースで次のように発言しています。 "What started out a few years ago as a scalable batch processing system for Java programmers has now emerged as the kernel of the operating system for big data," said original Hadoop creator
Hadoop環境を即立ち上げ、BigInsightsが使えるPureData Systemが登場
Hadoop環境を即立ち上げ、BigInsightsが使えるPureData Systemが登場：製品動向 SQLクエリが使えるHadoop環境を即立ち上げできるPureData System製品が登場。統合管理ツールと併せてチューニング済みの状態で提供する。 日本IBMは2013年10月15日、同社垂直統合システム「Pure System」の中でもデータ処理に特化した「Pure Data System」ラインアップに新たにApache Hadoop向け「IBM PureData System for Hadoop H1001」とNetezzaの技術を基にした高速並列処理向け製品のエントリモデル「IBM PureData System for Analytics N2002-002」を追加した。IBM PureData System for Hadoop H1001は同日販売開始、IBM
みんなビックデータビックデータって言ってるけど 名寄せとかどうしてんの？
Social Media Marketing Trends 2024 // The Global Indie InsightsKurio // The Social Media Age(ncy)
連載: IBM Watson Workspace #鬼わか アプリケーション開発: 第 7 回: IBM Watson Workspace で AI を利用したアプリ連携の実現 #鬼わか 解説（前編）
IBM Related Japanese technical documents - Code Patterns, Learning Path, Tutorials, etc. Please open new issue/pull requests in either English or Japanese if you would have any feedback or you would like to contribute this repo. We provide mainly "Japanese contents" by markdown text. IBM Developerの最新情報は https://developer.ibm.com/ にアクセスし、英語のコンテンツを参照してください。 このリポジトリは、IBM Developer Japan Webサイトで公開していた
What is data science? - O'Reilly Radar
What is data science? The future belongs to the companies and people that turn data into products. We’ve all heard it: according to Hal Varian, statistics is the next sexy job. Five years ago, in What is Web 2.0, Tim O’Reilly said that “data is the next Intel Inside.” But what does that statement mean? Why do we suddenly care about statistics and about data? In this post, I examine the many sides
The evolution of data products - Strata
The evolution of data products The data that drives products is shifting from overt to covert. In “What is Data Science?,” I started to talk about the nature of data products. Since then, we’ve seen a lot of exciting new products, most of which involve data analysis to an extent that we couldn’t have imagined a few years ago. But that begs some important questions: What happens when data becomes a
Treasure Data, Inc. | Finding Gems in Your Big Data
The AI-powered CDP for the world’s largest companies. Recognized as a Leader by Gartner. Gartner® names Treasure Data a Leader in the 2024 Magic Quadrant™ for Customer Data Platforms. Get Magic QuadrantGet Critical Capabilities Treasure Data empowers the world’s largest and most innovative companies to drive connected customer experiences that increase revenue and reduce costs. Built on a big data
インメモリデータベース、カラム型データベースは使い物になるのか？ インメモリとカラム型データベースの可能性を調べる（その1）
インメモリデータベース、カラム型データベースは使い物になるのか？ インメモリとカラム型データベースの可能性を調べる（その1） ERPベンダ最大手のSAPは2010年、新規に開発したデータベース「SAP HANA」（当時の名称は「SAP High-Performance Analytics Appliance」）を発表しました。 HANAの製品化を背景に、SAPは2012年5月にデータベース市場への本格参入を宣言し、オラクルやIBM、マイクロソフトとデータベース市場で競合していくことを表明。そして今年2013年2月にはついにERPと組み合わせた「SAP Business Suite powered by SAP HANA」の出荷を開始し、業務アプリケーションのバックエンドデータベースとしてHANAの本格利用を開始しました。 HANAには、これまで主流だったリレーショナルデータベースとは異なる
http://www-06.ibm.com/jp/press/pdf/archive_2013.pdf
2013年12⽉18⽇ 2013年12⽉13⽇ 2013年12⽉11⽇ 2013年12⽉10⽇ 2013年12⽉02⽇ 2013年11⽉29⽇ 2013年11⽉22⽇ 2013年11⽉20⽇ 2013年11⽉20⽇ 2013年11⽉19⽇ 2013年11⽉18⽇ 2013年11⽉15⽇ 2013年11⽉15⽇ 2013年11⽉12⽇ 2013年11⽉12⽇ 2013年11⽉12⽇ 2013年11⽉06⽇ 2013年11⽉06⽇ 2013年10⽉31⽇ 2013年10⽉28⽇ 2013年10⽉24⽇ 2013年10⽉22⽇ 2013年10⽉22⽇ 2013年10⽉17⽇ 2013年10⽉15⽇ 2013年10⽉11⽇ 2013年10⽉10⽇ 2013年10⽉09⽇ 2013年10⽉09⽇ 2013年10⽉08⽇ 2013年10⽉08⽇ 2013年のプレスリリース⼀覧 ここに掲載されている情報
Yahoo! JAPAN
Yahoo! JAPANトップページの機能を正しくご利用いただくには、下記の環境が必要です。パソコンでご利用のお客様 Windows：Internet Explorer 11.0以上 / Chrome 最新版 / Firefox 最新版 / Microsoft Edge macOS：Safari 9.0以上 ※Internet Explorer 11.0以上をご利用の場合は、 「Internet Explorerの互換表示について」を参考に、互換表示の無効化をお試しください。タブレットでご利用のお客様 iOS 9以降、または、Android4.0以降のOSに標準搭載されたブラウザー ※日本国内版として発売されている端末でご利用ください。
"いのちの記録"を未来へ〜震災ビッグデータ〜 ディレクター取材ノート NHKスペシャル｜Nスペeyes
Copyright NHK (Japan Broadcasting Corporation). All rights reserved. 許可なく転載することを禁じます。 このページは受信料で制作しています。
ビッグデータの倫理
ビッグデータへの注目が過熱する一方、そこに含まれる個人情報の取り扱いについて、さまざまな議論や問題が巻き起こっています。本書はビッグデータを取り扱う業務に携わる読者に向けて、ビッグデータを扱う際の倫理について考え、議論を行う枠組みについて、「アイデンティティ」「プライバシー」「オーナーシップ」「信用」という4つの軸とともに紹介します。「倫理」という、個別性が高く、明快な答えの見つけづらい問題について、読者自身や組織の中で実りのある議論をする一助となるでしょう。なお本書はEbookのみの販売となります。 まえがき 1章 ビッグデータのビッグインパクト なぜビッグデータなのか？ ビッグデータは何を強制するのか？ ビッグデータは倫理的に中立である 何をすべきかを尋ねてはいけない 重要な概念と用語 2章 価値と行動 価値を明確に表現する 価値を行動に変える 倫理的判断ポイント 3章 現在の業務 研
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Big Data入門に見せかけたFluentd入門
Progressive, Allstate, Traveler's Bank on Big Data to Drive New Business
Edge Components 概念、計画とインストール / WebSphere Application Server