BigQuery と Google の Big Data Stack 2.0 - naoyaのはてなダイアリー
先日、有志で集まって「BigQuery Analytics」という書籍の読書会をやった。その名の通り Google BigQuery について書かれた洋書。 BigQuery を最近仕事で使い始めたのだが、BigQuery が開発された背景とかアーキテクチャーとかあまり調べもせずに使い始めたので今更ながらその辺のインプットを増やして以降と思った次第。 それで、読書会の第1回目は書籍の中でも Overview に相当するところを中心に読み合わせていった。それだけでもなかなかに面白かったので少しブログにでも書いてみようかなと思う。 BigQuery の話そのものも面白いが、個人的には Google のインフラが書籍『Google を支える技術』で解説されたものが "Big Data Stack 1.0" だとして、BigQuery は Big Data Stack 2.0 の上に構築されており
データサイエンティストになりたい学生の為の就職先の選び方 - shakezoの日記
ここ半年でIT業界ではビッグデータというバズワードが一気に広がり、データ分析者の需要が急増しています。データサイエンティストは今後10年で最も魅力的な職業になるとも言われており、データ分析に携わる仕事に就きたいと考えている学生も以前よりは増えてきているのではないかと思います。 ビッグデータ、データサイエンティスト、データマイニング、機械学習などのキーワードが散りばめられた記事も連日のように投稿されていますが、新卒の学生がデータ分析の仕事に就くための方法について触れられているものはあまりないようです。IT業界で働いている人たちの間でも、正しい認知が進んでいない状況ですので、データ分析業界の構造を学生さんが理解することは難しいのではないかと思います。 私自身はデータ分析に携わって5年程度で、まだまだ初心者の域を脱していないぺーぺーですが、データマイナーになるためにどんなキャリアを積めばよいかに
“統計の基礎を無視している”Hadoop使いが考えるビッグデータ
Hadoopをバッチ処理の高速化に活用しているノーチラス・テクノロジーズは、ビッグデータのブームに真っ向から異論を唱える。「ビッグデータは中身のないバズワード」と断言する代表取締役社長 神林飛志氏に、その真意を聞いた。 Hadoop＝ビッグデータは大きな誤解 ノーチラス・テクノロジーズは、基幹系システム向けのミドルウェアを手がける国産ベンチャー。Webサービスのように決して派手ではないが、「そもそもダウンすると、飛行機が飛ばないとか、病院で人が死んでしまうとか、電車が動かないとか、生活に影響が出る分野」（神林氏）という、まさにミッションクリティカルな領域のITで、同社の製品は活用されている。 同社の「Asakusa Framework」は、Hadoopを活用した分散処理により、基幹系バッチの高速化を実現する。神林氏は、「Hadoopというと、WebやSNS系、BIやデータ解析での使い方がメ
グーグル、BigQueryを正式公開。SQLで大規模データに対して高速処理
BigQueryはカラム型データストアの一種で、テラバイトクラスの大規模データに対して大量の並列処理を行うことで高速に結果を得ることが可能。グーグル 佐藤一憲氏の発言によると、 OLAP/DWH/Data Miningで行われるようなread onlyのad hocクエリをきわめて高速（数秒〜数十秒）に実行します。 とのこと。 SQLによる問い合わせが可能 この高速性に加え、BigQueryではSQLを問い合わせ言語に使えるという点にも大きな特徴があります。数秒程度のレスポンスとSQL文による記述は、大規模データに対するアドホックな処理を行うのに適したサービスだといえるでしょう。 BigQueryのSQLの構文は「Query Reference」で解説されていますが、SELECT文にFROM、WHERE、JOIN、HAVING、GROUP BY、ORDER BY、LIMITなどが使えるため
ビッグデータの価格破壊？ Googleが「処理量100GB/月まで無料」の解析サービスBigQueryを提供開始 - ITジャーナリスト星暁雄の"情報論"ノート
情報と技術は未来をどう変えるのか──IT、スマートデバイス、ロボット、電子工作、メディアのアーキテクチャ Google勤務のKazunori SatoさんがGoogle+に簡潔な解説をポストしてくれています。 ポスト1 BigQueryが一般公開されました！数100億件の全検索が数十秒で完了する超並列クエリサービスで、MapReduceと並びGoogleの根幹を支える虎の子技術です。 Google BigQuery brings Big Data analytics to all businesses - Google Developers Blog ポスト2 BigQueryプチ解説：BigQueryはGoogle社内では「Dremel」と呼ばれる超並列クエリインフラを利用した一般向けサービスです。DremelはSybase IQやOracle Exadataと同様のColumar DB
データを自ら生み出す
通信手段の進化と低価格化により、様々な場所から、ビジネスに活用できるデータを収集できるようになった。では、どこに着目すればビッグデータの種を探せるのか。5社の先進事例からヒントを探る。 ウェザーニューズ 30万人の携帯電話が 気象レーダーに すべて自前でセンサーを張り巡らさずとも、様々な場所から情報を収集し、ビッグデータを生み出せる。気象情報サービス大手のウェザーニューズの取り組みは、その好例だ。 ウェザーニューズが活用するのは、約30万人の有料会員「ウェザーリポーター」が日々持ち歩く携帯電話だ。最近の携帯電話、特にスマートフォンにはGPS（全地球測位システム）とカメラが搭載されており、この二つの機能を利用すれば簡易版の気象レーダーとして使えるのだ。 ユーザーの携帯電話をレーダー代わりにすることで、よりきめ細かく、リアルタイムに情報を取得できるようになった。 「ウェザーリポーターからは毎日
Google、ビッグデータ分析サービス「BigQuery」を一般公開
「Google BigQuery Service」をGoogleのクラウド経由で利用することで、中小企業でもテラバイト級のビッグデータの分析が可能になる。 米Googleは11月14日（現地時間）、同社のクラウド上でいわゆる「ビッグデータ」を分析する企業向けサービス「Google BigQuery Service」のプレビュー版を公開したと発表した。正式版は有料になる見込みだが、現在は無料で利用できる。 BigQueryは、同社が2010年の開発者向けカンファレンス「Google I/O」で発表したクラウド分析サービス。これまでは一部の企業を対象にクローズドなプレビュー版を提供していた。 ユーザーはGoogleのクラウドストレージサービス「Google Cloud Storage」に分析したいデータをアップロードし、Webブラウザ経由で分析できる。同社は10月にクラウドデータベース「Goo
大規模データ分析基盤技術「Jubatus」の公開 - 株式会社プリファードインフラストラクチャー
2011年10月26日 報道関係者各位 プレスリリース 日本電信電話株式会社 株式会社プリファードインフラストラクチャー ==================================================== ビッグデータのリアルタイム処理を可能にする 大規模データ分析基盤技術を世界に先駆けて開発 ～10月27日よりオープンソースソフトウェアとして公開～==================================================== 日本電信電話株式会社（東京都千代田区、代表取締役社長：三浦 惺、以下「NTT」） と株式会社プリファードインフラストラクチャー（東京都文京区、代表取締役社長：西川 徹、以下「PFI社」）は、ビッグデータ*1と呼ばれる大規模データをリアルタイムに高速分 析処理する基盤技術「Jubatus*2」（第1版）を開発しま
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
サービス終了のお知らせ
TechCrunch | Startup and Technology News
http://logmania.masakiplus.net/archives/6107
GitHub - nathanmarz/storm: Distributed and fault-tolerant realtime computation: stream processing, continuous computation, distributed RPC, and more
大規模データ技術の現状と今後の方向性