第7回 大規模データ処理におけるCPUとI/Oのバランスをどう考えるか | gihyo.jp
3大ボトルネックを解消すれば終わり、ではない これまでの連載では、ディスクI/O、CPU、ネットワークI/Oの3つの観点で、大規模データを処理するときのボトルネックの傾向と改善点について説明しました。それらの改善策をすべてを実施すれば、もう何も心配する必要はないのでしょうか？ 残念ながら、よかれと思って実施したチューニングがほかの箇所に影響を与える可能性があります。最終回となる今回は、その具体例を見ていきましょう。 データを圧縮した場合、CPUボトルネックが生じやすくなる 大規模データを扱うときは、データの総量を小さくしてストレージ装置のコストを削減するため、圧縮機能の利用を検討することが多いです。 データを圧縮する場合、RDBMSの機能を利用するのが一般的です。たとえばOracle Databaseには、以下のように何種類かの圧縮機能があります。 標準圧縮機能 OLTP圧縮機能（Adva
O'Reilly Japan - Google BigQuery
本書は、クラウド上でSQLを使ってビッグデータを解析するGoogle BigQueryについて包括的に解説する書籍です。Google BigQueryの使い方から内部動作、そしてBigQueryならではのSQLの活用法、サードパーティのツールとの連携までを詳しく解説します。また、BigQueryを支えるGoogleのインフラストラクチャについても総覧しており、現代最高の超巨大インフラストラクチャの姿を知ることができます。BigQueryの全体像をマスターできる本書は、ビッグデータをSQLで活用したいデータサイエンティスト、ソフトウェア開発者必携の一冊です。 訳者まえがき はじめに I部 BigQueryの基礎知識 1章 Googleにおけるビッグデータの物語 1.1 ビッグデータスタック 1.0 1.2 ビッグデータスタック 2.0（そしてその先にあるもの） 1.3 オープンソースのスタッ
話題になりがちな人工知能の論点を改めて整理してみる - FutureInsight.info
今月号のニュートンの「人工知能が人類を超える日」を読みながら、人工知能トピックの論点を整理する必要があるな、と思った。 Newton(ニュートン) 2015年 04 月号 [雑誌] Amazon.co.jpで詳細をチェック 楽天市場でこの商品を検索 というのも、シンギュラリティという言葉を引き合いに出して、2045年までにAIが人類を超えるというのが、昨今の人工知能特集のメイン。だいたいそこに、Deep Learningと人間の仕事をAIが奪うというトピックを併せて、それっぽい現在の事例を並べるという構造を取っていることが多い。ニュートンもそうだし、最近みた人工知能系の特集はこのパターンが多い。ニュートンがちょっとおもしろかったのは、「人工頭脳プロジェクト〜ロボットは東大にはいれるか〜」の紹介で、センター試験物理の問題をコンピュータが理解するための技術的課題を整理している。これは、結構おも
ビッグデータ（）解析の会社、データビークル社を新設しました＆3月3日にオープンセミナーをやるなど - やまもといちろうBLOG（ブログ）
といっても設立自体は去年なんですが、設立パーティーを開催したり、サイトもできて新規営業が始まりましたのでご報告をば。 株式会社データビークル http://www.dtvcl.com/ もともとは、私のやっているイレギュラーズアンドパートナーズ(I&P)という会社で未来予測事業部というのを立ち上げていて、少人数で回していたら案件が増えすぎて身動きが取れなくなっていたところを、お取引先さまのインフォテリアから油野達也、またこの方面では『統計学が最強の学問である』で著名になった西内啓がジョイン。どうせならちゃんと会社を立ててお客様のニーズに応えていこうということで、データビークル設立となりました。 パートナー会社さまのひとつであるパソナテックさんとこの3月3日に西内が出て行っていろいろ喋る話となりましたので、ご関心のある方はぜひご来場くださいませ。 ここから始まるビッグデータ経営本質論 htt
Amazon Redshiftではじめるビッグデータ処理入門 記事一覧 | gihyo.jp
第5回Amazon Redshiftのアーキテクチャ ～スケーリングとリストアを試してみよう 宮崎真，藤川幸一 2013-06-10
人工知能技術のこれまでとこれから | gihyo.jp
あけましておめでとうございます。Preferred Infrastructureの海野と申します。このところ人工知能という言葉をよく聞くようになりました。名だたるIT関連企業が、こぞって人工知能をビジネス化しようとしているという印象をうけます。こうした背景には何があるのでしょうか。そして、本当に近い将来に人工知能による大きなビジネスが花開くのでしょうか。本稿では、ここ数年の技術開発のトレンドの変遷を通して、人工知能ビジネスの動向を探ります。 人工知能のこれまで 「人工知能」という言葉に対して、どのような印象を受けるでしょうか。人間と共存し、言葉をしゃべり、自分で思考するロボットのようなイメージを持つ方は少なくないと思います。もちろんこうした人工知能を見たことがないように、現状ではこうした人工知能はありません。このような汎用的な知能をもつ人工知能は「強いAI」とよばれ、より具体的な部分問題を
第1回 Amazon Redshiftとは［前編］ | gihyo.jp
Amazon Web Services（AWS）は次々と新しいサービスを世の中に出して、クラウド・コンピューティングの可能性を広げていっています。そのAWSから登場した最新のサービスであるAmazon Redshiftは、そのパフォーマンスや驚異的な低コストのため、発表当時から大変な反響を呼んできました。 この連載では、 Redshiftの概要からその利用方法まで、主にあまりデータウェアハウスを利用した経験がないWeb開発エンジニアなど向けに、このビッグデータ向けクラウド・データウェアハウス製品であるAmazon Redshiftの解説をして行きたいと思います。 まずは、そもそもAmazon Redshiftとは何なのか、その概要から説明します。 Amazon Redshiftはビッグデータ時代のクラウド・データウェアハウス 2012年11月、AWSにとって初めての世界的なユーザカンファレ
Googleの虎の子「BigQuery」をFluentdユーザーが使わない理由がなくなった理由 #gcpja - Qiita
「BigQueryは120億行を5秒でフルスキャン可能」は本当か？ 先日、kaheiさんがGoogle BigQuery（Googleクラウドの大規模クエリサービス）について、こんなエントリを書いていた。 とにかくパフォーマンスがすごい。（Fluentd Meetupでの）プレゼン中のデモで、ディスクに収められた5億件のデータをSQLでフルスキャンするのに3秒しかかからない。9億件のデータを正規表現を含んだSQLでスキャンしても、7秒で終わる（これ、記憶がちょっとあいまい。もう少しかかったかも）。これには驚いた。佐藤さんがGoogleに入社して一番驚いた技術が、一般公開される前のBigQueryだったと言っていたが、その気持ちはわかる。 From Fluentd Meetupに行ってきました これを読んだ時、BigQueryの検索スピードについてちょっと補足したくなった。確かにFluent
次世代Hadoopの特徴は、MapReduce 2とGiraph - ＠IT
次世代Hadoopの特徴は、 MapReduce 2とGiraph Hadoopの父に聞く、HadoopとClouderaの現在・未来 有限会社オングス 後藤 大地 2011/9/15 ■ 増え続けるHadoop活用企業 大規模データの分析に、Javaのフレームワーク「Apache Hadoop」（以下、Hadoop）を採用する事例が増えている。HadoopはMapReduceの実装系の1つで、特にログデータ解析やリサーチ目的の大規模データ分析や計算などに活用されている。TwitterやFacebook、mixi、LinkedIn、Groupon、Amazon、eBay、Yahoo!、楽天、クックパッド、リクルート、ディー・エヌ・エー、サイバーエージェントなどのいわゆるWebサービス系企業だけでなく、NTTデータ、Amazon Web Services、国立国会図書館、EMC、PFI、ウル
リクルートのビッグデータ活用の鍵を握るHadoop解析
『MarkeZine』が主催するマーケティング・イベント『MarkeZine Day』『MarkeZine Academy』『MarkeZine プレミアムセミナー』の 最新情報をはじめ、様々なイベント情報をまとめてご紹介します。 MarkeZine Day
「Google アナリティクス」とビッグデータ分析基盤「BigQuery」が連携、どうなる？これからのウェブ解析
『MarkeZine』が主催するマーケティング・イベント『MarkeZine Day』『MarkeZine Academy』『MarkeZine プレミアムセミナー』の 最新情報をはじめ、様々なイベント情報をまとめてご紹介します。 MarkeZine Day
みんなビックデータビックデータって言ってるけど 名寄せとかどうしてんの？
自由診療クリニック向けのオールインワンSaaS「medicalforce」、警備事業者向けオールインワンSaaS「警備フォース」を提供する株式会社メディカルフォース。フルスクラッチでの開発を実現させるスクラムの構築をまとめました Developer eXperience Day 2024 株式会社メディカルフォース CTO 畠中 翔一（@punk_punx）登壇スライド
さらば！データサイエンティスト
2013/03/28 PFIセミナー「（道具としての）データサイエンティストのつかい方」資料 Ustreamの録画はこちらです→http://www.ustream.tv/recorded/37645309Read less
統計分析をフル活用し、年間数千万以上の広告宣伝費削減に成功─ リクルート式ビッグデータのビジネス活用最前線
『MarkeZine』が主催するマーケティング・イベント『MarkeZine Day』『MarkeZine Academy』『MarkeZine プレミアムセミナー』の 最新情報をはじめ、様々なイベント情報をまとめてご紹介します。 MarkeZine Day
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Big Data入門に見せかけたFluentd入門
（ギークだけでなく）誰もがビッグデータを気にすべき理由