［1］簡単に分散処理を行えるPig
OSSの分散処理フレームワーク「Hadoop MapReduce」は便利ですが、少しハードルが高い面もあります。MapReduceをより使いやすくするツールが「Pig」と「Hive」で、大容量データを簡単に処理したいケースで威力を発揮します。個人でも手軽にPigとHiveを“体感”する方法を解説します。（NTTコムウェア 研究開発部 川前 徳章） クラウドコンピューティング時代の代表的な分散処理技術「Hadoop」がいま、熱い注目を集めています。Hadoopは、米Google社が開発した大規模ファイルシステム「Google File System」、および大量のデータを高速に処理できる分散処理フレームワーク「MapReduce」を、Googleが発表した論文を基に実装したオープンソースソフトウエアです。Google File Systemに対応するのが「Hadoop Distributed
[#BigData #ビッグデータ ] ビッグデータの本質な価値はデータ分析より自動化にある、という考え方：鈴木いっぺい の 北米IT事情： 雲の向こうに何が見えるか？：オルタナティブ・ブログ
[#BigData #ビッグデータ ] ビッグデータの本質な価値はデータ分析より自動化にある、という考え方 ビッグデータの本質な価値はデータ分析より自動化にある、という考え方 記事＝http://gigaom.com/2013/01/02/why-big-data-might-be-more-about-automation-than-insights/ 投稿者＝Derrick Harris, technology journalist 投稿日＝1/2/2013 New York Timesの2012 年末の記事、” Sure, Big Data Is Great. But So Is Intuition.”において、“ビッグデータバブル”の懸念が紹介されている。これは、人間が本来持っている経験や知見、ノウハウを犠牲にしてまで、ビッグデータの分析に依存する方向に社会に広がり始めている、とい
![[#BigData #ビッグデータ ] ビッグデータの本質な価値はデータ分析より自動化にある、という考え方：鈴木いっぺい の 北米IT事情： 雲の向こうに何が見えるか？：オルタナティブ・ブログ](https://cdn-ak-scissors.b.st-hatena.com/image/square/de585ce227ee542ebb3b3bf82c99bd813c84e7e5/height=288;version=1;width=512/https%3A%2F%2Fblogs.itmedia.co.jp%2Fmt-static%2Fsupport%2Fassets_c%2Fuserpics%2Fuserpic-230-100x100.png)
“統計の基礎を無視している”Hadoop使いが考えるビッグデータ
Hadoopをバッチ処理の高速化に活用しているノーチラス・テクノロジーズは、ビッグデータのブームに真っ向から異論を唱える。「ビッグデータは中身のないバズワード」と断言する代表取締役社長 神林飛志氏に、その真意を聞いた。 Hadoop＝ビッグデータは大きな誤解 ノーチラス・テクノロジーズは、基幹系システム向けのミドルウェアを手がける国産ベンチャー。Webサービスのように決して派手ではないが、「そもそもダウンすると、飛行機が飛ばないとか、病院で人が死んでしまうとか、電車が動かないとか、生活に影響が出る分野」（神林氏）という、まさにミッションクリティカルな領域のITで、同社の製品は活用されている。 同社の「Asakusa Framework」は、Hadoopを活用した分散処理により、基幹系バッチの高速化を実現する。神林氏は、「Hadoopというと、WebやSNS系、BIやデータ解析での使い方がメ
誰もがスタートラインに
京都駅から特急列車で約2時間半。志賀直哉の小説の舞台としても有名な兵庫県北部の城崎温泉で、全国でも珍しいデータ活用の取り組みが進んでいる。FeliCaチップを内蔵したICカードや携帯電話を、外湯の入場券として使えるシステム「ゆめぱ」だ（図1）。 城崎温泉では、七つある外湯巡りが楽しめる（左）。旅館「山本屋」の高宮浩之氏（右上）が中心となり、旅館や外湯、商店にFeliCaチップの読み取り端末を設置（右下）。外湯の入場券をFeliCaチップで代用し、入浴者数などを常に把握できるようになった。 城崎温泉には趣の異なる七つの外湯があり、滞在中にどれだけ入れるかが楽しみの一つ。ゆめぱは、その利便性を高めるものだ。 使い方は簡単。宿泊客が旅館にチェックインする際、携帯電話やICカードをゆめぱ端末にかざし、利用登録を行う。携帯電話を持って外湯に行き、受付でゆめぱ端末にかざせば、その場で料金を払わずに入浴
「ビッグデータ」を活用できない組織とは 3つのネガティブワードを追い払え | JBpress (ジェイビープレス)
これまで経営改革の現場で、筆者は「新たに市場・顧客のデータを収集できるようにする」「データを分析して意思決定に必要な情報を提供する」といったことを、企業の方々と共に数多く行ってきた。 昨今は「ビッグデータ」の時代だと叫ばれている。ビッグデータとは、整理・構造化されていないものも含んだ膨大な量のデータとその活用を意味する。 だが、データのボリュームがビッグだろうがスモールだろうが、定形であろうが非定形であろうが、昔も今も「その時に存在するデータを分析して活用したい」というニーズは変わらない。 今回は、そういうニーズに直面している企業に立ちはだかる、現場での「データ活用の壁」を見ていく。企業内で発せられる典型的な「危ない言葉」を紹介しながら解説したい。 危険な言葉（その1）：「そんなこと既に知っている」 全社でマーケティング情報の充実に取り組んできた食品会社A社。その実現のため、全国の支店を教
人材不足で“取り合い”は必至データサイエンティストなる職種
2012年 ビッグデータ経営革命 「週刊ダイヤモンド」2012年1月28日号・第2特集「2012年 ビッグデータ経営革命」より特別公開！ バックナンバー一覧 「データ様に聞け」 携帯電話向けソーシャルゲームの開発・運用会社、グループスには、そんな標語がある。 ソーシャルゲームにおいて、ユーザーがどのようにゲームを楽しんでいるかというデータは、まさしく利益の源泉といえる。たとえば、全ユーザーのプレー履歴を見て、楽しんでいるヘビーユーザーとやめてしまったユーザーとの傾向を比べる。その結果から、毎日のようにゲームの仕様を変えていくのだ。 「もう少しポイントを撒いたほうがいい」「こちらのページに誘導するよう動線を変えよう」──。各種統計ツールを用いて出した予測結果を基に、開発陣との定例会議や、メールなどで指示を出すのはデータマイニンググループ。リーディングアナリストを務める井澤正志氏は、東北大学理
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://jp.techcrunch.com/2012/10/31/20121027big-data-right-now-five-trendy-open-source-technologies/