ビッグデータの2017年：AIやクラウド、IoTとの関わりはどうなる？--識者の予想
筆者のようなテクノロジライターには、ビッグデータ関連企業から次の年の業界動向に関する予想が多数送られてくる。これらを集めて通読し、何が述べられているかを調べるのは楽しい作業だ。予想の中には、完全に矛盾していて疑わしいものもあれば、2つ以上の予想が互いに補強し合って、分析に対する信頼度が高まっているものもある。 知見の抽出 筆者が好んでやるのは、複数の予想を結びつけ、全体像を理解するための分類軸となるテーマを探すことだ。この作業を行うと、表面的には矛盾して見える項目に、より深いレベルで光が当たることもあるし、一定の共通認識が浮かび上がってくる場合もある。もちろん、共通認識となっている予想が必ず当たるとは限らないが、少なくとも業界のリーダーが考えていることや、今後のトレンドがどのようになりそうかということについて多角的に把握することができる。 2017年に向けての予想では、業界の変化が大きく扱
「PoC」の進め方──メンバー選定、環境構築、データ収集と活用、評価まで
「ビッグデータプロジェクトを始めることになった」ら、何をすればいいのか──。本連載は、「ビッグデータプロジェクトの“進め方”」を業務視点／ビジネス視点の両面から具体的に理解し、実践していくための導入指南です。 前回は、ビッグデータおよびビッグデータ基盤の概要について、そしてその第一歩として「小さくても、確実な成功を収めることが重要である」と説明しました。今回はこの第一歩を踏み出すに当たって必要となる、「PoC」（Proof of Concept：導入前実機検証）を、具体的にどう進めていくかを説明します。なお前回も触れましたが、本連載におけるビッグデータ基盤の説明には、業界標準であるオープンソースの分散処理基盤「Apache Hadoop（以下、Hadoop）」を用いることとします。 PoCとは、新規システムの本番導入に先駆けて、小規模なシステムを試験的に導入し、ビジネスにおける有効性を調査
データサイエンスにはオープンソースが不可欠
分析専門家になるだけでは不十分だ。 このようなジレンマがある。あなたの会社には大量のデータがあるが、それを処理する手がかりはほとんどない。だからデータサイエンティストを雇わねばならないと考えるのだが、そのような人材は不足している。どのみち、有能な人材というのは不足するものだが。 あなたは何をするべきか？ そのことを理解しつつある企業がますます増えており、人材育成が必要となっている。しかし、誰もが上手くやれるというわけではない。1つの事実として、最高のデータサイエンティストはオープンソースを使いこなす傾向にあるのは明らかだと言える。 ビッグデータの手がかりを手に入れる 1年以上前、私はガートナーのビッグデータについての調査を分析した。ほとんど全ての企業がビッグデータ関連プロジェクトの稼働を主張しているのだが、現実にはかなり見通しが暗いことが分析から分かった。 データを掘り下げると、誰もがビッ
自宅学習で注目のデータサイエンティストになれる！ Udemyの養成講座がスタート＜PR＞ | ITライフハック
ネットの普及、IT化の促進により自然と集まったユーザーデータが巨大化したビッグデータへと成長した。企業のビジネス戦略において、こうしたビッグデータを分析し、経営判断に役立てることが必須となった。このビッグデータをどのように扱えばいいのか？ ということを科学するのが「データサイエンス」という分野だ。昨今最も脚光を浴びている分野であるのはご存じの通りだ。データサイエンスとは、「大量のデータを分析し、それらのデータを実行可能な事業戦略に変換する」こと。その作業に必須となるのがデータサイエンティストだ。そして将来的に大きくこの人材が不足すると考えられており、どうやって育成していくのかが社会的な課題になりつつある。 データサイエンティストが扱う解析には直観やひらめきが必要なため、ロボットでは十分に処理することができない。社会的なニーズも増加しているため、今後は年収にして約1,000万円もの高額な報酬
第1回 ビッグデータ分析を始めよう | gihyo.jp
ビッグデータ分析エンジンを比較してみると、ビッグデータを処理する一般的なインターフェースとしてSQLが提供されていることが主となっています。こうして見ると、最近流行っているビッグデータを使った分析とは、SQLによる分析が主となっていることがわかります。 さらに、他の機能を見てみると、スケジューリングや依存関係を考慮したジョブの実行、データの可視化などは分析エンジン自体は備えておらず、別途用意する利用必要があります。 このように考えてみると、以下の点が気になってきます。 ビッグデータ分析基盤で何をできるようにするのか？ ビッグデータ分析基盤と考えたときに他にどういったツールが必要になるのか？ SQLによる集計を基にした分析ではどういったことができるのか？ 本稿では、ビッグデータ分析基盤を構築するために必要な分析エンジンではなく、主にその周辺のエコシステムについてを中心に紹介し、ビッグデータ分
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
機械学習ライブラリ「Spark MLlib」で作る アニメレコメンドシステム
