データベース研究者から見た"ビッグデータ"の意義 「HadoopもNoSQLも邪道だけど…」
情報処理における全国のエキスパートが一堂に会したリクルート主催の「春の情報処理祭」。人々が日常的に大量のデータを生成・消費するに伴い、「ビッグデータ」の重要性が高まっていると語る、大阪大学准教授の原隆浩氏。「ビッグデータを制する者が世界を制する」とまで言われ、その研究に注目が集まるデータベース分野の歴史と可能性について解説します。（春の情報処理祭in京都より） 高校生の頃まで、パソコンが苦手だった 原隆浩氏：まず、今日データベース研究会のほうから代表ということで来ましたので、自己紹介を兼ねてお話したいと思います。私は今、大阪大学で准教授をしていまして、42歳になります。なので、大学を卒業してちょうど20年経っているぐらいです。 研究の専門分野は、あんまりデータベースっぽくなくて、どちらかというとネットワークとデータベースの境界領域みたいなことをやって、アドホックとかセンサーネットワークにデ
【SAS FORUM 15】データを価値に変える、組織と人材の条件とは | レスポンス（Response.jp）
4月17日、グランドハイアット東京にてSAS FORUM JAPAN2015が開催。そのプログラムにおいて、日本電気ビッグデータ戦略本部孝忠大輔氏が「データサイエンティストが語るビッグデータによる価値創出」と題し、ビッグデータを活用するための組織づくりについて講演した。 SAS Tech Newsの“SAS Partner Network”でも執筆を担当しているという孝中氏は、2003年日本電気入社後、DWH/BIシステム（経営情報をもとに経営の意思決定を促進するシステム）の構築を経験し、流通・サービス業を中心にデータサイエンティストとして分析業務を実践しているという。 ◆NECの考える分析組織のあるべき姿 センシング技術の発展により、多様なデータの取得が可能になった。そのデータが活用されビジネスの現場に貢献する例として、孝中氏は自動車の自動運転を挙げる。 センシングで集めたデータはアナリ
スマートニュースの世界進出を支えるログ解析基盤 #jawsdays #tech
スマートニュースは昨年の 10/1 に米国版をローンチするにあたり、ログ解析基盤のリニューアルを行いました。日本に加えて米国やその他の国が入ってくることにより、単なるユーザ数の増加に加え、OS x 国 x タイムゾーン x 多種多様なメトリクスのような集計軸が増えることで、ログの前処理、集計、可視化に様…
DeNAの大規模データマイニング活用したサービス開発
「DeNAの大規模データマイニング活用したサービス開発」 慶應義塾大学大学院 理工学研究科 2014年度下期 「ビックデータ実践論」 特別講義 の講義資料です。 実際の大規模データマイニング活用したサービス開発での各種挑戦、心がけていること、分散処理基盤、等、話しています。興味ある方はぜひ。Read less
第1回 なぜ、Hadoopはどのように動くのか、を学ぶのか | gihyo.jp
はじめに ビッグデータ解析のためのシステム基盤として、Hadoopをはじめとするオープンソースのデータ処理ソフトウェア（データ処理系）が広く利用されつつありますが、当該データ処理系をすでに利用している、もしくは利用の検討をしている読者の方々の中には、たとえば以下のような問題を抱えている方が少なからずいらっしゃるのではないでしょうか。 データ処理系の使い方はなんとなくわかるが、その内部をあまり理解できていない。または、内部の動作原理がよくわからないので、本格的に使う気にならない。 同様の目的を達成する複数のデータ処理系において、どれを使って良いかがよくわからない。または、適切に使い分けられていない気がする。たとえば、どのような場合にHadoopを用いて、どのような場合に同類のデータ処理系であるImpalaやSparkを用いれば良いかが“明確に”わからない。 このような問題を解決するには、
DMM inside
日本アニメ初の快挙！海外アニメ賞を受賞した『スキップとローファー』海外ライセンス部長&プロデューサーが語る、奮闘の舞台裏
［速報］「Greenplum Database」がオープンソースに。DWH向けMPPデータベース。Pivotalが発表
Pivotalは2月17日（日本時間2月18日午前4時）にオンラインイベントを開催。同社が提供するビッグデータ関連の3つのソフトウェア「GemFire」「HAWQ」「Greenplum Database」をオープンソースにすると発表しました。 GemFireはインメモリデータベース、HAWQはHadoop上でSQLのクエリを実行できるソフトウェア。 もっとも注目されるのがGreenplum Databaseです。これはもともとEMCが買収したデータウェアハウス向けのデータベースで、その後VMwareからスピンアウトしたPivotalのラインナップに移管されました。 Greenplum Databaseは多数のマシンに分散させたデータをシェアドナッシングのアーキテクチャにより大規模並列分散処理することで、ペタバイトクラスにまでスケールアウト可能な高性能データベースとされています。 Pivot
トレジャーデータの4種のデータ収集ツールを理解する - トレジャーデータ（Treasure Data）公式ブログ
2014-12-04 トレジャーデータの4種のデータ収集ツールを理解する Analytics Fluentd Management Console *トレジャーデータはビッグデータ収集、保管、分析のためのエンドツーエンドでサポートされたクラウド型データマネジメントサービスです。 トレジャーデータサービスはクラウド上の無尽蔵なカラムナストレージと Batch/Ad-hoc型の分散集計クエリを，運用管理コストを気にすること無く活用できる「データ保管」が根幹となっておりますが，その前後：「データ収集」と「データ分析」においてもあらゆるケースに対応できる柔軟な方法を兼ね備えています。 今回は，上図でいう「データ収集」レイヤーのツール・方法を網羅します。 4種類のデータ収集方法 トレジャーデータの管理コンソールにログインすると，「Collect Data」タブより4種の収集方法にアクセスすることがで
データ分析というお仕事のこれまでとこれから(HCMPL2014)
第6回 統計・機械学習若手シンポジウムの公演で使用したユーザーサイド情報検索システムについてのスライドです。 https://sites.google.com/view/statsmlsymposium21/ Private Recommender Systems: How Can Users Build Their Own Fair Recommender Systems without Log Data? (SDM 2022) https://arxiv.org/abs/2105.12353 Retrieving Black-box Optimal Images from External Databases (WSDM 2022) https://arxiv.org/abs/2112.14921
HadoopはいずれOLTPも実現し、エンタープライズデータハブとなる。Hadoop Conference Japan 2014
HadoopはいずれOLTPも実現し、エンタープライズデータハブとなる。Hadoop Conference Japan 2014 7月8日に開催されたHadoopに関する国内最大のイベント、「Hadoop Conference Japan 2014」には、Hadoop創始者のDoug Cutting氏が来日、基調講演「データの未来」に登壇しました。 Cutting氏はデータの重要性の高まり、オープンソースソフトウェアがソフトウェア市場で勝ち残ると指摘し、Hadoopはビッグデータのプラットフォームとしてさらに進化し唯一の存在になるだろうとの予想を披露しました。 Cutting氏の講演をダイジェストで紹介します。 データの未来 Hadoop創始者でClouderaチーフアーキテクト Doug Cutting氏。 私はとてもラッキーだった。開発に関わったいくつかのオープンソースは成功し、みんな
1割に満たないビッグデータ活用企業
急激かつ予測困難な経営環境の変化に柔軟に対応しながら競争力を維持・向上し続けるには、企業内外の経営資源を最大限に活用しつつ経営革新に取り組み続けることが不可欠だ。これらを実践していくには、IT活用を高度化していくことが欠かせない。では、企業はどのようなIT戦略を立案し、実行していけばよいのか――。 日本情報システム・ユーザー協会が、東証1部上場企業とそれに準じる企業の計4000社を対象に実施した調査「企業IT動向調査2014」の報告書から、ユーザー企業におけるIT投資・活用の最新動向をご紹介する。第1回は「ビッグデータの活用」に焦点を当てる。 全体の1割に満たないビッグデータ活用企業 最近ではIT専門誌だけでなく、一般消費者向けの新聞や雑誌、テレビなどでも「ビッグデータ」が取り上げられるようになってきた。実際にどの程度、企業ではビッグデータの活用が進んでいるのか。活用状況の現状と今後（3年
ビッグデータ「同意なしで提供も可能に」 NHKニュース
プライバシーに配慮しながらビッグデータの活用を進めていくためのルールを盛り込んだ「個人情報保護法」の改正を目指している政府の検討会は、「個人が特定されないようにデータを加工した場合は本人の同意を得なくても第三者に提供できる」などとした大綱の原案をまとめました。 商品の購入履歴や位置情報などのビッグデータは、新たな産業の創出につながると期待される一方、ほかの情報と組み合わせることで個人が特定されるおそれもあり、企業が活用に慎重になっています。 このため政府の検討会は、プライバシーに配慮しながら活用を進めるためのルールを盛り込んだ個人情報保護法の改正に向け検討してきました。 まず、今の「個人情報保護法」では、企業などが集めたデータをさらに別の企業など第三者に提供する場合、本人の同意を得ることが義務づけられていますが、大綱の原案では、企業の負担などを考慮して「個人が特定されないようデータを加工し
Googleの虎の子「BigQuery」をFluentdユーザーが使わない理由がなくなった理由 #gcpja - Qiita
「BigQueryは120億行を5秒でフルスキャン可能」は本当か？ 先日、kaheiさんがGoogle BigQuery（Googleクラウドの大規模クエリサービス）について、こんなエントリを書いていた。 とにかくパフォーマンスがすごい。（Fluentd Meetupでの）プレゼン中のデモで、ディスクに収められた5億件のデータをSQLでフルスキャンするのに3秒しかかからない。9億件のデータを正規表現を含んだSQLでスキャンしても、7秒で終わる（これ、記憶がちょっとあいまい。もう少しかかったかも）。これには驚いた。佐藤さんがGoogleに入社して一番驚いた技術が、一般公開される前のBigQueryだったと言っていたが、その気持ちはわかる。 From Fluentd Meetupに行ってきました これを読んだ時、BigQueryの検索スピードについてちょっと補足したくなった。確かにFluent
「データサイエンティスト」って？ コンピュータソフトウェア協会が定義を公表
コンピュータソフトウェア協会（CSAJ）は5月12日、「データサイエンティスト」の定義を公表した。データの収集や加工にとどまらず、戦略立案にも関わる包括的な人材像を示すという。 ビッグデータという言葉の普及に伴い耳にする機会も増えてきた「データサイエンティスト」。CSAJは「ビジネスにおいて競争優位性をもたらすために、データの収集・加工・分析に優れた専門性を発揮し、知見を引き出す人材」と定義する。 データの収集から管理、設計、加工に加え、得られた情報の分析／活用の部分も職務に含み、「データアーキテクト」「データスチュアート」「データアナリスト」などの職を包括するような人材像としている。 CSAJは、今後データサイエンティスト育成に取り組んでいく上で、収集したデータを生かすフレームワークや戦略立案スキルを会得する「データ活用プランニング」の部分を特に強化したい考えだ。 関連記事 ニートの進路
データサイエンティストサミット 2013に参加してきた | DevelopersIO
データサイエンティストサミット：プログラム 『ビッグデータ』と共に昨今業界を賑わせているフレーズとして『データサイエンティスト』というものがあります。用語の意味や解説などは下記リンクなどを参考頂くとして、世間の見方としては様々ある模様です。AWS等クラウド全盛の昨今、ビッグデータ及びデータサイエンティストと呼ばれる役割や要素がその重要さを増しているのはまず間違いないと言って良いでしょう。 データサイエンス - Wikipedia 一般社団法人 データサイエンティスト協会 脚光浴びるデータ・サイエンティストってどんな人？ : 日経BizGate 「ITエンジニアのためのデータサイエンティスト養成講座」最新記事一覧 - ITmedia Keywords 「あいつ・・・なにやってるの？」データサイエンティストを殺す4つの環境 - dataminer.me 今世紀最も熱い職業「データサイエンティス
21世紀で最もセクシーな職業！？「データサイエンティスト」の実像に迫る
第4回サイバーエージェントMarketing & Analytics勉強会 http://atnd.org/event/camark04 の講演スライドです。未だにslideshareの使い方が分からなくて、アップロードしたら勝手にフォントが明朝体に変わってしまったり位置がずれてしまったり右側が切れてしまったり。。。表示がおかしかったりダサかったりするのはそのせいです。ごめんなさい。Read less
ビッグデータを利用した採用で埋もれた才能を見いだす | スラド IT
ビッグデータを利用した採用プログラムを開発している企業があるそうだ (The New York Times の記事、本家 /. 記事より) 。 設立してから 18 ヶ月余りというスタートアップ企業 Gild は才能あるプログラマーの発掘のオートメーション化を目指しているとのこと。Gild の開発するこの技術は従来のリクルーティングで重視される学歴や職歴、または推薦状といったものから採用を図るものではなく、ビッグデータを活用しプログラマーのパフォーマンスを予測する方法だという。具体的にはその個人が開発したコードの他プログラマーからの評価、再利用度、自身の持つアイデアのコミュニケーション達成度、ソーシャルメディアサイトとの関わりといった 300 以上の変数を総合的に判断していくとのこと。実際 Gild は自社の採用にこの技術を活用し、南カリフォルニア在住のとあるプログラマーに白羽の矢を立てたと
Treasure Data - naoyaのはてなダイアリー
少し前にログの話を書いた http://d.hatena.ne.jp/naoya/20130219/1361262854 ときに、Treasure Data については後日にもう少し詳細に書くと言ったので書くとしよう。 近頃 Treasure Data (以下、時折 TD) という名前をちらほら聞いたことがある人は多いのではないかと思います。「ビッグデータのクラウドサービスである」とか「日本人が創業したシリコンバレーのベンチャー」、あるいは Yahoo! 創業者の Jerry Yang が投資したとか、Fluentd と何か関係があるといった文脈などなど。 けど、具体的に Treasure Data がどういうサービスで、どういう機能を持っていて、どんな場面で利用されるものなのかはまだあまり良く知られていないかもしれない･･･ようにも見える。今日はその辺から少し紹介していこうかなと思う。
VMwareとEMCが、Greenplum、Spring、Cloud Foundryなどを集めた新組織「Pivotal Initiative」を設立。PaaSとビッグデータに焦点
VMwareとEMCが、Greenplum、Spring、Cloud Foundryなどを集めた新組織「Pivotal Initiative」を設立。PaaSとビッグデータに焦点 VMwareとその親会社のEMCは、クラウドの開発プラットフォームとビッグデータに焦点を当てた新組織「Pivotal Initiative」を発表しました。新組織の責任者は、先日VMware CEOを退任しEMCのチーフ戦略オフィサーに就任していたポール・マリッツ氏が就任します。 Pivotal Initiativeは、VMwareとEMCから以下のチームを集めて組織されます。 EMCでデータウェアハウス向けデータベースやHadoopを提供していたGreenplum EMCが3月に買収したばかりで、開発コンサルタントのPivotal Labs VMwareでミドルウェアを提供していたSpring Sourceおよ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
まとめよう、あつまろう - Togetter
