データマネジメントの要点とは？ DMBOKの全体像をDX課題起点で読み解く
DMBOK データマネジメント知識体系ガイド（第二版）の読み方 DMBOK データマネジメント知識体系ガイド（第二版） DXやデータ利活用の進展とともに、「データマネジメント」という言葉を耳にすることが増えているでしょう。 皆さんの所属企業にも、『DMBOK データマネジメント知識体系ガイド（第二版）』[※1]（以下DMBOK2と呼称）という分厚い書籍が置かれているのを目にしているかもしれません。 しかしながら、「対象が広範囲で全体像が掴みづらい」「DMBOK2も分厚くてどこから読んでよいか分からない」「そもそも取り組み・習得の効果が疑問」という声も聞くことがあります。 この記事では、そのような疑問に応えるためのアプロ―チとして、各企業が抱えるDXの課題と紐づけた形でのデータマネジメントの解説を試みます。読了後には、なぜいまDXの進展とともにデータマネジメントの注目度が上がっているのかにつ
Snowflakeに買収されたStreamlit、生成AIブームを前に創業者は何を思うか
Snowflakeが2022年に買収したStreamlitの存在感が強まっている。Google XのメンバーとPythonフレームワークとしてStreamlitを共同創業したのが、Amanda Kelly氏（現Snowflake Streamlitプロダクトディレクター）だ。Snowflakeが6月、米ラスベガスで開催したイベント「Snowflake Summit 2023」で、Kelly氏にSnowflakeとの統合やLLM向けの機能などについて聞いた。 解決したかったのはデータの可視化 ──Streamlitを2018年に共同創業していますね。どのような課題を感じ、解決に向けて創業されたのでしょうか。 シード資金を調達した2018年11月1日、Google Xで一緒だったメンバーと創業しました。2人目の娘が生まれた日なので正確に記憶しています。 当時、データエンジニアやデータサイエンテ
クラウドが思ったより普及していない件
編集部注：対談の内容を一部、修正して再掲しています。（2016年10月24日現在） クラウドとはAmazonのことであーる！ 編集部 さて、今回のテーマはクラウドということでお願いします。 井上 神林さんはクラウド嫌いなんでしたっけ？ 神林 僕ですか？ 一般的には別に嫌いじゃないですよ。とはいえ、実際、好きか嫌いかっていうこと以前にですね、結局使い物になるクラウドって何を指すの？ とか、海外勢と国内比べてどうなのかとか、そういう話があって、結構、定義がどうとかこうとかいう話になってしまったりして、好きとか嫌いとかそれ以前の話で。まずそもそもクラウドって何を指すのっていう。 井上 そうですね。まずはクラウドの定義から。 神林 まあ、NISTの定義とかどうでもいいんですけど、どこを指しているのかっていうのは話をはじめるにあたって、はっきりさせておいたほうがいいですね。僕だと、クラウドっていうの
分散系による分散系のための分散談義／パッケージはつらいよ
P2Pの黒歴史 編集部 前回の終わりに次のお題の候補として出てきたのが、分散or集中、クラウド、SI、人材育成、トランザクション、Fintech、ブロックチェーン…といったあたりになっております。今回はどうしましょうか。 神林 個人的にはブロックチェーンについて、井上さんに聞きたいですね。というのも井上さんはずっとP2Pでしょ。だから言いたいことが山ほどあると思うんですよね。それをいろいろ聞いてみたい。 井上 ブロックチェーンだけではそんなに時間がもたないかもしれないので、分散集中の絡みで話せばいいかと。 神林 分散処理の話から入るのだったら、井上さんが今までどんな風に分散処理の流れを見てきて、この先どうなると思っているっていうところから、やっぱりおたずねしたい気がします。ずっと、井上さんは分散じゃないですか、キャリア的に。 井上 まあ、そうですね。 神林 P2Pから来て、今、ワークスのプ
次のSQL標準にはデータレイクを想定した表関数が出るとか？
データレイクの定義いろいろ まずは谷川さん、土田さんと乾杯 谷川：これからDBオフラインを開始します。まずは土田さんから今回のテーマなどをお願いします。 土田：最初のアジェンダはデータレイクです。マイクロソフトさんなら「Azure Data Lake」、EMCさんだと「Business Data Lake」、GEさんも「Data Lake」という言葉を使っています。「ビッグデータ」という言葉が出てきてから数年経ち、最近では「データレイク」というキーワードが広まりつつあります。SQLの新機能を開発する私の立場から資料などを用意しましたので、みなさんとどういうものか一緒に考えてみたいと思います。また、今後制定されるSQL2016との関連性についても言及します。 谷川：次のSQL標準ですが、スケジュール的には2016年ということで決まりそうですか？ 土田：最終的には10月に東京開催される国際会議
005 エドガー・コッドとフォンノイマン
ノイマンのセル・オートマタ研究 エドガー・フランク・コッド（Edgar Frank "Ted" Codd,1923年8月23日 - 2003年4月18日） 1950年ごろは米ソ冷戦時代が始まっています。その頃のアメリカには反共産主義の風潮が巻き起こります。それは、そのリーダの政治家の名前からマッカーシズムと呼ばれました。コッドは、それに反発してカナダに移住してしまいます。そして、カナダで彼はミサイルの弾道計算などのプロジェクトで働いたそうです。いきなり横道に逸れますが、マッカーシズムの犠牲になって名誉を剥奪されたのが第３回目に紹介したマンハッタン・プロジェクトの責任者で、ドイツでフォンノイマンと”ご学友”だったオッペンハイマーです。オッペンハイマーのようなアメリカ育ちのユダヤ人は当時のアメリカにユダヤ人を受け入れてくれる大学が少なかったことから自然な流れで団結力が強まります。そして、その一
「すべてのIT屋は全力で反省しろ！」― ノーチラス・テクノロジーズ 神林飛志さん
公認会計士からプレイングCTOへ 神林飛志さん。キレ芸が魅力（ちょと怖い） 「ITで世界が変わった？変わってないから！」 「ITなんてなくても世界は回るから！全てのIT屋は反省すべき！全力で反省しろ」 「ITエンジニアなんて世の中で一番要らない職業だから！」 ……とまあ、この調子で取材に来るなり、全否定。けんもほろろ、とりつく島もない勢い。 今回のDBプロはノーチラス・テクノロジーズ 代表取締役社長の神林飛志さん。某イベントで行なわれたパネルディスカッションでこのキレっぷりを目撃したDBオンライン編集部たっての希望で実現した取材である。とあるデータベースの重鎮も「ちょっと怖いかもしれないけど、面白い人だから話を聞いてごらんよ」と太鼓判。そこでやってきてみれば、やっぱりちょっと怖い。でも確かに面白い。 「ぼくはITやコンピュータに幻想がないから」という神林さん、波瀾万丈な経歴の持ち主でもある
【第二回】アソシエーション分析：購買分析からレコメンデーション応用まで
購買分析に効く！アソシエーション分析 第一回では、人工知能プログラミングの概要から入りました。今回は二回目であり、具体論の初回ということで、皆さんが日々の生活で少なからずお世話になっているであろう身近なデータを扱うことで、機械学習に対する親近感を持っていただけたらと考えて、まずはコンビニエンスストアなど商品明細POSデータに代表されるトランザクションデータを扱っていきたいと思います。できる限り実際の状況を意識しながら、探索問題の一つであるアプリオリアルゴリズムの応用、アソシエーション分析の基礎について解説していきます。 アソシエーション分析（別名：マーケットバスケット分析）は、90年代に考案された分析手法で、代表的なものにRakesh Agrawal氏らが1993年に執筆した論文「Fast algorithms for mining association rules」 [Agrawal,
【第五回】H2Oでディープラーニングを動かしてみよう！
動かしてみないことにはわからない 前編では、ディープラーニングの理論について説明するとともに、この分野がGoogleやFacebook等の先進IT企業がこぞって注力しようとしている今まさに熱い分野だということについて触れました。ディープラーニングが画期的な機械学習方法だということを強調して書いたつもりではありますが、いくら文章を読んでも、自分で手を動かさない限りその威力はなかなか実感しにくいかと思います。また、ただ手を動かして体験するとはいってもディープラーニングを自分で一からやるには高度な技術力を必要とするため、ごく一部の専門家でない限り、敷居が高いと思われるかもしれません。 筆者が学生の頃、機械学習はまだ手が届きにくく、機械学習を用いた研究を行うにも気の遠くなるような分量のスクリプトを書き、そしてパラメータチューニングに昼夜を問わず明け暮れる、そんな時代でした。このようにディープラーニ
目指せHadoopエンジニア-管理者・DBエンジニア編-
前編の「開発者編」では、Apache Hadoop（以降Hadoop）の歴史と概要に加え、開発者に必要な知識を客観的に証明できる認定資格、CCDH(Cloudera Certified Developer for Apache Hadoop)を紹介しました。後編では、Hadoopの管理者に求められる知識に加え、Hadoopの管理者向け認定資格、また最近のHadoop関連の話題とカラム指向分散データベースであるApache HBaseの紹介、およびHBaseの認定資格を紹介します。 Hadoopの管理者に求められるもの 前編で紹介したように、Hadoopでは一台から数千台規模のクラスタを構築することが可能であり、必要に応じてスケールアウトさせることができます。Hadoopは非常に強力ですが、管理するのはそれほど簡単ではありません。言い換えると、正しい知識を持たずに運用すると、大きなトラブルが
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
意志決定のためのデータサイエンス講座一覧
シェルスクリプトでビッグデータ処理～ユニケージ開発手法とは～