[B! データ] ytackyのブックマーク

データマネジメントの知識体系DMBOKとは？どう役立つのか？ | 株式会社データ総研

データマネジメントについて知ろうと思ったとき、最も信頼できる情報源がDMBOKです。本記事では、データマネジメントの知識体系として世界で広く受け入れられているDMBOKについてご紹介いたします。 DMBOKとは？ DMBOKとは、データマネジメントに関する知識を体系立ててまとめた書籍です。DMBOK はData Management Body of Knowledgeの略称です。現在までに、第2版が出版されており、日本語版も出版されています。（以後、DMBOKの第2版のことを”DMBOK2”と表します。） DMBOK2英語版の購入： DAMA Body of Knowledge, amazon DMBOK2日本語版の購入：日系BP 国際的なデータ専門家で組織された非営利団体DAMA International（本部：米国フロリダ州，Data Management Association

ytacky 2022/11/23

リンク

ZOZOTOWNを支えるリアルタイムデータ連携基盤 - ZOZO TECH BLOG

こんにちは、SRE部MA基盤チームの谷口（case-k）です。私達のチームでは、データ連携基盤の開発・運用をしています。データ基盤には大きく分けて2種類あり、日次でデータ連携してるものとリアルタイムにデータ連携しているものがあります。本記事ではリアルタイムデータ連携基盤についてご紹介します。既存のデータ連携基盤の紹介リアルタイムデータ連携基盤の紹介なぜ必要なのか活用事例の紹介データ連携の仕組みと課題リプレイス後のリアルタイムデータ連携基盤 SQL Serverの差分データの取り方を検討アーキテクチャ概要と処理の流れ Fluentdのプラグインを使った差分データの取得 Dataflowでメッセージの重複を排除 Dataflowで動的にBigQueryの各テーブルに出力 Pub/Subのメッセージ管理イベントログ収集基盤個人情報の取り扱いビルド・デプロイ戦略監視データ

ytacky 2020/08/28

リンク

「個人情報の委託（個人データの取扱いの委託）」って結局何なんだ？ - Nobody's 法務

実務で当たり前のように行われている「個人情報の委託」（正確には、個人データの取扱いの全部または一部の委託、以下「個人データの取扱いの委託」）ですが、どこまでできるのかみなさん考えたことがありますでしょうか。先日書いたエントリーで個人データの取扱いの委託に関する記事をご紹介したのですが、正直もやっとしていて、改めて「個人データの取扱いの委託」としてどこまで個人情報の提供が可能なのか、各種文献を調べてみました。間違った記述がある場合はご指摘お願いいたします。１．「個人データの取扱いの委託」を法律や各種ガイドラインではどのように書いているか２．日置巴美「複数主体におけるパーソナルデータの取扱いと個人情報保護法」３．田中浩之・北山昇「個人データの取扱いの委託と共同利用の最新実務ガイドラインおよびＱ＆Ａ改訂内容の実務上の意義も踏まえて」４．影島広泰「改正個人情報保護法と企業実務」（清

ytacky 2019/09/19

データ

リンク

日本語大規模SNS+Webコーパスによる単語分散表現モデルの公開 : hottoSNS-w2vの配布｜#ホットリンク

最終更新日：2023年6月12日 R&D部の榊です。当社のR&D部では，研究開発上で利用する様々なリソースを部内で共有しています。今回、そのうちの一つである単語分散表現モデルを社外の方にも利用可能な形で配布することにしました。なので、それについてご説明したいと思います。なお、最近の日本の自然言語処理界隈では、文分散表現モデルであるBERTの日本語を含む多言語モデルが公開になったばかりなので、日本語の単語分散表現モデルの配布は大変今更感があるなあ・・・と思ったりもしています。ですが、日本語を対象とした文・単語の分散表現共に、配布されているのはWikipediaを学習コーパスとしたものが殆どです。なので、WikipediaではカバーしきれないSNSやWeb上の文書を学習コーパスとした分散表現のモデルを公開することは一定の価値があると考えています。本言語資源に関しては、2019年6

ytacky 2019/03/04

リンク

IoTデーター可視化サービス Ambient

AmbientはIoTのアイデアをなるべく簡単にプロトタイプするお手伝いをします。細かな初期設定をしなくても送ったデータをリアルタイムでグラフ化します。例えばセンサから得られた温度と湿度のデータを初期設定をしないで送った場合でも、次のようにグラフが表示されます。さらに設定を加えることで、グラフやデータに分かりやすい名前をつけたり、グラフの種類を変えたり、複数のデータを一つのグラフに重ね合わせて表示したりといった強力なカスタマイズができます。先ほどの例に設定を加えると次のようなグラフにすることができます。詳細は「チャネルとチャートのカスタマイズ」をご覧ください。

ytacky 2018/10/25

データ

リンク

Stackdriver Logging でフィルタリングすべきログメッセージの見分け方 | Google Cloud 公式ブログ

ウェブアプリケーションの仕事に携わっている方なら、こういったアプリケーションがいかにたくさんのログメッセージを生成するかをよくご存じでしょう。個々の要求、データベースクエリ、モニタリングシステムから複数のログメッセージが生成されることも珍しくありません。それらのデータをすべて分析し、理解していたのでは、貴重な時間とエネルギーを浪費することになります。特に、現在直面している問題とは関係ない “正常なノイズ” がたくさん含まれている場合はそうでしょう。数年前、私たちはコミュニティとしてログをもっとうまく収集し、保管する必要があるという話をしました。いかに優れたツールであっても、数 TB のデータからの検索は、数 GB のデータからの検索よりも時間がかかるからです。もっとも、それを解決する方法は簡単です。単純に、何でもかんでもログに残さなければよいのです。重要な意味がありそうなも

ytacky 2017/09/15

リンク

Jupyter(Python)とBigQueryによるデータ分析基盤のDevOps #pyconjp // Speaker Deck

PyCon JP 2017 の発表資料です。ジャンルは「業務利用事例」となります。追記1. PyCon JP 2017 ベストトークアワード優秀賞を受賞しました！追記2. http://yuzutas0.hatena blog.com/entry/2017/09/12/203000 に補足を掲載しています！

ytacky 2017/09/11

リンク

グラフDBのNeo4jでカフェのレコメンド機能を実験してみた - オールアバウトTech Blog

お世話になります。オールアバウトのsutchanです。今回は、"Neo4j“というグラフデータベースを触って遊んでみた話をしたいと思います。 Neo4j（グラフデータベース）とはまず、グラフデータベースとはなんぞやという話から。グラフデータベースはグラフ構造を持ったデータを扱うのに特化したデータベースです。グラフ構造は、電車の経路やSNSのソーシャルグラフ、ドラマの人物相関図のようなものと言えば、イメージしやすいかもしれません。図にあるように、グラフデータベースは、データの実体であるNodeと、それらをつなぐRelationで構成されていることがわかります。 NodeとRelationには、Property（Key-Value形式の付加情報）も付けることができます。グラフデータベースは、その特徴から、電車の乗換案内や地図アプリの経路探索、SNSの「知り合いかも？」など、レコメン

ytacky 2017/03/02

機械学習が流行ってるけど簡単なレコメンドとかはこれで十分そうな感じがする

リンク

野良ビッグデータへのお誘い

論文紹介 Explaining the prevalence, scaling and variance of urban phenomena

ytacky 2017/01/23

リンク

ビックデータ最適解とAWSにおける新しい武器

[DI03] DWH スペシャリストが語る! Azure SQL Data Warehouse チューニングの勘所

ytacky 2017/01/20

リンク

Cloud DatalabとBigQueryを使ったアドホックデータ解析

[Cloud OnAir] お客様事例紹介 -リクルートライフスタイルにおけるデジタルトランスフォーメーションとクラウド活用- 2018年7月12日放送

ytacky 2017/01/20

リンク

機械学習に使える、オープンデータ一覧　※随時更新 - Beginning AI

機械学習をやりたいんだけど、データがない！他のデータ使ってみたい！そんな方のために、機械学習に使えるオープンデータを集めました。他にも、このデータセットオススメ！というものがあれば、是非ご紹介して頂けると嬉しいです。m(__)m UC Irvine Machine Learning Repository カリフォルニア大学アーバイン校が公開した、データセット。351件のデータセットがあり後述する DATA GO に比べれば少ないが、ほとんどがMachine Learning用のデータ・セットなので、かなりオススメ。 UCI Machine Learning Repository かの有名なあやめの花（iris）のデータセットもここから見ることができます。国立情報学研究所情報学研究データリポジトリデータセット一覧 yahoo,楽天,ニコニコなどのデータがあります。 DATA.GO.

ytacky 2016/08/30

リンク

Digdag + embulk + BigQuery + Re:dash でデータ分析基盤構築の夢を見る - 雑なメモ

Digdag が Apache License 2.0 の元でオープンソース化されましたよ！さぁ試すんだ…！今すぐにでも！ https://t.co/Uzc4a5GLCe ドキュメント：https://t.co/PF8wy5KHln— Sadayuki Furuhashi (@frsyuki) 2016年6月15日 Digdagが先日リリースされたのをきっかけにデータ分析基盤構築の夢を見た。今回は、Google Cloud Platform（以下、GCP）のコストを可視化かつ分析可能にしてみて、まずはDigdagの使用感を試してみることにする。事前知識 Digdagとは Workload Automation Systemである。以下の記事が詳しい。 EmbulkとDigdagとデータ分析基盤と分散ワークフローエンジン『DigDag』の実装 at Tokyo RubyKaigi

ytacky 2016/06/20

データ

リンク

🍓 橘ありす分類器 - みずぴー日記

GWに日光に開発合宿に行ってきた。「機械学習で遊ぼう」をテーマにしたので、橘ありす分類器を@banjunと作成した。成果物 m@gic-with-arisu from MIZUNO Hiroki on Vimeo. ありすには青枠を、それ以外には赤枠を表示している。宿日光東照宮至近の炭火焼きの宿・ペンションはじめのいっぽに宿泊した。開発合宿に理解のある宿でよかった。ただ、理解があるあまり「昨日は成果でましたか?」と聞かれてつらい思いもした。進捗を聞かれるより、成果を聞かれるほうが厳しい。また旧型のiMacがあってよかった。起動したらバージョン1のSafariや、Mac版のIEが入ってて楽しかった。ありすの調達 @banjunがデレステのガシャを引きまくって、SSRありすを調達した。限定SSRというのは，やばい (いまここ)— ばんじゅん(!!) (@banjun) 2016

ytacky 2016/05/26

リンク

ITエンジニアに読んでほしい「技術書・ビジネス書大賞2015」が発表！｜男子ハック

2015年「IT エンジニア本大賞」を受賞したのは『GitHub実践入門』『「納品」をなくせばうまくいく」』IT エンジニアに読んでほしい！技術書・ビジネス書大賞 2015 翔泳社が昨年から開催している「IT エンジニアに読んでほしい！技術書・ビジネス書大賞（IT エンジニア本大賞）」の結果が発表されていました。昨年は技術書部門の大賞が「リーダブルコード」、ビジネス書部門大賞が「小さなチーム、大きな仕事〔完全版〕」となっていました。 2015年は当サイトでも紹介した「現場のプロが教えるWeb制作の最新常識」や「Web制作者のためのCSS設計の教科書」「グロースハッカー」などが話題になったノミネートされている中で大賞に選ばれたのは以下の2冊でした。