データマネジメントとは何か – Data Practitioner Musings – Medium
先週、データマエショリストの祭典（？）こと「データマネジメント2017」が開催されていました。 データマネジメント2017～データが繋ぐ共創社会～ http://www.seminar-reg.jp/jdmc/dm2017/ データマネジメント2017＠雅叙園今回、私も始めて参加してみたのですが、カンファレンス自体は非常に興味深い内容が多く、改めていろいろと勉強になったカンファレンスでした。 というわけで、今回のエントリでは「データマネジメントとは何か」という点について書いてみようと思います。 データマネジメントとDMBOK「データマネジメント」や「データガバナンス」という言葉は、最近ではいろいろなところで聞かれるようになってきましたが、必ずしもあらゆる状況で通用する定義が存在するわけではありません。参照するドキュメントやノウハウによって、少しずつ異なってきます。 とは言え、データマネジメ
非エンジニアがSQLを学習する際の11の心得
皆さん、はじめまして。 エウレカで分析を担当しているミニオンこと鈴木です。 あだ名の由来は、顔がミニオンに似ているからだそうです。 ちなみに映画のミニオンズは一度も見たことがありません。 この記事は、eureka Engineering Advent Calendar 2017 18日目の記事です。 前日、17日目の記事は同じ分析チームのスマート＆ラブリーガイ、ミッキーこと小林くんの確率的プログラミングPyro入門でした！ みなさん、もうすぐ冬休みですね！何をしようかワクワクしている頃ではないでしょうか？ なかには「来年こそはSQLを使ってゴリゴリ仕事をしたいから冬休みに勉強したい！」 なんて方もいらっしゃるのではないでしょうか！？ 突然ですが、少しだけ僕のSQLキャリアの話をさせて頂きます。 もともと僕はエウレカに2年前、ディレクターとしてジョインしました。 入社後からSQLの勉強を始め
FiNCにおけるデータ分析グループの役割の変化 ～FiNC から FiNC Technologiesへ～
こんにちは。FiNCデータ分析グループの坂本です。私はFiNCの初期フェーズからかかわっており、FiNCデータ分析グループのなかで最古参のメンバーです。初期フェーズから参画しているため、アプリの成長とともにいろんな経験をしてきました。 ご存知の方も多いと思いますが、FiNCは予防ヘルスケアにおける世界一のテクノロジーカンパニーを目指すため、2018年10月1日から社名をFiNCからFiNC Technologiesに変更しています。 データ分析グループの役割も、FiNC時代とFiNC Technologies時代で当然変わってきています。このポストでは、FiNCデータ分析グループの歴史を振り返りながら、データ分析グループの役割にどのような変化があったのか、フェーズごとに紹介していきます。 ① プロダクトリリース前分析グループの役割：リリース後に計測するKPIの策定・分析基盤の構築 プロダク
Cloud Run jobs を解説する
TL; DRCloud Run にバッチ処理などを実行するのに便利な機能「Cloud Run jobs」が追加されました。従来の Cloud Run と違い、HTTP リクエストに依らず、任意のタイミングでコンテナ(Task)を実行可能で、より長時間の実行、 明示的な並列処理を行うことが可能です。 Cloud Run jobs とはCloud Run jobs とは Cloud Run で、バッチ処理などを行うための機能です。Cloud Run の第二世代の実行環境で動作し、「CPU を常に割り当てる」が適用されます。 従来の Cloud Run との違いは以下の通りです。 HTTP リクエストに依らない実行より長時間の実行 ( 複数の Task を組み合わせることにより 60 分以上の実行を実現 )明示的な並列処理注意: 2022 年 5 月 13 日現在、Cloud Run jobs
これから始める Cloud Functions 入門
はじめに本記事は Google Cloud が提供するサーバーレスコンピューティングサービスである「Cloud Functions」の入門記事です。Cloud Functions の詳細な使い方はドキュメントに網羅されていますが、本記事では Cloud Functions の概要をざっくりと知り、使い始めてみる ところに重点を置いて解説したいと思います。Cloud Functions を使い始める上での入り口としてご覧いただきながら、各機能のより詳細な内容はドキュメントを見ながら掘り下げていただければと思います。 Cloud Functions の特長サーバーレス、FaaSCloud Functions はいわゆるサーバーレス、あるいは FaaS (Function-as-a-Service) と呼ばれるサービスです。 サーバーレスとはサーバーの管理を必要としないようなアーキテクチャの総称
メンタルヘルス×機械学習まとめ
近年、精神疾患の患者数は増加し続けています。厚生労働省が3年毎に行っている患者調査を見ても、以下の図からも見られる通り精神疾患の患者数は平成11年の204万人から平成26年の392万人と、15年間でおよそ2倍に増えています。 https://www.mhlw.go.jp/file/05-Shingikai-12201000-Shakaiengokyokushougaihokenfukushibu-Kikakuka/0000108755_12.pdfより引用また、最近ではコロナの影響もあり、自粛などによる生活の変化への不安が人々の精神状態の悪化に拍車をかけています。 一方で、近年のテクノロジーの進展は目覚ましいものがあり、認知行動療法のデジタル化などが近年国内でも取り組まれており、精神疾患の治療にIT技術を役立てようという動きも出てきています。 これらの流れを踏まえた上で、本記事では機械学習
エウレカのデータ組織運営の1年間
はじめにこんにちは、@pacocat です！この記事は「eureka Advent Calendar 2020」15日目の記事です。 気づけばエウレカに入社して1年が経ちました。入社後はデータアナリストとして活動していましたが、今年の3月からはData Directorとして、AIを含むデータ部門を統括する立場として、組織づくりや戦略推進を行っています。 もともとエウレカに入社したきっかけは、過去にデータアナリスト→AIプロジェクトリーダーとキャリアを積んでいく中で、プレイヤーとしてだけでなく、チームや組織としてデータ活用のあるべき姿を考えたいという気持が高まったことにあります。今は毎日優秀なメンバーに支えられながら、成長痛を感じつつ新しいチャレンジを楽しめています。 この記事では、普段私がどのような観点でデータ組織を運営しているか、をまとめていこうと思います。データチームはこの1年だけで
Google Cloud のアクセス管理をおさらいしよう 2020アップデート版
この記事は Google Cloud Japan Customer Engineer Advent Calendar 2020 の 2日目の記事です。 TL;DR本記事ではGoogle Cloud でのアクセス管理について整理していきます。 はじめにGoogle Cloud Japan Customer Engineer Advent Calendar 2019 で、Google Cloud の IAM をおさらいしよう という記事を書いたのですが、多くの方に読んでいただいたのですが、逆に多くの方が悩まれるトピックなのだなと感じました。2020年も多くのアップデートがありましたので、改めて Google Cloud の アクセス管理をおさらいしていきましょう。 クラウドを使う上で、ユーザー管理や権限管理は非常に重要です。Google Cloud を使う際に、どのようにユーザー管理できるのか
運用型ゲームの分析における統計的因果推論の活用
はじめにこんにちは。DeNAゲーム事業部・分析部の中川です。 本稿では運用型ゲームにおけるデータ分析に関して、データの特徴とそれに対する統計的因果推論の活用をテーマとしてお話をさせていただきます¹。本稿は大きく分けて5つのパートからなります。 第1のパートでは本題に入る前に、運用型ゲームの特徴である「ルールの公平性」についてお話をさせていただきます。 次に、第2のパートではその「ルールの公平性」と不可分の関係にある「観察データ」について触れた上で、統計的因果推論を用いた分析の重要性を述べさせていただきます。 踏まえて、第3のパートでは統計的因果推論について簡単に説明をさせていただいた後、続く第4のパートでは実例を交えながらどういったケースにおいて統計的因果推論のアプローチが有効かについてご紹介をさせていただきます。 最後に、第5のパートでは統計的因果推論を用いた分析をサービス運営の意思決定
DeNAがデータプラットフォームで直面した課題と克服の取り組み
はじめにこんにちは。この記事はDeNAの小口（Rikiya Oguchi）と長谷川（Ryoji Hasegawa）がお届けします。 小口はゲーム事業部の分析部データエンジニアリンググループの所属で、長谷川は全社共通部門である分析推進部の所属です。ゲーム事業部と全社部門で所属は違いますが、近しいミッションのもと、普段から密に連携して仕事をしています。 DeNAでは現在、データプラットフォームの刷新を進めています。この記事では、そのプロジェクトについて、以下の流れでご紹介します。 現行データプラットフォームの背景と概要データプラットフォーム構築後の環境変化現行データプラットフォームが抱える課題現行組織が抱える課題データプラットフォームの刷新刷新後のシステム構成組織体制の刷新我々と同じようにデータプラットフォームの構築・運用に携わっている方々や、データプラットフォームを利用されている方々、特に、
Flutter×GCP/Firebaseでしっかり作る時のポイント13個。
Flutter×GCP/Firebaseで何かを作っていく(る)方に参考になればと思います。 上記の技術構成でリリースした Othellode というアプリは、 iOS/Android で公開済みなので、興味あればダウンロードしてみて下さい。 “しっかり”とは？下記のような観点を考慮することを指しています。 運用を前提とする設計やフロー整備多言語対応負荷分散セキュリティモニタリング費用バックアップロギングdevelopment/staging/production 管理これらに関する知見から、13個厳選して広く浅く書きました。 (ポイントというより感想みたいな項目もありますが..) なお、情報漏洩対策(IP制限やBasic認証)やアセットパイプライン,BQによる分析等は、今回本腰を入れてない( 必要がなかった)ため触れませんし、詳しくありません。 目次Useful Information
モデリングから考える長期的なCOVID-19戦略
青が何も介入をしなかったとき、黄色が4月8日から8割の接触を減少させたときです。 4月8日から接触を8割カットすると、新規患者数は4月17日頃にピークを迎え、その後減少が予想されます。5月8日から普段通りの生活に戻ると再度感染者は増加する。 長期的に見ると 波は横にずれますが、形はほとんど変わりません。ピーク時の1日の新規感染者数が120万人となると到底医療システムが成り立ちません。 ところで、「集団免疫」という言葉がかなり聞かれるようになりましたが、免疫をもつ人が人口のある程度の割合（この割合は病原体それぞれの感染力や人々の接触パターンによりますが）に達した時に、感染拡大は収まります。 逆に集団免疫の状態に到るまでは一時的な措置を取っている間は感染拡大がおさまってもそれをやめると再燃する、というジレンマがあります。 厳しい外出制限をこのまま永遠に（ワクチンが開発されるまで）しなければいけ
BigqueryでUNNESTを使いこなせ！クエリ効率１００%！！最強！！
どうも！BIチームの小林です！ 今回は、 BigqueryでUNNESTをうまく使えば、 見やすくてしかも効率が良いクエリを書けるんです！ ということをやっていきたいと思います！ はい。 私の好きなものは Fortnite、RainbowSixSiege、ゲーム配信 です。 当記事は、ゲーム配信だと思って読んでください。 ちなみになんですが、前回2018年のアドベントカレンダーでは、 BigqueryでStandardSQL書くときに使えるTipsをいくつか紹介したので、 「Bigqueryは記法に癖があって難しいよ〜」 「すたんだーどすぃーくえるってなんですか？」 という人は、是非見てください！！ ↓↓
BigQueryと上手に付き合う4つのTips
この記事は Google Cloud Japan Customer Engineer Advent Calendar 2019 の 20日目の記事です。 はじめにこんにちは、20日目の記事は、僕も大好きな BigQuery について書いてみたいと思います。BigQuery はサーバーレスでスケーラビリティに優れたデータ ウェアハウスです。インフラストラクチャの管理が不要なため、すぐに使い始めることができます！2日目の記事で keiji-san が BigQuery について書いてくれてますので、BigQueryとはなんぞやという方はご参考ください。 このブログでは既に BigQuery を使い始めたユーザーのみなさんがより BigQuery を使いこなしていくための Tips を 4つ厳選してご紹介します！ カスタム割り当てを利用して、コストをコントロールする。承認済みビューを利用して、ビ
GCP のログ大全2019
この記事は Google Cloud Japan Customer Engineer Advent Calendar 2019 の 5 日目の記事です。 GCPにおけるログのライフサイクルGCPにおけるログのライフサイクルは、収集・集約・活用・保管の大きく4つのフェーズに分類できると考えております。まずそれぞれのフェーズの中でどのようなことができるのか、皆様に知っておいておきたいことについて説明します。 収集フェーズログを発生させる元のシステムから集めてくるフェーズです。ログの発生元がどこであれ、最終的には Stackdriver の Logging API にログを送ることで収集を行います。もちろんGCPのサービスで発生するログは自動的に収集されますが、GCP上のユーザアプリケーションのログや、オンプレミスや他クラウド環境からのログは、Logging エージェントかLoggin APIの
Google Cloud Japan Customer Engineer Advent Calendar 2019
https://medium.com/google-cloud-jp から派生したGoogle Cloud Japan の Customer Engineer (CE) が 書く Advent Calendar 2019 です。CE 達が是非紹介したい機能、いままで培ってきたノウハウ、知っておくと便利なTipsなどを公開予定です。 google-cloud-jp はGoogle Cloud Platform 製品などに関連するコミュニティが記載したテクニカル記事集です。掲載された意見はすべて著者個人のものであり、必ずしも Google のものを反映するものではありません。 12/1Kubernetes とGCPの世界をつなぐアクセス管理のはなし (Hiroki Tanaka)12/2Apache Hadoop のデータを BigQuery で分析するための移行手順 ( Keiji Yosh
BigQuery ScriptingがBetaリリースされたので軽くウォークスルーしてみる
2019/10/3にBigQuery ScriptingがBetaになったとリリースノートに上がりました。 これによって、BigQueryで変数宣言やループ処理といった複雑な処理などができるようになりました。個人的には待ちに待った機能です。 テンションが上がったのでドキュメントをざっとウォークスルーしてみることにしました。 ドキュメントはこちらです。 First BigQuery Script最初にこちらのクエリを実行してみます。使っているテーブルがBigQueryのPublicテーブルなのでそのまま実行できます。 -- Declare a variable to hold names as an array. DECLARE top_names ARRAY<STRING>; -- Build an array of the top 100 names from the year 2017
【2019年版】UIとUXデザイントレンド - baby-degu - Medium
Scenery Illustration by J.HUAこちらの記事は、2018年12月に公開された『 2019 UI and UX Design Trends 』の和訳になります。 はじめに私たちは去年、モバイルUIデザインのトレンドについての予測をまとめました。今年はモバイルだけを対象とせずに、さらに深く掘り下げていきます。 モダンなデザインの一番のトレンドは前後関係のあるつながりの中にあります。そのため、一般化することができません。 この記事を読むことであらゆるツール、技術の進歩、またユーザー向けのプロダクトが実際にどのように機能なのか開発者が理解し、全てが上手くいくように感じるでしょう。 近いうちに、販売だけでなく、生産するものすべてを網羅するユニバーサルデザインの考え方を発展させて行くでしょう。自分で何か物事を行うためには、より良いデザインの選択が必要です。 国家としての印象さ
Cloud Data FusionでAWSのMySQLからBigQueryにつなげてみた
※本記事の内容は実用レベルの構成・実装ではなく、あくまでも「AWS上のMySQLとBigQueryつながったぞー」というだけですのでご注意ください。 ちなみに、このPostgreSQLの記事のMySQL版です。重複している手順もありますが、微妙に手順が異なったりしてハマりがちなので今回は記事にしました（例えば、MySQLの場合にはテンプレートがありますが、PostgreSQLの場合には現在テンプレートがありません） また、MySQL to BigQueryのテンプレートは元々うまく動作しなかったのですが、こちらのstackoverflowで質問したら即座に修正・回答してくれたので今回の記事を書くことができました。Thanks, Ali! よくある問題WebアプリのデータはMySQLにあるアプリのデータをBigQueryにバックアップしたいCloud Data Fusion を使えばいけるの
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
BigQueryの2021年アップデートを（だいたい）全部振り返るまとめ
