並び順

ブックマーク数

期間指定

  • から
  • まで

1 - 40 件 / 45件

新着順 人気順

dataManagementの検索結果1 - 40 件 / 45件

dataManagementに関するエントリは45件あります。 データdataデータ基盤 などが関連タグです。 人気エントリには 『CursorにPMBOKやDMBOKを叩き込んで、専門業務を爆速化する未来、見えた!』などがあります。
  • CursorにPMBOKやDMBOKを叩き込んで、専門業務を爆速化する未来、見えた!

    はじめに .cursor/rules/*.mdcファイルでプロジェクト固有のルールをAIに教えられるようになってから、「これって、もしかしてコーディング規約だけじゃなくて、もっと色んな『知識』をCursorにインストールできるんじゃない?」って思い始めました。 例えば、プロジェクト管理のバイブル「PMBOK」とか、データマネジメントの教科書「DMBOK」とか。ああいうカッチリした知識体系をCursorが理解してくれたら、日々の業務がめちゃくちゃ捗るんじゃないか…? そんな「Cursor × 専門知識体系」について、興奮が冷め上がる前に記録を残しておきます。 Cursorに「専門知識」を叩き込むって、どういうこと? まず、おさらいですが、CursorのAIって賢いですよね。コードの提案はもちろん、チャットで質問すれば答えてくれるし、ドキュメント(@docs)を読み込ませれば、その内容に基づい

      CursorにPMBOKやDMBOKを叩き込んで、専門業務を爆速化する未来、見えた!
    • データ基盤にありがちな「何を使って作ればよいか?」という問いに対する処方箋を用意してみました. - Lean Baseball

      ちょっと昔まではデータ基盤の管理人・アーキテクト, 現在は思いっきりクラウドアーキを扱うコンサルタントになったマンです. 私自身の経験・スキル・このブログに書いているコンテンツの関係で, 「データ基盤って何を使って作ればいいの?」的なHow(もしくはWhere)の相談. 「Googleのビッグクエリーってやつがいいと聞いたけど何ができるの?」的な個別のサービスに対するご相談. 「ぶっちゃけおいくらかかりますか💸」というHow much?な話. 有り難くもこのようなお話をよくお受けしています. が, (仕事以外の営みにおける)個人としては毎度同じ話をするのはまあまあ疲れるので, データ基盤にありがちな「何を使って作ればよいか?」という問いに対する処方箋 というテーマで, クラウド上でデータ基盤を構築する際のサービスの選び方 (データ基盤に限らず)クラウド料金の基本的な考え方 をGoogle

        データ基盤にありがちな「何を使って作ればよいか?」という問いに対する処方箋を用意してみました. - Lean Baseball
      • エムスリーのデータ基盤を支える設計パターン - エムスリーテックブログ

        こんにちは、エムスリー エンジニアリンググループ の鳥山 (@to_lz1)です。 ソフトウェアエンジニアとして 製薬企業向けプラットフォームチーム / 電子カルテチーム を兼任しています。 ソフトウェアエンジニアという肩書きではありますが、私は製薬企業向けプラットフォームチームで長らくデータ基盤の整備・改善といったいわゆる "データエンジニア" が行う業務にも取り組んできました。 本日はその設計時に考えていること / 考えてきたことをデータ基盤の設計パターンという形でご紹介しようかと思います。多くの企業で必要性が認識されるようになって久しい "データ基盤" ですが、まだまだ確立された知見の少ない領域かと思います。少しでもデータエンジニアリングを行う方の業務の参考になれば幸いです。 データ基盤の全体像 収集部分の構成 RDBデータ ログデータ 活用部分の構成 データマートの実例 「データ基

          エムスリーのデータ基盤を支える設計パターン - エムスリーテックブログ
        • Modern Data Stack / モダンデータスタックというトレンドについて - satoshihirose.log

          はじめに Modern Data Stack ? Modern Data Stack の特徴やメリット、関連するトレンド データインフラのクラウドサービス化 / Data infrastructure as a service データ連携サービスの発展 ELT! ELT! ELT! Reverse ETL テンプレート化された SQL and YAML などによるデータの管理 セマンティックレイヤーの凋落と Headless BI 計算フレームワーク (Computation Frameworks) 分析プロセスの民主化、データガバナンスとデータメッシュの試み プロダクト組み込み用データサービス リアルタイム Analytics Engineer の登場 各社ファウンダーが考える Modern Data Stack さいごに Further Readings はじめに Modern Dat

            Modern Data Stack / モダンデータスタックというトレンドについて - satoshihirose.log
          • 日本人はソブリンクラウドを理解できるか?|ミック

            先月から今月にかけて、ソブリンクラウドに関するプレスリリースが相次いだ。一つはNTTデータがソブリンクラウド市場へ参入するというニュース、もう一つがNRIがソブリンクラウドのサービスを拡充するというニュースである。 これによって、現在日本でソブリンクラウドと銘打ってサービスを提供しているベンダは、NRI、富士通、NTTデータの三社となった。三社ともOracle Alloyをかついでいる。日立とNECはソブリンクラウドについてのウェブサイトは作っているが、まだ参入はしておらず様子見のようである。 Oracle Alloyのサービスモデルさて、このように最近何かと耳にする機会の増えたソブリンクラウドであるが、その実体が何で、これがあると何が嬉しいのかというのはあまり理解されていない。それもそのはずで、このコンセプトが切実に意味を持つのは欧州においてであって、日本の置かれている環境においてはいま

              日本人はソブリンクラウドを理解できるか?|ミック
            • AI エージェントと考え直すデータ基盤

              NotebookLM: https://notebooklm.google.com/notebook/ad02414d-0499-4892-af21-4db8d16fa721 関連資料 https://careers.mercari.com/mercan/articles/53431/ htt…

                AI エージェントと考え直すデータ基盤
              • Data Management Guide - 事業成長を支えるデータ基盤のDev&Ops #TechMar / 20211210

                ---------------------------------------------------------------------------------------- 【PR】一緒に働きましょう! https://kazaneya.com/kdec -------------------…

                  Data Management Guide - 事業成長を支えるデータ基盤のDev&Ops #TechMar / 20211210
                • 先進的な技術を“合理的に”導入する。リクルートが「ニアリアルタイムデータ基盤」を実現できた背景 - はてなニュース

                  どんな企業にとってもデータは「資産」ですが、ユーザーとクライアントのマッチングを軸に事業を展開するリクルートにとっては、ビジネスを支える存在の一つです。 リクルートではサービスに関わるデータを収集・蓄積するデータ基盤を構築し、マッチングの精度向上を含むプロダクト改善などに活用してきました。例えばWebサイトの回遊状況を元にユーザーの興味や関心を推測してリコメンデーションを行ったり、検索結果を提供したりするなど、ユーザーとクライアント、双方が満足できるマッチング機会の創出に取り組んでいます。 このような取り組みにおいて、新しく生まれた価値のある情報を、より素早く活用していく「データの鮮度」は大事な要素になります。データの鮮度とは、すなわちリアルタイム性のこと。多様かつ膨大な量のデータを取り扱うビジネスでは、このリアルタイム性をいかに高められるかが、意思決定の精度や速度に直結します。 リクルー

                    先進的な技術を“合理的に”導入する。リクルートが「ニアリアルタイムデータ基盤」を実現できた背景 - はてなニュース
                  • データ保護完全ガイド

                    本書には、バックアップ、アーカイブ、リストア、リトリーブ、それらを行う上で用いられる手法、ソフトウェア、サービス、バックアップとアーカイブを保存する際に使用されるハードウェアなど、データ保護に関して必要な知識が全て詰まっています。この20年間に現れた新技術についても触れ、従来のバックアップから最新のIT技術までそれぞれの良い点と悪い点を理解することができます。「バックアップとアーカイブの違い」「テープがあるべき場所」「Microsoft 365やSalesforceのようなSaaS製品をバックアップすべきか」といったバックアップ業界で議論される多くのテーマにも決着をつけています。データ保護に関する決定を下すための重要な基本概念を学べる1冊です。 訳者まえがき 序文 はじめに 1章 データへのリスク:我々はなぜバックアップするのか 1.1 人災 1.1.1 事故 1.1.2 悪いコード 1.

                      データ保護完全ガイド
                    • 情報処理技術者試験に「データ管理」新設へ デジタル人材のニーズ変化に対応 - 日本経済新聞

                      経済産業省は2027年度までにIT(情報技術)スキルを認定する国家試験「情報処理技術者試験」にデータマネジメント(管理)などの区分を新設する方針だ。デジタル人材のニーズの多様化に対応し、企業の不足感が強い人材の育成につなげる。近くまとめるデジタル人材育成についての報告書案に盛り込む。政府は26年度までの5年間でデジタル推進人材を230万人まで増やす目標を掲げる。2年目にあたる23年度時点で84

                        情報処理技術者試験に「データ管理」新設へ デジタル人材のニーズ変化に対応 - 日本経済新聞
                      • LINEの大規模なData PlatformにData Lineageを導入した話

                        LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog はじめに こんにちは、Data Platform室IU Devチームの島村です。 Data Platform室では、約400ペタバイトのデータ分析基盤を運用しております。このData Platformは、「Information Universe」(以下、IU) と呼ばれており、LINEの様々なアプリケーションから生成されるデータをLINE社員が活用できるように、データの収集、処理、分析、可視化を提供しています。私が所属するIU Devチームでは、「IU Web」を開発しています IU Webは、IUのデータを安全にかつ効率的に活用できるようにするData Catalog機能を提供しており、LINEグループのあらゆるサービスか

                          LINEの大規模なData PlatformにData Lineageを導入した話
                        • 書籍紹介:大規模データ管理(エンタープライズアーキテクチャのベストプラクティス) | フューチャー技術ブログ

                          最近読んだ書籍の中で非常に良質な内容でしたので紹介したいと思います。少しでも多くの方に興味を持ってもらえることを期待しています。 O’Reilly Japan はじめに私自身がデータ管理(データマネジメント)という観点でここ数年様々な検討を行ってきていますので前提としてその背景について簡単にまとめてみます。 かつてオンプレミスで運用を行っていた時は企業内のデータは完全に管理されていました。データウェアハウスを導入してデータの集約・加工は行われていましたが、専門チームがデータ仕様確認やデータ提供までもすべての責任を担っていました。品質は高いのですが利用者からの要望(新しいデータの提供、仕様の変更)の対応についてはスピード大きな制約がありました。また大規模なデータを扱うためには多大なコストが必要という制約もあります。 クラウド技術による「スモールスタートを可能とするインフラ」「大規模なデータを

                            書籍紹介:大規模データ管理(エンタープライズアーキテクチャのベストプラクティス) | フューチャー技術ブログ
                          • データカタログ特集 データ利活用に向けたアーキテクチャ6選 - Findy Tools

                            整備したデータ基盤を、事業部や会社全体で活用に持っていく中で「データカタログ」の必要性が増々注目を集めています。 今回は、データカタログを導入し、データ利活用に挑んでいる6社に、アーキテクチャの工夫ポイントからデータカタログ導入によって得られた効果などを伺いました。 株式会社10X事業内容10Xでは「10xを創る」をミッションとし、小売向けECプラットフォーム「Stailer」の提供を通じて、スーパーやドラッグストア等のオンライン事業立ち上げ・運営支援を行っています。Stailerでは業務構築におけるコンサルティングから、必要な商品マスタやお客様アプリ・スタッフ向けのオペレーションシステム等の提供、配達システムの提供、販売促進の支援など、データを分析しながら一気通貫での支援を行っています。 データカタログ導入の背景以前はデータ分析にデータレイクのテーブルがよく利用されており、カラムのメタデ

                              データカタログ特集 データ利活用に向けたアーキテクチャ6選 - Findy Tools
                            • データの信頼性を支える仕組みと技術

                              「オープンセミナー2024@広島 − XRE エンジニアを支える組織」での登壇資料です。 https://osh.connpass.com/event/324736/

                                データの信頼性を支える仕組みと技術
                              • レイクハウスとはなんだったのか?

                                赤煉瓦倉庫勉強会第2回「レイクハウスって結局何なのっていいました?じゃあ真のレイクハウスをみせてやりますよ!」 での発表資料です!

                                  レイクハウスとはなんだったのか?
                                • MonotaRO Tech Talk #9 (データマネジメント編)を開催しました - MonotaRO Tech Blog

                                  こんにちは、データ基盤グループの吉田(id:syou6162)です。10/28(木)に開催したMonotaRO Tech Talk #9 (データマネジメント編)のレポートをお届けします。イベント前の参加希望者が514人、イベント当日も310人がご参加くださり、大変盛り上がったイベントとなりました。 MonotaROのデータ活用と基盤の過去、現在、未来(香川和哉) 社内のデータ活用を一段階あげるための取り組み(吉本直人) データ基盤グループを支えるチームビルディング(吉田康久) 最後に MonotaROのデータ活用と基盤の過去、現在、未来(香川和哉) 最初の発表ではグループ長の香川より、MonotaROのデータ活用の変遷とそれを支えるデータ基盤のこれまでの歴史、現在取り組んでいる課題、今後の取り組みについて発表しました。10年以上の歴史があり、全社員の約6割を越えるデータ基盤の歴史について

                                    MonotaRO Tech Talk #9 (データマネジメント編)を開催しました - MonotaRO Tech Blog
                                  • データ品質をコード化!AIプラットフォームのデータ品質管理システム

                                    測定基準1,000件より多くなければならない DQMLでは、このデータ品質要件を以下のように記述できます。 Count must be >1000 ACP Data Qualityでは、DQMLを使ったデータ品質モデルをJSONやYAMLで定義できます。 apiVersion: data-quality.yahoo.co.jp/v1alpha1 kind: DataQualityModel metadata: name: example-1 spec: requirements: - code: Count must be >1000 このDataQualityModelは、ACPで利用可能なKubernetesカスタムリソースです。 ACP Data Qualityは、DataQualityEvaluationというリソースが作成されると、DataQualityModelで定義された要件

                                      データ品質をコード化!AIプラットフォームのデータ品質管理システム
                                    • データ基盤におけるIaCの重要性とその運用

                                      この記事は、Finatextグループ Advent Calendar 2024の3日目の記事です。 はじめに ナウキャストでデータエンジニア/データプラットフォームエンジニアとして働いている@mt_musyuです。ナウキャスト社内のデータ基盤の構築や運用を行い、また社内の知見を生かしてクライアント企業様のデータ基盤の構築や運用の支援を行っています。 近年、データ利活用の推進や生成AIの利用が進む中で、データ基盤の重要性が増しています。単にデータ基盤を構築するだけでなく、増え続けるデータやユーザーを考慮した運用も求められています。そのため、データ基盤の構築や運用を効率化するために、IaC(Infrastructure as Code)の導入が重要であると考えています。もちろん、通常のシステム開発においてもIaCは重要ですが、データ基盤においては特にその重要性が際立っていると考えています。そう

                                        データ基盤におけるIaCの重要性とその運用
                                      • レガシー化したData Pipelineの廃止 ― メルカリのData Architectのお仕事例|Mercari Analytics Blog

                                        Analytics Infra チームの@hizaです。 この記事ではメルカリの分析環境を改善した事例を紹介します。 今回は「運用に課題があってリプレースしたいが、業務への影響が大きすぎてリプレースできない」そんな板挟みな状況を解決した事例です。 また、その紹介を通じてメルカリのData Architectがどんな仕事をしているのかその一部を感じてもらえる記事をめざしました。 メルカリのデータ活用の現状 メルカリには様々な職種でデータを活用する文化があります。 AnalystやML Engineerの他にも、PdMやCustomer Supportなども業務にデータを活用しています。結果として社内のBigQueryユーザー数は月間800名を超えるほどになりました。 こういった環境ではデータが良く整備されている事が事業の成果に大きく影響しえます。例えば、使いやすいDWHがあれば多数の社員の業

                                          レガシー化したData Pipelineの廃止 ― メルカリのData Architectのお仕事例|Mercari Analytics Blog
                                        • Data Engineering Guide 2025 #data_summit_findy by @Kazaneya_PR / 20251106

                                          技術カンファレンス「Data Engineering Summit」の資料です。 https://kazaneya.com/26570d0c5ac8803f8f78f25e0b1907ca

                                            Data Engineering Guide 2025 #data_summit_findy by @Kazaneya_PR / 20251106
                                          • 大量のデータを分析して可視化するオープンソースのLooker代替・「MLCraft」 - かちびと.net

                                            MLCraftは大量のデータを分析して可視化するオープンソースのLooker代替となるBIツールです。データ解析のスタートアップだったLookerは2020年の2月にGoogleに買収されました。 データの処理と可視化自体はCube.jsによって処理されます。MLCraftはダッシュボードを提供し、チームへのデータ共有の場や機械学習実験をワンクリックで行えるUIの提供をするそうです。 LookerはGoogle Cloudに統合されましたので、もともとGoogle Cloudを採用していたのならLookerを使うでしょうが、コスト的な問題、プライバシー、セキュリティ的な問題で使えない際にMLCraftは1つの選択肢となりそうです。MITライセンスのもとでソースコードが公開されています。 GithubMLCraft

                                            • 社内勉強会「Modern Data Stack入門」の内容をブログ化しました - PLAID engineer blog

                                              こんにちは、プレイドでCore Platform開発の責任者をしているエンジニアのkusappeです。 プレイドの社内向けに行ったModern Data Stack勉強会の内容が好評だったので、データ基盤に携わる方に向けてブログ化しました。 この記事では、Modern Data Stackとは何か、そのメリットや特徴について解説します。また、具体的な技術要素・主要サービスや重要だと思うトレンドについても紹介します。 Modern Data Stackとは?Modern Data Stackとは、データの収集、処理、分析、可視化などデータ活用に関わる機能を、それぞれに特化したクラウドサービスやSaaSツールを組み合わせて構築するという考え方やその基盤のことを指します。 クラウドサービスやその周辺の技術要素の進化によって、従来のデータ基盤と比べると以下のメリットがあると言われています。 高いス

                                                社内勉強会「Modern Data Stack入門」の内容をブログ化しました - PLAID engineer blog
                                              • 1ペタバイトのデータセットで機械学習する / WebDataset入門

                                                深層学習をする上で、最も大切なマシンスペックを聞かれたら何と答えますか? GPUのTensor性能、VRAM、GPUの数、CPU性能、メモリ、… 問題によって正解は異なりますね。 しかし、特に大規模なデータセットで機械学習する場合では、しばしばネットワーク帯域とストレージシステムのディスクI/Oによって制限されます。この記事ではそのような課題に対して、学習側でどのようにデータを扱うかを見ていきたいと思います。 1. この記事は? こんにちは、TURING MLチームです。TURINGはEnd-to-Endな深層学習モデルでLv5完全自動運転車の開発を目指す会社です。 私たちは自動運転モデルを動かすため、可視域のカメラセンサによる画像で学習し、カメラ映像のみから車体の操作や経路選択、安全性の判断を行わせています。(実際の車を動かす事例はこちらの記事をご覧ください。) そのため、機械学習のため

                                                  1ペタバイトのデータセットで機械学習する / WebDataset入門
                                                • データインテリジェンスの動向を呟く。BIじゃないよ|松元亮太 / Quollio Technologies

                                                  冒頭2023年現在、Generative AIの台頭により”Data is new oil.”という言葉の重みが日に日に増してきている。そんな中、企業向けデータマネジメントを担うツールであった”データカタログ”にも転機が訪れている。ここ数年の欧米動向を見ていると、旧来データカタログと自身を呼んでいた海外ベンダーが、Active Metadata PlatformやData Intelligence Platformへと自身を再定義するに至っている。以前の記事では、前者について説明を行った。本日は、よりエンタープライズ企業へとフォーカスを当てた取り組みである後者について、特に国内状況についての考察を行う。 “Intelligence”とは?Data Intelligenceと似た名前に、Business Intelligenceという概念がある。今となっては”BIツール”として慣れ親しまれ、

                                                    データインテリジェンスの動向を呟く。BIじゃないよ|松元亮太 / Quollio Technologies
                                                  • Dataplex Universal Catalog

                                                    Google is a leader, positioned furthest in vision, in the 2025 Gartner Magic Quadrant for Cloud DBMS. Learn more.

                                                      Dataplex Universal Catalog
                                                    • GOのデータ・AIを活用する「組織」を30分で紹介

                                                      GO TechTalk #25 で発表した資料です。 ■ YouTube https://www.youtube.com/live/lH0z49oHRWI?feature=shared&t=98 ■ connpass https://jtx.connpass.com/event/306325/

                                                        GOのデータ・AIを活用する「組織」を30分で紹介
                                                      • Introduction to Data Validation: MLOps における重要性とその分類、実用上の注意点について - Qiita

                                                        スキーマに基づく Validation の機械学習に特有な課題 スキーマに基づく Validation のうち、機械学習に特有の問題をここでは3つ取り上げます。 機械学習モデルの特徴量は莫大になることがあり、手動ですべてを書き出すのは現実的でない スキーマを満たさないことは、必ずしも悪いことではない 機械学習モデルに入力されるのは、構造化データだけではない 機械学習モデルの特徴量は莫大になることがあり、手動ですべてを書き出すのは現実的ではない 通常の Web サービスとは異なり、機械学習ではデータサイエンティストが複雑な SQL を書いて膨大な特徴量を作り出すことがあります。 たとえば、過去の 1 ヶ月の行動履歴から購入予測を行う場合、過去に行った行動 (ログインなど) の回数を日毎に集計し、特徴量とするのは一般的です。具体的には、ユーザーのログイン回数、購入回数を日毎に集計して機械学習モ

                                                          Introduction to Data Validation: MLOps における重要性とその分類、実用上の注意点について - Qiita
                                                        • 大規模分散学習でGPUを食べまくる人|マソラ

                                                          こんにちは!東工大修士2年/産総研RAの高島空良と申します。本記事は、研究コミュニティ cvpaper.challenge 〜CV分野の今を映し,トレンドを創り出す〜 Advent Calendar 2022の17日目の記事となります。 本記事では、私がcvpaper.challengeに研究メンバーとして参画した経緯から1年間活動してきた内容の振り返りを、ざっくばらんに記載します。メインコンテンツは「大規模分散学習」になる見込みです。 私の体験を通して「cvpaper.challengeでの研究・活動の流れ」や「cvpaper.challengeの研究コミニュティの雰囲気」なども伝えられれば幸いです。 注:勢いに任せて執筆した結果、かなり長くなってしまったので、ご興味に応じて適当に読み飛ばしていただければと思います🙇‍♂️ 自己紹介私は現在、東京工業大学の情報工学系修士2年で、高性能計

                                                            大規模分散学習でGPUを食べまくる人|マソラ
                                                          • spaCy固有表現抽出(+Presidio)によるドキュメントの情報漏えいリスクチェック支援 - OPTiM TECH BLOG

                                                            R&D チームの徳田(@dakuton)です。記事冒頭に書くことが思いつかなかったので先日のGPT記事にあるサンプルを使ってみました。 試してみたところ、Tech Blog記事っぽい出力にはなりました。 入力(Prompt): R&D チームの徳田([@dakuton](https://twitter.com/dakuton))です。 出力: 皆さんおひさしぶりです。遅くなりましたが、11/18(金)に行われましたRuby Machine Learningの勉強会の模様を記事にしました。 サンプルは下記参照 tech-blog.optim.co.jp 背景 本題ですが、目的は本記事タイトルのとおりです。 参考: 個人情報保護委員会が個人情報を漏えい パブリックコメント参加者の氏名や所属先を誤掲載 - ITmedia NEWS 技術要素としては下記と同じような内容です。本記事ではこれをspa

                                                              spaCy固有表現抽出(+Presidio)によるドキュメントの情報漏えいリスクチェック支援 - OPTiM TECH BLOG
                                                            • データアナリストが使うと便利な生成AIプロンプト事例

                                                              こんにちは。Ubieでアナリティクスエンジニア/データアナリストをやっているむらなかです。 2024年5月に入社し、2ヶ月半の育休を挟んで10月に復帰しました。 医療ドメインは想像以上に奥深く、プロダクトの幅広さやデータの複雑性も相まって、毎日が新たな学びと挑戦の連続です。入社して間もない私にとって、新しい概念や膨大な情報を整理する作業は、大きな認知負荷となりがちでした。 Ubieでは全社的に生成AIの活用に力を入れており、BIチームでも互いの生成AI活用事例を共有しながら生産性向上を図っています。生成AIをうまく使うことで、前述の認知負荷も軽減できそうだと感じていて、実際、プロンプトの工夫次第でSQLやデータモデルの理解、分析要件整理など、日常的な業務をスムーズに進められるようになりました。 私のチームではスクラムを採用し、story pointを振ってベロシティを計測しているのですが、

                                                                データアナリストが使うと便利な生成AIプロンプト事例
                                                              • データ品質をコード化! LINEヤフーのMLOpsを最適化する "ACP Data Quality" の紹介

                                                                第7回Data-Centric AIの登壇資料です。 発表者: 古川新 発表内容: エンタープライズのMLOps成長戦略において、開発効率が成熟してくるとモデルの運用の信頼性が課題になってきます。LINEヤフーのAIプラットフォームでは、データ品質管理を適切に管理することで運用の信頼性を向…

                                                                  データ品質をコード化! LINEヤフーのMLOpsを最適化する "ACP Data Quality" の紹介
                                                                • LIXIL:BigQuery を中心としたデータ活用基盤 LIXIL Data Platform を構築、"データ活用の民主化" を推進 | Google Cloud 公式ブログ

                                                                  LIXIL:BigQuery を中心としたデータ活用基盤 LIXIL Data Platform を構築、"データ活用の民主化" を推進 これまでも Google Cloud を有効活用してきた株式会社LIXIL(以下、LIXIL)。これからの新時代に向け、さまざまな先進的な取り組みを行っている同社ですが、中でも注目すべき取り組みが、BigQuery を中心としたデータ活用基盤『LIXIL Data Platform(以下、LDP)』です。"データ活用の民主化" を掲げ、2021 年 5 月に正式運用開始されたこの仕組みが、今、どのように LIXIL を変えようとしているのかを聞いてきました。 利用している Google Cloud ソリューション:スマート アナリティクス 利用している Google Cloud サービス:BigQuery、BigQuery ML、Data Catalog

                                                                    LIXIL:BigQuery を中心としたデータ活用基盤 LIXIL Data Platform を構築、"データ活用の民主化" を推進 | Google Cloud 公式ブログ
                                                                  • GitHub - reata/sqllineage: SQL Lineage Analysis Tool powered by Python

                                                                    You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

                                                                      GitHub - reata/sqllineage: SQL Lineage Analysis Tool powered by Python
                                                                    • 富士通子会社、冤罪に加担 英郵便の会計システム欠陥 被害700人 不具合隠蔽、訴追助け報酬 - 日本経済新聞

                                                                      郵便局を舞台にした英国史上最大の冤罪(えんざい)事件を巡り、欠陥のある会計システムを納めた富士通側の責任が浮上している。富士通の英子会社は1999年の納入当初からシステムの不具合を把握しつつ、その事実を隠して郵便局長らの訴追に加担してきた。幹部らの証言で明らかになった。「不具合があることは配備の当初からわかっていた」。富士通の執行役員で欧州地域の共同最高経営責任者(CEO)を務めるポール・パタ

                                                                        富士通子会社、冤罪に加担 英郵便の会計システム欠陥 被害700人 不具合隠蔽、訴追助け報酬 - 日本経済新聞
                                                                      • データプロダクトマネージャーとは【データ用語解説】|よしむら@データマネジメント担当

                                                                        データ用語解説の趣旨データに係る仕事をしていて、まだまだデータ利活用に関する用語を誤解していることが多いなと感じています。 という事で、データ利活用に係るデータサイエンティスト、データエンジニア、ビジネス部門、業務部門の人たちが押さえておきたい用語を解説していきます。 今回は「データプロダクトマネージャー」について解説します。 データプロダクトマネージャーはデータプロダクトを創りビジネスをグロースする役割名として用いられます。 データプロダクトマネージャーはデータ人材の中の役割の1つで、日本に入ってきたばかりの役割でまだ固まっていない職種であるため、ここで書くのはそういう考え方もあるといった感じで受け取ってもらえればよいと思います。 データマネジメントについての情報データ用語解説 データ用語の解説を書いてます。

                                                                          データプロダクトマネージャーとは【データ用語解説】|よしむら@データマネジメント担当
                                                                        • webdatasetの使い方:shardの作り方からセマンティックセグメンテーションのデータセットを読み込むまで - Qiita

                                                                          Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

                                                                            webdatasetの使い方:shardの作り方からセマンティックセグメンテーションのデータセットを読み込むまで - Qiita
                                                                          • データ整備の優先順位付けに役立つテクニック

                                                                            Sponsored · Your Podcast. Everywhere. Effortlessly. Share. Educate. Inspire. Entertain. You do you. We'll handle the rest. →

                                                                              データ整備の優先順位付けに役立つテクニック
                                                                            • データ基盤を構築する際にデータガバナンスをどのくらい気にすべきか - Qiita

                                                                              Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに フューチャー Advent Calendar 2024の1日目です。 クリスマスおよび年末年始に向けて、みなさんもデータガバナンスを高めている最中かと思います。 大生成AI時代に突入し、ますますデータを資産化する重要度が上がっていると感じます。会社で新たにRAGが使えないか?みたいな話は週次なのか何なら毎日のように聞きます。 それら要望の実現性を上げるため、構造/非構造データをデータ基盤に取り込み、メタデータを上手く管理し、データの発見/利用の推進を加速させといったデータ基盤の構築や整備が改めて必要だと痛感している方も多いので

                                                                              • MLOps系プロダクトの布教活動報告 - Qiita

                                                                                この記事はMLOps Advent Calendar 2021の18日目の記事です。 2016年にもTensorFlowとMLサービスの2016年の布教活動報告を書きましたが、ここ3年くらいはMLOps系の活動をメインにしてきたので、その報告です。COVID後はイベント登壇も減り、ブログ記事の執筆が多くなりました。その裏話的な内容です。 Feature Store のブログ記事 今年5月のGoogle I/OでVertex AIのMLOps系プロダクトがいくつかリリースされたので、その後にフォローアップのブログ記事を出し始めました。まずは6月にPMのAnandと書いた Kickstart your organization’s ML application development flywheel with the Vertex Feature Store(日本語版)です。 このプロダクト

                                                                                  MLOps系プロダクトの布教活動報告 - Qiita
                                                                                • GAFAの強さの源泉「アイデンティティー管理」 第一人者に聞く

                                                                                  みなさんがインターネット上のサービス、例えばAppleやGoogleなどのサービスを使うとき、「あなた本人が使っている」ことをサービス提供側は認識している。それを可能にするのが「アイデンティティー管理」(デジタルで扱うので「デジタルアイデンティティー管理」と呼ぶ)である。その第一人者は実は日本人で、OpenID Foundationという米国を本拠地にする国際標準化団体の理事長を務める崎村夏彦氏だ。同氏が著した『デジタルアイデンティティー 経営者が知らないサイバービジネスの核心』(2021年7月発行)は、DX経営者が自分の言葉で語らねばならないことをまとめているという。(聞き手=日経BP 技術メディアユニット クロスメディア編集) 崎村さんは何をしている人なのか、一言で説明するとどうなりますか? 「アイデンティティーのプロトコルを作成する人」です。AppleやGoogleなどが提供するサー

                                                                                    GAFAの強さの源泉「アイデンティティー管理」 第一人者に聞く

                                                                                  新着記事