Microsoft Fabric（以下、Fabric）もリリースしてから時間が経過し、実際のプロジェクトでも触れる機会が増えてきました。 そこで、構築する際に必須となるセキュリティに関して「改めて何ができるのか」「どのように実践すればよいのか」を、今回の概要編および次回の実践編にてまとめていきます。 まず今回は概要編として、セキュリティに関して留意すべき事項を中心にお伝えします。 はじめに データ暗号化 必要性 暗号化について 認証とアクセス管理 必要性 ツール・方法 ネットワークセキュリティ 必要性 ツール・方法 データ主権とコンプライアンス 必要性 認証の種類 情報保護ラベルとデータ損失防止 必要性 ツール ガバナンスツール/機能 必要性 ツール おわりに はじめに Fabricでデータ基盤を構築する際に、セキュリティは切っても切り離せません。 データは企業にとって非常に大切で重要なも

Microsoft Fabricは、Microsoft のSaaS 型データ分析基盤サービスです。SaaS 型のため、容易にデータ分析の一連の流れを試すことができる特徴があります。 本記事含めた前後編として、Microsoft Fabricを利用してサンプルから祝日のデータを取得し、1年間の東京都の降水量へ休祝日を反映する方法を解説します。 前編では、用意した東京都の降水量データをクリーニングして、レイクハウスのテーブルに格納するまでの手順を解説しました。 blog.jbs.co.jp 後編となる本記事では、サンプルの祝日データを利用し、前編で用意した日付を含むデータに祝日を付与する方法について解説します。 サンプルを利用して祝日データのレイクハウスを作成 ウェアハウスの作成 データフローの作成 パイプラインの作成 レポートの作成 まとめ サンプルを利用して祝日データのレイクハウスを作成

今回は、Fabric Copilotのうち、Power BIでの機能について解説したいと思います。 前提条件 Microsoft Fabric とは？ Fabric Copilot in Power BIとは？ レポートの自動生成と提案 データの要約と説明 要約内容に関するドリルダウン（深掘り）や追加の質問 Fabric Copilot in Power BIを使ってみる まとめ 前提条件 本記事の前提条件は以下の通りです。 Fablic環境は構築済み ワークスペースにFabric容量を割り当てている Fabricに関して基本的な知識を持っている Power BIに関して基本的な知識を持っている Microsoft Fabric とは？ Microsoft Fabricは、データの取り込みから変換、保存、分析まで、データライフサイクル全体を網羅的にサポートします。これにより、データの一元管

Data&AI事業本部所属の福濵です。2023年に入社しMicrosoft Fabricについて基礎から勉強しています。 本記事では、Apache Sparkジョブ定義の実装方法についてご紹介します。 はじめに Apache Sparkジョブ定義実装の全体像 構成図 実装 前準備 csvファイルの準備 スクリプトフファイルの準備 レイクハウスの作成 サンプルファイルの格納 Sparkジョブ定義の作成 Sparkジョブ定義の実行 実行結果の確認 おわりに はじめに Apache Sparkジョブ定義（以降、Sparkジョブ定義）とは、Data Engineeringにあるアイテムの1つです。 Sparkを使用してデータの変換や分析などを行うには、NotebookまたはApache Sparkジョブ定義を使用した方法があります。Notebookはデータを対話的に変換、分析できるのに対し、Apa

前編ではデータを加工するデータフローの作成までを紹介しましたが、後編である今回は、データ処理を自動化するパイプラインの構築と通知設定、データの可視化までを紹介します。 前編はこちらですので、併せてご覧ください。 blog.jbs.co.jp データの取得・加工・格納を自動化するパイプラインの構築 パイプライン実行時に古いデータを削除する パイプラインの通知設定 パイプラインの定期実行 データのクリーンアップについて パイプラインの動作確認 データの可視化 まとめ データの取得・加工・格納を自動化するパイプラインの構築 前編で作成した生データをレイクハウスに取り込むパイプライン（test_pileline）に、データ加工を行うデータフロー（test_dataflow）を接続します。 このようにパイプラインを構築することで、レイクハウスへのデータ収集からデータフローによるデータ加工、さらに加工

Micrsoft Fabric（以下、Fabric） 内のストリーミングデータソリューションであるReal-time Intelligence の機能の１つである「EventStream」について、ご紹介していきます。 EventStreamとは EventStreamと既存のAzure ソリューションの比較 EventStreamのアーキテクチャ ソース 宛先 イベントプロセッサ EventStreamの操作 EventStream の処理追加方法 EventStreamの各種設定 EventStreamの開始と停止 さいごに EventStreamとは EventStreamとは、リアルタイムのストリーミングデータをFabricに取り込むためのソリューションです。 EventStreamには以下の特徴があります。 ストリームデータの取得から変換、出力までの一連の流れの開発をノーコードで