Databricks AI/BIのウォークスルー - Qiita
Data + AI Summit 2024のキーノートが日本時間での昨夜0時頃からスタートしました。なんとなく目が覚めたのでリアルタイム視聴していました。 Databricks + Tabular Unity CatalogのOSS化 Mosaic AI Model Training Fine-tuning / Mosaic AI Tool Catalog / Mosaic AI Agent Framework / Mosaic AI Agent Evaluation / MLflow 2.14 / Mosaic AI Gateway NVIDIAとのパートナーシップ強化 Liquid Clusteringのクラスタリングキーの自動選択 Databricks AI/BI などなど盛りだくさんであっという間に3時になっていました。Mosaic周りは別記事でカバーするつもりですが、まずは最後に
[2023年12月版] Databricksとは何か？ - Qiita
Databricksの弥生です。Databricks Japanにjoinして3年が経ちました。 2021年には以下の記事を訳したり、 自分でもJupyter notebookとの比較記事を書いたりしました。 そして、他のソリューションアーキテクトの方によっても記事が書かれています。 しかし、Databricksは日進月歩で進化しています。2週間周期で新機能がリリースされるので、これらの記事も古くなってしまっている部分が少なからずあります。 と言うことで、2023年12月時点での「Databrikcsとは何か」を記事にします。 Databricksとは何か？ まず、会社としてのDatabricksの説明をさせてください。同名のプラットフォームを提供している企業で、2013年に創業されました。今年でちょうど10年です。由来はユニークで、カルフォルニア大学バークレー校に在学していた大学院生と教
![[2023年12月版] Databricksとは何か？ - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/8d566a1ea9658568c828e5f1cb26ad0deae71da6/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Fadvent-calendar-ogp-background-7940cd1c8db80a7ec40711d90f43539e.jpg%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCMjAyMyVFNSVCOSVCNDEyJUU2JTlDJTg4JUU3JTg5JTg4JTVEJTIwRGF0YWJyaWNrcyVFMyU4MSVBOCVFMyU4MSVBRiVFNCVCRCU5NSVFMyU4MSU4QiVFRiVCQyU5RiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZ0eHQtY29sb3I9JTIzM0EzQzNDJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnM9NjQwMzY4MjE5ZDZhNmM4MWNhYmYxZDI0ZGUzYzNjMTM%26mark-x%3D120%26mark-y%3D96%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9OTcyJnR4dD0lNDB0YWthX3lheW9pJnR4dC1jb2xvcj0lMjMzQTNDM0MmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz1hYTRmNGE2ZjYzY2Q2YWFiM2ZiNmU1MWQ3N2ZiYTY2OA%26blend-x%3D120%26blend-y%3D445%26blend-mode%3Dnormal%26txt64%3DaW4g44OH44O844K_44OW44Oq44OD44Kv44K544O744K444Oj44OR44Oz5qCq5byP5Lya56S-%26txt-width%3D972%26txt-clip%3Dend%252Cellipsis%26txt-color%3D%25233A3C3C%26txt-font%3DHiragino%2520Sans%2520W6%26txt-size%3D36%26txt-x%3D134%26txt-y%3D546%26s%3D6b0e24e98557e81cb22469e28c0e13d8)
Delta Lake とは何か - connecting the dots
はじめに 環境情報 Delta Lake (デルタレイク) とは Delta Lake の実体 Delta Lake の構造 Parquet と Delta の相違点 Parquetとは何か Parquetの構造 Parquet と Delta の違い Delta Lake が生まれた経緯: データレイクと Delta Lake の違い データレイクのメリット データレイクの課題 *Parquetで構築した場合 Delta Lake の特徴 ACIDトランザクションの担保 スケーラブルなメタデータ管理 バッチとストリーミングワークロードの統合 タイムトラベル (バージョン管理) CONSTRAINT句のサポート DML (データ操作言語) のフルサポート UPDATE DELETE MERGE 柔軟なスキーマ管理 1. スキーマ エンフォースメント 2. スキーマ エボリューション ストレ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
