Google Cloud上でのDatabricksの一般提供が開始
CodeZine編集部では、現場で活躍するデベロッパーをスターにするためのカンファレンス「Developers Summit」や、エンジニアの生きざまをブーストするためのイベント「Developers Boost」など、さまざまなカンファレンスを企画・運営しています。
CodeZine編集部では、現場で活躍するデベロッパーをスターにするためのカンファレンス「Developers Summit」や、エンジニアの生きざまをブーストするためのイベント「Developers Boost」など、さまざまなカンファレンスを企画・運営しています。
[2024年6月6日号]個人的に気になったModern Data Stack情報まとめ | DevelopersIO
さがらです。 Modern Data Stack関連のコンサルタントをしている私ですが、Modern Data Stack界隈は日々多くの情報が発信されております。 そんな多くの情報が発信されている中、この2週間ほどの間で私が気になったModern Data Stack関連の情報を本記事でまとめてみます。 ※注意事項：記述している製品のすべての最新情報を網羅しているわけではありません。私の独断と偏見で気になった情報のみ記載しております。 Data Extract/Load Fivetran 「Fivetran Managed Data Lake Service」を発表 Fivetranが新機能として、「Fivetran Managed Data Lake Service」を発表しました。 基本的には、宛先にS3、Azure Data Lake Storage、Microsoft OneLa
![[2024年6月6日号]個人的に気になったModern Data Stack情報まとめ | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/e696404619eb3f6e7bf57f8e876300be7b794def/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F05%2Feyecatch_moderndatastack_1200_630.jpg)
Japan PR slides
DeepSpeed: 深層学習の訓練と推論を劇的に 高速化するフレームワーク Microsoft DeepSpeed Team 2023 年 6 月 7 日 このスライドでは、我々が研究開発しているDeepSpeedというフレームワークに ついて、概要をご紹介します。 1 概要 • 大規模かつ高速な深層学習を容易に実現する様々な機能を持ったソフトウェア • オープンソースソフトウェアとしてGitHubで公開中 • DeepSpeed (メインのレポジトリ) • DeepSpeedExamples (使用例). • Megatron-DeepSpeed (NVIDIAのMegatron-LMと結合したもの). • DeepSpeed-MII (DeepSpeedの高速な推論を容易に利用するためのツール) メインレポジトリのURL DeepSpeedのプロジェクトは、MicrosoftのAI
Authors: Geeta Chauhan, PyTorch Partner Engineering Lead and Joe Spisak, PyTorch Product Lead at Facebook PyTorch has continued to evolve rapidly since the introduction of PyTorch 1.0, which brought an accelerated workflow from research to production. Looking at the momentum in research, as shown on paperswithcode.com/trends, we can see that the research community has embraced PyTorch as its tool
MLOpsのキホンと動向
主要カテゴリー IBM Cloud Blog IBM Data and AI IBM Consulting IBM Partner Ecosystem IBM Sustainability Software Client Engineering IBM テクニカル・サポート 社員が語る「キャリアとIBM」 IBM Cloud Blog IBM Cloud News IBM クラウド・ビジョン IBM Cloud アップデート情報 IBM Cloud チュートリアル IBM Data and AI IBM Watson Blog アナリティクス Data Science and AI SPSS Modeler ヒモトク Db2 オートメーション IBM Consulting デジタル変革（DX） アプリの開発とモダナイゼーション 製品／サービス ソフトウェア ハードウェア サービス 無料評価
Announcing Databricks Serverless SQL: Instant, Managed, Secured and Production-ready Platform for SQL Workloads
Unified governance for all data, analytics and AI assets
Jean-Yves Stephan Senior Product Manager, Ocean for Apache Spark Reading Time: 7 minutesApache Spark is an open-source distributed computing framework. In a few lines of code (in Scala, Python, SQL, or R), data scientists or engineers define applications that can process large amounts of data, Spark taking care of parallelizing the work across a cluster of machines. Spark itself doesn’t manage th
セールスフォース・ジャパン（以下、Salesforce）は、CRM向け対話型AIアシスタント「Einstein Copilot（ベータ版）」とハイパースケールのデータプラットフォーム「Salesforce Data Cloud」の「Data Cloudベクトルデータベース」を日本市場で提供開始すると発表。 これにより、ユーザー企業は信頼できるデータソースを確保し、SalesforceのCRMアプリで生成AIを活用できるようになるほか、SlackとTableauの最新AIイノベーションを用いて、働き方と分析を加速できるとのこと。 CRM向け対話型AIアシスタント「Einstein Copilot」 「Einstein Copilot」は、SalesforceのすべてのCRMアプリ向けの統合的な対話型AIアシスタント。顧客は自社で保有する信頼できるデータを活用し、質問への回答、コンテンツの要約
Amazon Bedrock における Claude 3 Haiku の Fine-Tuning 検証レポート - Qiita
はじめに 株式会社 NTT データ デジタルサクセスコンサルティング事業部の @ren8k です． 2024/7/10 に，Amazon Bedrock で Anthropic Claude 3 Haiku の Fine-Tuning がプレビューで利用可能になりました．本稿では，Claude3 Haiku の Fine-Tuning の利用手順および，Fine-Tuning したモデルの評価結果を共有いたします． なお，本検証で利用したコードは以下のリポジトリで公開しています．是非ご覧下さい． LLM を Fine-Tuning するメリット Fine-Tuning により，LLM は特定のドメインや新しい知識を獲得することができます．これにより，(RAG と比較した場合，) プロンプトへの参照情報の挿入が不要になり，入力トークンを最小限に抑えることができる結果，API 実行時のコストや
Llama-3.1 の概要 ｜npaka
以下の記事が面白かったので、簡単にまとめました。 ・Introducing Llama 3.1: Our most capable models to date 1. Llama-3.1 の概要「Llama-3.1」は、一般知識、操縦性、数学、ツールの使用、多言語翻訳の最先端の機能に関して、トップクラスのAIモデルに匹敵する、初めてオープンなモデルです。405Bモデルのリリースにより、イノベーションを加速させ、前例のない成長と探求の機会を得る準備が整いました。最新世代の 「Llama」は、合成データ生成による小規模モデルの改善と学習、およびモデル蒸留など、新しいアプリとモデリングパラダイムを活性化させると確信しています。これは、オープンソースでこの規模で実現されたことのない機能です。 この最新リリースの一環として、8Bモデルと70Bモデルのアップグレード版もリリースします。これらは多言語対
MLOps Is a Mess But That's to be Expected - Mihail Eric
Does this sound familiar? You read an article that said doing machine learning was the job to get in 2022, being not only crazy in-demand but commanding among the highest industry salaries around. That sounds nice: job security and money. What’s not to like? You decide you’re going to go for it, learn the skills to be a machine learning engineer, do a few side projects to beef up your resume, and
The 2021 edition of the State of AI Report came out last week. So did the Kaggle State of Machine Learning and Data Science Survey. There's much to be learned and discussed in these reports, and a couple of takeaways caught my attention. "AI is increasingly being applied to mission critical infrastructure like national electric grids and automated supermarket warehousing calculations during pandem
Amazon Bedrock、Amazon Auroraを組み合わせたRAGで回答精度の向上に取り組んでみた！①概要編 - Qiita
Amazon Bedrock、Amazon Auroraを組み合わせたRAGで回答精度の向上に取り組んでみた！①概要編AWSAuroraragbedrockLLM はじめに 今回はAWS上で実装できるRAGにおいて、回答精度を向上させる手法を調査、検証を行いました。 その際にたまったナレッジを共有いたします。 本記事では、①概要編として調査・検証した内容の概要を紹介いたします。 具体的な実装方法については②実装編として後日投稿予定です。 なお、本記事の内容は2月6日開催されたJr.Champions勉強会 -Top Engineers参観回で話した内容とほぼ同じなので、その際のスライドも共有します。 RAGとは何か？ RAGとは、LLMが外部のDBから情報を取得し回答を生成する仕組みのことで、 社内ナレッジに関する質問に回答できるAIチャットボットなどの用途として昨今注目されています。 R
There are a growing number of AI coding tools that are alternatives to Copilot. A list of other popular, promising options. Originally published 16 May 2023. There are plenty of tools to choose from aside from Copilot and ChatGPT. Here are the most promising ones worth checking out, with an emphasis on those with self-hosting as an option. Date of launch is in brackets: Tabnine (2019)GitHub Copilo
Julie Bort ［原文］ （翻訳：仲田文子、編集：井上俊彦） Nov. 07, 2023, 07:30 AM 国際 46,972 WeWorkは11月6日、連邦破産法第11条の適用を申請した。 ソフトバンクなど大手ベンチャーキャピタルが支援するWeWorkの評価額は、470億ドルに上ったこともあった。 ベンチャーキャピタルはWeWorkの破綻から何も学んでいない。 WeWorkはもはや機能していない。同社が飛ぶ鳥を落とす勢いのスタートアップだった頃に支援したベンチャーキャピタル（VC）は、その惨状から何も学んでいない。 シェアオフィス大手のWeWorkは11月6日（現地時間）、日本の民事再生法にあたる連邦破産法第11条（チャプター11）の適用を申請した。先週、早ければ2023年11月上旬に適用を申請する可能性があると、ウォール・ストリート・ジャーナル（WSJ）が報じていた。当時、｢憶
Delta Lake は、Databricks 上のレイクハウスにテーブルの基盤を提供する、最適化されたストレージ レイヤーです。 Delta Lake は、ACID トランザクションとスケーラブルなメタデータ処理のためのファイルベースのトランザクション ログを使用して Parquet データ ファイルを拡張するオープン ソース ソフトウェアです。 Delta Lake は Apache Spark API と完全に互換性があり、構造化ストリーミングとの緊密な統合のために開発されたため、データの 1 つのコピーをバッチ操作とストリーミング操作の両方に 簡単に使用でき、大規模な増分処理を提供できます。 Delta Lake は、Azure Databricks でのすべての操作の既定のストレージ形式です。 特に指定がない限り、Azure Databricks 上のすべてのテーブルは Delt
※この投稿は米国時間 2022 年 10 月 15 日に、Google Cloud blog に投稿されたものの抄訳です。 今週、世界中の都市で Google Cloud Next '22を開催し、皆様に重要なニュースやお知らせをご紹介できたことを嬉しく思います。ニューヨーク市の開会基調講演から 24 時間のライブ配信が始まり、その後西海岸に移動し、カリフォルニア州サニーベールの Google Cloud 本社から「Top 10 Cloud Predictions」のデベロッパー基調講演が行われました。Next '22はその後太平洋を渡り、東京（日本）、バンガロール（インド）へと移り、ミュンヘン（ドイツ）で終了しました。グローバルなイベント、Innovators Hive にご参加いただいた何千人ものデベロッパーの皆様に感謝いたします。ぜひ、すべてのブレイクアウト セッションをご確認くださ
先月のData & AIサミットでDatabricks SQL(DBSQL)におけるPythonユーザー定義関数(UDF)のプレビューを発表できたことを大変嬉しく思っています。このブログ記事では、新機能の概要を説明し、本機能とそのユースケースを説明するサンプルをウォークスルーします。 Python UDFを用いることで、ユーザーは簡単かつセキュア、そして完全に管理された方法を通じて、SQL関数を通じてPythonコードを記述し、呼び出すことができるようになり、PythonのパワーをDatabricks SQLに持ち込むことができます。 Databricks SQLにおけるPython UDFのご紹介 DatabricksとApache Spark™においては、UDFは通常Sparkを拡張します：ユーザーとして、データを変換したりマスキングするなどSparkの語彙を拡張する再利用可能な関数と
本記事では、人気のオープンソース大規模言語モデルをプロダクション用途でどのように活用するのかに関して、MosaicMLのエンジニアリングチームがベストプラクティスを共有します。また、ユーザーがモデルやデプロイするハードウェアを選択する際に助けとなるように、これらのモデルに対する推論サービスのデプロイに関するガイドラインも提供します。我々はプロダクション環境で複数のPyTorchベースのバックエンドを取り扱ってきています。これらのガイドラインは、FasterTransformersやまもなくリリースされるNVIDIAのTensorRT-LLMなどの経験から導き出されています。 LLMテキスト生成の理解 大規模言語モデル(LLM)は、2ステップのプロセスでテキストを生成します:入力プロンプトのトークンが並列で処理される「prefill」と、自己回帰的な方法で一度に一つのトークンが生成され、テキ
Data Anywhere with Pipelines, Event Notifications, and Workflows
Data Anywhere with Pipelines, Event Notifications, and Workflows04/03/2024 Data is fundamental to any real-world application: the database storing your user data and inventory, the analytics tracking sales events and/or error rates, the object storage with your web assets and/or the Parquet files driving your data science team, and the vector database enabling semantic search or AI-powered recomme
お知らせ[2023/03/04] 入賞者のみなさまには、表彰式への参加をお願いいたします。詳細は続報をお待ちください。 [2023/03/01] 中間イベントの動画公開されました。こちらからご覧いただけます。 [2023/02/23] SIGNATE賞の内容を「特徴量アイデアの募集」に変更いたしました。詳細については評価方法タブをご参照ください。 [2023/02/08] Databricksの分析環境へ登録できる人数の上限に到達しました！多くの方のご参加ありがとうございます。また今回参加できなかった方は、Slackにて次回開催についての事前案内を予定しておりますのでぜひSlackの登録よろしくお願いいたします。 [2023/02/06] 2月10日開催の中間イベントの情報をイベント情報タブに記載いたしました。 [2023/02/02] チュートリアルを微修正しました。データタ
Googleに対抗するAIスタートアップ、ジェフ・ベゾス氏などから7360万ドルを調達。AI回答エンジンの開発加速か | AMP[アンプ] - ビジネスインスピレーションメディア
2022年に設立されたAIスタートアップPerplexityが大手検索エンジンに対抗するための「AI回答エンジン」開発を加速させている。このほどシリーズBの投資ラウンドで7,360万ドル（約107億円）を調達し、評価額は5億ドル（約725億円）、これまで合計で1億ドル以上を調達したことが話題になった。Perplexityはこの資金をAIベースの検索エンジン構築に投資し、GoogleやMicrosoftなどの大手と対抗する構えだ。 出資メンバーとPerplexityのバックグラウンド 今回の資金調達は出資者の顔触れにも注目が集まった。Amazon創設者のジェフ・ベゾス氏をはじめ、旧XのVPイラッド・ギル氏や旧GitHubのCEOナット・フリードマン氏、ShopifyのCEOトビ・ルーク氏、Vercelの創設者ギレルム・ローチ氏など、そうそうたるメンバー。この情報だけでも市場に与える影響の大き
![Googleに対抗するAIスタートアップ、ジェフ・ベゾス氏などから7360万ドルを調達。AI回答エンジンの開発加速か | AMP[アンプ] - ビジネスインスピレーションメディア](https://cdn-ak-scissors.b.st-hatena.com/image/square/d62e9f0ab9d1c32ac6d86271f11c265b15435cd3/height=288;version=1;width=512/https%3A%2F%2Fampmedia.jp%2Fwp-content%2Fuploads%2F2024%2F01%2Fshutterstock_2306948997-1.jpg)
Applying Natural Language Processing to Healthcare Text at Scale - The Databricks Blogの翻訳です。 この記事はJohn Snow LabsのシニアソリューションアーキテクトMoritz Stellerとの共著となります。詳細を知りたい方は、7/15に予定されているバーチャルワークショップExtract Real-World Data with NLPをお見逃しなく。 2015年、HIMSS(医療情報管理システム協会)は、アメリカのヘルスケア業界において12億の医療ドキュメントが作成されたと推定しました。これは膨大な量の非構造化データです。これ以降、ヘルスケアにおけるデジタイゼーションによって毎年生成される医療テキストデータは増える一方です。電子フォーム、オンラインポータル、PDFのレポート、メール、テキス
CodeZine編集部では、現場で活躍するデベロッパーをスターにするためのカンファレンス「Developers Summit」や、エンジニアの生きざまをブーストするためのイベント「Developers Boost」など、さまざまなカンファレンスを企画・運営しています。
レイクハウスとは何？ - Qiita
Databricksクイックスタートガイドのコンテンツです。 What is a Lakehouse? - The Databricks Blogの翻訳です。 3分間の紹介動画もご覧ください。 我々は、ここ数年で多くのお客様、ユースケースにおいて新たなデータマネジメントのアーキテクチャ：レイクハウスが生まれているのを目撃しています。この記事では、これまでのアプローチに対する優位性ともに新たをアーキテクチャを説明します。 データウェアハウスは意思決定サポートやBIアプリケーションにおいて長い歴史があります。1980年代後半の誕生から、データウェアハウス技術は進化を続けており、MPPアーキテクチャによって、大量データの取り扱いが可能なシステムとなっています。データウェアハウスは構造化データの取り扱いに長けていますが、多くの企業は現在、非構造化データ、準構造化データ、3V(variety、vel
Editor’s Note: The open source software (OSS) movement has created some of our most important and widely used technologies, including operating systems, web browsers, and databases. Our world would not function, or at least not function as well, without open source software. While open source has delivered amazing technological innovation, commercial innovation – most recently and notably the rise
2023/08/23 トランザクション対応の列志向データフォーマット比較(Iceberg,Hudi,DeltaLake) - /home/by-natures/dev*
先日読んだ Snowflake の記事に Iceberg 連携の話があったので、自分の学習も兼ねてデータレイクに使われる新しいデータフォーマットについていくつか記事を紹介します： 先日の記事： bynatures.hatenadiary.jp "AWSにおける Hudi/Iceberg/Delta Lake の使いどころと違いについて" https://pages.awscloud.com/rs/112-TZM-766/images/AWS-Black-Belt_2023_Datalake-Format-On-AWS_0516_v1.pdf AWS のソリューションアーキテクト、Chie Hayashida さんによる各種データフォーマット比較です。 CSV, JSON, AVRO, Parquet, ORC などのファイルフォーマットや様々なユースケースを紹介しながら、新たなデータレイク
RTX3060上でJapanese StableLM Base AlphaをLoRAファインチューニングする｜ラナンP
2023/08/12: Windows版のbitsandbytesのインストール方法について追記しました。 2023/08/12: PEFTのインストール方法と、学習後に保存されたLoRAモデルの読み込み方法について追記しました。 導入先日、Stability AI Japanから日本語の大規模言語モデル(LLM)として、70億パラメータの「Japanese StableLM Alpha 7B」が公開されました。 本記事の執筆時点(2023/8/11)で公開されているオープンな日本語モデルの中で、今回公開されたJapanese StableLM Alphaはベンチマークで最も高い精度を出しており、注目を集めています。 詳細については以下を参照してください https://ja.stability.ai/blog/japanese-stablelm-alpha 概要本記事では、Japanes
HDInsightを一部廃止した話 - Qiita
はじめに HDInsightを使っててイラッとした話です。 やりたいこと バッチ処理を作成していました。1日1回バッチを回して結果をグラフ化、レポートを作成する処理を作ってました。俗に言うETLとかいうやつですね。 データがストレージに1日分溜まったらHDInsightでデータを処理、結果をまたストレージやSQLSERVERに転送、あとは分析官が解析したりレポートやグラフを作成していました。 HDInsight(後HDIと表記)とは簡単にSparkクラスタを作成できるAzureのサービスです。AmazonのEMRとかと同じです。これを使えばデータが少なくなったときはクラスタの台数を削減し、データが大きくなったらクラスタを大きくすればいいわけですね。 バッチ処理は1日1回しか回さないので、料金を節約するために必要なときHDIを作成、処理が終わったら削除していました。 バッチ処理はきれいに完成
AWS re:Invent 2022に関するDevelopersIO投稿まとめ(2022年12月04日分) #reinvent | DevelopersIO
米国(現地ラスベガス)時間の2022年11月28日より、AWS最大のカンファレンスイベント「AWS re:Invent」が開催されました。 クラスメソッド(DevelopersIO)でも例年通り、このイベントを全力で盛り上げていくべく現地参加メンバー(今年は50人規模)、日本から視聴するメンバーで連携しつつ頑張っています。クラスメソッドではAWS re:Invent 2022に関するポータルサイトを展開し、イベントに関する情報をお届けしています。是非ともこちらのサイトのチェックもよろしくお願いします！ このイベントに関するブログは毎年数百本規模で投稿がなされているので、それら1本1本を追っていくのだけでも大変です。そこで簡易的なものではありますが、日毎に投稿されたDevelopersIOの「AWS re:Invent 2022」関連エントリを、おおまかなテーマやカテゴリ、トピックに整理する
「Google Colab」で「Llama-2-7B」のQLoRA ファインチューニングを試したので、まとめました。 前回 1. QLoRA と ござるデータセット「QLoRA」のファインチューニングのスクリプトと、「ござるデータセット」(bbz662bbz/databricks-dolly-15k-ja-gozarinnemon) を使ってQLoRAファインチューニングに挑戦してみます。 2. Colabでの学習Google Colabでの学習手順は、次のとおりです。 (1) メニュー「編集→ノートブックの設定」で、「ハードウェアアクセラレータ」で「GPU」を選択。 「T4」でも学習できますが、「A100」の方が時間が半分以下です。 (2) Googleドライブのマウント # Googleドライブのマウント from google.colab import drive drive.mou
Spring BootによるAPIバックエンド構築実践ガイド 第2版 何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。この本では、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...
stabilityai/japanese-stablelm-instruct-alpha-7b-v2 · Hugging Face
Japanese-StableLM-Instruct-Alpha-7B-v2 "A parrot able to speak Japanese, ukiyoe, edo period" — Stable Diffusion XL Model Description japanese-stablelm-instruct-alpha-7b-v2 is a 7B parameter decoder-only language models pre-trained built on top of the Japanese-StableLM-Base-Alpha-7B model and further fine-tuned on various instruction-following datasets. Usage First install additional dependencies i
Welcome to Kedro’s award-winning documentation! — kedro 0.19.5 documentation
Learn about Kedro Introduction to Kedro First steps Set up Kedro Installation prerequisites Python version support policy Create a virtual environment for your Kedro project How to create a new virtual environment using venv How to create a new virtual environment using conda How to install Kedro using pip How to verify your Kedro installation How to upgrade Kedro Summary Create a new Kedro projec
Parquet+Petastormを使って画像分類モデルをSparkで学習させてみました！ - CCCMKホールディングス TECH Labの Tech Blog
こんにちは、CCCMKホールディングス技術開発の三浦です。 最近寒い日が続いています。寒いと温かい飲み物が欲しくなりますが、近ごろは緑茶を飲むようになりました。お湯を入れたらすぐに飲むことが出来る粉末タイプのものもあって、気軽に楽しむことが出来ます。 今回の記事は分散処理フレームワークSpark周りについて調べた内容です。普段深層学習モデルの分散学習をDatabricksを通じ、Sparkクラスタで行っています。その中で最近少し引っかかっていたのが画像やテキストなどのモデル学習用データを読み取る処理がボトルネックになっている点でした。この部分をどう改善すれば良いのかなかなか分かりませんでした。 今のデータの入力処理は特にSparkの特徴を活かしきれているとは言えず、TensorFlowやPyTorchのDataLoaderを通じて都度画像ファイルやテキストファイルを読み込んでモデルに入力さ
電通デジタルとナレッジコミュニケーションは、企業の営業活動における顧客行動の予測モデル構築を「説明可能なAI」を用いたアジャイル型開発で支援するコンサルティングサービスを開始した。見込み客からの受注率や営業活動のアプローチ成功率を大幅に改善できるという。 電通デジタルは2020年12月4日、ナレッジコミュニケーションと協業し、企業の営業活動における顧客の購買、解約、嗜好（しこう）性などの予測モデルの構築を「説明可能なAI（explainable AI）」（以下、XAI）を用いたアジャイル型開発で支援するコンサルティングサービスを提供開始すると発表した。 同社によると、昨今、営業現場ではデータ活用のニーズが高まっており、中でも自社データ（1st Partyデータ）を統合し、顧客の購入確度や継続受注などの購買予測モデルを構築する際、膨大な自社データをAI／機械学習を活用して最適なアプローチにつ
Unified governance for all data, analytics and AI assets
こちらでもトレーニング用のスクリプトが公開されたので、日本語データセットでトレーニングしてみました。 データセットの準備 データセットは引き続きこちらを活用させていただきました。 ただ、トレーニング用のスクリプトで前提としているJSONのカラム名と上のJSONのカラム名が異なっているので変換しています。変換したものはこちらに公開しています。jsonl形式です。 変換処理はこちら。 import json json_open = open("/dbfs/FileStore/shared_uploads/takaaki.yayoi@databricks.com/dolly/databricks_dolly_15k_ja.json", 'r') json_load = json.load(json_open) new_json_list = [] for element in json_load
日本マイクロソフト、データによるDX支援組織の活動を本格化
日本マイクロソフトは1月23日、同社が昨年6月に新たに開設したデータ活用によりデジタルトランスフォーメーション(DX)推進する企業を支援する「X インテリジェンス・センター」が本格稼働したことをアナウンスした。この取り組みは、日本がグローバルに先駆けて実施するものだという。 同センターは、クラウド&ソリューション事業本部内の組織で、データ活用によりDXを推進する専任組織。データ、クラウド、エッジデバイスの各種スペシャリストで構成されるという（人数非公表）。 事業部内の営業や顧客からの依頼により、探索的なアプローチによるプロジェクト推進、データ活用アークテクチャ検証、オープンデータの活用などにより、データ活用を支援する。センターによる支援は基本的に無償。 「X（クロス） インテリジェンス・センター」概要 DXは最近のバズワードになっているが、同センター長の吉田雄哉氏は「DXでは企業文化の変革
2023年9月分のAWSおよびGoogle Cloudの機械学習関連サービスのアップデート情報をお届けします。 データアナリティクス事業本部 インテグレーション部 機械学習チームの鈴木です。 クラスメソッド データアナリティクス通信(機械学習編) の2023年10月号です。2023年9月分のアップデート情報をお届けできればと思います。 はじめに AWSでは、基盤モデル(FM)をAPIを通じて利用できるようにする完全マネージド型サービスであるAmazon Bedrockがついに一般提供開始しました。AWSでは7月にアナウンスされたAuroraのpgvectorサポートなど生成系AI利用のための様々なアップデートがありましたが、Bedrockの一般提供開で生成系AIを使ったシステム開発がより強力に支援されるようになりました。 Google Cloudでは、Vertex AI Workbench
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
MLflow and PyTorch — Where Cutting Edge AI meets MLOps
The Pros and Cons of Running Apache Spark on Kubernetes - Spot.io
セールスフォース・ジャパン、CRM向け対話型AIアシスタントの日本市場提供予定が10月になる旨を発表
The Age of Machine Learning As Code Has Arrived
Github Copilot and ChatGPT alternatives
WeWork、破産申請…約7兆円が消し飛んだが、ベンチャーキャピタルは懲りていない【更新】
Delta Lake とは - Azure Databricks
Google Cloud Next '22で発表された全 123 項目 | Google Cloud 公式ブログ
SQLに力を：Databricks SQLにおけるPython UDFのご紹介 - Qiita
LLM推論のパフォーマンスエンジニアリング：ベストプラクティス - Qiita
第１回 金融データ活用チャレンジ | SIGNATE - Data Science Competition
ヘルスケアにおける大規模テキストデータへの自然言語処理の適用 - Qiita
Databricks、商用利用も可能なオープンソースLLM「Dolly 2.0」をリリース
Open Source: From Community to Commercialization | Andreessen Horowitz
Google Colab で Llama-2-7B のQLoRA ファインチューニングを試す｜npaka
DatabricksがMLflow機械学習プラットフォームをLinux Foundationに提供
顧客行動の予測モデルをアジャイル開発 「説明可能なAI」を利用したサービスとは
MosaicBERT: Pretraining BERT from Scratch for $20
Databricksで日本語DollyデータセットによるDollyのトレーニングを試す - Qiita
クラスメソッド データアナリティクス通信(機械学習編) – 2023年10月号 | DevelopersIO