AI開発・運用機能を強化するDatabricks、データ取り込みからAI活用まで一貫対応
米Databricks（データブリックス）の「Databricks」は、データプラットフォームの1つで、データが存在する場所でデータを活用できる機能をオールインワンで備えています。同社は「データインテリジェンスプラットフォーム」を標榜しており、特にAI（人工知能）開発・運用ができる基盤としての機能強化で先行しています。 国内ではこれまではApache Spark（以下、Spark）のクラウドサービスという印象が強かったものの、海外では実際にAI開発・運用基盤としての利用が活発です。Sparkの機能をクラウド上で利用したい場合、AIをはじめとしたデータ活用関連機能に利点を感じる場合、Databricksは有力な選択肢になるでしょう。 プラットフォームそのものをAIで革新 Databricksの特徴は、データ取り込みから可視化、AI活用まで一貫して対応している点です。データ取り込み、データ加工
[2024年3月版] Databricksのシステムアーキテクチャ
2024年3月版のDatabricksのシステムアーキテクチャについて説明します。
![[2024年3月版] Databricksのシステムアーキテクチャ](https://cdn-ak-scissors.b.st-hatena.com/image/square/cae49d5b931b91fb94c634fb5ad975665e3d8580/height=288;version=1;width=512/https%3A%2F%2Ffiles.speakerdeck.com%2Fpresentations%2F26ef4d8a0d294858afd1af47c099ee64%2Fslide_0.jpg%3F29708979)
Databricks におけるデータエンジニアリング
Databricksにおけるデータエンジニアリングについて説明します。
Sakana AI
概要 Sakana AIは進化や集合知などの自然界の原理を応用して基盤モデルを開発することを目指しています。私達の目標は、モデルを自ら訓練し開発することだけではありません。基盤モデルの開発を効率化、高度化、自動化するための新たな手法を生み出すことに挑戦しています。この目標に向けた第一歩として、私たちはプレプリント「Evolutionary Optimization of Model Merging Recipes （モデルマージの進化的最適化）」を公開しました。 このリリースの要点は以下の通りです。 進化的モデルマージという手法を提案します。これは、多様な能力を持つ幅広いオープンソースモデルを融合（マージ）して新たな基盤モデルを構築するための方法を、進化的アルゴリズムを用いて発見する手法です。私たちの手法は、ユーザーが指定した能力に長けた新しい基盤モデルを自動的に作成することができます。既
松尾研 LLM講座 講義コンテンツ | 東京大学松尾研究室 - Matsuo Lab
松尾研究室では複数のLLMに関する開発プロジェクトを推進しており、一緒に働いてくれる仲間を募集しています!! LLM研究者（特任研究員・特任助教・特任講師） [1] 効率的なLLMの学習方法に関する研究 [2] LLMの動作原理の理解 [3] LLMの社会的リスクに関する研究開発 [4] その他LLMの高度化や応用に関する研究 など。詳細はこちら LLM開発エンジニア（東京大学学術専門職員） [1] LLMのフルスクラッチ構築（1B〜100B），継続学習 [2] LLMの社会的リスクに関する研究開発 [3] 外部知識や外部ツールとの融合（LLM Agent） など。詳細はこちら その他全ての募集求人はこちら
36億パラメータの日本語言語モデルを公開しました
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog こんにちは。 LINEのNLP Foundation Devチームの清野舜と高瀬翔とoverlastです。 LINEでは2020年11月から日本語に特化した大規模言語モデル「HyperCLOVA」の構築と応用に関わる研究開発に取り組んできましたが、この「HyperCLOVA」と並行するかたちで複数の大規模言語モデルの研究開発プロジェクトが進行しています。 今回はそれらの研究開発プロジェクトのうち、我々を含むMassive LM開発ユニットから、日本語言語モデル「japanese-large-lm（ジャパニーズ ラージ エルエム）」をOSSとして公開できる状況になりましたので、本ブログを通じてお伝えすることにしました。 この記事
【Streamlitよりいいかも？】機械学習系のデモアプリ作成に最適！Gradio解説 - 学習する天然ニューラルネット
はじめに Streamlit vs Gradio Gradioの設計思想 Interface 入出力に応じたUI Interface String Shortcut 入力データのサンプルのセット ドキュメンテーション テーマの変更 タイムアウトへの対処 中級者への第一歩、デモを作る際に知っておきたい処理 Gradioが担当する前処理について プログレスバー もろもろの出力結果を保存するには？ 認証認可（というか認可） その他、解説しないが需要の有りそうなもの まとめ 追記 : 動画になりました。 はじめに 機械学習系のデモアプリを作成することがしばしばありStreamlitを使用していたが、パラメーターなどをいじるたびに処理が最初から走るなどといった挙動に悩まされていた。 同僚がGradioというのを使っていたのでサーベイがてらメモしていたらブログが出来上がってしまった。 本ブログでは、G
データ活用の強い味方「Databricks」で実現するデータ基盤構築・活用ポイント - Ｓｋｙ Presents. -｜IT勉強会・イベントならTECH PLAY［テックプレイ］
イベント内容 概要 ・データが複数の部署やシステムに分散されていて、保存先がバラバラ ・既存のDWH（データウェアハウス）のコストがかかりすぎている ・データのガバナンスがきいていない、品質が低い など...これらはDX推進をする上で直面する課題であり、現場のエンジニアやサイエンティストは悩み続けていると思います。 本勉強会では、そんなお悩みを抱えるみなさんに「Databricks」という一つの解決策を提示します。 DatabricksはDWHの分析力とデータレイクの拡張性を持ち合わせた新しいアーキテクチャで、データ取り込み/前処理/分析などの工程をオールインワン環境で実現できたり、 リアルタイムでの処理を可能にします。 今回はデータ/AIのリードカンパニーであるデータブリックス ジャパン社のシニアソリューションアーキテクトである弥生氏より、 Databricks活用のポイントや活用事例、
大規模言語モデル(LLM)の作り方 Megatron-DeepSpeed編 Part1
はじめに Turing 株式会社のリサーチチームでインターンをしている東京工業大学 B4 横田研究室の藤井(@okoge_kaz)です。 大規模言語モデル(Large Language Model: LLM)への注目がGPT-4のリリース以降高まっていますが、LLMを作るための知見は十分に共有されているとは言い難いと個人的に感じています。 Turingでは、Vision and Language, Video and Languageなどのマルチモーダルなモデルの研究開発を行っている一環として、Megatron-DeepSpeed, GPT-NeoXなどを用いて数十Bのモデルの学習を行う知見を蓄積しています。今回はLLMの事前学習を行う際に候補となるMegatron-DeepSpeedを用いてGPT-2-7B(6.6B)の学習をどのように行うのかについて解説します。 分散並列学習がどのよう
百花繚乱の大規模言語モデル その現状まとめ【2023年4月末版】
昨年末から急激に話題を呼んだChatGPT、その内部的なバージョンアップであるGPT-3.5とGPT-4はいずれもMicrosoftから強力な支援を受けた米OpenAIという企業が独占的に提供する大規模言語モデル（LLM）だ。 それに呼応するかのように、Meta社からはLLaMA（ラマ）がリリースされ、LLaMAをChatGPTとの1万3千回の会話データで微調整したAlpaca（アルパカ）、AlpacaをShareGPT（GPTとの会話を有志がオープンにしたもの）のデータで微調整したVicuna（ビクーニャ）といった派生モデルが次々と登場した。 しかし、LLaMAはMeta社の意向により「アカデミック用途限定」という縛りがある。またGPTの出力にはOpenAIの利用規定で「GPTの出力結果を元にGPTに対抗できる強力なAIを作ってはいけない」という制約があるため、AlpacaもVicuna
GPTの仕組みをちゃんと勉強したい本 - きしだのHatena
やっぱGPTを仕組みから勉強したい、という本をいくつか見つけたのでまとめておきます。 まず理論的な概要。 機械学習からニューラルネットワーク、CNNでの画像処理、トランスフォーマーでの自然言語処理、音声認識・合成、そしてそれらを組み合わせたマルチモーダルと章が進むので、理論的な概観を得るのにいいと思います。 最初は数式が多いのだけど、Σをfor文だと思いつつ、定義が説明文中に埋まってるPerlよりたちが悪い記号主体言語だと思えば読めるけどめんどくさいので飛ばしても問題ないと思います。 深層学習からマルチモーダル情報処理へ (AI/データサイエンスライブラリ“基礎から応用へ” 3) 作者:中山 英樹,二反田 篤史,田村 晃裕,井上 中順,牛久 祥孝サイエンス社Amazon で、もういきなり作る。 トークナイザーから全部つくっていきます。TensorFlowでBERTをつくってGPT2をつくる
レトロゲームエンジン「Pyxel」でドラクエ1つくってみた｜frenchbread
この記事は2024/6/27に全面的に修正しています。 Pyxel（ピクセル）というPython用レトロゲームエンジンがあります。 画面サイズ256x256で発色数は16色、サウンドはシンプルな波形の音色を最大4音まで発音可能、といったシンプルな仕様で、扱いやすいPythonのコードを用いた低学習コストのゲーム開発ができます。 最近になってWebアプリ化できるようになったため、開発した作品は誰にでも気軽にプレイしてもらえるようになりました。すごいですね。 Pyxelについては以下で詳しく紹介しているのでぜひご覧ください。 実は以前の私は愚かにもこれをそのままネットで公開してしまっていたのですが、「いやそれはさすがにダメでしょ」というご指摘を喰らいまくり、その後公開を取り下げています。 なので、「どんな出来栄えなの？」と興味をもっていただいても現時点ではプレイいただくことはでないのですが、公
無料・商用利用可なオープンソースの大規模言語モデル Dolly 2.0(dolly-v2-12b) を試してみた - Qiita
概要 大規模言語モデル Dolly 2.0 を試してみました。 公式ブログ に詳しく書いてありますが、 Alpaca、Koala、GPT4All、Vicuna など最近話題のモデルたちは 商用利用 にハードルがあったが、Dolly 2.0 は自社で準備した 15000件のデータで学習させたデータを使っているためそのハードルがなくなったようです。 ありがたいですね。さっそく試してみました。 2023/04/18 コード更新 Dolly 2.0モデルの独自パイプライン処理が本稿公開時(2023/04/13)から変更されているため、それに対応するよう本稿ソースコードも修正しました。 該当コード（変更後）
無料で商用利用も可能なオープンソースの大規模言語モデル「Dolly 2.0」をDatabricksが発表
2023年3月に大規模言語モデル(LLM)「Dolly」を公開したDatabricksが、わずか2週間で、初のオープンソースの命令追従型LLMだという「Dolly 2.0」を発表しました。 Free Dolly: Introducing the World's First Open and Commercially Viable Instruction-Tuned LLM - The Databricks Blog https://www.databricks.com/blog/2023/04/12/dolly-first-open-commercially-viable-instruction-tuned-llm Databricks releases Dolly 2.0, the first open, instruction-following LLM for commercial
ChatGPTを探す旅に出させていただきます | DevelopersIO
文書の数が多い場合、単語の種類(ボキャブラリ)も多くなり単語の次元が大幅に増えていきます。 一方、一つの文書に含まれる単語の数には限りがあるため、これは全体として疎行列になります。 また、単語が各次元として扱われますが、文書ごとの出現順序など、単語間での関連性を示す情報は抜け落ちたものとなります。 それに対して低次元(通常数百次元程度)の密な行列で単語の意味を定義する方法があります。 これは、「分散表現」や「埋め込み表現」と言われるものになっております。 この表現を獲得するため手法は様々なものがありますが、ここではWord2Vecを紹介します。 元論文 : Efficient Estimation of Word Representations in Vector Space 具体的な実装についての解説 : word2vec Parameter Learning Explained Wor
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
LLMの現在 - Speaker Deck
最近の話題にも詳しい14億パラメータの日本語LLMの公開
hiroshima(高精細)
Araneid | オモコロ
ChatGPT の概説 - Software Engineer じゃない方向け -
