近年、各企業がこぞって開発を進めている大規模言語モデルで、ある問題が指摘されている。同モデルを訓練するために必要な質のよい大量のデータが、早ければ2026年にも枯渇するというのだ。 by Tammy Xu2022.11.29 33 13 大規模言語モデルは現在、人工知能（AI）研究で特に活気ある分野の1つだ。各社は、理路整然とした記事のみならず、コンピューター・プログラムすら書くことのできる「GPT-3」のようなプログラムを競ってリリースしようとしている。だがAIの将来を予測しているチームによると、今、差し迫った問題があるという。それは、モデルを訓練するためのデータが枯渇するかもしれないという問題だ。 言語モデルは、ウィキペディアやニュース記事、科学論文、書籍などの情報源の文章を使って訓練される。近年は、正確性や汎用性の向上を目的に、モデルを訓練するためのデータをさらに増やそうという傾向が
実践 Rails アソシエーションリファクタリング / Rails association refactoring in practice
Kaigi on Rails 2022 https://kaigionrails.org/2022/ https://kaigionrails.org/2022/talks/kei-s/
[Stable Diffusion] Depth-to-Imageモデルを学習なしで特定のドメインに適応させる
はじめに こんにちは。なんかです。 早速本題に入ります。 [2023/01/20追記] この記事で説明しているDepth-to-Imageモデルのドメイン適応と、適応したモデルのAUTOMATIC1111さんのWebUIでの使用が行えるColab Notebookを公開しました。 こんな感じで使えます Depth-to-Imageモデルの説明 StabilityAIが公開したStable Diffusion V2系のモデルの中に、depthモデルというものがあります。 このモデルができることは、一般的なStable Diffusionのimg2imgができることと基本的には同じで、画像とテキストを入力とし、入力された画像スタイルをテキストの指示に従って変換する、というものです。 まずは、一般的なモデル（ここではWaifu Diffusion V1.4 Epoch1を使用しています）のimg
![[Stable Diffusion] Depth-to-Imageモデルを学習なしで特定のドメインに適応させる](https://cdn-ak-scissors.b.st-hatena.com/image/square/557803d2f73ed08279c214c042240feb7a85e731/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--L-Kt5bdX--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3A%25255BStable%252520Diffusion%25255D%252520Depth-to-Image%2525E3%252583%2525A2%2525E3%252583%252587%2525E3%252583%2525AB%2525E3%252582%252592%2525E5%2525AD%2525A6%2525E7%2525BF%252592%2525E3%252581%2525AA%2525E3%252581%252597%2525E3%252581%2525A7%2525E7%252589%2525B9%2525E5%2525AE%25259A%2525E3%252581%2525AE%2525E3%252583%252589%2525E3%252583%2525A1%2525E3%252582%2525A4%2525E3%252583%2525B3%2525E3%252581%2525AB%2525E9%252581%2525A9%2525E5%2525BF%25259C%2525E3%252581%252595%2525E3%252581%25259B%2525E3%252582%25258B%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_37%3A%2525E3%252581%2525AA%2525E3%252582%252593%2525E3%252581%25258B%252Cx_203%252Cy_98%2Fg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyL2IxYzFjNmI4ZGUuanBlZw%3D%3D%252Cr_max%252Cw_90%252Cx_87%252Cy_72%2Fog-base.png)
Rails for backend of fresh EC platform "Cookpad Mart"
2020.05.13に開催された「オンライン開催！【シューマイ】Tech Lead Engineerから最新技術を学べ！Rails編」で話した「生鮮ECプラットフォームの バックエンドを支えるRails」についてのスライドです。
最近，因果推論や因果探索に興味を持ち，勉強している．というのも最近，ゆううきさん と一緒に分散システムの異常の原因を即時に診断するための研究を進めている．原因を診断するためのアプローチとして，サーバやコンテナ等から取得できる様々なメトリック（CPU使用率やメモリ使用率など）を（グラフ理論における）ノードとして，因果グラフを構築することを考えている．メトリック同士の単なる「相関」ではなく，結果と原因の関係である「因果」を捉えようとするアプローチである．例えば，システムの障害が発生した場合，相関だけでは，AとBが関連がありそうというところまでしか言えないが，因果を特定できると理想的には，Aの原因はBであるといった議論ができるため，有用だと考えている． 実際に，前述のような因果グラフを構築して障害の原因を特定しようというアプローチは，以下の例に挙げるようにここ数年で増えている印象がある． 「Mi
時系列データのモデリングとして、以下のような手法がメジャーかなと思います。 ARIMA Prophet 状態空間モデル RNN LSTM DeepAR 今回は、2021年に発表された比較的新しい手法であるGreykiteのご紹介をしていきます。 注意：本記事は2022年11月時点の情報をもとに記載しております。ライブラリの変更等により本記事の記載内容が古くなる可能性がありますが、ご了承ください。 Greykiteとは? LinkedInが2021年にOSSとして公開した時系列予測モデルです。機械学習分野の国際会議であるKDD2022でも発表されたようです。 KDD2022よりLinkedInによる時系列予測OSS Greykite (https://t.co/wpsCnuak2t) の紹介論文。コアとなるSilverkiteというアルゴリズムの紹介が中心で解釈可能性と速度が売り。Proph
package main import ( "go_example/model" "net/http" "time" "github.com/labstack/echo" "github.com/objectbox/objectbox-go/objectbox" ) func main() { e := echo.New() e.POST("/add", addFavorite) e.Logger.Fatal(e.Start(":1323")) } func addFavorite(c echo.Context) error { favorite := new(AddFavoriteRequest) // データ受け取り if error := c.Bind(favorite); error != nil { return error } // initialize ob := initO
人工知能（AI）研究の第一人者として知られる東京大学の松尾豊教授の研究室は18日、生成AIの基盤技術である「大規模言語モデル（LLM）」を開発したと発表した。日本語と英語に対応し、外部の研究者らが利用できるよう無償で公開した。日本の生成AI活用を後押しする。 米オープンAIの「Chat（チャット）GPT」などのLLMは主に英語の文章を学習しているため、日本語よりも英語で生成される文章の方が精度
GitHub - tloen/alpaca-lora: Instruct-tune LLaMA on consumer hardware
🤗 Try the pretrained model out here, courtesy of a GPU grant from Huggingface! Users have created a Discord server for discussion and support here 4/14: Chansung Park's GPT4-Alpaca adapters: #340 This repository contains code for reproducing the Stanford Alpaca results using low-rank adaptation (LoRA). We provide an Instruct model of similar quality to text-davinci-003 that can run on a Raspberry
概要 このページでは、日本語Wikipediaを対象に情報通信研究機構 データ駆動知能システム研究センターで事前学習を行ったBERTモデルをクリエイティブ・コモンズ 表示 4.0 国際ライセンス (CC BY 4.0)のもとで公開しています。 BERTモデル [1] の学習では、バッチサイズやステップ数を増やすことで性能が向上することが報告されています [2]。そこで本ページのモデルでは、[2] のRoBERTa-500Kと同等の計算量となるよう、ステップ数を [1] と同様に100万に保ちつつ、バッチサイズを [1] の16倍の4,096にして学習を行いました。 作成したBERTモデルの評価として、NICTで作成した (fine-tuning用) 学習データと評価データ (これらのデータは大規模Web情報分析システムWISDOM X、対災害SNS情報分析システムDISAANA、災害状況要
大阪Ruby会議02での発表スライドです
400円で買える「上空10000ftの景色」でプラモが大空を飛ぶ！ | nippper ニッパーを握るすべての人と、モケイの楽しさをシェアするサイト
飛行機とかロボットとか、空を飛ぶもののプラモを飾るのって難しい。飛行機の車輪が出ていれば「地上にいますよ」という記号になるし、ロボットが大地を踏みしめていると「ううむ、あのビュンビュン飛び回っていた姿はどこへ……」となることがあります。 そういうときにのためにプラモメーカー各社から「ディスプレイスタンド」というのが売られているのですが、だいたい空を飛んでいるものが棒で支えられているという模型的なウソが発生しますので、「せめて台座は目立たないようにしよう」ということで、慎ましい透明とかグレーとか白といった無彩色のものがほとんどです（例えばジオン軍、連邦軍のマークなど、ディスプレイスタンドまでが一体化して主張するように設計されたものもあるにはありますが、飾るものが最初から想定されているからこそ、こういう商品が企画できるんですよね）。 で、今回紹介するのがBANDAI SPIRITSのカスタマイ
Scikit-Learn でモデルカードを作成してクラウドにデプロイする方法 | Google Cloud 公式ブログ
※この投稿は米国時間 2020 年 10 月 17 日に、Google Cloud blog に投稿されたものの抄訳です。 機械学習モデルは、多数の難しいタスクを遂行するために使用されるようになりました。大きな可能性を秘める ML モデルですが、その使用方法、構成、制限に関して疑問も寄せられています。そうした疑問に対する回答を文書化することで状況が明確になり、共通の理解を得ることができます。これらの目標を達成するために、Google はモデルカードを導入しました。 モデルカードの目的は、機械学習モデルの全体像を簡潔に提供することです。まず、モデルカードはそのモデルの機能、意図するユーザー層、その管理者について説明します。また、アーキテクチャや使用されているトレーニング データなど、モデルの構成に関する情報も提供します。さらに、生のパフォーマンス指標だけでなく、モデルの制限とリスク緩和の機会
Dataset Japanese subset of the mC4 dataset Training Trained for 3000 steps on top of the MPT 7b checkpoint mosaicml/mpt-7b How to load Before running this model, please install the following pip package: pip install einops To load the model, run the following command. from transformers import AutoModelForCausalLM model_name = "lightblue/japanese-mpt-7b" model = AutoModelForCausalLM.from_pretrained
2023年1月現在Stable Diffusionで美少女イラスト生成に使えるモデルを紹介します。 基本的に学習モデルの収集はここから行っています。 Models - Hugging FaceWe’re on a journey to advance and democratize artificial intelligence through open source and open science.huggingface.co hugging face AI版Github。5gbくらいある学習モデルも数分でダウンロードできるサーバーに、一部モデルのDEMOサイト用のGPUを提供している。これがなぜ無料で使えるのかわからないが、噂によるとAI業界のGithubという触れ込みで各企業からお金を集めているらしい。 ソート欄からLikeが多い順に並べ替えてください。 ここで紹介しているものはS
R&D チームの奥村（@izariuo440）です。相変わらず深層学習モデルの推論に取り組んでいます。深層学習モデルの推論器として二年前に ONNX Runtime を軽くレビューしましたが、当時と比較するとかなり進歩しており、ONNX Runtime だけでなく ONNX 自体や関連ソフトウェアも成熟が進んでいるので、備忘録として私がお世話になっているものをかいつまんで紹介します。 OPTiM TECH BLOG Advent Calendar 2020 12/18 の記事です。 ONNX や ONNX Runtime は二年前の記事で少し解説しています。必要に応じてご参照ください。 tech-blog.optim.co.jp ONNX チュートリアル ONNX Model Zoo オプティマイザ その他 ONNX 関連のソフトウェア ONNX Runtime onnx-tensorrt
KDD 2019 | 150 successful Machine Learning models: 6 lessons learned at Booking.com
150 successful Machine Learning models: 6 lessons learned at Booking.com Booking.com is the world’s largest online travel agent where millions of guests find their accommodation and millions of accommodation providers list their properties including hotels, apartments, bed and breakfasts, guest houses, and more. During the last years we have applied Machine Learning to improve the experience of ou
23新卒技術研修で実施したデータマネジメント研修の講義資料です。 動画：https://youtu.be/94U_sMinA8Q 資料の利用について 公開している資料は勉強会や企業の研修などで自由にご利用頂いて大丈夫ですが、以下の形での利用だけご遠慮ください。 ・受講者から参加費や授業料などを集める形での利用（会場費や飲食費など勉強会運営に必要な実費を集めるのは問題ありません） ・出典を削除または改変しての利用
GitHub - EleutherAI/gpt-neo: An implementation of model parallel GPT-2 and GPT-3-style models using the mesh-tensorflow library.
*As of August, 2021 code is no longer maintained. It is preserved here in archival form for people who wish to continue to use it. 🎉 1T or bust my dudes 🎉 An implementation of model & data parallel GPT3-like models using the mesh-tensorflow library. If you're just here to play with our pre-trained models, we strongly recommend you try out the HuggingFace Transformer integration. Training and inf
LINEヤフーは4月10日、LINEのプロフィールで遊べる「LINEプロフィールスタジオ」で、顔写真をアップロードすると、物語の主人公になったかのような3DキャラクターのビジュアルイメージをAIが生成する「AI 3Dキャラ」の提供を始めた。250LINEコイン（600円前後）で利用できる。 自分の顔写真を8～12枚登録すると、自分に似た3DキャラクターのビジュアルイメージをAIが60枚生成。スポーツ選手やお城の王子・王女など、6種類の世界観の中で“自分”の姿を見ることができる。 生成されたイメージはLINEのプロフィールに設定できるほか、画像としてダウンロード可能。トークルームの背景やSNSなどで共有できる。 LINEバージョン13.11.0以降で対応する。 関連記事 「AIアバター」流行 顔写真アップで“似てるけど美しい自分”に会える 480円で試したリアル報告 「AIアバター」がSNS
Introduction The deployment of machine learning models is the process for making your models available in production environments, where they can provide predictions to other software systems. It is only once models are deployed to production that they start adding value, making deployment a crucial step. However, there is complexity in the deployment of machine learning models. This post aims to
【Unity】Model-View-(Reactive)Presenterパターンとは何なのか - Qiita
はじめに 今回はUnityにおける「Model-View-(Reactive)Presenterパターン」とは何なのかについて解説します。 対象読者 Unity開発者 UniRxを使うことができる UnityにおけるGUI周りの実装に困っている GUI周りの設計パターン Model-View-(Reactive)Presenterパターン（略してMV(R)Pパターン）とは、UnityにおけるGUI周りの設計パターンの一種です。 「GUI」とはいわゆる「ユーザインターフェース」のことで、ゲーム中における「画面上に表示される情報」や「メニュー」や「ボタン」といったものを指します。 （ざっくりいえば、uGUIのことだと思って下さい） GUI周りの実装手法というものはUnityに限らず、複雑になりがちな難しい部分です。 そのためいろいろな設計パターンが考案されてきました。 代表的なもので言えばMV
GitHub - openai/gpt-3: GPT-3: Language Models are Few-Shot Learners
arXiv link Recent work has demonstrated substantial gains on many NLP tasks and benchmarks by pre-training on a large corpus of text followed by fine-tuning on a specific task. While typically task-agnostic in architecture, this method still requires task-specific fine-tuning datasets of thousands or tens of thousands of examples. By contrast, humans can generally perform a new language task from
NEC、日本市場向け生成AIを開発・提供開始
NECは、Generative AI(生成AI)による産業の変化に合わせた日本企業の新しい企業価値創造への挑戦に向けて、お客様に合わせてカスタマイズ可能な生成AIを開発し、LLM(Large Language Model:大規模言語モデル)のライセンスから日本市場のニーズに合わせた専用ハードウェア、ソフトウェア、コンサルティングサービスなどを提供する「NEC Generative AI Service」を今月から順次提供を開始します。 また、NECの知見とお客様のナレッジを連携させ、お客様と共に、そのお客様向けのモデル作成や、LLM活用のためのソフトウェア整備、組織立ち上げなどを包括的に支援するお客様向けプログラム「NEC Generative AI Advanced Customer Program」を約10の企業・大学と共に立ち上げました。 なお、研究者やAIへの指示を的確に行うプロン
AI is undergoing a paradigm shift with the rise of models (e.g., BERT, DALL-E, GPT-3) that are trained on broad data at scale and are adaptable to a wide range of downstream tasks. We call these models foundation models to underscore their critically central yet incomplete character. This report provides a thorough account of the opportunities and risks of foundation models, ranging from their cap
西浦博北海道大学大学院教授インタビュー／聞き手・構成 川端裕人（作家） ＊この記事は６月12日（金）にYahoo!ニュースに配信したものです。 https://news.yahoo.co.jp/articles/602a038dc47f6aa1a3952ba5f318888f50cc0713 「これまで目標としてきた流行の制御はできたわけですが、課題もたくさん残されていますし、コミュニケーション上、誤解を解かなければならない部分もあります。何より、今後のことで心配なこともいくつかありますから」 前編「厚労省のビルから北大の研究室に戻るにあたり伝えたいこと」に続き、西浦が、今「コロナ禍」の体験を共有するすべての人たちに伝えたいことをまとめる。 兵隊ではなく司令官が言わないと 「反省点であり、誤解を解いておきたいことがあります。それは、引き締めと励ましにかかわるコミュニケーションの問題です」
GitHub - karpathy/llama2.c: Inference Llama 2 in one file of pure C
Have you ever wanted to inference a baby Llama 2 model in pure C? No? Well, now you can! Train the Llama 2 LLM architecture in PyTorch then inference it with one simple 700-line C file (run.c). You might think that you need many billion parameter LLMs to do anything useful, but in fact very small LLMs can have surprisingly strong performance if you make the domain narrow enough (ref: TinyStories p
未組立プラモ写真家。稀に組む。山登る。からぱたへのお問い合わせ、文章・写真・DJ・飲酒のオファーはkpata82@gmail.comまでどうぞ。
Date: June 23, 2023 | Estimated Reading Time: 31 min | Author: Lilian Weng Building agents with LLM (large language model) as its core controller is a cool concept. Several proof-of-concepts demos, such as AutoGPT, GPT-Engineer and BabyAGI, serve as inspiring examples. The potentiality of LLM extends beyond generating well-written copies, stories, essays and programs; it can be framed as a powerfu
ML models often exhibit unexpectedly poor behavior when they are deployed in real-world domains. We identify underspecification as a key reason for these failures. An ML pipeline is underspecified when it can return many predictors with equivalently strong held-out performance in the training domain. Underspecification is common in modern ML pipelines, such as those based on deep learning. Predict
GitHub - kingoflolz/mesh-transformer-jax: Model parallel transformers in JAX and Haiku
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
東京大学発のスタートアップ企業であるLightblue（ライトブルー）は、公開モデルとしては国内最大規模の67億パラメーターの日本語大規模言語モデルを開発し、オープンソース・ソフトウェアとして公開した。ライセンスはApache 2.0。 この言語モデルは、米モザイクML （MosaicML）が公開した多言語大規模言語モデル「MPT-7B」を基にしたもの。グーグルが開発した多言語データセット「MC4」をアレン人工知能研究所（Allen Institute for AI）がそれぞれの言語ごとに利用可能にしたサブセットの日本語部分を使って追加学習した。 Lightblueは、今回公開したモデルを法人向けに提供する。業界用語や部署特有の専門用語、慣習などに合わせて訓練・調整することで、企業や部署によって異なる要望に応じるという。加えて、自社サービスの提供も予定しているとのことだ。 （笹田） 6人気
はじめに今回は、 単純マージ、階層マージとは何か 筆者が実際にやっている階層マージの方法 の2本立てです。 前半部分は単純マージと階層マージの説明になります。 後半部分は階層マージの基本的な操作方法と、とーふ流モデル階層マージについてご紹介したいと思います。 階層マージって何？難しくない？という方、ちょっと待ってください！ 一見難しそうですが、実際は全体を見ると単純です。 是非、階層マージにチャレンジしてみてください。 マージについてマージとは、とても簡単に説明すると、複数の学習モデルに対して、係数（重み付け）を掛けて、モデルを混合（マージ）させることを指します。 画像生成AIにおける学習モデルのマージには、大きく2つに分かれており、単純マージと階層マージがあります。 単純マージとは単純マージは、重み付き平均法を用いた加重補間、差分補間（Model BとModel Cの差分をModel A
米メタが人工知能（AI）向けのIT（情報技術）インフラ投資を再拡大し始めた。リストラのため2023年は設備投資などの資本的支出（CAPEX）を減らしていたが、24年は再び増やして300億〜370億ドル（約4.4兆〜5.5兆円）を投じる。マーク・ザッカーバーグ最高経営責任者（CEO）は「完全な汎用知能の実現を目指す」と明言している。前年よりも減ったものの、設備投資自体は23年も巨額だった。同社が
150 successful machine learning models: 6 lessons learned at Booking.com | the morning paper
the morning paper a random walk through Computer Science research, by Adrian Colyer Made delightfully fast by strattic 150 successful machine learning models: 6 lessons learned at Booking.com Bernadi et al., KDD’19 Here’s a paper that will reward careful study for many organisations. We’ve previously looked at the deep penetration of machine learning models in the product stacks of leading compani
May 15, 2024OpenAI’s Rules for Model Behavior, Better Brain-Controlled Robots, AlphaFold 3 Covers All Biochemistry, AI Oasis in the Desert The Batch AI News and Insights: In the last couple of days, Google announced a doubling of Gemini Pro 1.5's input context window from 1 million to 2 million tokens, and OpenAI released GPT-4o...
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
大規模言語AIにアキレス腱、訓練用データが2026年にも枯渇か
グラフィカルモデルに基づく因果探索手法の調査 - Fire Engine
LinkedInが開発した時系列モデル“Greykite”の理論と実装 - ぱぐみの部屋
【第10回】Go言語（Golang）入門～ObjectBox活用編～ – 株式会社ライトコード
生成AIの基盤技術を無償公開 東大・松尾教授の研究室 - 日本経済新聞
NICT BERT 日本語 Pre-trained モデル
単一画像から高品質3Dオブジェクトを生成できるAIモデル「Stable Zero123」
Concerns about Concerns
lightblue/japanese-mpt-7b · Hugging Face
【2023年版】Stable Diffusion イラスト生成モデル紹介・一覧
ONNX 2020 - OPTiM TECH BLOG
データマネジメント研修【MIXI 23新卒技術研修】
顔写真から3Dの「AIキャラ」、物語の主人公風に生成 「LINEプロフィールスタジオ」で
How to Deploy Machine Learning Models
https://www.databricks.com/blog/category/generative-ai/mosaic-research
On the Opportunities and Risks of Foundation Models
LlamaIndex - LlamaIndex
「8割おじさん」のクラスター対策班戦記【後編】～次の大規模流行に備え、どうしても伝えたいこと｜科学｜中央公論.jp
【やじうまPC Watch】 18mの実物大ガンダムを動かすプロジェクトの進捗がロボット学会で公開
完成させたらもったいない！組まずに学ぶ「ル・マン24h 優勝の秘訣」。 | 超音速備忘録
LLM Powered Autonomous Agents
Underspecification Presents Challenges for Credibility in Modern Machine Learning
東大発スタートアップ、67億パラメーターの日本語LLMをOSSで公開
階層マージのやり方ととーふ流のモデル階層マージを徹底解説（階層マージ基礎編）｜とーふのかけら
メタが桁違いのAIインフラ構築 「完全な汎用知能」へ - 日本経済新聞
The Batch | DeepLearning.AI | AI News & Insights
hee.hatenablog.com
realsound.jp
www.roomie.jp
nazology.net
www.asagei.com
www.sponichi.co.jp