SliceGPTを使って日本語LLMをPruningしてみる | 株式会社AI Shift
こんにちは AIチームの戸田です 今回はLLMを軽量化するPruningを行うライブラリ、SliceGPTを使って日本語LLMのPruningを試してみたいと思います。 SliceGPT LLMに限らず、大規模なニューラルネットワークのパラメータを圧縮する手法の一つにPruningがあります。日本語では「枝刈り」や「剪定」とも訳されており、重要ではないと思われるノード間の重みを削除することでパラメータ数を削減する手法です。こちらの論文などが有名です。 Pruningのイメージ PruningはLLMの圧縮手法として有効な手段なのですが、性能を維持するためにPruning後にRecovery fine-tuningという学習を行わなければならず、これがコストになるという課題がありました。SliceGPTはこのRecovery fine-tuning無しで90%以上の性能を維持したまま、最大2
GitHub - uezo/aiavatarkit: 🥰 Building AI-based conversational avatars lightning fast ⚡️💬
import logging from aiavatar import AIAvatar, WakewordListener GOOGLE_API_KEY = "YOUR_API_KEY" OPENAI_API_KEY = "YOUR_API_KEY" VV_URL = "http://127.0.0.1:50021" VV_SPEAKER = 46 # Configure root logger logger = logging.getLogger() logger.setLevel(logging.INFO) log_format = logging.Formatter("[%(levelname)s] %(asctime)s : %(message)s") streamHandler = logging.StreamHandler() streamHandler.setFormatt
Stable Diffusionでプロンプトを抽出できる「tagger」の導入方法・使い方
どんな呪文(プロンプト)を入力したらいいか分からない 画像から呪文(プロンプト)を出力したい Tagger（タガー）って何？ Taggerの使い方は？ 今回は、「Tagger」を使って画像から呪文(プロンプト)を一瞬で抽出し、画像生成がスムーズに行える方法をご紹介します。 この記事を最後まで読んでいただくと、呪文(プロンプト)に悩むことなく自分好みの画像を簡単に生成することができるようになりますので、是非参考にしてください！
FineWeb: decanting the web for the finest text data at scale - a Hugging Face Space by HuggingFaceFW
Discover amazing ML apps made by the community
Direct Preference Optimization: Your Language Model is Secretly a Reward Model
While large-scale unsupervised language models (LMs) learn broad world knowledge and some reasoning skills, achieving precise control of their behavior is difficult due to the completely unsupervised nature of their training. Existing methods for gaining such steerability collect human labels of the relative quality of model generations and fine-tune the unsupervised LM to align with these prefere
最近の7B小型日本語LLMはエージェントになれるのか？
あれから進化的マージの試行錯誤を繰り返していたが、ついに相当性能が高そうなモデルが生まれた。 Umievo-itr012-Gleipnir-7Bである。 umiyuki/Umievo-itr012-Gleipnir-7B · Hugging Face ElyzaTasks100の平均スコアは3.91に達して、ついにGPT-3.5Turboのスコア（3.88）を上回ってしまった。 ただし、スコアが上回ってるからと言って性能が勝ってるというわけではない事に注意して欲しい。例えるなら、身長が高いからと言って強いわけではないみたいな話である。 前回の記事では少し誤解を招く書き方だったかもしれないが、そもそも7Bの小型日本語LLMなんてのは基本的にドアホである。間違ってもChatGPTの代わりに使えるなんて考えてはいけない。 とは言うものの、単なるドアホではスコア3.91なんて取れないという事もまた
商用利用もOK。AI音声合成や膨大な音素材ライブラリも使える定番波形編集ソフト、SOUND FORGE Pro 18誕生｜DTMステーション
ドイツMAGIXから定番の波形編集ソフトの新バージョン、SOUND FORGE Pro 18およびSOUND FORGE Pro 18 Suiteがリリースされました。今回のバージョンアップの目玉はAIを利用した音声合成機能を搭載し、日本語でテキストを入力すると、非常にリアルで自然な声で、そして高音質なサウンドで喋り声が生成されることです。VOICEPEAKやVOICEVOX、A.I.Voice、CoeFont……などなど、ここ数年で急速に進化し、数々のソフトが出てきたTTS＝Text to Speech（音声読み上げソフト）の世界にSOUND FORGEが殴り込みをかけてきた格好です。しかも単なるTTSに留まらず、翻訳機能も搭載。これによって最大100言語へ翻訳して喋らせることも可能になっているため、グローバルなコンテンツ制作も可能になっています。 さらにStoryblocksという音素
生成AIによる「慣用表現の『乗っ取り』」と、その根底にある別の問題と - 渋谷駅前で働くデータサイエンティストのブログ
かなり前から「ChatGPTに学術論文を（英語で）書かせると"delve"のような普段使わないような単語が多く使われるのでバレやすい」という話がSNS以下各所で頻繁に噂されていたんですが*1、最近になってこの件について面白いpreprintが発表されていたのを知りました。それがこちらです。 もう読んで字の如しで「ChatGPTが登場して以来学術論文に使われる単語のレパートリーが劇的に変わってしまった」というのを、実際に具体的なデータに基づいて示した論文です。割と短めの読みやすい論文であることと、先述したようにSNSでは頻繁に噂されていた推測を明確化したということもあり、折角ですのでこのブログで簡単に紹介してみようと思います。 Preprintあげたのでご報告！📣 ChatGPTが使いがちな英単語ってありますよね。「delve」「realm」「utilize」あたり。 （限界助教先生の記事
もう初回コードレビューはAIに任せる時代になった - CodeRabbit -
どんな人向けの記事？ レビューによって心理的なダメージを受けやすい方 非エンジニアだが、エンジニアチームがどんな機能を作っているか知りたい方 業務が溜まっていて、レビューに割く時間を捻出するのに苦労している方 コピペできるコードも公開します 初回レビューをAIに任せると、いろんなロールの人の役に立つ レビューは得意ですか？ 優秀なエンジニアしかいないチームであれば、PRは1トピックに絞って小さく明確なコミットによって作成され、適切な要約とともに提供されることでしょう。 しかし、実際にはいろいろな制約から、PRが想定よりずっと大きくなってしまったり、関連トピックと異なるコードが混じってしまうこともあります。 実際のところ、大きなPRを適切にレビューするのは難しいことです。また、自分が詳しくない領域のレビューを行わなければいけない機会もあります。 今回の記事は、レビューを作成してくれるAI C
2日でファン限定支援サイトを作った話
はじめまして。新時代IP創出事業を手掛けるsaipと申します。 普段は社員3人のスタートアップ株式会社TrippyでCCO兼CTOを務め、生成I受託事業の傍ら、AIキャラクターとのゲーミフィケーションされたコミュニケーションが楽しめるアプリ「Oz-オズ-」を開発・運営しています。 最近、「Oz-オズ-」のキャラクターのプロモーションのためにXで発信し始めた漫画の後日譚的コンテンツがメンバーシップ制で楽しめる「Oz Fanz」というWebサイトを思い立って2日で公開しました。 この記事では、どのような技術スタックを用いてそのような高速開発が可能になったかを公開し、皆様からのご鞭撻をもとに、粗いシステムを改善していこうという魂胆です。私のWeb開発歴は1～2年くらいなので、かなり考慮漏れが存在しています。テストを一切書いていないなど…。 選定の方針 あまり資金に余裕がないので、コストを極力抑え
性格重視で結婚した夫婦の末路
5年ほど前、「顔もファッションも微妙、実家も微妙、学歴も収入も何もかも微妙だけど性格がいいんだよな〜性格が一番大事…性格が大事なんだ…」といい聞かせて、もっといい人いるかもなぁ、この人と結婚かぁ〜…とあまり盛り上がらず結婚した いちおう恋愛結婚ではある そしてなんとこの度、配偶者もまったく同じことに悩んでおり、不満タラタラながらも性格のよさ一点重視で結婚相手を選んでいたことが判明 運命だネ 普通に仲良いです 性格が気に入ってるから外見もなんだかかわいく見えてきたし、こちらの好みにも寄せてくれてる 結婚前にあれだけ悩んだ微妙感は払拭されて日常になった 学歴やら年収も見栄張れるほどはないけど、実際対外的に自慢することもないしこれで十分でした 思いやりがあって基本的に少しご機嫌な人間と住むのは最高です 自分で金を稼ぎ家事を分担してくれる犬が居たらこんな感じかなぁ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
大規模言語モデルの開発
Attention as an RNN
「行政デジタル人材育成 ヒアリング見聞録 第一. 地方自治体編 」
「Google 検索」でキャッシュ機能終了
『肉駅停車』
GitHub - ToonCrafter/ToonCrafter: a research paper for generative cartoon interpolation
ChatGPT-4oを専属マネージャーにしてサボり癖を直してもらった | ライフハッカー・ジャパン
NHK「魔改造の夜」“電動マッサージ器 25mドラッグレース”今夜19時30分から
GitHub - DwangoMediaVillage/pydomino: 日本語音声に対して音素ラベルをアラインメントするためのツールです