StableLMのファインチューニングってできるのかな？と調べたところ、GitHubのIssueで「モデル自体の性能がまだ良くないから、ファインチューニングの段階ではないよ」というコメントがありまして。 シートの中身を見てみるlm-evalシートstablelm-base-alpha-7bは54行目にありまして、確かに他の言語モデルと比較するとまだまだな性能のようです。応援したいですね。 シートの列の意味それぞれの列の意味については推定ですが以下の通りです。 RAM 言語モデルのGPUメモリ消費量。 lambada(ppl) LAMBADAデータセットによる測定値。ロングレンジの言語理解能力をテストする（文章全体を読まないと答えられないタスクでの評価）。PPLはPerplexityという指標で、モデルの予測の不確かさを示す。PPLが低いほど、モデルの予測精度が高い。 lambada(acc
南山大学で2023年12月5日に実施した「ソフトウェア工学特別講義 」の講義資料です。 アジェンダ: ・ 大規模言語モデル (LLM) とは？ ・NTT版大規模言語モデル tsuzumi のご紹介 ・プログラミングへの活用 ・プログラミングを超える範囲のソフトウェア開発タスクへの応用
【fabric】複雑なタスクをAIが自動化、人間の能力を拡張するオープンソースAIを使ってみた 2024 2/22 WEELメディア事業部LLMライターのゆうやです。 fabricは、誰でも人生や仕事を向上させるために使用できる、オープンソースAIフレームワークです。 このフレームワークは様々なタスクをパターン分けしており、文章の要約や動画の抽出といったタスクを簡単に実行できるほか、それらのパターンを組み合わせて高度なタスクをこなすこともできます。 以下の動画は実際に動作している様子です。 引用元：https://github.com/danielmiessler/fabric?tab=readme-ov-file#fabric-is-an-open-source-framework-for-augmenting-humans-using-ai fabricのGithubのスター数は、4,
この記事の主題ではないので簡単に説明しますが、PaaSへのアクセスを閉域化するのがPrivate Endpoint、PaaSからのアクセスを閉域化するのがVNet統合です。 非対応だった以前までの内容 では、登場人物全てが閉域化に対応しているのに、なぜ「Add your data」は閉域化できないのでしょうか。それはAzure OpenAIからCognitive Searchへの通信が執筆時点ではパブリックのみになっているからです。「Add your data」の仕組み図を閉域ネットワーク的に書き換えると以下の図のようになります。 ネットワーク閉域化をしている場合、インターネットからのアクセスを遮断するのでAzure OpenAIからのインターネット経由のアクセスができなくなります。そのため、執筆時点では「Add your data」は閉域化できないということになります。Azure Ope
LLMのRAG（外部知識検索による強化）についての調査結果が報告されています。 基本フレームワークと各構成要素の詳細、評価、そして今後の発展について言及されており網羅的です。 本記事では、その報告内容を抜粋してお届けします。 参照論文情報 タイトル：Retrieval-Augmented Generation for Large Language Models: A Survey 著者：Yunfan Gao, Yun Xiong, Xinyu Gao, Kangxiang Jia, Jinliu Pan, Yuxi Bi, Yi Dai, Jiawei Sun, Haofen Wang 所属：Tongji University, Fudan University URL：https://doi.org/10.48550/arXiv.2312.10997 本記事の関連研究：LLMにナレッジグ
GPT-4の半分以下の計算でほぼ同等なIQを持つパーソナルAI「Pi」と基盤モデル「Inflection-2.5」が登場
AI企業・Inflectionが開発している生成AI「Pi」は、ユーザーひとりひとりに最適化された「パーソナルAI」です。そんなPiの能力を飛躍的に向上させた基盤モデルである「Inflection-2.5」をInflectionが発表しました。 Inflection-2.5: meet the world's best personal AI https://inflection.ai/inflection-2-5 PiはAndroidやiOSのスマートフォン、ブラウザなどを通じて会話する事が可能なAIで、日本語にも対応しています。 Inflectionによると、Piはデイリーアクティブユーザー数100万人、月間アクティブユーザー数400万人の利用者を抱えているとのこと。また、平均会話時間は33分で、10人に1人は1時間以上話し込んだり、使ったユーザーの60％は翌週にまたPiを使っていたり
OpenAIのBatch APIを使ってお得にプロンプトを一括処理してみる - Taste of Tech Topics
はじめに こんにちは。データサイエンスチームYAMALEXのSsk1029Takashiです。 最近はOpenAIに日本支社が出来て、日本語対応が加速するというニュースにわくわくしています。 今回はそんなOpenAIから発表されたBatch APIという機能が便利、かつお得な機能だったのでどのように使えるのか試してみます。 Introducing the Batch API: save costs and get higher rate limits on async tasks (such as summarization, translation, and image classification). Just upload a file of bulk requests, receive results within 24 hours, and get 50% off API pri
最近オープンになる大規模言語モデル（LLM）が、軒並みGPT-4レベルの性能となっています Huggngfaceで無料でダウンロードできるのですが、問題は必要VRAM容量です 話題の、Command-r-Plusは、日本語性能について評価が高く、一部の性能はGPT-4並みと言われますが、さすがに大型で104Bパラメータもあるため、4bitに量子化しても60GB程度のVRAMが必要となります。 コンシューマークラスのGPUの最高峰、RTX4090は、VRAM24GBのため、command-r-plusをすべてGPUに載せて推論しようと考えると、3台のマルチGPUデスクトップが必要です しかし、RTX4090は450W消費のGPUのため冷却機構が大きく、1デスクトップに3台収めるのは至難の業となります。 先日、水冷ラジエーター付きRTX4090で、マルチGPUデスクトップを作成しました。 水冷
文科省は3月24日、「今後の教育課程、学習指導及び学習評価等の在り方に関する有識者検討会」の第3回を会場とオンラインのハイブリッドで開催し、慶應義塾大学の安宅和人教授がこれからの社会像や、求められる能力などについて話した。安宅教授は「人間を超えるAIが出てきており、AIの発達によって人とうまく関わる能力が、今後さらに重要になってくる」と強調した。委員からはそうした時代において生身の教師の存在意義を問う声が上がり、安宅教授は「リアルな体験やリアルな空間なしに、人間が育ったり、変容したりすることはない。だからこそ、生身の教師の存在は極めて重大だ」と指摘した。 安宅教授はChat GPTなどを例に、「今は人間を超えているAIが出てきている。特定のAIモデルでは、学習能力で一定の閾値を超えると劇的に性能が変わるという質的変化が起こり始めている。これは例えば語学学習である日を境に急に聞き取れるように
これは はてなエンジニアアドベントカレンダー2023 3日目の記事です。 はてなエンジニア Advent Calendar 2023 - Hatena Developer Blog はてなエンジニアのカレンダー | Advent Calendar 2023 - Qiita 昨日は id:pokutuna さんの blog.pokutuna.com でした。私も若い頃に同僚とGitHub上で白熱してしまい観光名所になってしまっていたような気がします。気を付けていきましょう。 さて、この記事では SQLiteでLinderaを使った日本語全文検索をする話を紹介します。 モチベーション laiso.hatenablog.com 上の記事でも話題になっているように個人開発ではDBのコストは問題です。同様に全文検索したいときにもコストに頭を悩ませているのではないでしょうか？ たとえば Amazon
GPTs のプロンプトリーキング対策｜ぬこぬこ
⚠️この記事を読んで得られる情報は、プロンプトリーキングに対する具体的な対策手法のみです。よく知られているプロンプトリーキング手法は既知の情報として一部掲載しますが、詳細な手法については言及しません。完全な対策は不可能という前提で「仮にすべてインターネットに流していいという情報」のみを Instruction プロンプトに記入＆ファイルのアップロードをしてください。すぐ陳腐化する可能性があるので、適宜更新していきます。 ⚠️また、この記事の情報を知った上で、どなたかの GPTs の情報経由で取得した情報を公開したり、人の悲しむ目的に利用することを禁止します。いい人だけ読んでください。 ⚠️カッチカチに対策を施した GPTs でも簡単にリーキングできてしまうので、そもそもプロンプトで対策できるものと思わないようにしましょう。 プロンプトリーキングとは？ Learn Prompting に準拠
What are the pre-requisites for this bootcamp? Our goal is to get you 100% caught up to state-of-the-art and ready to build and deploy LLM apps, no matter what your level of experience with machine learning is. Please enjoy, and email us, tweet us, or post in our Discord if you have any questions or feedback! Learn to Spell: Prompt Engineering High-level intuitions for prompting Tips and tricks fo
Googleが「人間の専門家レベルを超える最初のモデル」とする『Gemini』発表、GPT-4を凌駕 | AIDB
Googleは、人間の専門家のパフォーマンスを上回る最初の大規模言語モデル（LLM）として「Gemini」を発表しました。LLMの主要なベンチマークの一つであるMMLU（多領域の学術ベンチマーク）をはじめとするほとんどのベンチマークでGPT-4を凌駕しています。 Geminiは、画像、音声、動画の理解を含むマルチモーダルタスクでも最先端の性能を示しています。テストに使用された20のマルチモーダルベンチマーク全てで最高の水準を達成しています。 また、複数のソースからの情報を統合して、より正確で詳細に理解する能力に優れているとのことです。 なお、Ultra、Pro、Nanoの3つのサイズがあり、それぞれ異なる計算要件に特化して設計されています（例えばモバイル向けにはNanoなど）。Ultraは最も高度に複雑なタスクをこなし、研究報告では主にUltraの性能が他モデルと比較されています。 本記事
BERTのAttentionは何を見ているのか？
3つの要点 ✔️BERTのAttention機構の分析手法の提案 ✔️Attentin機構は全体的には区切り文字や[CLS]、[SEP]を見ている ✔️特定のAttention機構では「動詞とその目的語」、「名詞と修飾語」、「前置詞とその目的語」などの簡単な文法関係から、照応関係などの複雑な文法関係も獲得している 前書き 現在の自然言語処理ではTransformer以降、Attention機構を用いたモデルが流行となっています。その中でも最近はBERTなどの巨大な事前学習済みのモデルが大きな成功を収めています。 それらモデルが何を学習しているのかを分析する取り組みは行われてきましたが、モデルの出力自体や隠れ層でのベクトル表現に焦点を当てた分析手法が中心でした。 この論文では、Attention機構が何を見ているのかに焦点を当てたモデルの分析手法が提案されており、BERTのAttention
大規模言語モデルをフルスクラッチする練習 (環境構築ー前処理ー事前学習ーファインチューニングー評価まで)｜Kan Hatakeyama
はじめに以下のオープンなプロジェクトの一環で､大規模言語モデルをフルスクラッチで作る練習をします｡24年3月現在､協力者も募集中です｡ リポジトリ当該プロジェクトの標準コードが公開※されたので､それを走らせてみます｡ ※24/3/5時点で､まだレポジトリ内に､工事中の箇所が多々､あります｡ このリポ上では､事前学習ー事後学習ー評価まで､一気通貫(?)したパイプラインが提供されています※｡ 0. 環境構築プロジェクトの本番環境はクラウドですが､今回は手持ちのubuntuを使います｡ Dockerはお手軽な一方で､スパコン上で使うと､どうやら速度が落ちるらしいとの噂を聞いたので､condaで作ります(とはいえ､pipしか使わないので､pyenvでもいけると思います)｡ 必要なマシン適当なlinux: 例えばUbuntu 22.04.3 LTS GPU: 20 GBくらいは欲しいかも? ディスク
BitNetから始める量子化入門
はじめに BitNet、最近話題になっていますね。 そもそも量子化って何？という方もいると思うので、この記事は DeepLearning の量子化から入り、その上で BitNet の触りについて見ていこうと思います。色々とわかってないことがあり、誤読してそうなところはそう書いてるのでご了承ください。 図を作るのは面倒だったので、様々な偉大な先人様方の図やスライドを引用させていただきます。 量子化 DeepLearning における量子化 DeepLearning の学習・推論は基本 float32 で行います。これを int8 や Nbit に離散化することを量子化といいます。 計算に使う値は、モデルの重み、アクティベーション（ReLUとか通した後）、重みの勾配等があります。 学習時については一旦置いておいて、この記事では推論における量子化について焦点をあてます。推論時に量子化の対象となる
はじめに こんにちは、KDDIアジャイル開発センターのはしもと（仮名）です。 エンドレス水出しコーヒーの時期になりましたね。 今回は、Ollama を使って日本語に特化した大規模言語モデル Llama-3-ELYZA-JP-8B を動かす方法をご紹介します。 このモデルは、日本語の処理能力が高く、比較的軽量なので、ローカル環境での実行に適しています。さあその性能は如何ほどに！！！！？？？？はやくAIは俺から仕事を奪え。 Llama-3-ELYZA-JP-8Bとは Llama-3-ELYZA-JP-8Bは、ELYZA社が開発した日本語に特化した大規模言語モデルです。Meta社の「Llama 3」シリーズをベースに、日本語での追加学習を行っています。80億パラメータという比較的小さなモデルサイズながら、「GPT-3.5 Turbo」や「Claude 3 Haiku」、「Gemini 1.0 P
Open AIが開発した高性能チャットAI「ChatGPT」は、非常に高精度な会話が可能なことから大きな注目を集めています。そんなChatGPTのような「質問すると自然な文章で応じてくれるAI」をオープンソースで実現することを目指した「ChatRWKV」の開発が、ソフトウェア開発者のBlinkDL氏によって進められています。 GitHub - BlinkDL/ChatRWKV: ChatRWKV is like ChatGPT but powered by the RWKV (100% RNN) language model, and open source. https://github.com/BlinkDL/ChatRWKV ChatRWKVは、BlinkDL氏が開発した言語モデル「RWKV Language Model」をベースにしたチャットAIで、ユーザーが入力した文章に自然な言
1963年、群馬県生まれ。作家・ジャーナリスト、KDDI総合研究所・リサーチフェロー、情報セキュリティ大学院大学客員准教授。東京大学理学部物理学科卒業。同大学院理学系研究科を修了後、雑誌記者などを経てボストン大学に留学、マスコミ論を専攻。ニューヨークで新聞社勤務、慶應義塾大学メディア・コミュニケーション研究所などで教鞭を執った後、現職。著書に『ゼロからわかる量子コンピュータ』『仕事の未来～「ジョブ・オートメーション」の罠と「ギグ・エコノミー」の現実』『AIの衝撃～人工知能は人類の敵か』『ゲノム編集とは何か～「DNAのメス」クリスパーの衝撃』（いずれも講談社現代新書）、『「スパコン富岳」後の日本～科学技術立国は復活できるか』（中公新書ラクレ）、『ゲノム編集から始まる新世界～超先端バイオ技術がヒトとビジネスを変える』（朝日新聞出版）、『AIが人間を殺す日～車、医療、兵器に組み込まれる人工知能』
要点 日本語能力に優れビジネスにも安心して活用できる大規模言語モデルを公開 継続事前学習により大規模言語モデルの日本語能力を改善 高度な日本語処理が求められる多くの場面で、生成AI技術の利活用を推進 概要 東京工業大学（以下、東工大） 情報理工学院 情報工学系の岡崎直観教授と横田理央教授らの研究チームと国立研究開発法人 産業技術総合研究所（以下、産総研）は、日本語能力に優れた生成AIの基盤である大規模言語モデル[用語1]「Swallow」を公開した[参考リンク1]。本モデルは現在公開されている日本語に対応した大規模言語モデルとしては最大規模であり、オープンで商用利用が可能であるため、ビジネスに安心して用いることができる。 東工大と産総研の研究チームは、英語の言語理解や対話で高い能力を持つ大規模言語モデル（米Meta社 Llama 2）の日本語能力を拡張することで「Swallow」を構築した
プロンプトを遺伝的アルゴリズムで自動最適化するプロンプトエンジニアリング手法『Promptbreeder（プロンプトブリーダー）』 | AIDB
関連研究 ■GPT-4などのLLMに「自らの論理的な整合性をチェック」させるフレームワーク『LogiCoT』と実行プロンプト ■LLMの出力から誤り（ハルシネーション）を減らす新手法『CoVe（Chain-of-Verification）』と実行プロンプト ■LLMに自身のハルシネーション（幻覚）を「自覚」させ、減らす方法 従来の課題 手作りのプロンプト戦略 現在、プロンプトエンジニアリングの分野で広く用いられているChain-of-Thought（CoT）やその派生テクニックは、基本的には手作りです。特定のタスクや問題に対して最適なプロンプトを設計する際に、人の専門家が手動でプロンプトを生成しています。 自動化の必要性 手作りのアプローチは効果的である場合も多いですが、スケーラビリティに欠けるという問題があります。大規模言語モデル（LLM）が多様なタスクで使用される現代においては、プロン
AIが三国志を読んだら、孔明が知力100、関羽が武力99、を求められるのか？をガチで考える物語（自然言語処理編） - Qiita
吉川英治の「三国志」＠青空文庫をINPUTとして、 「自然言語処理」と「機械学習」によって上記のように、 武力や知力などのパラメータを推論する。 三国志小説の機械学習結果として、 １つの武将を５０次元ベクトルに変換し、そのベクトルを、 全く同じ「式」に入れて出てきた値が、上記の表。 このような方法：「小説(自然言語)」⇒「数値化」⇒「式」 によって、武力/知力を求めることが出来るか？ という実験＆研究が今回のテーマ。 他の成果としては、 以下のような武将名の「演算」が楽しめる。 （これも実際の出力結果より抜粋） 諸葛亮に近い人は誰？ ⇒ 姜維、司馬懿、陸遜、周瑜、魏延、馬謖 劉備にとっての関羽は、曹操にとって誰？ ⇒ 袁紹、張遼 ※若いころの馴染み的な意味や対比が多いので袁紹？ 孫権にとっての魯粛は、劉備にとって誰？ ⇒ 司馬徽（水鏡先生）、徐庶 ※賢者を紹介するポジションなのか？ 精度の
PDFやWord、Excelファイルを読み込み、レイアウトなどはそのまま内容だけを翻訳。Google Translation APIに新機能
PDFやWord、Excelファイルを読み込み、レイアウトなどはそのまま内容だけを翻訳。Google Translation APIに新機能 Googleは、機械学習を用いて翻訳を行う「Translation API」の新機能として、PDF、Word、Excel、PowerPointのファイルを読み込み、レイアウトなどを保ちつつ内容だけを別の言語へ翻訳して出力する「Document Translation」を発表しました。 With Translation API Advanced, translate documents in100+ languages & formats such as Docx, PPTx, XLSx & PDF while preserving document formatting. Learn more about this new feature added
Gemma - Google が提供する最先端の軽量オープンモデル ファミリー。 | Google AI for Developers
フィードバックを送信 コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。
国産LLM初、AIエージェントとして使える「KARAKURI LM 8x7B Instruct v0.1」を一般公開 | KARAKURI
トップ セミナー・お知らせ お知らせの記事一覧 国産LLM初、AIエージェントとして使える「KARAKURI LM 8x7B Instruct v0.1」を一般公開 ～6月20日・21日開催の AWS Summit 2024 で初披露～ カスタマーサポートDXを推進するカラクリ株式会社（東京都中央区：代表取締役CEO 小田志門、以下カラクリ）は、6月20日に国産LLMの中で初めて※1Function callingとRAGに対応した「KARAKURI LM 8x7B Instruct v0.1」を公開いたします。本対応により、「KARAKURI LM 8x7B Instruct v0.1」は様々なアプリケーションを人間に代わって操作するAIエージェント※2としての活用が可能です。そのため生成AIをビジネス実装をする際に、従来の国産モデルであれば必要だった「業界・企業特有のタスクのプログラミ
画像生成AI「Stable Diffusion」を4GBのGPUでも動作OK＆自分の絵柄を学習させるなどいろいろな機能を簡単にGoogle ColaboやWindowsで動かせる決定版「Stable Diffusion web UI(AUTOMATIC1111版)」インストール方法まとめ
(2022/09/22 17:52更新)画像生成AI「Stable Diffusion」を簡単に利用するための実行環境の1つである「Stable Diffusion web UI」のコントリビューター(開発貢献者)の1人であるAUTOMATIC1111氏が、フォークではないものの同名で「機能全部盛り」なStable Diffusion web UI(AUTOMATIC1111版)の開発を進めています。 GitHub - AUTOMATIC1111/stable-diffusion-webui: Stable Diffusion web UI https://github.com/AUTOMATIC1111/stable-diffusion-webui ◆目次 1：AUTOMATIC1111版Stable Diffusion web UIでできること・対応していること 2：Google Co
インストールが完了したらアドレスバーに chrome://flags と入力して設定画面を開きます。以下の 2 つのフラグを設定します。 Enables optimization guide on device: Enabled BypassPerfRequirement Prompt API for Gemini Nano: Enabled また、あらかじめ Gemini Nano のモデルをダウンロードしておく必要があります。アドレスバーに chrome://components/ と入力して Optimization Guide On Device Model の「アップデートを確認」をクリックします。 Gemini Nano を使ってみる それでは、Gemini Nano を使ってみましょう。以下のコードをコンソールに貼り付けて実行します。 const canCreate = aw
Prompt library
Explore optimized prompts for a breadth of business and personal tasks. User-submitted prompts have dark backgrounds with light colored icons (currently, there are none). You can submit prompts via our prompt submission form.
Description
「オープンソースは脅威」「勝者はMeta」「OpenAIは重要ではない」などと記されたGoogleのAI関連内部文書が流出
2022年から2023年にかけて、OpenAIが「GPT-4」を、Metaが「LLaMA」を、Stability AIが「StableLM」を発表するなど、大規模言語モデル(LLM)の開発競争が1年間で激化しました。同様に大規模言語モデルの「LaMDA」を開発してしのぎを削ろうとするGoogleが、競合他社を分析し、オープンソースの脅威について詳細を記した内部資料が、Discordの公開サーバーから流出しました。 Google "We Have No Moat, And Neither Does OpenAI" https://www.semianalysis.com/p/google-we-have-no-moat-and-neither 対話型AIの知名度を爆発的に高めた「ChatGPT」を開発するOpenAIは、対話型AIの分野で頂点に立っているとも分析できますが、Googleは「G
AGIラボは、最高のAI情報をお届けするためのマガジン・コミュニティです。GPTsを筆頭にClaude 3やSoraなど注目のAIについても詳しく解説、今日から使えるAI活用情報を一番わかりやすくお伝えします。他に限定コミュニティへのアクセス、限定イベントへの参加権が含まれます。
Prompt: Epic anime artwork of a wizard atop a mountain at night casting a cosmic spell into the dark sky that says "Stable Diffusion 3" made out of colorful energy Announcing Stable Diffusion 3 in early preview, our most capable text-to-image model with greatly improved performance in multi-subject prompts, image quality, and spelling abilities. While the model is not yet broadly available, today,
Bing Chat の感情分析があまりにも凄いので驚いた・『池上線』 西島三重子 - シロッコの青空ぶろぐ
ランキング参加中GPT 目次 感情分析の改良 【感情の数値化】 【数値化の根拠】 喜び: 悲しみ: 怒り: 恐れ: 驚き: 嫌悪: 罪悪感: 愛情: 希望: 焦り: 【感情分析結果の文章表現】 【作者の意図】 【ごめんねと言ったのは誰】 【あなたは二度と来ないのね、と思った理由】 【感想】 感情分析依頼のプロンプト まとめ 20230/03/07 追記 注意すべきこと 感情分析の改良 先にChatGPTに歌詞の感情分析をさせた結果を書きました。 過去の名曲に込められた感情をChatGPTが解説 - しろっこブログ その後、感情分析を指示するプロンプトを改良したところ、驚くべき結果が返ってきたので、結果を報告します。 感情分析の指示をしたのは以下の西島三重子さんの『池上線』（1978年） です。 歌詞は以下のサイトで見ることができ、曲も聞くことができます。 www.uta-net.com 感
日本音響学会 学生・若手フォーラム Advent Calendar 2023 24日目 Suno AI とは、歌詞と曲のスタイル（と曲名）を指定するだけで、自動で歌詞入りの楽曲を作成してくれる生成 AI サービスです。 Suno AI 最近ではこのほかにも様々な音楽生成AIが発表されていますが、 Suno AI が特にバズっている要因はおそらく歌詞入力という他サービスではあまり無い UI と、 ボーカルが付加されることにより生成楽曲の面白さが格段に上がる点が大きいのではないでしょうか。 Suno AI 自体の使い方や詳細は多くのブログで紹介されているため特に取り上げる必要はないかと思いますが、 本記事では技術者の観点から Suno AI のようなシステムをどのようにすれば作れるか具体的に解説します。 個人的には Suno AI について、以下のような所見を持っています。 Suno AI は
米Microsoftら、“コーディング専用”大規模言語モデル「WizardCoder」開発 文章から高品質なコード出力
このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 Twitter: ＠shiropen2 米Microsoftや香港浸会大学に所属する研究者らが発表した論文「WizardCoder: Empowering Code Large Language Models with Evol-Instruct」は、米Hugging Faceが5月に発表したCode LLM（コーディング専用大規模言語モデル）「StarCoder」を軽量で高精度に強化する手法を提案した研究報告である。リポジトリはこちら。 コード生成に関連する課題に取り組むため、多数のCode LLMが提案されている。これらのCode LLMは、大量のコードデータを使用して事前学
日本語形態素解析器 MeCab を Python から利用する際の語彙データ（UniDic）が AWS 上で Open Data として公開されました | Amazon Web Services
Amazon Web Services ブログ 日本語形態素解析器 MeCab を Python から利用する際の語彙データ（UniDic）が AWS 上で Open Data として公開されました 多くの機械学習デベロッパーの方々が、AWS 上でさまざまなアルゴリズムの開発やモデルの構築を行なっています。中でも自然言語処理を行う際には、対象言語の特性に即した形で前処理を行う必要があります。日本語の自然言語処理を実施する際には、形態素解析と呼ばれる文章の分解処理を前位処理として一般的に行います。日本語形態素解析を行うためには、日本語の語彙データが必要となりますが、このデータは通常 GB 以上のサイズに及ぶ大きなサイズとなります。またこれらを用いた計算の際にも大量の GPU および CPU を必要とするため、従来こうしたモデルを構築する際には常にストレージおよびコンピューティングのリソースの
Make-A-Video by Meta AI
Make-A-Video is a state-of-the-art AI system that generates videos from text. Make-A-Video research builds on the recent progress made in text-to-image generation technology built to enable text-to-video generation. The system uses images with descriptions to learn what the world looks like and how it is often described. It also uses unlabeled videos to learn how the world moves. With this data, M
無料・商用利用可なオープンソースの大規模言語モデル Dolly 2.0(dolly-v2-12b) を試してみた - Qiita
概要 大規模言語モデル Dolly 2.0 を試してみました。 公式ブログ に詳しく書いてありますが、 Alpaca、Koala、GPT4All、Vicuna など最近話題のモデルたちは 商用利用 にハードルがあったが、Dolly 2.0 は自社で準備した 15000件のデータで学習させたデータを使っているためそのハードルがなくなったようです。 ありがたいですね。さっそく試してみました。 2023/04/18 コード更新 Dolly 2.0モデルの独自パイプライン処理が本稿公開時(2023/04/13)から変更されているため、それに対応するよう本稿ソースコードも修正しました。 該当コード（変更後）
音声認識モデルwhisperの全モデル文字起こし比較 - 毎日がEveryday、日々 Day by Day
OpenAIの音声認識モデルWhiper、いやー、まじですごすぎて感動しました。 配信中のpodcast番組 白金鉱業.FMを頑張って文字起こしするために、この記事とか、この記事とかでかなり真面目に既存文字起こしAPIの精度などを比較していましたが、もう今回は比べるまでもなく本当に雲泥の差です。ほぼ一言一句正確に文字起こしできます。GCP, AWS, Azureの文字起こしAPIは文字起こし精度が体感30~60%くらいでしたが、whisperは90%超えている印象です。もう笑うしかないです。 最初に結論 インストール 実行方法 結果 tinyモデルの結果 baseモデルの結果 smallモデルの結果 mediumモデルの結果 largeモデルの結果 まとめ 追記 カタカナ英語 完全制覇 whisperくん せんでんせんでん 最初に結論 whisperは異なるモデルサイズが5種が利用可能であ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
大規模言語モデル間の性能比較まとめ｜mah_lab / 西見 公宏
大規模言語モデルとそのソフトウェア開発に向けた応用
【fabric】複雑なタスクをAIが自動化、人間の能力を拡張するオープンソースAIを使ってみた | WEEL
Azure OpenAIの「Add your data」で出来ること出来ないこと
LLMのRAG（外部知識検索による強化）をまとめた調査報告 | AIDB
自宅PCでクラスターを構築：コンシューマーGPUの枠を超え、大型LLMをローカルで動かす！｜AIサトシ
人間を超えるAI時代「問いベースの教育に」 安宅和人慶應大教授
SQLiteでLinderaを使った日本語全文検索 - *iroi*
The Full Stack - LLM Bootcamp - Spring 2023
「よーしパパ、Ollama で Llama-3-ELYZA-JP-8B 動かしちゃうぞー」 - Qiita
ChatGPTに似た動作を目指すオープンソースのチャットAI「ChatRWKV」
AIの権威すら「生成AI」を恐れるのは、意識を生み出す「創発」が起きているから
日本語に強い大規模言語モデル「Swallow」を公開 英語が得意な大規模言語モデルに日本語を教える
大規模言語モデルが“目”を持つとどうなる？ グーグルによるデモの内容は
Chrome の 組み込み AI Gemini Nano を試してみる
Generative AI for Beginners
GPT-4を超えた。 Geminiの使い方とその性能を解説｜ChatGPT研究所
Stable Diffusion 3 — Stability AI
Suno AI の作り方 (技術者の観点から) · あらゆる現実のはなし