LLMのファインチューニング で 何ができて 何ができないのか｜npaka
LLMのファインチューニングで何ができて、何ができないのかまとめました。 1. LLMのファインチューニングLLMのファインチューニングの目的は、「特定のアプリケーションのニーズとデータに基づいて、モデルの出力の品質を向上させること」にあります。 OpenAIのドキュメントには、次のように記述されています。 ファインチューニングは、プロンプトに収まるよりも多くの例で学習することで、Few-Shot学習を改善します。一度モデルをファインチューニングすれば、プロンプトにそれほど多くの例を提供する必要がなくなります。これにより、コストを削減し、低レイテンシのリクエストを可能にします。 しかし実際には、それよりもかなり複雑です。 LLMには「大量のデータを投げれば自動的に解決する」ような創発的な特性があるため、ファインチューニングもそのように機能すると人々は考えていますが、必ずしもそうではありませ
ChatGPTを業務に組み込むためのハンズオン.pdf
ChatGPTを業務に組み込むためのハンズオン 2023/06/26 一般公開用 デジタル庁 Fact&Data Unit 大杉直也 ↑マイナンバー交付数のダッシュボードを作っているところです 「Microsoft でテストされたアイデアのうち、改善を示すメトリクスを実際に改善できたのは3分の1にすぎない」 (Microsoft社 元Vice President) 「もしあなたが実験主導のチームにいるなら、70%の仕事が捨てられることに慣れてください。それに応じてプロセスを構築しましょう」(Slack社 Director) A/Bテスト実践ガイド p14より 一方で 「アイデアの価値を見積もることは難しい。このケースでは、年間１億ドルの価値ある単純な変更が何か月も遅れていた。」(同著 p5より) こともあります 午前中のアイデアソンで出たアイデアはちゃんと検証するまで価値があるかは不明です
文章生成AI利活用に関するガイドライン.pdf
文章生成AI 利活用 ガイドライン Version 2.0 令和6年（2024年）4月 東京都デジタルサービス局 2 はじめに このガイドラインは、東京都で初めてとなる文章生成AI の利活用ガイドラインです。 ChatGPTをはじめとする文章生成AIは、都職員の業務 のあり方を大きく変革する可能性を秘めている一方、 様々なリスクも指摘されています。このため、業務での 活用にあたり期待する効果を得るためには、その特性を よく理解し、正しく利用することが重要です。 東京都では、デジタルサービス局に検討プロジェクト チームを設置して、文章生成AIの利活用について議論を 重ね、令和5年８月、検討の成果をガイドライン （Version 1.0）としてまとめ、文章生成AIの全庁利用 を開始しました。 その後、10月に利用状況についてアンケートを行った ところ、活用事例やプロンプト例を求める声が多かった
中小企業のＡＩ活用促進について（METI/経済産業省）
これからAI導入にチャレンジする企業向け ① AI導入ガイドブック 構想検討パンフレット ※これからAIにチャレンジする企業は、まずコチラ！ AI取組領域検討のためのワークシート ② AI導入ガイドブック 需要予測（製造） ③ AI導入ガイドブック 予知保全 ④ AI導入ガイドブック 加工図面の自動見積もり 社内にAI人材・IT人材を保有している企業向け ⑤ AI導入ガイドブック 需要予測（小売り、卸業） ⑥ AI導入ガイドブック 外観検査（部品、良品のみ） ⑦ AI導入ガイドブック 外観検査（部品、不良品あり） その他 AI導入ガイドブック 概要版（背景と課題意識） 2019年度 戦略的基盤技術高度化・連携支援事業(中小企業のAI活用促進に関する調査事業)調査報告書 2020年度 戦略的基盤技術高度化・連携支援事業(中小企業のAI活用促進に関する調査事業)調査報告書 別紙１ 別紙２ 関連
生成AI用Cognitive Searchの言語アナライザーを日本語にしたい - Qiita
6/22時点の課題 先日(6/19)発表されたAzure OpenAIのAdd your dataの機能を使うと簡単に独自データと連携できることを前回の記事で記載しました。「Upload files」を使うと手元にあるPDFをアップロードするだけで、チャンク分割からインデックス作成までワンクリックで自動実行され、GPTと連携することができます。 しかし、Add your data経由でCognitive Searchのインデックスを自動作成した場合、いくつかの課題があります。 [検索精度] Add your data経由でインデックスを作ると、contentフィールドの言語アナライザーが英語(デフォルト)になり、Cognitive Search自身の日本語の検索精度が少し悪い。使えないことは無いけど本番化にあたってはもう少し頑張ってほしいレベル。 [更新の自動化] Cognitive Se
Azure OpenAIの「Add your data」で出来ること出来ないこと
この記事の主題ではないので簡単に説明しますが、PaaSへのアクセスを閉域化するのがPrivate Endpoint、PaaSからのアクセスを閉域化するのがVNet統合です。 非対応だった以前までの内容 では、登場人物全てが閉域化に対応しているのに、なぜ「Add your data」は閉域化できないのでしょうか。それはAzure OpenAIからCognitive Searchへの通信が執筆時点ではパブリックのみになっているからです。「Add your data」の仕組み図を閉域ネットワーク的に書き換えると以下の図のようになります。 ネットワーク閉域化をしている場合、インターネットからのアクセスを遮断するのでAzure OpenAIからのインターネット経由のアクセスができなくなります。そのため、執筆時点では「Add your data」は閉域化できないということになります。Azure Ope
生成AI活用の試行錯誤〜Ubie社での取り組み〜｜masa_kazama
生成AIChatGPTをはじめとするGenerativeAI(生成AI)は、テレビや新聞で見ない日はないくらいに話題になっています。YouTubeでも芸人さんがChatGPTを紹介する動画が多数出ています。（個人的に、芸人かまいたちの「ChatGPTに漫才を作ってもらう」という動画が好きです。） 企業でも、ソフトバンクやNTTなどの大企業が、会社を上げて生成AIの開発・活用をしていくと発表しています。行政においても、横須賀市やつくば市が生成AIを積極的に業務に取り入れようとしています。今後ますます多くの企業・行政・個人が生成AIを活用していくと思います。 このブログ記事では、AI×医療のベンチャー企業Ubieでの生成AI活用の試行錯誤してきた取り組み事例をご紹介します。今後の生成AI活用に少しでもご参考になれば幸いです。（プロダクトへの活用はまだ検証中なため、生成AIによる社内生産性向上の
Azure OpenAI Service を検証目的で使い始めるまでにやったことまとめ | DevelopersIO
Azure OpenAI Service を利用するための申請内容やチーム内の利用ルールを検討するために調べたことや対応したことをまとめました。作成した利用ルールの説明会の内容についても記載します。 以前に Azure OpanAI Service を検証目的で利用するための準備をする機会があったため、利用申請前に確認したことや利用のためにルール化したことを本ブログにまとめたいと思います。また、実施した利用ルールの説明会の内容についても記載します。 前提条件 導入・導入の前提条件は下記でした。 Azure AD は社内で導入済み Azure サブスクリプションは社内で払い出されたものを利用 チームの複数人が検証用途で Azure OpenAI Service を利用 Azure OpenAI を利用するサブスクリプションと Azure AD ユーザーとの信頼関係が既にある状態です。 もし組
第2回 LLM 勉強会
2023年6月19日（月）に国立情報学研究所にて第2回 LLM 勉強会を開催しました。 プログラム 勉強会の運営に関する議論（黒橋） NII からの話題提供（相澤） [資料] NICT の活動報告（鳥澤） [資料] ABCI トライアルの報告（坂口） [資料] レトリバからの話題提供（西鳥羽） [資料] サイバーエージェントからの話題提供（石上・佐々木） mdx プロジェクトに関する議論（ポリシー、各WGの進捗報告、mdx 利用方法）（河原・空閑） [資料1] [資料2] 参加者 現地15名・オンライン50名程度
20230614_「ChatGPTについて調べてくれ」と社長から特命を受けた人のためのChatGPT概論(40min版)
https://forest.f2ff.jp/introduction/7866?project_id=20230601
ChatGPT In Action #2 大規模言語モデルが作るあたらしい顧客体験
# イベント概要 大規模言語モデル(LLM)を実際にプロダクトや実務に役立つ形で利用している各社が見た使いどころや、実践の上での工夫について学びあうためのイベント第二弾。今回のテーマは、「大規模言語モデルがつくる新しい顧客体験」 # 開催時刻 5/30 夜19:00-21:00 # タイムテーブル |時間 |タイトル|登壇者| |---|---|---| |19:00-19:10 | オープニング・挨拶 | 広木大地 | |19:10-19:20 | 機械学習エンジニアから見るプロダクト開発におけるLLM | LayerX 松村 優也 | |19:20-19:30 | ビジュアルコラボレーションツールにおけるAI活用 | グッドパッチ 西山 雄也 | |19:30-19:40 | 経営管理×AIが変える経営の未来 | ログラス 坂本龍太 |
生産性を圧倒的に向上できるオススメChatGPTプラグイン3選｜梶谷健人 / 新著「生成AI時代を勝ち抜く事業・組織のつくり方」
新しくリリースされたChatGPTプラグインを使うことで、世界中の最新ニュースや研究論文を効率的に知ることができたり、高度なSEO分析、高クオリティな画像生成AIのプロンプトを自動で生成、動画の自動生成などなど、今までChatGPT単体ではできなかったことが簡単に実現可能になっている。 ここではそんな便利なChatGPTプラグインの中でも、特に業務効率化に役立つプラグインを3つ紹介する。 基礎）ChatGPTプラグインの導入方法Chat GPTプラグインを使用できるのは、現時点では有料版のChatGPT Plusを利用している方限定になっている。 実際にプラグインの導入方法と使用方法について解説する。 すでにこの方法はご存知という方はこのセクションはスキップして頂いて結構だ。 ChatGPT Plusに登録している状態で、画面左下にあるSettingsのBeta featuresからPlu
第1回 LLM 勉強会
2023年5月15日（月）に国立情報学研究所にて初回となる LLM 勉強会を開催しました。 プログラム 勉強会の趣旨、国の動向など [資料] 黒橋禎夫（国立情報学研究所） 現状の LLM のサーベイ [資料] 河原大輔（早稲田大学） 菅原朔（国立情報学研究所） 栗田修平（理化学研究所） 各機関での試みの紹介 河原大輔（早稲田大学）[資料] 坂口慶祐（東北大学） 佐藤敏紀（LINE） 高村大也（産業技術総合研究所） 参加者 乾健太郎（東北大学・オンライン参加） 鈴木潤（東北大学・オンライン参加） 坂口慶祐（東北大学） 高村大也（産業技術総合研究所） 石垣達也（産業技術総合研究所・オンライン参加） 栗田修平（理化学研究所） 吉野幸一郎（理化学研究所・オンライン参加） 鶴岡慶雅（東京大学）（資料提供のみ） 宮尾祐介（東京大学） 谷中瞳（東京大学・オンライン参加） 吉永直樹（東京大学・オンライン参
大学の授業でチャットGPTをどう扱うかについての覚え書き
１ はじめに 前回このブログを使ったのは3年前のちょうどこの時期のようです。コロナ禍で少し遅れてオンラインで授業が始まって、授業準備をしているときにコロナ関連の情報をまとめておこうと思って書いた記事でした。で、その後3年がたち、コロナ禍は一応区切りを迎えているわけですが、新学期の授業を始めるにあたっていろいろ考えなければならないという意味ではそのときと同じような状況が（もちろんいろんな意味で位置づけは違うのですが）再び…。 ということで、チャットGPTの話です。すでによく知られているようにこのアプリが登場したのは昨年11月、時期的には2022年度後期にすでに広まっていた可能性はあったし、実際アメリカの大学では一足早くレポートでの利用なんかが問題になったりしましたが、実質的にはこの4月から始まる2023年度が、日本の大学にとってチャットGPT元年ということになるのだと思います。 具体的な話に
Building LLM applications for production
[Hacker News discussion, LinkedIn discussion, Twitter thread] A question that I’ve been asked a lot recently is how large language models (LLMs) will change machine learning workflows. After working with several companies who are working with LLM applications and personally going down a rabbit hole building my applications, I realized two things: It’s easy to make something cool with LLMs, but ver
【徹底解説】これからのエンジニアの必携スキル、プロンプトエンジニアリングの手引「Prompt Engineering Guide」を読んでまとめてみた | DevelopersIO
【徹底解説】これからのエンジニアの必携スキル、プロンプトエンジニアリングの手引「Prompt Engineering Guide」を読んでまとめてみた こんにちは。CX 事業本部 Delivery 部のきんじょーです。 ここのところChatGPT と戯れてアプリを作ったり、様々なプロンプトの検証をしていましたが、言語モデルの性能を最大限に引き出すために、体系的にプロンプトエンジニアリングを学びたいと考えていました。 GitHub に「Prompt Engineering Guide」という素晴らしいリポジトリがあったので、読んで検証した内容をブログにまとめていきます。 本記事は、執筆時点の上記リポジトリの内容を元にしていますが、意訳や独自に検証した日本語のプロンプトを含みます。 上記リポジトリも絶賛開発中の段階のため、最新情報や原文が気になる方はリポジトリを直接参照してください。 目次 プ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://www.meti.go.jp/meti_lib/report/2020FY/000245.pdf
0421DS協会_ChatGPTによって描かれる未来とAI開発の変遷.pdf
Pulumi AI
AIへの指示を、誰でも簡単に
