LLM-jp (LLM 勉強会)は、日本語と英語を中心に事前学習した130億パラメータの大規模言語モデルをオープンなライセンスで公開しました。また、インストラクションデータでチューニングしたモデルや訓練・チューニングに用いたソフトウェアも公開しており、今後データセット等も順次公開していきます。詳細は以下のページをご覧ください。 プレスリリース(国立情報学研究所) 公開しているモデル・コーパス・ツール LLM-jp-13B 構築・公開に貢献した方々
はじめに 科学分野の5択問題を解くLLMの精度を競うKaggle - LLM Science Exam というkaggleコンペが2023/10/11まで開催されていました。 コンペ終了後に公開された上位チームの解法からたくさん学びがあったので、備忘録も兼ねてまとめていきたいと思います。 コンペ概要 問題文(prompt)とA~Eの選択肢(option)が与えられ、それを解くモデルの精度を競うコンペでした。 テストデータはSTEM分野のWikipedia記事からGPT3.5に作成させたことがDataタブで明言されていました。 上位チーム解法まとめ 1. Approach 全てのチームが、問題の生成元となった記事をwikiテキストデータセットから検索(Retrieval)し、関連するテキスト(context)もモデルに入力するRAGと呼ばれるアプローチを採用していました。 RAGを行わないと
OpenAIは、ChatGPTでインターネットにリアルタイムでアクセスして、情報源へのダイレクトリンクを表示できるウェブブラウジング機能を、米国時間9月27日付の「X」(旧Twitter)への投稿で発表していた。ただしこの時点では、この追加機能は「ChatGPT Plus」と「ChatGPT Enterprise」に加入している有料版ユーザーにのみ、ベータ版という形で提供されていた。 これにより、有料版ユーザーはChatGPTをベータモードに切り替えることで、2021年9月以前の情報にしかアクセスできないという制限から解放されていた。 OpenAIは10月17日、ブラウジング機能がベータ版から移行したことをリリースノートで明らかにした。これにより、ブラウジング機能にアクセスするのにベータモードに切り替える必要がなくなり、有料版ユーザーにとっての使い勝手が向上した。 有料版ユーザーが行うべき
自動文字起こしサービスである、OpenAIの「Whisper API」とAWSの「Amazon Transcribe」の精度を比較してみた はじめに 今回は、OpenAIのWhisper APIとAmazon Transcribeという2つの音声文字起こしサービスを試し、それぞれの精度を比較してみました。 Amazon Transcribeは、音声をテキストに変換する自動音声認識サービスです。 ストリーミングとバッチ処理のどちらでも文字起こしが可能です。 攻撃的な言葉を指定すると、Amazon Transcribeがそれらの言葉を文字起こしから自動的に削除する語彙フィルタリングなどの機能もあります。 Amazon Transcribeの詳細は、下記の記事をご参考ください。 OpenAIには音声をテキストに変換する「Whisper」という音声認識モデルがあり、WhisperをAPIの形で呼び
「GitHub Copilot 導入時に考えたセキュリティのあれこれ」というタイトルで登壇したのは、freee株式会社のただただし氏。タイミー社主催の「GitHub Copilotで拓く開発生産性」で、「GitHub Copilot 」を全社一斉導入する際に考えるべきセキュリティリスクについて発表しました。 freee株式会社 PSIRT マネージャーのただただし氏 ただただし氏:freee株式会社のただただしと申します。 今日は、「GitHub Copilot 導入時に考えたセキュリティのあれこれ」ということで、Copilotのセキュリティリスクについて語るわけですが、考えてみたら、GitHubの中の人を前にこんなことをしゃべるのは相当大胆な話だと思います。最後にいいことで締めるのでちょっと我慢してください。 自己紹介をいたします。ただただしと申します。PSIRTという組織でマネージャー
このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」(シームレス)を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 Twitter: @shiropen2 米スタンフォード大学、米ノースウェスタン大学、米コーネル大学に所属する研究者らが発表した論文「Can large language models provide useful feedback on research papers? A large-scale empirical analysis」は、大規模言語モデル(LLM)が研究論文の査読を行えるかを調査した研究報告である。この検証のため、論文の査読を自動で行うシステムと、LLMによる査読コメントと人間による査読コメントとの間の共通点を探るシステムを開発した。 学術雑誌に投稿される研究
こんにちは。機械学習グループの深澤(@fukkaa1225)です。 先日、Amazon Bedrock が一般利用できるよう(GA)になりました 。本記事ではこちらを用いて RAG(Retrieval-augmented generation) アプリケーションを作成してみた様子と、他 LLM モデルとの比較結果についてご紹介します。 Amazon Bedrock とは aws.amazon.com 公式サイトより文言を引用します。 Amazon Bedrock は、Amazon や主要な AI スタートアップ企業が提供する基盤モデル (FM) を API を通じて利用できるようにする完全マネージド型サービスです。そのため、さまざまな FM から選択して、ユースケースに最も適したモデルを見つけることができます。Amazon Bedrock のサーバーレスエクスペリエンスにより、すぐに FM
産業技術総合研究所と東京工業大学、国立情報学研究所などは、世界トップレベルの大規模言語モデル(LLM)の構築に着手した。まずはパラメーター数が1750億個のLLMを構築して経験を蓄える。オープンに利用できるモデルになる。これを踏み台に、世界トップレベルのLLMを構築して公開していく。 情報学研が主宰する勉強会「LLM―jp」と東工大が開発主体となり、産総研の人工知能(AI)向けスパコン「ABCI」を利用してLLMを構築する。1750億パラメーターは米オープンAIが2020年に発表したLLM「GPT―3」と同規模になる。 学習データと学習プロセスを日本で管理できるため、透明性の高いLLMになる。誤情報などが生成される仕組みを押さえられる。学習原理の解明や生成系AIのロボット応用などに展開していく。
【StreamingLLM】トークン数400万、小説40冊を読み込める無限LLM 2023 10/19 皆さん、StreamingLLMというLLM用のアプリケーションをご存知ですか? LLMで無限に入力ができることを可能にしたツールなんです!LLMを日々使い倒している弊社としては、衝撃のツールなんですよ。 GitHubでも4500超えのスターを獲得しており、徐々に注目が集まっています。AIオタクであれば、知らなかったなんてことないですよね。 このStreamingLLMを使えば、対話型でLLMを動かすことができ、モデルが質問の都度、リアルタイムで応答を生成してくれます。 というわけで、今回はStreamingLLMの使い方や、実際に使ってみた感想などをご紹介します。 この記事を最後まで読むと、StreamingLLMを使いこなすことができ、LLMとのリアルタイムの会話も可能になります!
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く