大規模言語モデル (LLM) をはじめとする巨大なDNNモデルでは、計算量の削減のためsparseなアーキテクチャが使われることがあります。本講演では、このようなsparseなDNNモデルに対する分散学習の手法について解説します。12/20の
以下の記事が面白かったので、簡単にまとめました。 ・GaLore: Advancing Large Model Training on Consumer-grade Hardware 1. GaLore「GaLore」は、「NVIDIA RTX 4090」などの家庭用GPU上で、Llamaなどの最大7Bパラメータを持つモデルの学習を容易にします。これは、学習プロセス中のオプティマイザの状態と勾配に従来関連付けられていたメモリ要件を大幅に削減することによって実現されます。 2. オプティマイザ状態でのメモリ効率オプティマイザ状態は、特にAdamのような適応最適化アルゴリズムでは、モデルの学習中のメモリフットプリントの重要な部分を占めます。「GaLore」は、オプティマイザによって処理される前に、勾配を低次元の部分空間に投影することでこの問題に対処します。これにより、これらの状態を保存するため
はじめに 株式会社Elithの大森一祥です。AIテックカンパニーの一員として、お客様の課題をAIを駆使して解決しています。 大規模言語モデル(LLM)が人間と匹敵する性能を発揮することもあり、弊社には多岐にわたるプロジェクトの依頼が寄せられています。最近は、情報漏洩のリスクを回避するため、独自のLLMの開発を希望されることが多いです。このような案件では、一般に公開されたモデル(ローカルLLM)を利用します。 ローカルLLMを活用して課題を解決する方法として、以下の4つが挙げられます。 プロンプトエンジニアリング:LLMに特定の出力を生成させるための入力文の工夫する手法 RAG:外部の文章データベースから、質問に類似した文章を取り出しLLMの入力として用いる手法 インストラクションチューニング:ユーザの指示に沿った出力を生成することを目的としたチューニング手法 継続事前学習:LLMモデルに対
Claude 3 Opus 楽しいですね。 GPT-4が出てから1年、個人的な趣味としてGPT-4にたまに自分用に創作をしてもらっていたのですが、過去にGPT-4とやってきたタスクでClaude 3 OpusとGPT-4両方に出力させ比較してみました。 30のタスクで人間(私)、GPT-4、Claudeの3者で結果を比較評価しました。多数決した結果はGPT-4の勝利でしたが、体感的にはほぼ互角、Claude 3 Opusはたまに絶対にGPT-4には出せなそうな出力をするのが面白い、という感想です。 今回使ったprompt、モデルの出力、評価結果、モデルによる評価判断の出力はすべてこのGoogleスプレッドシートで共有してますので、興味ある方は眺めてみてください。 数が多いので、もし見る方はこの辺りを見るのがおすすめです。 No.1「恋愛ゲームのバッドエンド会話」 No.12「ユニークなファ
東京に拠点を置くAI企業「Sakana AI」が、複数の生成AIモデルを進化的アルゴリズムを用いて組み合わせて新たなモデルを作り出す手法を開発しました。Sakana AIはすでに大規模言語モデルや画像生成モデルの作成に成功しており、各モデルは既存のモデルよりも高い性能を備えていることが確かめられています。 進化的アルゴリズムによる基盤モデルの構築 https://sakana.ai/evolutionary-model-merge-jp/ [2403.13187] Evolutionary Optimization of Model Merging Recipes https://arxiv.org/abs/2403.13187 ◆技術の概要 生成AIモデルをゼロから作成するには、高性能なGPUを大量に用意して膨大な計算処理を実行する必要があります。一方で、既存のモデル同士を組み合わせて新
こんにちは、協業DXでMLエンジニアをしている「ふる」です。 LLMに対してエージェントを利用した取り組みとその精度向上に対して得た知見を記事にしたいと思います。 これからLLMに求められる役割 今現在、ChatGPT4、Claude 3、Geminiなど様々な基盤となるLLMが存在し、会話を通じて、コーディング・マーケティング・わからない単語を調べるなど様々なタスクの補助をしながら仕事を遂行されてる方が多いと思います。しかし、LLMは「非常に優秀な他人」であるため、我々のことを察して話すようなことは難しく、ユーザーの背景をしっかりと教えてあげながら会話する必要があります。従って、我々の背景をしっかり察することができ、一連の会話を連続して実行し、ユーザーのより好ましい形で返信することが次世代のLLMの使われ方だと思ってます。実際に、Advanced Data Analysis(旧 Code
2022年11月にOpenAIが公開したAIチャットボット「ChatGPT」は、多くの企業の業務プロセスで利用されるほど、一気に身近な存在となった。この技術の基となるLLM(大規模言語モデル)は、AIの能力を大幅に向上させ、まるでAIが「脳」を持っているかのごとくふるまうことを可能にした。 そんなLLMを、自動運転に応用させようとしている日本企業がある。2021年に創業したTuring(チューリング)だ。 Turingは「We Overtake Tesla(テスラを追い越す)」をミッションに掲げ、完全自動運転のEV開発を進める。山本一成CEOは、過去にコンピュータ将棋プログラム「Ponanza」を開発。山本氏と共同で創業した青木俊介CTO(最高技術責任者)は、アメリカのカーネギーメロン大学で博士号を取得し、自動運転システムの開発・研究に従事してきた。 2024年2月には、生成AIの基盤モデ
マイクロソフト、UIコンポーネントにAI搭載。UIが賢く振る舞う「.NET Smart Components」実験的公開 マイクロソフトはUIコンポーネントにAIを搭載することで、ユーザーの意図をくみ取って賢く振る舞ってくれる「.NET Smart Components」を実験的に公開しました。 入力内容をAIが自動的に適切なフィールドへペースト .NET Smart Componentsがどのように賢く振る舞ってくれるのか、デモ動画からの引用で紹介します。 従来のUIコンポーネントでは、例えば「苗字」「名前」「電話番号」「郵便番号」「県名」「町名」「番地」などにフィールドが分かれていれば、人間がフィールドに合わせて適切な内容を入力する必要があります。
SRE の田中 @kenzo0107 です。 社内版 ChatGPT を構築し、社内の ChatGPT 利用を促進した話です。 社内版 ChatGPT が必要だった理由 以下要望を実現する為です。 秘匿情報をクローズドな環境で OpenAI にポストしたい 社員誰もが最新のモデルやバージョンで高精度、且つ、パフォーマンスの高い ChatGPT を利用したい 構成 - Web 版 社内 ChatGPT Web サービスは AWS に配置 ALB を会社毎に分けて Google 認証する *1 ECS から Azure API Management 経由で Azure OpenAI Service に問い合わせ API Management は Azure OpenAI Service の監査ログを取得する為に配置している *2 Azure 側ではネットワークセキュリティグループで AWS N
ダウンロードはこちら 人工知能(AI)技術ベンダーOpenAIのAIチャットbot「ChatGPT」、その対抗馬であるGoogleの「Bard」といった「ジェネレーティブAI」(生成AIテキストや画像などを自動生成するAI技術)ツールの利用が急速に拡大している。活用法を考える前に知る必要があるのが、生成AIのセキュリティに関する課題だ。 ChatGPTは「まるで人のように賢い」と言われることがある。こうした賢さを持つ生成AIは、ビジネスや生活に役立つ一方、攻撃者にとってはサイバー攻撃の強力な武器になりかねない。活用に踏み切る前に、生成AIが生み出す新たな脅威を知って、対策を講じることが重要だ。そのためにはどうすればいいのか。本資料は、ChatGPTなどの生成AIのリスクを解説しながら、生成AIを安全に活用するためのヒントを探る。 中身を読むには、「中身を読む」ボタンを押して無料ブックレット
3月4日の公開以来、「Claudeやばくない?」「GPT-4を越えた」と、界隈で話題の「Claude 3」は、OpenAIの元メンバーによって設立されたAIベンチャー「Anthropic」が開発する最新の大規模言語モデル(LLM)だ。今回はChatGPTのライバルClaude 3の有料版を2週間ほどヘビーに使ってみて感じたことを、良い点と悪い点どちらも書いていきたいと思う。 Claude 3とは? 既報の通り、Claude 3はAnthropicが開発する大規模言語モデルの名称だ。 パラメーターのサイズなどが異なる3つのモデルがラインアップされている。 「Claude 3 Opus」は最も知能が高く、複雑なタスクでも最高のパフォーマンスを発揮する強力なモデル。APIやデータベースを介した複雑なアクションの計画や実行、インタラクティブコーディングなどの高度な活用が想定されている。 「Clau
GitHub CopilotやAWS CodeWhispererをはじめとする、コードエディタに統合できる11種類のプログラミング支援AIをまとめた。 GitHub Copilotに代表されるコードエディタに統合されたプログラミング支援AIサービスは、まだ登場して間もないにも関わらず、多くのプログラマの生産性向上にとって欠かせない機能になりつつあります。 と同時に、プログラミング支援AIサービスはGitHub Copilot以外にもさまざまなクラウドベンダ、ツールベンダ、スタートアップなどが参入し、多様な製品が新たに投入され続けている変化の激しい分野でもあります。 ここではその中から、現時点での主要なサービスやソフトウェアを11種類取り上げ、まとめました。導入や選択の参考にしていただければと思います。 価格別の主な機能 (Copilot Individual / 月額10ドル/年間100ド
2024年3月4日(米国時間)、GitHubは、同社が公開している学習コンテンツシリーズ「GitHub Learning Pathway」において、生成AI(人工知能)ツールの「GitHub Copilot」を学べるコースを無料公開した。 GitHubの調査によると、GitHub Copilotを活用することで、開発者はより高い品質で55%早くタスクを完了できるという。「企業はソフトウェア開発のペースを加速し、顧客により多くの価値を提供できるようになるだろう。新しいテクノロジーをビジネスに導入するには、徹底的な評価と機能横断的な連携が必要だ」と、GitHubは述べている。 関連記事 開発者が最も使用している生成AIツール、2位は「GitHub Copilot」 1位は? JetBrainsは、開発者エコシステムの現状をまとめたレポート「The State of Developer Ecos
もしも私たちの知性が100万倍になるとしたら? ニック・トンプソン氏(以下、ニック):ところで、この本(『The Singularity Is Nearer When We Merge with AI』)は素晴らしいので、発売されたらみなさんはサイン入りの本を手に入れられると思います。(あなたの意見に)賛成でも反対でも、間違いなくもっと考えさせられます。 2045年に私たちは100万倍の知性を持つようになっていますが、起床して朝食をとるか、とらないか。私たちがもっと知的になったら、どのような1日になるかがこの本には書かれていませんね。 レイ・カーツワイル氏(以下、レイ):その質問に対する答えは今と同じです。まず、シンギュラリティ(技術的特異点)と呼ばれるのは、私たちがその質問を十分に理解していないからです。 物理学で言う特異点とは、ブラックホールがあって光が逃げない状態のことで、ブラックホ
WEELメディア事業部リサーチャーのいつきです。 突然ですが、みなさんはStable Diffusionの可能性を広げる「Civitai」についてご存知でしょうか。 CivitaiにはStable Diffusionで使用できるAIモデルが多数共有されており、ダウンロードしたモデルを使用すれば生成画像のクオリティを向上させられるのが魅力です。 今回は、Civitaiの概要や使い方、活用事例について詳しく解説します。Civitaiのおすすめモデルや、画像のプロンプト使用方法についてもご紹介していますので、ぜひ最後までご覧ください! Civitaiとは 参考:https://civitai.com/ Civitaiは、Stable Diffusionで使用できるAIモデルを多数共有しているプラットフォームです。ユーザーは簡単なテキスト入力やパラメータの調整を通じて、高品質な画像を生成できます。
プリキュアの商品イラストに生成AI? Xで指摘相次ぐ→公式が否定する事態に 「現代の魔女狩り」との声も 商品イラストに画像生成AIは使っていない──テレビアニメ「プリキュア」シリーズの公式Xアカウント(@precure_15th)は3月22日、そんなポストをX上に投稿した。同アカウントが告知したある商品に対して、一部ユーザーから「このイラストには生成AIを使っているのではないか」という声が上がっていたためだ。 プリキュア公式Xは14日、「ふたりはプリキュア Max Heart」の新商品を5月上旬に販売すると告知。テレビアニメなどで使われている絵柄よりも、シックなデザインのキャラクターが描かれた商品を披露した。 しかし、この投稿に対して一部のユーザーから「イラストに生成AIを使用しているのではないか」などと指摘する声が上がった。指摘したユーザーたちは「指の組み方に無理がある」「髪の毛束に違和
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く