LoRA のもう一つの大きなメリット、GPUメモリ共有しつつ別のタスク処理モデルへ即時に切り替える方法 - A Day in the Life
低ランク行列を追加することで、大元のモデルを維持しつつ少ないコストで学習できる LoRA(Low-Rank Adaptation of Large Language Models)。先日、日本語でも大規模パラメータモデル cyberagent/open-calm-7b や rinna/japanese-gpt-neox-3.6b 等々がリリースされたり、HuggingFaceからはtransformersでLoRAを簡単に実現できるライブラリ、peft がリリースされたことで、試したことがある方も多いと思います。 ただ、LoRAのメリットについて主に学習の話が殆どで、もう一つの大きなメリットであるLLMのベースモデルのメモリを共有しつつ、複数のタスクをこなす方法の紹介は見かけたことがなかったので、それをpeftで行う方法についてのお話です。 なお、LoRAとは何か？というお話は、輪講資料
ChatGPTを支えた高品質AI作成手法「RLHF」の中身はこんな感じ、面倒なデータ入力・整理はオープンソースでセルフホスト可能なプラットフォーム「Argilla」が便利
RLHFとは「人間の評価による強化学習」のことで、大規模言語モデルをChatGPTなどの実用レベルに至る品質にまで高めた実績のある手法です。RLHFでは教師データを作成したり、大規模言語モデルの回答を評価したりする際に人間がデータを入力する必要があり、特に複数人で作業する場合にデータの管理が大変になってしまうものですが、そうしたRLHF用データの入力や管理を行ってくれるプラットフォームが「Argilla」です。 Bringing LLM Fine-Tuning and RLHF to Everyone https://argilla.io/blog/argilla-for-llms/ 大規模言語モデルを作成する時の手順を示したのが下の図です。まず大量のテキストを用いて事前学習を行います。こうして作成されたモデルが事前学習済みモデルで、GPTやPaLM、LLaMAなどのモデルがこのカテゴリに
GPT-3.5世代のオープンな言語モデルを調べてみた - Qiita
GPT-3.5世代のオープンな言語モデルを調べてみました。 本稿では以下の特徴をもって「GPT-3.5世代」の言語モデルと定義しました。 ChatGPT等（text-davinci-003、gpt-3.5-turbo）の登場した2022年11月以降に登場 GPT-3と同様にテキスト生成ができる言語モデル GPT-3（text-davinci-003等）を主なベンチマークにしたり、学習に利用したりしている 「オープンな言語モデル」としていますが、本稿では以下いずれかを満たしていればオープンな言語モデルとします。一般的なオープンソース・ソフトウェアの定義等とは少し異なります。 学習済モデルが公開されている 学習データと学習用ソースコードが公開されており、学習済モデルの再現が可能である GPT-3.5世代のオープンな言語モデルの特徴 本稿で紹介するGPT-3.5世代のモデルには、以下のような特徴
ChatGPTとLangChainで何でもできるAIを作る - Qiita
この記事は記事投稿キャンペーン_ChatGPTの記事です。 以下は、個人開発した最新のものになります． CreateToolAGI：ChatGPTとLangChainで何でもできるAI はじめに こんにちは、fuyu-quantです． 今回はLangChainという「大規模言語モデルを使いこなすためのライブラリ」の紹介とその機能を発展させるために作った新しいライブラリlangchain-toolsの説明およびその可能性について共有したいと思います． LangChainの機能であるtoolを使うことで，プログラムとして実装できるほぼ全てのことがChatGPTなどのモデルで自然言語により実行できるようになります．今回は自然言語での入力により機械学習モデル(LightGBM)の学習および推論を行う方法を紹介します． 記事に誤り等ありましたらご指摘いただけますと幸いです。 (※この記事の「Chat
【完全保存版】GPT を特定の目的に特化させて扱う (Fine-tuning, Prompt, Index, etc.) - Qiita
【完全保存版】GPT を特定の目的に特化させて扱う (Fine-tuning, Prompt, Index, etc.)OpenAIChatGPTlangchainGPT-4LlamaIndex ChatGPT に代表される今日の AI ブームを牽引しているのは 大規模言語モデル（Large-scale Language Model, LLM） と言っても過言ではないでしょう。LLM とは大量のテキストデータを使ってトレーニングされた自然言語処理のモデルで、代表的なものに、GPT（OpenAI）、Llama（Meta）、PaLM（Google）があります。我々開発者は、事前学習されたこれらのモデルを使って簡単にアプリケーションを作ることができます。 LLM が遂行可能な言語的タスク LLM を使って行える言語的タスクには次のような種類があります： Classification: 感情やポジ
ノーム・チョムスキー教授講演会 The Architecture of Language Reconsidered 「言語の構成原理再考」・Capitalist Democracy and the Prospects for Survival 「資本主義的民主制の下で人類は生き残れるか」 – 上智大学OpenCourseWare
「心の科学のガリレオ」、「現代言語学の父」などと呼ばれるチョムスキー教授は、20代の若さで言語学における革命的理論（生成文法理論）を提出し、この分野の根本的性格を、言語能力という人間固有の認知能力の科学的研究を通して「人間の本質」を探究する分野へと大転換させました。この考えは、1950年代の認知科学誕生において中心的役割を果たし、以来、数10年間にわたって—最近の脳科学や進化生物学との相互作用も含めて—チョムスキー教授の研究活動は言語の科学的研究の最先端を牽引し続けてきています。 同時に、チョムスキー教授は幼少の頃から人間の自由、人間の尊厳に対して深い敬意を払い、このような人間の基本的特性が最大限に尊重される社会体制を夢見ていたそうです。社会に対するこのような考えは、言語研究を通して得た「人間の本質」に関する科学的認識によってさらに補強され、チョムスキー教授の社会的活動を背後で支えるものに
オンラインで誰でもプログラミング学習ができるEdTechサービス総まとめ（2013年版）：GREAT GEEKS：オルタナティブ・ブログ
今年も早いもので残すところわずかとなりましたね。2013年に注目を浴びるようになったEdTechという言葉ですが、ITを活用した学びの可能性がどんどん大きくなってきており、以前よりも幅広い内容を学ぶことができるようになりました。そこで今日はプログラミング学習にフォーカスをあてて、国内外問わずプログラミングを勉強できるサービスをまとめました。 オンラインで誰でもプログラミング学習ができるサービス総まとめ ◆日本のサービス 1.無料動画で勉強できる『ドットインストール』 ドットインストールは初心者向けプログラミング学習で、基本的に全て無料で見放題のサービスです。ビデオコンテンツが1000本以上あり、初心者でも挫折しにくいように数分ほどの動画に区切ってあります。私自身も日頃愛用しているサービスの１つで、HTML、CSS、JavaScriptなどのweb言語からObjective-Cなどのアプリ開
プリントアウトした方が間違いに気づきやすいワケ - A Successful Failure
2012年09月24日 プリントアウトした方が間違いに気づきやすいワケ Tweet もう随分前の話になるが、モニタ上で見るよりも、紙で確認したほうが間違いに気づきやすいのはなぜかという議論が盛り上がった。 どうして紙にプリントアウトした方が圧倒的に間違いに気付きやすいのか なぜ｢画面｣より｢紙｣のほうが間違いに気づきやすいのか? 考えうる理由についてはおおよそ挙げられているようだ。既出の論点の中では、身体性に関する指摘が重要であるように思われる。身体性とは、認知科学において近年注目されている概念で、身体という物理的存在が周囲の環境とインタラクションすることによって、学習や知識構築を行うことを指す。物理的な紙にプリントアウトされた情報を読むときには、本を持つ、ページをめくる、文字をなぞるなどの物理的なインタラクションを行なっており、ページの厚みや重さといった電子情報には無い要素が間違い発見の
ソーシャルラーニングで学校いらず！？インターネット学習の現在とこれから：GREAT GEEKS：オルタナティブ・ブログ
今回はソーシャルラーニングについて、まとめてみました。 それと同時に、2011年に見かけた要チェックなソーシャルラーニングのサービス7つと今後の動向をまとめてみました。 注目のソーシャルラーニングサービス7選 1.動画で学べる、初心者向けプログラミング学習サイトドットインストール CSS、HTMLやJavaScript、PHPなどのプログラミングが動画で学習できるソーシャルラーニングサイトです。CSSの基礎、HTMLの基礎、JavaScriptの基礎など基礎コースからPHPで作る「簡単掲示板」、JavaScriptで作る「あなたの誕生日診断」など基礎〜中級のレベルのものが多く、演習形式の動画もかなり多くあります。 プログラミングの学べるレベル的にはそんなに高くはないですが、無料でこれだけのコンテンツを配信しているのは面白いなと思います。今まで全くプログラミングを勉強してこなかった人でも、か
サービス終了のお知らせ - NAVER まとめ
サービス終了のお知らせ NAVERまとめは2020年9月30日をもちましてサービス終了いたしました。 約11年間、NAVERまとめをご利用・ご愛顧いただき誠にありがとうございました。
専門知識の仕入れ方 - Preferred Networks Research & Development
今日は，普段どのようにして専門知識を仕入れているかについて書いてみようと思います．特に自分が得意でない分野を知りたいと思った時に，どうするかに注目したいと思います．自分の専門の場合は，いくらでも時間を注ぐことが出来るので，世界中のリソースを全て探し当てて勉強すれば良いのですが，ちょっと興味が有るぐらいではそこまでやる時間は取れません．なので出来るだけ効率的に分かった気になるのが目標です． まず，論文を直接読むのはあまり効率的では無いと思います．論文は広い分野の中の或る問題に対して一つの解決方法を書いているだけで，分野全体を俯瞰することは目指していません．論文だけ読んで分野全体を理解するには，最低50本ぐらい読む必要が有ると思います．
サービス終了のお知らせ - NAVER まとめ
サービス終了のお知らせ NAVERまとめは2020年9月30日をもちましてサービス終了いたしました。 約11年間、NAVERまとめをご利用・ご愛顧いただき誠にありがとうございました。
未知の分野の論文を読むときの10のポイント - EchizenBlog-Zwei
同じ分野の論文ばかり読んでいると視野が狭くなるので専門外の分野の論文も積極的に読んでいきたい。とはいえ未知の分野だとどの論文から読めばいいのかわからず困ることも。そんなときにこれまで試して役に立ったことをメモしてみた。 1.調べる論文は英語に絞る これは日本人の論文が良くないということではなく日本人の論文も含め優れた論文は国際会議(つまり英語)でも発表されているから。英語が苦手でも頑張って英語論文を読んだほうが質のよい論文に出会う確率が高い。 2.関連ありそうな単語を検索して意味を調べる まずはひたすら検索タイム。最初は漠然とした言葉でしか検索できなくても調べたい分野の用語は頻出するはずなので、だんだん知るべき用語がわかってくる。英語の単語がわからない場合も調べていれば日本語/英語を併記してくれているものがでてくるはず。あとは頻出語の意味を分かる範囲でざっと調べておく。余談だけれど技術系の
論文の読み方 - nokunoの日記
id:echizen_tmさんの良エントリに触発されて書いてみます．未知の分野の論文を読むときの10のポイント - EchizenBlog-Zwei基本的には私もid:echizen_tmさんの書いた10のポイントに沿った読み方をしています．ひとつ付け加えるなら，論文を調べる前にやるべきことがあるケースについて．0. 論文を読む前に定番の書籍（技術書・教科書）がある場合はそちらを先に読む．実装よりの分野の場合はライブラリを使ってみたりソースコードを読んでみたりするのもいい．また各ポイントについてちょっと補足するとすると，こんなところでしょうか． 調べる論文は英語に絞る 学部生のときは日本語論文も調べましたし，今でも日本語処理関係は日本語で読むこともありますが，少し読んでみればいわゆる「地雷」が多いことに気付くでしょうから，自然とその分野のトップカンファレンスに行き着くことが多いと思います．
コンピュータ系技術書を無料で読めるサイトまとめ - 情報科学屋さんを目指す人のメモ（FC2ブログ版）
何かのやり方や、問題の解決方法をどんどんメモするブログ。そんな大学院生の活動「キャッシュ」に誰かがヒットしてくれることを祈って。 特に探すつもりはなかったけど、技術書を無料で読めるサイトに複数遭遇したので、出会った分だけでもとまとめてみた。無料で読めるサイトと言っても、基本的には無料公開されているページへのリンク集という形。 O'REILLY Open Books http://oreilly.com/openbook/ リンク先の右にあるリンクの書籍が無料。左のジャンル分けは通常の書籍一覧なので注意。他のサイトに比べるとだいぶ少ない。 O'REILLY Open Feedback Publishing System (OFPS) http://ofps.oreilly.com/ 出版前の書籍を公開して、フィードバックを受け付けるというサイト。作りかけの本も存在するが、最新の内容が読めると
米スタンフォード大学が「機械学習」「データベース」「人工知能」の無料オンライン授業を今秋から開始 − Publickey
米スタンフォード大学は、今秋から同大学で行われているコンピュータサイエンスの講義のうち、3つのコースをオンラインで無料公開することを発表しました。 公開されるのは、「Machine Learning」（機械学習）、「Introduction to Databases」（データベース入門）、「Introduction to Artificial Intelligence」（人工知能入門）の3コース。どのコースも今年の10月に開講し12月に終了する3カ月間の予定。コースによっては実際の講義とほぼ同様の宿題も用意され、提出すると自動採点してくれるようです。 機械学習のコースを担当するAndrew Ng准教授は発表の中で次のようにコメントしています。 “Both in the United States and elsewhere, many people simply do not have a
英語喫茶
・基礎からの英語学習について 「基礎からの英語学習」は、大学の先生方の協力により細部までチェックを入れて作成しています。 その内容については、AI学習システムにおける研究開発にも利用されており、科学研究費助成事業（科研費）の研究対象になっています。 ＜１＞ Day1 から Day86 まで、１日に学習する量をあらかじめ決めています。 ＜２＞ 「メモ」と書かれた枠内は、その項目について説明を加えたものです。 参考としてお読みください。 ＜３＞ 各レッスンの終わりには、選択式問題と記述式問題を設置しています。 レッスンの確認をするためにご利用ください。 ＜４＞ 各項目について、本サイトで取り扱っている他のコンテンツ「英文法の発展的学習」や、「英語の時間的感覚」、「法助動詞」でもふれている部分は、より詳細に学習ができるようにそれらへ直接飛べるようにしてあります。 時間的に余裕がありましたら、参照
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
人工知能・深層学習を学ぶためのロードマップ | 東京大学松尾研究室 - Matsuo Lab
情報工学は面白い！
【良質の独学サイト】分野は、数学、統計学、コンピュータ言語、英語、金融・経済など分野は問いません。【eラーニング】以下の条件にあうサイトを沢山教えて下さい.. - 人力検索はてな