Databricks、命令追従型LLM『Dolly 2.0』をリリース Dolly 1.0ではできなかった商用利用が可能に 商用利用のためにデータセット「databricks-dolly-15k」を作成 Databricksは、大規模言語モデル（以下、LLM）「Dolly」の最新バージョンである『Dolly 2.0』をリリースし、同社ブログにて発表しました。 Meet Dolly 2.0: the first open-source, instruction-following LLM that’s available for commercial use & doesn’t require you to pay for API access or share data with third parties. Now, anyone can create a powerful LLM th

概要 大規模言語モデル Dolly 2.0 を試してみました。 公式ブログ に詳しく書いてありますが、 Alpaca、Koala、GPT4All、Vicuna など最近話題のモデルたちは 商用利用 にハードルがあったが、Dolly 2.0 は自社で準備した 15000件のデータで学習させたデータを使っているためそのハードルがなくなったようです。 ありがたいですね。さっそく試してみました。 2023/04/18 コード更新 Dolly 2.0モデルの独自パイプライン処理が本稿公開時(2023/04/13)から変更されているため、それに対応するよう本稿ソースコードも修正しました。 該当コード（変更後）

2022/08/25 CEDEC2022

当サイト【スタビジ】の本記事では、昨今のAIの進化のきっかけになっているGPTシリーズについてまとめていきたいと思います。GPT-1から始まりGPT-2、GPT-3、そしてChatGPTであるGPT-3.5、GPT-4と進化してきました。この進化の軌跡と違いについて解説していきます。 こんにちは！ データサイエンティストのウマたん(@statistics1012)です！ この記事では最近のAIブームの火付け役になったGPTシリーズについて簡単にまとめていきたいと思います。

はじめまして、sonesuke( https://twitter.com/sonesuke ) です。 LLMのニュースを追っかけ続けたので、これからキャッチアップする人用にまとめておきます。 単発のプロンプトテクニックについてはこちらご覧ください。 これだけは知っとけ用語 各手法の説明を読む前に、これらの用語を読んでおくと各手法がわかります。知っている人は飛ばしてください。 プロンプトエンジニアリング 入力(プロンプト)を工夫して性能をあげようというアプローチ。 機械学習系で精度アップといえば、追加学習させたりモデルを拡張するのですが、LLMではモデルが大き過ぎてコストが洒落になりません。 そのような事情からプロンプト側を工夫することで、回答に直接影響を与えるという手法が発達しています。 ファインチューニング モデルを新たな学習データで追加学習させ、モデルのパラメータを更新し、精度を高め

Transformerは分散できる代償として計算量が爆発的に多いという不利がある。 一度みんなが忘れていたリカレントニューラルネットワーク(RNN)もボケーっとしている場合ではなかった。 なんと、GPT3並の性能を持つ、しかも完全にオープンな大規模言語モデルが公開されていた。 そのなもRWKV(RuwaKuvと発音しろと書いてある。ルワクフ?) RWKVはRNNなのでGPUメモリをそれほど大量に必要としない。 3GBのVRAMでも動くという。 時間がない方はビデオをご覧ください 僕の失敗は、何も考えずにgit lfs installでディレクトリごとコピーしようとしたこと。 このディレクトリには過去のモデルデータが全部あるので、ひとつ30GBのモデルデータを何十個もダウンロードしようとしていて終わらなかったのだ。 モデルデータは一とつあれば十分なのでひとつだけにする。 次に、chatのリポ

大規模な金融緩和を中心とした安倍晋三元首相の経済政策「アベノミクス」の指南役として、当時内閣官房参与を務めた浜田宏一米エール大学名誉教授（87）は本紙のインタビューで、10年に及ぶ政策の効果について「賃金が上がらなかったのは予想外。私は上がると漠然と思っていたし、安倍首相（当時）も同じだと思う」と証言した。大企業の収益改善を賃上げへとつなげる「トリクルダウン」を起こせなかったことを認めた。　（渥美龍太、原田晋也、畑間香織）

世界的大ヒットを記録している『RRR』だが、ラーマを演じたラーム・チャランは日本ファンの熱狂ぶりに驚いたよう。（フロントロウ編集部） 『RRR』ラーム・チャラン、日本ファンの愛に驚き　2022年はファンから高い支持を得て大ヒットを記録した映画が多数生まれた年だったが、インド映画『RRR』の大躍進はすごかった。『バーフバリ』のＳ・Ｓ・ラージャマウリ監督が手掛けた作品は、ラーム・チャラン演じるラーマと、NTR Jr.演じるビームが絆を深める一方で、2人はそれぞれ秘密の使命があるという物語。 ストーリーの面白さ、これまでに見たことのない映像の勢い、そしてインド映画にかかせない見る者を魅了する音楽などが完璧に合わさり、文化や感性の壁を越えて世界中でロングラン大ヒット。巨匠ジェームズ・キャメロン監督も“追いRRR”をしたほどで、3月12日に開催されるアカデミー賞授賞式では、劇中歌「ナートゥ・ナートゥ

Welcome to the Bash for Beginners Series where you will learn the basics of Bash scripting. In this video, Gwyn and Josh introduce themselves and outline what will be covered in this series. https://aka.ms/bashforbeginners Follow Gwyn: - Gwyn on YouTube: https://youtube.com/madebygps - Gwyn on Twitter: https://twitter.com/madebygps Follow Josh: - Josh on Twitter: https://twitter.com/joshduffney

より高い給与を求め、海外で働く日本人の若者が急増している。その原因は日本の給与が安いからというだけではない。背景にあるその本当の理由に、英誌「エコノミスト」が迫った。 海外に「出稼ぎ」に行く若者の急増 神奈川県出身のアシハラ・マリナ（25）は、世界を見たいと思っていた。2022年4月、彼女は「ワーキング・ホリデー」プログラムを利用し、オーストラリアに移住した。この制度では、31歳未満の若者に1年間のビザが発給される。彼女は、東部の農場で4ヵ月間働き、現在はシドニーでバリスタとして働いている。 冒険のつもりで始めた海外生活だったが、それが経済的にも合理的だと気づいた。彼女は最低賃金で働いているが、その時給は時給21.38豪ドル（約1960円）と日本の最低賃金の倍額だ。パートタイムで働いても、東京でOLとして下働きをしていたときよりも多くの収入を得られる。 海外で働こうとする日本人がいま増えて

LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog ​LINE株式会社およびヤフー株式会社は、2022年11月17日・18日の2日間にわたり、技術カンファレンス「Tech-Verse 2022」をオンライン（ライブストリーミング形式）にて開催しました。特別連載企画「Tech-Verse 2022 アフターインタビュー」では、発表内容をさらに深掘りし、発表で触れられなかった内容や裏話について登壇者たちにインタビューします。今回の対象セッションは「​日本語の基盤モデルを搭載したHyperCLOVAの大規模化と応用可能性​」です。​ LINEはNAVERと共同で独自の日本語基盤モデルの開発を進めてきました。本セッションでは、その基盤モデルを搭載したHyperCLOVAの現状と課題につ

対象読者 Gitをより深く理解したい方 Gitの自作に興味がある方 Gitの内部構造を学ぶ意義 Gitの使い方を知っている人でも、それぞれのサブコマンドが実際どういった挙動をしているか、ましてや内部構造がどうなっているかを学んだことがある人は少ないかもしれません。というのも、Gitが内部を知らなくとも十分使える優秀なツールになっているからだと思います。 しかし、Gitの内部実装を知ることで、コマンドの挙動を正確に理解できるだけでなく、Gitを使っていて何らかの問題が起きたときにも、自分で対処できるようになります。そうしたGitの地力を鍛えるために、内部構造の把握は重要な要素になってきます。 また、今回の内容を学べば、Gitの大枠を実装することもできてしまうので、興味がある方はぜひ挑戦してみてください。 Gitについての誤解 それでは、まずGitについて多くの人が誤解しているであろう点を挙げ

始めに こんにちは！自然言語処理（NLP）・自然言語生成（NLG）の解説記事を書いている、すえつぐです！ 突然ですが、BERT、GPT-3、PaLMを使ったことはありますか？Transformerはこれらの最先端のモデルに使用されている、現代のNLPモデルには欠かせないモデルです。おそらくBERTやGPT-3でTransformerを知った、このページに来たという人も多いのではないでしょうか。機械学習、特にNLPの勉強をしている方々は、Transformerの概要は知っておいた方が良いと思います。 ただ多くのサイトは、いきなり細かい仕組みの解説をする中級者以上向けの記事が多いですよね。 そこで、このページでは、Transformerの入門〜中級までの解説をしていきます！まず入門として、「Transformerの使い道」「Transformerの何が凄いのか？」を先に解説します。その上で「T

タイトルに惹かれて「限りある時間の使い方」を読んだ．僕は日常的に "忙しく時間がないなぁ..." と感じることが多い（忙しいフリをしているだけの可能性もある）．やりたいことは多いけど全然処理しきれず，常に何かしらを犠牲にしているというモヤモヤもあって，本書を読んでみることにした． 僕自身は "意識高い" 自己啓発本が大好きではあるけど，本書はそういった「ライフハック本」ではなく，○○をしろ！○○はするな！という内容ではなかった．もっと哲学的な内容が多く，根本的な "何か" を気付かせてくれる感じで，人生や時間について考えながら読み進めることができた．また本書で繰り返し出てくる「生産性オタク」や「完璧主義者」はまさに僕自身のことを揶揄しているようにも感じられて，時間をコントロールしているはずなのに常に何かに追われているという点は非常に刺さった．他にも刺さった箇所は「読書メモ」に箇条書きにして

GPT-3などの大規模言語モデルを処理するには高い計算量とメモリが必要なため、通常は複数のハイエンドなAIアクセラレーターが求められます。この処理を、メモリ16GBのNVIDIA Tesla T4やメモリ24GBのNVIDIA GeForce RTX 3090など、メモリ容量が限られたGPU単体でも実行するための生成エンジン「FlexGen」が公開されました。 GitHub - Ying1123/FlexGen: Running large language models like OPT-175B/GPT-3 on a single GPU. Up to 100x faster than other offloading systems. https://github.com/Ying1123/FlexGen#readme FlexGenは大規模言語モデルの推論リソース要件を単一のGPU

「ChatGPTって何？」と聞かれたら、取りあえずこの資料を渡せば良い──2022年11月末に登場してすぐに世間を驚かせたAI「ChatGPT」。自民党もAIには注目しており、「AIの進化と実装に関するプロジェクトチーム」を開催しているのだが、そこで東京大学の松尾豊教授が提出した資料が「分かりやすい」と話題だ。 資料が提出されたのは2月17日開催の第2回会議。「AIの進化と日本の戦略」というタイトルで、大規模言語モデルの仕組みやChatGPT、今後の日本の戦略について説明するものだ。同資料は塩崎彰久衆議院議員が投稿したnote記事からダウンロードできる。 ChatGPTについては、その学習方法から、高度な会話を実現できた理由、ChatGPTでできること、利用場面や受け取られ方まで網羅的にまとめられている。 例えば、高度な会話後実現できた理由のパートでは、従来のモデルには「生成分が人間の好み

このようにさまざまなデコレータが用意されていますが、今回はサンプルで利用するデコレータに絞って説明します。他のデコレータについては、NestJSの公式ドキュメントなどを参照してください。 依存性注入（DI） 依存性注入（DI、Dependency Injection）とは、クラスの依存関係を解決する仕組みです。NestJSでは、依存性注入を使ってクラスの依存関係を解決します。 クラスの依存関係とは、クラスが他のクラスに依存している関係のことです。例えば、次のようなクラスAがあったとします。このクラスは他のクラスに依存していません。@Injectable()デコレータを使って、サービスを定義します。 @Injectable() class A { constructor() {} } そして、次のようなクラスBがあったとします。このクラスは、@Inject()デコレータを使って依存性を注入し

ホスティング事業部MREチームでインフラエンジニアをやっている原口です。 先日、弊社の DNSサービスに対し、軽めの DDoS攻撃が来たので、その際に対応した手順を簡単にご紹介します。 DNSサービスに対する DDoS攻撃への対応について DNSサービスに対する DDoS攻撃は昔からあり、弊社でも対策を行っております。 拠点や回線を分け、冗長化を行うのはもちろんですが、各拠点で「DDoS軽減装置」と言われるアプライアンスを導入しています。これは、不正なパケットを DROP をするものですが、一般的なファイアウォールのようなルールベースではなく、学習結果をもとに、通常とは異なる傾向のアクセスがあると動作するものになっています。 今回紹介する対応は、この DDoS軽減装置をすり抜ける程度の、軽めの DDoS攻撃に対して行ったものです。 DNSサービスの構成 今回 DDoS攻撃が来たサービスでは

この記事を読むと嬉しいこと 言語の壁を越えた、グローバルAIを作れます！ = GPTに英語と日本語、中国語、フランス語…の情報をまとめてインプットし、質問に答えさせることが出来ます！ """「Harry Potter（英語）」と「ぼっち・ざ・ろっく！」の情報をまとめて与えた後で質問をした時の回答""" # before index.query("ハリーの学校では、何を教えている？日本語で答えて") # -> ハリーの学校では、何を教えているかは不明です。 # after index.query("ハリーの学校では、何を教えている？日本語で答えて") # -> ハリーの学校では、魔法と魔法使いの学問を教えています。 背景・課題 今大人気のGPTに、外部情報を繋ぐGPT Indexが物凄い勢いで使われています。一方で、この仕組みを無邪気に使おうとすると、OpenAIに課金しまくることになり、お