東京大学の研究室内で,今井がChatGPTの知見を共有するために使用したスライド資料です. 特に以下のような話題,技術について解説しています. ・ChatGPTの凄さ ・ChatGPTの技術 ・言語モデル ・プロンプト ・GPTとは ・InstructGPT ・言語モデルと強化学習 ・RLFH
![ChatGPT�人間のフィードバックから強化学習した対話AI](https://cdn-ak-scissors.b.st-hatena.com/image/square/f67f02b9e03296c78f0f7cd2ea7ce1111a5d4e82/height=288;version=1;width=512/https%3A%2F%2Ffiles.speakerdeck.com%2Fpresentations%2F76732d1fbeff4c07ba66095ae60055f0%2Fslide_0.jpg%3F25042111)
Regional Scrum Gathering Tokyo2023 の中の moyiyuya さんの「私考える人、あなた作業する人」というセッションが大きな反響を呼んでいました。 スクラムを導入してチームとして一体感をもってプロダクト開発をよりうまくやっていきたかったはずなのに、いつの間にか「私考える人、あなた作業する人」という関係性ができてしまっていた、という相談を受けることがあります。 なぜこのような「私考える人、あなた作業する人」という関係性が生まれてしまうかについて、コミュニケーションの観点で考えてみます。 プロダクトオーナーと開発者の堺目 「私考える人、あなた作業する人」のような関係性が生まれてしまっているチームでは、開発者からプロダクトオーナーに対するコミュニケーションが以下のようになっていることが多いです。 プロダクトバックログを出してくれたらつくります 仕様を決めてくれた
「ChatGPTで画像も出力できたらいいのにな…」 という問題が解決しました! さっそくですが、以下のプロンプトを「GPT4」に貼ればゲームを開始できます。 1,中世ヨーロッパの物語 GPT-4 AI ゲームマスターとして、あなたはプレイヤーが少女に協力して彼女と共に危機に見舞われた王国を救う冒険をするため、「交換日記と時空の絆」を導きます。 物語は、中世ヨーロッパの世界と現代の地球が絡み合った世界で展開されます。プレイヤーは、現代の地球で暮らす普通の人物であり、チャットを入力していると、それが手元にあった中世ヨーロッパの歴史が変わっていくことに気付きます。このチャットは、その時代に生きる少女、カイとチャットでコミュニケーションを取ることができる特別なものです。カイは冒険に際して手帳を持っており、そこにプレイヤーのチャットの内容が交換日記のように日を追うごとに追記されていきます。また、筆記
概要 開発PJやシステム運用PJにおいて、チームメンバ間のやりとりは、基本的にはチャットツールを利用しているのではないかと思います。また、タスク管理ツールを用意して、チャットの中で出た課題はチケットとして起票するという体制としているPJも多いと思います。 このとき、起票するメンバは以下の課題(課題とまではいかないものの面倒くささ)を抱えているかもしれません。 チャットに記載されている文章をあらためて全部追うのが面倒くさい その文章を要約(=必要なものをとりだし、不要なものを削除する)するのが面倒くさい 要約にプラスして、やるべきことを別途整理するのが面倒くさい チケットの起票作業は、チャットに記載された内容をそのままコピペというわけにもいかないので、自動化することはできずにいました。しかし、ChatGPTの登場により、この課題を解消できるかもしれないので、使用感の確認も兼ねて、今回はCha
GPT-4時代のエンジニアの生存戦略 ※ この記事の内容の一部はこちらのイベントでお話したことと重複します。 はじめに 2023年3月1日にOpenAI社よりChatGPTのAPIが公開されました。 さらに14日にはGPT-4が登場し、その翌々日にはMicrosoft 365 CopilotでGPT-4をOffice製品に搭載することが発表されるなど、AI領域で大きな変化が起きています。 変化の速度の速さと変化量の大きさにより、私自身も追いつくのが精一杯な状態です。 個人的には、iPhoneの登場時以上の衝撃を受けています。 人類の歴史上、過去3回AIブームがありました。Generative AIが4回目のブームになります。 そして、特に日本においては顕著なのですが、AIへの過度な期待とそれへの失望の繰り返しがここ数十年にわたって繰り返されてきました。 直近だと数年前のDeep Learn
清水亮さんが、RWKVを試してたので俺も試してみた。 この時の清水さんのマシンは、A6000積んでる(VRAM48GB)逸般のご家庭用モンスターマシンなので、そのまま動く。そらそうよ。 というわけで、一般のご家庭用ゲーミングPCでも動くように試してみた。 ちなみに試した環境はWindowsのWSLのubuntu上。 マシンのメモリは64GB。ubuntuには48GB割当。 GPUはRTX3090(VRAM 24GB)。 まずはChatRWKVをgitでcloneする。 git clone https://github.com/BlinkDL/ChatRWKV次にモデルをダウンロードする。 14Bを使うことにした。 ChatRWKV/v2フォルダにダウンロードしてきたモデルファイルを突っ込む。 今回は最新版の RWKV-4-Pile-14B-20230313-ctx8192-test1050
はじめに 少し前に「プログラマー脳 ~優れたプログラマーになるための認知科学に基づくアプローチ」という本が話題になっていました。 個人的にとても興味深い内容であり、 かつ日頃のタスクに活かせそう!と感じるポイントが多かったため 自分の整理も兼ねて記事にしたいと思います。 この記事で取り扱う範囲 本書では認知科学の側面から見て、プログラムがなぜ難しいか?といった説明や、 プログラムを効率的に理解するためのtips、 より効率的にコーディングをするためのアクションや具体例が豊富に示されています。 この記事では、「脳の負荷を減らす」というポイントに絞って 執筆していきたいと思います。 脳内の3つのプロセス まずはじめに、プログラミングをするときに脳内ではどのような処理が行われているかを整理したいと思います。 私たちがプログラミングを行うとき、脳内では「短期記憶」「長期記憶」「ワーキングメモリ」の
こんにちは、くふうカンパニーグループである株式会社 Zaim の @unicco です。先週、発表した通り当社では ChatGPT Plus の利用料を全社員に対して補助する制度を始めました。 ここで言及していた「利用ガイドライン」に関して「どんな内容かを知りたい」という問い合わせをいくつか受けましたので、現時点のものをここで紹介しようと思います。 なお策定にあたっては DevOps に強いエンジニア(@bbz662)を中心に、情報セキュリティや危機管理対応を統括する IT 戦略室と法務担当、データサイエンティスト(@koya3to)というグループを横断したチームを作り、約 3 日で完成となりました。 生成系 AI 利用ガイドライン現版ではマイクロソフト社が出資する OpenAI 社が提供する ChatGPT の業務利用に限って記載します。 適宜アップデートしていきます。 ChatGPT
[GDC 2023]Blizzard Entertainment創設者アレン・アドハム氏が語る,同社30年の歴史が生み出したゲームデザイン“12の原則” ライター:奥谷海人 Blizzard Entertainment共同創業者のアラン・アドハム氏 GDC 2023にて,Blizzard Entertainmentの共同創設者であり初代CEO,そして現在はチーフ・デザインオフィサーとして活動するアレン・アドハム(Allen Adham)氏が,「Blizzardの中核となるデザイン原則を応用して,ジャンルを超えたゲームを作る」(Applying Blizzard's Core Design Principles to Create Genre-Defining Games)というタイトルでの講演を行った。 アドハム氏については,2021年2月に本誌の独占インタビュー(関連記事)で紹介している
『VOICEVOX』に音声ライブラリとして収録されている「ずんだもん」「九州そら」「四国めたん」(いずれも「東北ずん子プロジェクト」のキャラクター) (画像は東北ずん子プロジェクト公式サイトより) また「東北ずん子ガイドライン準拠」を示す(ず・ω・きょ)の記載があるユーザー作成の素材についても、公式のガイドラインに基づいて非商用の範囲であれば立ち絵などが利用可能となる。 たとえば、ユーザー制作のずんだもんの立ち絵のなかでも見かけることの多い、坂本アヒル氏制作の「ずんだもん立ち絵素材」や「四国めたん立ち絵素材」は(ず・ω・きょ)の記載がされているため、配信等で自由に使うことが可能だ。 坂本アヒル氏製作の「ずんだもん立ち絵素材」 (画像はニコニコ静画「ずんだもん立ち絵素材」より)(画像は東北ずん子プロジェクト公式サイトより) なお『VOICEVOX』には「東北ずん子プロジェクト」以外のキャラも
2022年11月にOpen AIが公開したChatGPTが世界で注目を集めている。一般ドメインかつ多言語で、従来のチャットボットとはレベルの異なる高品質の対話をリアルタイムに実現するサービスを(Research Preview版ではあるが)無料で提供し、検索、金融、広告、教育、法務などの広範囲な分野の転換点となり得ることは、驚異的なことである。本講演では、ChatGPTがベースにしているInstructGPTを中心に、大規模言語モデルやプロンプト、人間のフィードバックによる強化学習などの技術を概観する。また、ChatGPTのような生成型の人工知能が社会やビジネス、学術にもたらす脅威について述べる。 https://aip.riken.jp/sympo/sympo202303/
pytorch 2.0 になって ROCm 対応がそれなりにきちんとサポートされたようです. ROCm PyTorch のビルドにチャレンジしてから 1 年が経ちました(2019 年 7 月 27 日) (2019 年 9 月 24 日追記) 2018 年の使い物にならないレヴェルから, 5 年ほど経ち, やっと基本的には使えるようになってきた感じでしょうか... 動作確認します! 環境 RX6800(RDNA2) Radeon VII(Vega20) も OK だった! Ubuntu 20.04 HWE kernel(5.15.x) ROCm 5.3.4 ROCm 関連は からたどれる document 参考に一式入れておきます. 既存 ROCm がインストールされている場合は, amdgpu-uninstall で一度パッケージ一式削除しておく必要があります. そうしないと上書きインス
structをusingステートメントで使用するとboxingされるのかを検証しました。 結論 この記事の説明 検証環境 検証コード 検証結果 考察 参考リンク 結論 兎にも角にも調査した結論を。 // これはboxingは発生せず、GC.Allocは0で済む using (var val = new MyStruct()) {} この記事の説明 CSharpにはusingステートメントという構文が備わっており、これによりIDisposableオブジェクトのDispose呼び出しを保証することができます。 このusingステートメントはあくまでシンタックスシュガーであり、コンパイル時にはtry-finallyに展開されます。 using ステートメント - C# リファレンス | Microsoft Docs このusingステートメント内部でIDisposableを実装したstructを
全3回のシリーズパート2の本記事では、GPTの能力と可能性をAttention/Transformerの仕組みをふまえて考察します。 というつもりでしたが、凄く長くなってしまったのでパート2は以下の3回に分けようと思います。 (2.1)各技術の定性的な説明(本記事) (2.2)Transformerのアルゴリズム詳細 (2.3)GPTの能力と可能性について 2.1 各技術の定性的な説明 自然言語の構造を考えてみる まず我々が使う言語についてちょっと振り返るところから話を始めましょう。 文や文章は、おおもとのデータである文字から始まって、単語、文節、句、節、文、文章、さらにその上の意味、という風に階層的な構造を持っていると我々は概念的に認識してますよね。 構文の階層 そして、各階層や階層間には、文法や語法といった言葉のルールがあります。 深層学習はその名の通り、層を深くしたニューラルネットワ
Android13で写真選択ツールが登場しました。 現在開発中のアプリにて、写真選択ツール導入を検討してみた過程と、結果的に見送ることになった理由を書いていきます。 Intentと写真選択ツールと、その体験 写真選択の実装方法する際、従来はIntent.ACTION_PICKなどを投げることで選択画面を開く実装をすることができました。 まずは実装方法によって、ユーザーの体験がどのように変わるか見ていきます。 写真選択ツールで実装した場合 写真選択ツールはAndroid13もしくは、Android11以降のR Extensions Version 2のSDK extensionsが入っている端末に対応しています。(SDK extensionsって何?はこの記事が分かりやすいです) そのため対応している場合、対応していない場合で体験が異なります。 ■ 対応している場合 画像1枚選択の場合、ハー
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く