強化学習におけるLLMの活用パターン調査 はじめに：実世界における強化学習の課題 LLM×強化学習 人間はゼロショット推論によりサンプル効率の良い学習ができる LLMによるゼロショット推論の例 さまざまなLLM活用パターン 1. 報酬モデルとしてのLLM LLMによる代理報酬モデル VLMによる外観ベース代理報酬モデル 外部知識にもとづく報酬モデル設計 2. 計画モデルとしてのLLM LLMによるセマンティック計画 LLMによる構造的な探索計画 3. 方策モデルとしてのLLM LLM as 確率方策 マルチモーダルLLM as 確率方策 参考：GPTアーキテクチャの転用 4. 世界モデルとしてのLLM Language Models Meet World Models (あとで書く) おわりに：VLM as 確率方策に期待 はじめに：実世界における強化学習の課題 レトロゲームで人間並みのパ

GPTsという、特定の役割を持った専用のGPTを作る仕組みが最近できた。といっても、従来のGPT-4にあらかじめ特定の指示 (description)と前提知識のファイル (knowledge)を与えられるだけで、今までできなかったことができるわけではない。だけど、特定のタスクをさせる時に、それらをいちいち指定する手間を省けるので、便利な機能と言えよう。 ChatGPTにミニゲームを作らせる試みは前もやったけど、あまりうまくいかなかった。 そこで今回は以下の改良を加えて、専用のGPTを作ってみた。 最初にユーザからゲームのテーマを与えてもらう。 その後、そのテーマに沿ったゲームのアイデアを5つユーザに提示し、適切なものを選んでもらう。 選ばれたアイデアに対して、ルール作成、プレイヤー動作のコード作成、その他の動作作成、スコアリング、難易度、効果音、と順番に少しづつゲームを作らせる。 「小さ

本資料は，東京大学松尾研究室で開催された強化学習セミナーの講義資料をもとに，講演目的でより初学者向けに内容を調整したものです．特に強化学習で最も基本的かつ最重要手法であるQ学習や，それの深層強化学習版のDQN（Deep Q-Network）を中心に解説しています. 昨今，ChatGPT等の大規模言語モ…

こんこよ～🧪 カバー株式会社CTO室エンジニアのAです。 カバー株式会社には2023年4月に新卒で入社し、第1回COVER Techを執筆したKさんの下で、タレントの皆様が日々のYouTube配信などで使用するホロライブアプリの開発に携わっています。 また、ここ数か月はそれと並行してAIこよりシステムの開発を担当してまいりました。 この記事では開発したシステムの概要についてご紹介します。 開発経緯AIこよりシステムの開発に至った経緯について。 まず社内に生成AIの可能性や関連技術の検討をしたいという需要がありました。そこへ、こよりさんからご自身のAIを作りたいというご要望をいただいたため、それがきっかけとなり、こよりさんの全面的なご協力の下でAIこよりシステムの開発が始まりました。 システム概要今回開発したものは、AIシステムへの入出力を操作し配信画面に映すフロントアプリと、各種外部AP

はじめに Gitのステージングエリアにあるファイルを対象に、レビュー結果をSlackに通知するアプリケーションを作成しました。 開発環境のターミナルで指定したコマンドを実行するだけで、Slackにレビュー結果が送信されます。 ソースコードは以下です。 こんな人におすすめ コードレビューを受ける前に自分で事前チェックをしたい方 一人でコードを書くことが多く、レビュワーがいない方 どうせなら楽しくレビューしてもらいたい、好きなキャラクターにレビューしてもらいたい方 アプリケーションの構成 レビュー依頼の手順と流れ 以下のような手順と流れでレビュー結果を得ることができます。 レビュー対象のファイルをステージングエリアに登録する（複数ファイルの登録が可能です） ローカルのターミナルでaireviewコマンドを実行 Slackに必要な情報が送信される レビュー結果を確認する スレッドにレビュー結果が

TypeScript + GitHub Copilot 最高！っていうのを話しました（+デモ）

ソフトウェア開発者にとって、堅牢でテスト可能で拡張性があり、保守性の高いオブジェクト指向のソフトウェアシステムを設計することは重要です。 そこで登場するのがSOLID原則です。 SOLIDは、ソフトウェア開発中に生じるかもしれない特定の問題を解決するために5つの設計原則が組み合わさったセットです。 この記事では、SOLID設計の原則について詳しく学んでいきます。 具体的には、SOLID原則が何を意味しているのか、各部分がそれぞれ何を表しているのか、また実際のプログラム例を挙げながら現役のプログラマーが説明します。 さらに、JavaScriptを使ってこれらの原則を実装する方法も紹介します。 SOLID設計原則とは？ 単一責任原則 (SRP) Open/Closed原則 リスコフ置換原理 (LSP) インターフェース分離原則 (ISP) 依存関係逆転の原則 最後に SOLID設計原則とは？

「基本から学ぶテーブル設計　超入門！」 https://modeling-how-to-learn.connpass.com/event/242944/ の発表資料。 - ２つの設計スタイルの違いを理解する - 何を記録するか（資源・活動・当事者・規程） - どう記録するか（テーブルの役割…

JJUG CCC 2023 Spring 発表資料（ステップアップセッション）。 私がクラス設計をするときに重視している考え方とやり方を紹介。 主な内容 ・クラス設計のスキル　3段階 ・クラス設計の技能を習得するシナリオ ・７つの基礎知識 ① 入出力と計算判断 ② プログラムの中核と周辺 …

すっかり買い置き食材の定番となったサバ缶。栄養もうま味も、そして使いやすさも満点でまさに言うことなしですね。そこで今回は、メシ通でもたびたびご紹介してきサバ缶レシピの中から、できるだけ簡単にできるものを選んでまとめてみました。 ご飯もの、麺、おつまみにおかず……と、サバ缶レシピのバリエーションをググッと広げてみてください！ INDEX ▽01:電子レンジ4分のサバ缶1缶使い切り1人メシ。タンパク質も摂れる「サバ缶のねぎみそつけそば」 ▽02:サバ缶とにらでメインディッシュ「サバ缶のにんにくバターにら玉」は七味たっぷりで食べてほしい ▽03:イギリス名物「ジャケットポテト」をサバ缶で作ってみたら想像以上に旨味凝縮だった ▽04:サバ缶を南蛮漬け風にしたら、そばのトッピングからおつまみまで箸がすすみすぎた ▽05:にんにく＆ニラを大量投入「サバ缶ストロング雷豆腐」は、休日前に食べたいやつ ▽0

はじめにAITuberと書いて、アイチューバーと読みます。VTuberとは違って中の人が存在しないことが特徴です。 AITuber開発は高尚な深層学習のモデル開発ではまったくなく、むしろ、ただの推しの育成ゲームです。 なので、GPUもPythonもいりません。PCさえあれば今すぐはじめられます！ この記事でできること以下のようなAITuberが作れます。可愛いですね（親バカ） 妹系AITuber🌸桜井りりか Twitter: https://twitter.com/Ririka_AIsister YouTube: https://www.youtube.com/@ririkasakurai 早い人で週末に2日で作れると思います！ 土日に作ったAITuberをみんなに公開しちゃいましょう！！！ AITuber作成手順立ち絵の生成 モデル・VAEの選定 Google ColabでStable

数年前にAIを離れ現在はフロントエンドをやっているのですが、半年くらい前に思い切り引き戻されました。画像生成AIにおけるmidjourneyとstable diffusionの登場です。noteのCTO深津さんが記事を出したと思ったのも束の間、急速に進化を果たしました。 絵柄の固定・ポーズの指定・マシンスペックなど、日々さまざまな問題を解決しながら新たな技を身につけています。 しかし、同等かそれ以上に話題になっているのは大規模言語モデル(Large Language Model)かもしれません。ChatGPTが話題になった思ったら、BingやPerplexity,You.comなど大規模言語モデルを交えたサービスが次々と登場しました。 活用方法もたくさん見つけられており、私は特に以下の二つの記事が好きです。 「感情回路」の記事に入力(プロンプト)でここまで変わるのかと感動したことを覚えてい

おわび 最初に、すみません。タイトルはパクリました。良い記事なのでWebエンジニアは読むことをおすすめします。 さて、AIVtuber（AITuber）という存在を皆さんご存知でしょうか。AIが質問に答え、AIがゲームを行い、AIが語ります。 文字だけだとなんのことやらわからないと思うので詳しくイメージを深めたい方は以下を参照ください。 利用者側から見たAITuberの利点は結構色々なところで語られていると思います。例えば人間と違って裏切らないとか、疲れ知らずだからいつでも配信してるとか。 この記事は他とはちょっと違う側面、開発者側から見たAITuberについて説明しようと思います。つまり、「なぜAITuberという概念が俺達(開発者)の魂を揺さぶるのか」という記事です。なるべく専門用語は出さずに書くので、よかったら見てってください。 そもそもAITuberの作りってどうなっているの？ A

ゲームさんぽが終わってしまった。いや正確にはまだ終わったわけじゃないけど、自分がYouTubeに齧り付くきっかけとなったチャンネルなので、どこか名残惜しい。 ゲームさんぽを知って、こんな「教養のお裾分け」をしてくれるものが転がっているという事に驚き、それからYouTubeで似たようなチャンネルを探し回っていた。しかし素直に「教育」とか「教養」のジャンルを検索しても、出てくるのは中田のあっちゃんかDaiGoか、あるいはアフィリエイトのにおいのするチャンネルで、ちょっと違うなぁという感じ。とりあえず興味のあるものを片っ端から再生して、関連動画にサジェストされるものを集めて回った。 良い機会だと思って、その中から特に気に入ったものをリストアップしてみた。選出の目安は次のとおり。 ・その道の専門家またはマニアが関わっていること ・参考文献が明示されていること ・どちらかというと、素人でも取っ付きや

一つのデータパイプラインの中で、やりたいこと毎に小さいパイプラインを作る データ変換処理のパイプラインと言うのは、放置しているとどんどん複雑になる傾向にあります。 そこで、ある程度統制するため、層に分けるアプローチがよくとられています。 しかし、この層に分けると言うのは案外難しく、データ更新の頻度や鮮度の管理に課題があります。 今回はやりたい事ごとに都度パイプラインを作り、その中で他にも使えるテーブルを再利用してテーブルの乱立を防ぐ、方法を考えました。 このアプローチの実現にはいくつか制約があります。この記事では、直面している課題、アプローチの利点、そしてdbtを用いた実装方針について記載していきます。 この手法が着目している課題 データメッシュと言うと、大企業におけるデータマネジメントに近い印象を持つと思います。 上記の記事では、大企業における部署のような単位をドメインとしているので、組

こちらに触発されて「そういや俺も手が痺れて色々やってたしな、共有したろ！」と思い筆を取りました。 過去形っぽく書いていますが今でも油断して悪い姿勢で作業し続けると痺れが再現します。 ひどい時は無理せず休みましょう。 手の痺れの原因 手の痺れと一口に言っても原因は実に様々ですが、痺れている部位でどの神経が痛めつけられているかわかるので、それである程度特定することができます。 私の場合は主に手の外側、小指と薬指が痺れる範囲でした。 この範囲の場合、圧迫されているのは尺骨神経という神経のため、考えられる疾患としては肘部管症候群、胸郭出口症候群、頚椎ヘルニアのあたりでした。 引用: 尺骨神経とは？解剖・支配筋・感覚枝 https://www.doctor-1.com/archives/2110 色々MRIやらCT取っても確定診断は出なかったのですが、後述する分離型キーボードを導入してかなり楽になっ

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 今回は外部キーを張るときに最低限意識したいことについて書きました。 何か間違えがあったり、もっとこういうところも意識してますという人がいたらコメントお願いします。 この記事で伝えたいこと ①リレーションシップ先のデータを消したときに同時にリレーションシップ元のデータが消えても自然な状態を作る ON DELETE CASCADEをうまく利用できる状態を作る つまり親子関係を正確に表現する。 リレーションシップ先は親テーブル、リレーションシップ元は子テーブルを意味しています。 ②データを作成するときのことを考えてデータの生成順序が