RLHF（Reinforcement Learning from Human Feedback：人間のフィードバックからの強化学習）とは？：AI・機械学習の用語辞典 用語「RLHF」について説明。人間のフィードバックを使ってAIモデルを強化学習する手法を指す。OpenAIのChatGPT／InstructGPTでは、人間の価値基準に沿うように、言語モデルをRLHFでファインチューニング（微調整）している。 連載目次 用語解説 RLHF（Reinforcement Learning from Human Feedback）とは、「人間のフィードバックからの強化学習」という名前の通り、人間の価値基準に沿うように、人間のフィードバックを使ってAI（言語）モデルを強化学習で微調整（ファインチューニング）する手法である。なお強化学習とは、フィードバック（報酬や罰）に基づいて学習する方法のことだ。 R

ゲームAI、メタバース、スマートシティについて解説します。

東京大学 松尾研究室 様向け講演資料

こんにちは、ZOZO NEXTでウェブエンジニアを担当している木下です。先日、弊社が運営するオウンドメディアのFashion Tech Newsにおいて、記事リストのパーソナライズを行いました。本記事ではパーソナライズ導入における、要件定義、レコメンドエンジンの比較、実装での知見や注意点についてまとめます。 fashiontechnews.zozo.com 背景 解決方法の検討 課題の分析 パーソナライズ手法の検討 レコメンド方式について サービスの比較 Amazon Personalizeの実装 実装の流れ アーキテクチャ 実装での工夫点 採用したアルゴリズム アイテムデータの更新頻度 ユーザーの識別 注意点 AWS Personalizeのサンプルリポジトリが古い データの収集には時間がかかる まとまった料金が発生する まとめ 背景 「Fashion Tech News」とは、2018

株価は95.4%の確立でボリンジャーバンド±2σの範囲内に収まる エンジニア未経験、Qiita覚えたので初投稿 仮説 4.6%でしか負けないならボリンジャーバンドで売買すれば絶対に勝てる 条件 初期資本100万円、1ポジション100株、手数料0、副ポジション無し、25日移動平均線を基準 使用ライブラリ yfinance 株価取得 Pandas データフレーム matplotlib.pyplot グラフ tqdm プログレスバー datetime Timestampオブジェクト os csv保存 処理順序 株価取得 移動平均線、 標準偏差、ボリンジャーバンド、乖離率の算出 売買ルール制定、バックテスト リターンの算出 グラフ化 必要なライブラリのインストール

はじめに みなさんはエディタに何を使っていますか? 筆者は最近、VSCodeからNeoVimに乗り換えました。 NeoVimは自分好みにカスタマイズしていくエディタです。 この記事ではVSCodeに飽きちゃった人やNeoVimを使ってみたいけど難しそうだなと思っている人に向けてAstroNvim を紹介します。 AstroNvimとはオールインワンのNeovim環境です。 カスタマイズも簡単にできるため、NeoVim初心者にはとてもおすすめです。 筆者もAstroNvimからNeoVimに入門しており、いまも使い続けています。 AstroNvim のインストール Macの場合はbrewを使って簡単に導入できます。 brew install neovim git clone --depth 1 https://github.com/AstroNvim/AstroNvim ~/.config/

LlamaIndexを使って独自データをQ&AするだけならOpenAI API使わなくてもいいでない？PythonLLMLlamaIndexllama.cppELYZA-japanese-Llama-2-7b はじめに どうも、レガシー組込みエンジニアの@yagisawaです。 組込みエンジニアでもChatGPTはやっぱり気になる！ってことでどんな事ができるのかちまちま調査をしています。やはり独自データについてQ&Aできるのは、属人化を防ぐ意味でもかなり有用だと思い調査を進めたところ、LlamaIndexでそのようなシステムが構築可能という情報に辿り着きました。 しかし他の方が書かれているブログのコードを見てみると、当然のように

アラブ首長国連邦の首都アブダビに拠点を置く研究機関「Technology Innovation Institute」がオープンソースの大規模言語モデル「Falcon」をリリースし、機械学習関連のデータ共有サイト「Hugging Face」にてモデルを公開しました。 Falcon LLM - Home https://falconllm.tii.ae/ The Falcon has landed in the Hugging Face ecosystem https://huggingface.co/blog/falcon tiiuae/falcon-40b · Hugging Face https://huggingface.co/tiiuae/falcon-40b Falconモデルは400億個のパラメーターをもつ「Falcon-40B」モデルと、70億個のパラメーターをもつ「Falco

早稲田大学は、コロンビア大学ロースクール、香港大学と共同で6月10日、「人工知能と著作権法」をテーマにしたシンポジウムを、小野記念講堂（東京都新宿区）で開催する。Zoomでも配信される。 コロンビア大学・早稲田大学、香港大学の著作権専門家の他、米国著作権局長や、参院議員の赤松健氏、Google、Microsoftの担当者など一線のメンバーが登壇する。 「AI生成物は著作権保護を受けるか」「AIによる学習･生成が著作権侵害に当たらないか」など国際的な論点を、専門家が議論する。 「AI生成物／AIを用いた作品の著作権保護」「AIによる著作権侵害」「ステークホルダーの視点と経験」をテーマにそれぞれ、パネルディスカッションが行われる。 10日午後1時15分から6時25分まで（途中休憩あり）。事前登録すれば無料で参加できる。Zoomは登録不要。英日同時通訳付き。 関連記事 「AIが自動生成＝著作権な

対話型AI「ChatGPT」は人間の言葉を受けて自然な文章を返してくれますが、人間が求める答えをうまく引き出すにはちょっとしたコツが必要です。ChatGPT開発元のOpenAIは「GPTのベストプラクティス」と題し、ChatGPTに使われるモデル「GPT」からより良い結果を得るための6つの戦略をまとめて公開しました。 GPT best practices - OpenAI API https://platform.openai.com/docs/guides/gpt-best-practices OpenAIが提唱する戦略は以下の6つです。 ・明確な指示を書く ・参考テキストを提供する ・複雑なタスクをよりシンプルなサブタスクに分割する ・GPTに考える時間を与える ・外部ツールを利用する ・パフォーマンステストを実施する ◆1：明確な指示を書く 関連性の高い答えを得るには、ユーザーは文章

Microsoftは6月2日(米国時間)、「Bing Preview Release Notes: Increasing Chat Turns to 30/300｜Bing Search Blog」において、Microsoft Bingに追加された新機能について伝えた。Microsoftは以前発表したMicrosoft Bingの新機能を導入する取り組みを続けており、今回の発表で3つの機能改善や新機能の追加が行われたことが伝えられた。 Microsoft Bingに導入された新機能や改善点は次のとおり。 チャットターンを20から30へ引き上げ。これまでMicrosoft Bingチャットの1トピックに対する最大会話回数は20回までだった。これが30回まで拡張された。また、1日あたりの最大ターン数は300回まで引き上げられた。これは過去のチャット履歴にも適用されると説明されており、以前会話上

米Appleは6月5日（現地時間）、年次開発者会議WWDC 2023の基調講演を開催した。米Googleや米Microsoftの今年の開発者会議はAI一色と言っていいものだったが、WWDCは「One more thing」として発表されたMRヘッドセット「Apple Vision Pro」に注目が集まり、AIについての大きな発表はなかった。本稿では、そんな中、「AI」という言葉を使わずにさりげなく発表されたAI関連の新機能をまとめてみた。 32コアの「Neural Engine」搭載の「M2 Ultra」 新型Mac StudioとMac Proと同時に発表されたプロセッサ「M2 Ultra」は、24個のCPU、76個のGPU、32個の「Neural Engine」を備え、先代の「M1 Ultra」よりCPU性能は最大20％、GPU性能は30％、Neural Engineは40％向上すると

Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。Twitter: ＠shiropen2 拡散に基づくテキスト画像合成モデルは、テキストプロンプトを用いたフォトリアリスティックなコンテンツの合成において著しい進歩を示している。しかし、これらのモデルは大規模で、複雑なネットワークアーキテクチャと数十回のノイズ除去の繰り返しがあるため、計算コストが高く、実行に時間がかかる。 その結果、入力から出力までの時間を短くするには、ハイエンドGPUを搭載した大規模なクラウドベースのプラットフォームが必要になる。 モバイル機器上でテキストから画像への拡散モデルの推論を高速化する取り組みが新たに始まっている。例えば、Samsung Galaxy S23 Ul

「住所の揺らぎ程度のことにAIを使いたいだとかデジタル音痴」だの「住所の正規化なんてExcelで2時間あれば作れそう」だの、たいへんフットワークの軽やかな言説の数々に、位置情報界隈のみならず住所の正規化や名寄せに少しでも関わったことのあるエンジニアが総立ちでマサカリを投げていたのも記憶に新しい今日この頃ですが（2023年6月6日）、この手の騒動は周期的に起こってる印象です。 ということはつまり いつまで経っても解消されない、解決が困難な課題である その困難さが界隈以外に共有されていない であるわけで、その都度Twitterにトリビアが投下されてはTLが賑わい華やかではありますが、そろそろ自分の整理としてもどれだけ日本の住所システムがカオスで、その計算機的な処理がいかに困難かをメモっておこうかと思いました。 なおこの件については既にQiitaにGeoloniaの宮内さんが鼻血の出そうな良エン