toshiharu_zのブックマーク - はてなブックマーク

ChatGPT の仕組みを理解する（後編） - ABEJA Tech Blog
こちらは「ChatGPT の仕組みを理解する」の後編記事になります。前編は以下の記事をご参照ください。 tech-blog.abeja.asia 前半記事では、自然言語の基礎的な部分から GPT-3.5 まで説明していきました。GPT-3.5 の次としては、ChatGPT の元になっている InstructGPT を説明したいところなんですが、InstructGPT では強化学習の手法を使用しているので、後半記事では一旦自然言語から離れて強化学習の基礎から PPO までを説明し、最後にメインコンテンツである InstructGPT → ChatGPT を説明します。強化学習の基礎事項強化学習のモデル化環境のマルコフ性とマルコフ決定過程（MDP）価値関数強化学習手法の分類価値ベースの強化学習手法方策ベースの強化学習手法と方策勾配法アクター・クリティック手法 TRPO [Tr
toshiharu_z 2024/01/07
リンク
ChatGPT の仕組みを理解する（前編） - ABEJA Tech Blog
こんにちは！株式会社 ABEJA で ABEJA Platform 開発を行っている坂井（@Yagami360）です。世間では ChatGPT などの大規模言語モデル（LLM）による対話型 AI が盛り上がってますね。クオリティーも凄いし AI 業界以外でも盛り上がってると嬉しいですよね。この数年で一段と AI の社会実装が業界以外の人にも目に見える形で進んできたなあと実感しております。自分は普段業務では ABEJA Platform という AI プロダクトやその周辺プロダクトのバックエンド開発とフロントエンド開発をやっているのですが、AI 業界所属していながら ChatGPT などの LLM 全然追いかけれていない状態になっちゃてて自責の念にかられているので、このブログ執筆という良い機会に ChatGPT の仕組みについて調べてみました。本記事の対象読者としては、以下のようになりま
toshiharu_z 2023/07/30
リンク
ノイズのある教師データを用いた機械学習に関する研究サーベイ - ABEJA Tech Blog
こんにちは、Research Internの荒尾(@karolis_ml)です。日進月歩の勢いで研究が進んでいる深層学習ですが、教師あり学習でもっとも大事なデータのアノテーション、応用分野ではまだまだ大変ですよね。例えば、犬の写真から犬種を判断する分類器を作ろうとして教師データが必要になったとき、あなたは以下の画像にどんなラベルをつけるでしょうか? 出典: Pixabay 犬好きの方は正しくアラスカンマラミュート、そうではない方は似た有名犬種であるシベリアンハスキーと答えられたことでしょう。マラミュートの茶色い目(かわいい)や小さめの尖った耳(かわいい)を見分けて正しくラベル付けをするのは、決して簡単ではありません。このようなアノテーションの分野に関して当ブログでは以前、Bounding BoxやSegmentationの効率化についての研究サーベイを行いましたが、この犬種分類のような
toshiharu_z 2019/07/30
リンク
双曲空間でのMachine Learningの最近の進展 - ABEJA Tech Blog
ABEJAでReseacherをしている白川です。以前、Poincaré Embeddingsという双曲空間への埋め込み手法をご紹介しました。当時、木構造データを5次元の空間に精度良く埋め込めるということで話題になったのですが、その後双曲空間での機械学習手法が多数研究・提案され、双曲空間での機械学習についての理解をバージョンアップする必要があるなと感じたので、最近の研究の進展を中心に理論背景含めてご紹介したいと思います。 tech-blog.abeja.asia Tl;dr 本記事で伝えたいのは、論文の各論というより、各種論文で共通/独自に主張されている下記のような内容です。木なら2次元で十分双曲空間では指数写像/対数写像が明示的に計算され空間全体に拡張されるので取扱が容易 Gyrovector space: 双曲空間における線形代数のような代数構造 Riemann幾何とGyrove
toshiharu_z 2019/01/25
リンク
1