macOS の zsh ではこれだけはやっておこう/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"
【後編】LangChainによるGenerative Agents実装まとめ｜mah_lab / 西見 公宏
前回に引き続きGenerative Agentsです。今回はこちらのドキュメントの内容を中心に見ていきます。 GenerativeAgentクラスの概要この実装で中心的な役割を果たしているのがGenerativeAgentクラスです。 class GenerativeAgent(BaseModel): """A character with memory and innate characteristics."""このクラスは以下のパラメータを持っており、これがキャラクターの振る舞いや言動に影響を与えます。 name (str)： キャラクターの名前。 age (int)： キャラクターの年齢。 traits (str)： キャラクターの固有の特徴。「anxious, likes design」といった値を設定する。 status (str)： キャラクターの現在の状態。 reflecti
【前編】LangChainによるGenerative Agents実装まとめ｜mah_lab / 西見 公宏
先週、LLM（GPT-3.5）によって固有の性格や属性を持たせた25人のAIエージェントによる小規模社会シミュレーションの実現を試みたGenerative Agents論文が話題になりました。 本論文では、信憑性のある人間の行動をシミュレートするジェネラティブエージェントを紹介します。大規模言語モデルを拡張したアーキテクチャを用いて、エージェントの経験を自然言語で記録し、リフレクションにより統合し、それを行動計画に利用します。インタラクティブな環境でユーザーと自然言語で対話できるようにし、信憑性のある個々の行動と新たに現れる社会的行動を実現します。今後の研究では、生成エージェントのアーキテクチャをさらに改良し、人間の行動のシミュレーションをさらに向上させることが求められます。またこの技術は、教育、ゲーム、ビジネスコミュニケーションなど、さまざまな分野での応用が期待されています。 アブストラ
深層学習コンパイラスタックと最適化
概要: 深層学習コンパイラのサーベイ論文 The Deep Learning Compiler: A Comprehensive Survey を基に、深層学習コンパイラの典型的なコンパイラスタックと最適化について説明しています はじめに 近年深層学習の目覚ましい進歩が注目を集めています。例えば ChatGPT をはじめとする大規模言語モデルの登場が社会面に大きな影響を与えたことは、記憶に新しいかと思います。 その背後で技術の進展を支えているのが、計算機における計算速度の向上です。深層学習ワークロードは、膨大な計算を必要とします。半導体の微細化がほぼ限界に達し、ムーアの法則の終焉が囁かれる今、ソフトウェアによる計算の高速化が喫緊の課題となっています。 高速化が求められる理由として、深層学習ワークロードにおける計算量の多さが挙げられます。例えば、サイズ 224\ \text{px} × 22
Baby-AGIなるAI連動型の推論システムを評価してみた | IIJ Engineers Blog
地方拠点の一つ、九州支社に所属しています。サーバ・ストレージを中心としたSI業務に携わってましたが、現在は技術探索・深堀業務を中心に対応しています。 2018年に難病を患ったことにより、定期的に入退院を繰り返しつつ、2023年には男性更年期障害の発症をきっかけに、トランスジェンダーとしての道を歩み始めてます。 名前がアツいよね。 BabyとはいえAGI(Artificial General Intelligence:汎用人工知能の略。男性の頭が薄くなるのはAGA。)。 実はこうした実行計画・調査・追加調査事項の抽出といったタスク管理を含めた総合的な動作をNLPモデルに行わせつつ、本来はn-CTXと呼ばれるインプットレイヤーのトークン数しか情報が入れられない環境下でも長期記憶を持たせて適切な回答をさせるようなものが増えました。今回、その中でも仕組みがわかりやすく作られていた https://
chatGPTにアドバイスをもらったらデータサイエンスを知って1週間の友人がコンペで上位6.5%に入った話
先日、データ解析のセミナーを開催しました。 未経験の方でも、2時間で予測モデルを作成することができるハンズオンセミナーでした。 好評だったので、その内容をYouTubeにまとめたのでご興味ある方はご覧ください。 このハンズオンセミナーで予測モデルの作り方を知った友人がchatGPTにアドバイスをもらって、データサイエンスのコンペティションサイトに応募したところ、上位6.5%に入ることができたという報告を受け、驚愕しました。 chatGPTを上手く使えば素人がプロに勝つことも十分できるのだなと実感しました。 友人が参加したデータサイエンスのコンペは、SIGNATEの糖尿病予測問題でした。 以下のような進め方をしたとのことでした。 まず、問題の概要を説明して、どのように進めていけば良いかを確認したそうです。 そうすると、chatGPTからデータサイエンスの問題を解くための手順を一覧化してくれて
RecyclableMemoryStreamを使ったメモリプールのご紹介 - Activ8 Tech Blog
こんにちは、エンジニアの庭山です。 Microsoftが公開している Microsoft.IO.RecyclableMemoryStream というC# 用のライブラリの紹介をさせて頂きます。 目次 目次 System.IO.MemoryStreamに特化したプーリング コードの典型例 活用例 メモリ管理方法 スロット ブロック Smallプール Largeプール Linearの場合 例：1スロットの最小（等倍時）のサイズを1MiB、最大サイズを4MiBとした場合 Exponentialの場合 例：1ブロックの最小のサイズを256KiB、最大サイズを8MiBとした場合 Linear か Exponential どちらが良いか 注意点 最後に 備考：ベンチマーク System.IO.MemoryStreamに特化したプーリング 最大利用サイズの指定 SmallプールとLargeプールの２つの
vicuna-13bで embedding vectorの計算 (& GPT･RWKVとの比較)｜Kan Hatakeyama
背景 背景はこちらの記事と同じです 最近は､GPTが流行ってます しかしGPT-3.5以降はfine tuningが執筆時点でできません なので､オリジナルデータを学習させるには､少し工夫が必要です 要するに､文章のembedding vectorを計算する必要があります しかし､GPTのAPIは地味に値段が高いため､pdfが100個くらいあったりすると､破産する恐れが出てきます 目的 最終的な推論はGPT-3.5 or 4にやらせるとして､embedding vectorの計算は､もう少しローコスト･低性能なLLMで良いのではないかと､誰しも考えるはずです 或いは､google検索のような､index検索を使うのも手です ただしこの場合は､言語を跨いだ検索などが難しそうです そこで､一般のご家庭のPCでも動き､日々タケノコの如く報告されるLLMの中でも､群を抜いていると評判のvicuna
LangChainによる二人プレイTRPGリプレイを日本語でやってみる｜shi3z
LangChainを使った二人プレイのテーブルトークRPGのリプレイが面白いと言うので僕もやってみることにした。やはり日本人なので日本語で遊びたい。昔よくコンプティークとかに載っていたよね。ロードス島戦記的な。 このページを参考に、日本語にするためにGPTを使うことにした。 ちなみにGPT-3.5-Turboの日本語訳は、DeepLより安いらしい。 ソースコードは最後に掲載する。 リプレイProtagonist Description: 私は勇敢なサブロー・ゴータンダです。兄弟の仇を討つため、私の剣術は無敵です。ハック・アイの困難な任務を敢行して、彼の陰謀を阻止しましょう。勝利は私の側にあるのでしょうか？私が答えを見つけ出す時が来るでしょう。 Storyteller Description: ダンジョンマスター、あなたは想像力の大師であり、秘密の守護者であり、運命の指揮者です。あなたは無数
海外で日本のやり方を押し通そうとするとどうなるか
日課のYouTubeサーフィンをしていたところ、おもしろそうな動画が目に入った。 『【パリコレ前日密着】パリでのモデルオーディションで最悪の事態にブチギレ』という動画だ。 チャンネル主である勝友美さんは「日本初の女性テーラー」であり、1着20万円以上の高級スーツを1年間で500着以上売り、立ち上げたオーダースーツブランドでミラノコレクションに出展した、敏腕経営者らしい。すごい。 動画内では、パリコレ前日に様々なトラブルに直面し、それでもめげずに奮闘する勝さんが描かれている。 この動画だが、おもしろいことにコメント欄の意見が真っ二つに分かれているのだ。 一方は、「トラブル続きでも最善を尽くす勝さんはすごい」という、賞賛のコメント。 もう一方は、「海外じゃこんなトラブルよく起こる、準備不足」という批判的、もしくはアドバイスのコメント。 さて、なぜ意見が二分しているのか。 それは、「海外における
大規模言語モデル間の性能比較まとめ｜mah_lab / 西見 公宏
StableLMのファインチューニングってできるのかな？と調べたところ、GitHubのIssueで「モデル自体の性能がまだ良くないから、ファインチューニングの段階ではないよ」というコメントがありまして。 シートの中身を見てみるlm-evalシートstablelm-base-alpha-7bは54行目にありまして、確かに他の言語モデルと比較するとまだまだな性能のようです。応援したいですね。 シートの列の意味それぞれの列の意味については推定ですが以下の通りです。 RAM 言語モデルのGPUメモリ消費量。 lambada(ppl) LAMBADAデータセットによる測定値。ロングレンジの言語理解能力をテストする（文章全体を読まないと答えられないタスクでの評価）。PPLはPerplexityという指標で、モデルの予測の不確かさを示す。PPLが低いほど、モデルの予測精度が高い。 lambada(acc
｢30代で部長に大抜擢｣若手が離れたまさかの顛末
人材育成や組織活性化の一環として、若手の抜擢が試みられることが増えている。中小企業やスタートアップ企業のみならず、大企業でも、32歳の部長が50代、40代の課長の上司になったり、50代が中心の役員の中に、30代前半の若手が起用されることがある。 しかし、このような「抜擢人事」は、必ずしも成功に結びつかないことがある。本コラムでは、会社が良かれと抜擢した若手上司が、自信に満ちてリーダーシップを発揮しようと試みたものの、年上の部下との関係が予想以上に困難を極め、その結果若手社員も離れていったという驚きの事実を明らかにする。 さらに、「抜擢人事」が成功するためのポイントや、抜擢せずに組織を活性化させる方法（ボスマネジメント）も紹介する。 大企業の部長に抜擢された32歳男性の話 部長に抜擢された32歳の男性は、昇進当初、ベテラン社員からも期待されていた。前の部長も、こう発言している。 「私では組織
アジャイルなSREチームの運用
LAPRAS株式会社でSREをしているyktakaha4と申します🐧 弊社のSREチームで最近運用をはじめた見積もりやふりかえりの手法について書きたいと思います 大規模な立ち上がり済みの組織向けでなく、今ひとりで仕事をしている人が2人目のSREを迎え入れたときの一事例としてご覧ください 経緯 弊社は2016年に創業して以来、ソフトウェアエンジニアとして入社した社員がアプリケーションからクラウドまでプロダクト全体を開発・運用するというスタイルが取られていましたが、 エンジニア組織の拡大に伴い、2021年頃からプロダクトの信頼性や可用性の向上を責務とする専任のSREを立ててシステムの改善をおこなってきました 以下は、弊社で導入しているホラクラシーに基づいて定義された Site Reliabilityサークル のロールの一覧です 原則として、ロールは誰であっても自由に負うことができるので、主務
【Android/Kotlin】Bluetoothをスキャン Bluetoothの機能を有効にする - Qiita
今回は、以下の挙動をするアプリを作成する アプリが起動すると、画面には「スキャン」というボタンが表示される 「スキャン」ボタンが押されると、Bluetoothの許可を求めるダイアログが表示される ユーザーがBluetoothの許可を与えた場合、Bluetooth機能が有効かどうかをチェックする Bluetooth機能が無効であれば、ユーザーにBluetoothを有効にするように促すダイアログを表示する Bluetoothが有効であれば、「BT接続できます」というメッセージが表示される 実装 AndroidManifest.xml に以下を追加 <uses-permission android:name="android.permission.BLUETOOTH"/> <uses-permission android:name="android.permission.BLUETOOTH_CO
VRM1.0版のWebGLでRuntimeで読み込み実装を行う - Qiita
はじめに VRM1.0-v0.108.0を使ってWebGLを用いて読み込みで苦労したこと、実装方法を書いていきます。 どうしてこの記事書こうと思ったか VRMコンソーシアム側がまだリファレンスを書いていないため自分で調べる手段がソース解析しかない。 Uni-VRM0.x系からの変更点が多くて今までの記事を見ても実装が出来なかった。 2022年9月5日(月)～11日(日)の「unity1week」で実装しようとして、 その時最新の「VRM-0.98.0」で実装しようと苦戦してほとんどの時間を費やしてしまい、あきらめたから。 VRM勉強会で聞いてみた VRM勉強会でコメントにて質問した結果「さんたーP」さんがTwitterにて回答していただけて解決できました。 @fairychirno 流れてしまったのでこちらで失礼します。この RuntimeOnlyNoThreadAwaitCaller を
Cloudflare Keyless SSL を使ってみる - Qiita
Keyless SSL 通信フロー詳細 以下のブログで詳細が公開されています。 セッション開始時には以下のような通信となり、Cloudflare からキーサーバーへの通信が発生します。 Keyless SSL: The Nitty Gritty Technical Details ハンドシェイクシークエンス図から得られる教訓の1つは、プライベートキーが各ハンドシェイクで一度しか使用されないことです。これにより、TLSハンドシェイクを地理的に分割し、CloudFlareのエッジでほとんどのハンドシェイクを行いながら、プライベートキー操作をリモートキーサーバーに移動することができます。このキーサーバーは顧客のインフラストラクチャに配置されるため、彼らだけがプライベートキーに独占的アクセス権を持つことができます。 続いて、TLS session resumption の仕組みを使ってセッションの
無料で自分の声を違うキャラクターなどの声にできるリアルタイム音声変換AIを簡単に使えるボイスチェンジャークライアント「VC Client」でどれぐらい声が変わるかレビュー
AI技術の進化によって、絵や文章だけではなく音声変換もAIでリアルタイムに行うことが可能になりました。ボイスチェンジャーAIにはRVC(Retrieval-based Voice Changer)やMMVCなどさまざまな種類が存在しますが、「VC Client」は複数ボイスチェンジャーAI向けモデルに対応しており、簡単にリアルタイム音声変換ができるとのことなので実際に試してみました。 GitHub - w-okada/voice-changer https://github.com/w-okada/voice-changer GitHubのレポジトリにアクセスします。 「事前ビルド済みのBinaryでの利用」の欄にあるテーブルで、「win」にある「通常」をクリック。 ダウンロードリンクが表示されるので、「このままダウンロード」をクリックします。なお、VC ClientはZIP形式で配布され
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
[輪講資料] LoRA: Low-Rank Adaptation of
Large Language Models![[輪講資料] LoRA: Low-Rank Adaptation of
Large Language Models](https://cdn-ak-scissors.b.st-hatena.com/image/square/65cb19b58389a8172f4ae0e0bffde9aca1b0c31e/height=288;version=1;width=512/https%3A%2F%2Ffiles.speakerdeck.com%2Fpresentations%2F1a79cc87bdcc460ab0db72d0d9f2f902%2Fslide_0.jpg%3F25289431)
【完成版】宮本茂氏「ザ・スーパーマリオブラザーズ・ムービー」インタビュー 映画作りの中で光るゲーム作りの経験。宮本氏が映画で目指したものとは？