こんにちは。 カバー株式会社CTO室エンジニアのIです。 今回はタレントさんが普段の配信で使用しているホロライブアプリのトラッキングシステムについて紹介します。 弊社のタレントさんが自宅から３Dモデルを使った配信を行う、通称「おうち３D」では複数のトラッキング方式が複合的に利用されていることにお気づきでしょうか？ カバーのスタジオでは本格的なモーションキャプチャー設備を用いて多自由度かつ精度の高い3D配信が可能ですが、おうち３Dでは自宅でも簡単かつ表情豊かなトラッキングが利用できることを目指しています。 ※おうち３D配信参考リンク 【おうち3D凸待ち】mocopiに敗北したぺこマリ【ホロライブ/宝鐘マリン・兎田ぺこら】 トラッキング入力の種類おうち３Dでは複数のトラッキング入力からさまざまなデータを受け取り、合成した後、タレントの３Dモデルの全身に適用しています。 トラッキング入力の種類に
プロンプトを遺伝的アルゴリズムで自動最適化するプロンプトエンジニアリング手法『Promptbreeder（プロンプトブリーダー）』 | AIDB
関連研究 ■GPT-4などのLLMに「自らの論理的な整合性をチェック」させるフレームワーク『LogiCoT』と実行プロンプト ■LLMの出力から誤り（ハルシネーション）を減らす新手法『CoVe（Chain-of-Verification）』と実行プロンプト ■LLMに自身のハルシネーション（幻覚）を「自覚」させ、減らす方法 従来の課題 手作りのプロンプト戦略 現在、プロンプトエンジニアリングの分野で広く用いられているChain-of-Thought（CoT）やその派生テクニックは、基本的には手作りです。特定のタスクや問題に対して最適なプロンプトを設計する際に、人の専門家が手動でプロンプトを生成しています。 自動化の必要性 手作りのアプローチは効果的である場合も多いですが、スケーラビリティに欠けるという問題があります。大規模言語モデル（LLM）が多様なタスクで使用される現代においては、プロン
プロンプトエンジニアリングを最適化する為のフレームワークSAMMOを実際に使ってみた - Taste of Tech Topics
いつの間にか春も過ぎ去りすっかり夏模様の今日この頃皆さんいかがお過ごしでしょうか？菅野です。 生成AIの重要性が高まり、生成AIで利用できるテキスト量が長くなるにつれてにつれて、プロンプトエンジニアリングの重要性が高まってきました。 プロンプトエンジニアリングとは、そのプロンプトにどのような命令、事前情報等を入力すると、より適した応答が返ってくるかを設計する技術です。 そんなプロンプトエンジニアリングを最適化する為のPythonライブラリ、SAMMOがMicrosoft社から2024年4月18日にリリースされたので紹介していきます。 www.microsoft.com SAMMOとは？ Structure-Aware Multi-objective Metaprompt Optimizationの頭文字をとったフレームワークです。 元来、プロンプトエンジニアリングでは、エンジニアが、様々な
日本語LLMベンチマークと自動プロンプトエンジニアリング - Preferred Networks Research & Development
大規模言語モデル (LLM) は日進月歩で進化しており、日本語の理解能力についても多くの言語モデルがしのぎを削っています。先日PFNからも、日英2言語を併せた能力で世界トップレベルの性能を示す言語モデルPLaMo-13Bを公開*しました。 一方で、LLMを実際のタスクに適用する場合には、事前学習モデルやファインチューニングによる改善もさることながら、プロンプトの違いが性能を大きく左右します。本稿ではプロンプトを自動的にチューニングすることによって、LLMの能力を最大限に引き出し、与えられた課題の精度をどこまで高められるのかを検証します。 * 本稿で解説するプロンプトチューニング技術は、PLaMo-13B公開時の性能評価には用いていません。 プロンプトエンジニアリングについて LLMを使ったチャットシステムでは、ユーザーからの問い合わせ内容を改変してLLMに入力することがあります。例えば、図
2023 年に大規模言語モデルは多数発表されていますが、どれを選べばよいかは依然として曖昧です。その理由の一つにユースケースと評価方法のミスマッチがあると考えています。例えば、営業メールの草案を生成するモデルを選ぶとき、質問回答データセットの評価結果がどれだけ意味があるかは不透明です。誰かにメールを書いてもらいたいとき、東海道新幹線の速度について知っていることを基準にするか ? という話です。 本記事では、マッキンゼーが公開した The state of AI in 2023 から生成系 AI の企業利用が盛んな領域について示唆を得て、大規模言語モデル評価の方向性を提案します。日本の AI 導入効果は米国の 7 分の 1 程度しかないといわれており、生成系 AI のインパクトは限定的になると見込んでいます。生成系 AI の応用を加速するにはカスタマイズが必要な汎用モデルだけでなく、ユースケ
ED法への生理学的な考察 - Qiita
初めまして。普段は産婦人科医をしつつAIの医学応用に関する研究をしています。 Qiitaは見る専でしたが、以下のバズっている記事を拝見した時、生理学の神経構造の話をふと思い出したのでメモ代わりに記載しようと思います。 読みにくい部分があれば申し訳ありません。 とくに@pocokhc(ちぃがぅ)さんの記事のコード詳細と実験内容を見ていた時、実際の神経系の構造とあまりに似ていたことにびっくりしました。 まず、興奮性ニューロンと抑制性ニューロンの2種類から構成されるED法の構成ですが、これは実際の神経系でも同様の構造になっています。実際の神経はシナプスのつながりをニューロンと言います。信号を伝える側の興奮性シナプスに電気が走ると、電位依存性のカルシウムチャネルが開き、Caが放出されます。このCaの影響でシナプスの末端にある小さな袋から神経伝達物質（中枢神経系では主にグルタミン酸）が放出されます。
進化計算時代への序曲｜shi3z
統合科学者ネクシャリストという考え方がある。平たく言えば、理系・文系の分け隔てなくさまざまな専門分野を統合的に扱う学者である。ちなみにこの言葉自体は「宇宙船ビーグル号」に登場する架空の概念であり、現実には存在しない。 ただ、人類が生み出した偉人、天才と呼ばれる科学者の中で、特に傑出した人々は、その発言の真意が理解されるまでに途方もなく長い時間がかかることがある。 そうした発言はしばしば「予言」または「予想」と呼ばれ、場合によっては何世代にもわたってその真意を確かめようと後の人類が挑戦する。それが実際にはたわごとなのか、それとも真理なのか、それは誰にもわからない。 20年以上前にミンスキーが「心の社会」を書き、ペンローズが「皇帝の新しい心」を書いた。 どちらも登場した当時は「すごい本が出た」と言われたが、この「すごい」は「凄そうなことが書いてあるが、何が書いてあるかわからない」という「すごい
既存のAIモデルを組み合わせて超高性能モデルを作る手法を日本のAI企業「Sakana AI」が開発、進化的アルゴリズムで膨大な組み合わせを試行し人間には発想困難な高性能LLMや画像生成モデルを作成可能
東京に拠点を置くAI企業「Sakana AI」が、複数の生成AIモデルを進化的アルゴリズムを用いて組み合わせて新たなモデルを作り出す手法を開発しました。Sakana AIはすでに大規模言語モデルや画像生成モデルの作成に成功しており、各モデルは既存のモデルよりも高い性能を備えていることが確かめられています。 進化的アルゴリズムによる基盤モデルの構築 https://sakana.ai/evolutionary-model-merge-jp/ [2403.13187] Evolutionary Optimization of Model Merging Recipes https://arxiv.org/abs/2403.13187 ◆技術の概要 生成AIモデルをゼロから作成するには、高性能なGPUを大量に用意して膨大な計算処理を実行する必要があります。一方で、既存のモデル同士を組み合わせて新
有名人の卒業論文 中島健人 明治学院大学の社会学部を卒業した中島に、司会者が卒論のテーマを聞くと、中島は「“なぜ人は恋に落ちるのか？”です」と返答。思わぬ回答に、ネプチューンの原田泰造（４７）は「ロマンチックだな」とひと言 伊野尾慧 津波避難に係る学校施設の整備のあり方 : 津波被害のあった小中学校の避難に係る事例検証を通して 宮沢氷魚 そして流れで、卒論が話題に。テーマが「東京都内の川の環境変化について」だった宮沢は「川が大好きで」と屈託のないキラキラした表情を見せると、藤原は「知らない一面出てきた」とツッコミ。宮沢は「江戸時代から平成まで、どう川が変わってきたのか。そして、その川がどう社会的貢献度をもたらしたか。1年かけて英語で85ページから100ページぐらい書いた。大変だったけど楽しかった。全然、苦じゃなかった」と笑顔をはじけさせ「音読したいぐらい結構いいのが書けた。いまだにICUに
オランダの彫刻家テオ・ヤンセン氏が1990年から取り組んでいる「ストランドビースト」という作品は、プラスチックのチューブで骨格のように構成された「人工生命」で、風力によって生物のように歩行します。ストランドビーストは30年以上かけて動きが先鋭化したり全長が巨大化したり、素早く歩行したり飛行したりと進化を遂げてきました。 Strandbeest https://www.strandbeest.com/evolution ヤンセン氏は、人工生命の構想を始めてから2021年にストランドビーストが空を飛ぶようになるまでの進化を、以下の13の期間に分けています。 ◆01：プレグルトン(Pregluton) 1986～1989年 ヤンセン氏がストランドビーストの最初期段階として挙げたのは、1986年ごろに抱いた「進化という現象を自分の目で観察したい」という衝動です。ヤンセン氏はストランドビーストの進化
【検証】ChatGPTの有料版「GPT-4」にファイルを読み込ませて中身を説明させたらどうなる？ 試したら…精度バケモンだった！
» 【検証】ChatGPTの有料版「GPT-4」にファイルを読み込ませて中身を説明させたらどうなる？ 試したら…精度バケモンだった！ 特集 【検証】ChatGPTの有料版「GPT-4」にファイルを読み込ませて中身を説明させたらどうなる？ 試したら…精度バケモンだった！ アキル 2024年1月28日 前からものすごく気になっていたChatGPTの有料版「GPT-4」。迷った末思い切って登録したよ。いやー何だか大きな買い物をした気分だよ。 GPT-4では、様々なファイルを読み込ませて内容を説明させることが出来ると言われている。これ、場合によってはめっちゃ便利なんじゃね？ というわけで、今回はGPTさんに色んなファイルを読み込ませて検証していくよ！ ・検証方法 方法は簡単、ChatGPTではアップロードできるファイルの種類に制限がないから、今回はパソコンにあるファイルを片っ端から読み込ませる。
Scratchではじめる機械学習 第2版
本書は、Scratchを使っている小学校高学年くらいの年齢から読める、機械学習入門です。Scratchの拡張機能を使い、画像認識や音声認識、姿勢検出、文章生成を利用したプログラムを作りながら、機械学習の仕組みを楽しく学ぶことができます。Pythonなどのテキストプログラミング言語や、難しい数学の知識は必要ありません。作りながら学ぶことで、実際の世の中で機械学習がどのように生かされているかを想像し、自分でも機械学習を使った仕組みを考えられる力を養います。プログラミングの楽しさを覚えはじめた子どもたちの次のステップとしてもぴったりの一冊です。 はじめに この本について 序章 10分で体験できる機械学習 ImageClassifier2Scratchで画像認識を体験してみよう 1章 ［画像認識編］ジャンケンゲームを作ろう 1-1 ML2Scratchの準備をする 1-2 ML2Scratchで画
世の中そんなに甘くない。 SakanaAIの「AI科学者(AI Scientist)」を使ったら爆発的に研究が捗る!と思ったのも束の間、人間並、いや下手すると人間より日給が高くなる可能性があることがわかった。 この二日間、好き放題にAI科学者に研究させた結果がこのザマ 二日で300ドルを突破する勢いで、これはちょっと遊びでやるレベルを超えてる。 また、指示の出し方(seed_ideas.json)によっては、実験が失敗する可能性もある。 昨日はMNISTと進化計算をテーマに7つの研究をしたみたいだが、5本は失敗し、2本だけ論文が得られた。 まあ一晩で2本も論文書けるレベルの人間の日当はもっと遥かに高いと思うが、個人で抱えるにはリッチすぎる。 というのも、デフォルトでClaud-3.5-SonnetやGPT-4oを使うようになっているからだ。そこで激安になったGPT-4o-miniをデフォル
EDLA
誤差拡散学習法のサンプルプログラム 99/7/12 公開 99/7/16 詳細追加 99/8/6 一部修正 99/8/19 論文追加 99/10/27 経過報告 ED法サンプルプログラム（UNIX汎用、tgz、4KB） 階層型神経回路網（ニューラルネットワーク）の教師あり学習アルゴリズムである誤差拡散学習法（ED法）のサンプルプログラムです。 比較のために用いたバックプロパゲーション法（ＢＰ法）のサンプルプログラムも示しておきます。 慣性項ありBP法のサンプルプログラム（UNIX汎用、tgz、4KB） なお、これらのプログラムでは、階層型構造をリカレント型の一種とみなして計算しています。また、パラメータ入力の際には、単にリターンを押すとデフォルト値（括弧の中の値）が用いられるようになっていますので、実行の際にはリターンを連打すればＯＫです。また、X-Windowを用いてトータルエラーのグラ
こんにちは、フォルシアのエンジニアの西海です。 エンジニアの皆さんは日々様々な技術ブログを読んで勉強をされているかと思います。 今年の私はAI画像認識関連の記事を読み、アイディアを開発で活用したほか、記事のレベルが高いなと普段から感心しているヤフーさんやメルカリさんの技術ブログを中心に読んできました。 ところで、2023年も終わりが近づき、ふと「今年公開された記事の中で、見落としている良記事がまだあるのではないか」と考えました。 そこで、「下記のような基準でエンジニアからの反響が大きかった記事を探すと、まだ読んでなかった良記事に出会えるのではないか？」と考え、実際に探して50記事程読んでみました。 先日発表された「開発体験が良い」イメージのある企業ランキング上位30社に入っている企業のうち、社員数800名未満のベンチャー・中小企業を対象とする。 「はてなブックマーク数＋掲載元媒体のいいね・
2024年度 第38回人工知能学会全国大会（JSAI2024）参加レポート - Insight Edge Tech Blog
はじめまして！2024年5月よりInsight EdgeにジョインしたData Scientistの市川です。 まだ入社して間もないですが、オルタナティブデータを活用した案件や、金融市場のオプション等を活用した分析などに携わっております。 今回は、先日人工知能学会（JSAI2024）に行ってきましたので、そのレポートをさせて頂きます。 イベントの概要 発表の概要 [2J1-KS-19] 金融分野における大規模言語モデルの活用 [2A2-PS-2] 進化する大規模言語モデル [2O4-OS-25a] 不動産とAI [2O4-OS-25a-01] 住宅価格予測モデルの経時的な精度の変化分析 [2O4-OS-25a-02] 地理空間ネットワークデータと機械学習を用いた説明可能性の高い賃料予測 [2O4-OS-25a-03] 機械学習を用いた物件設備スコアの推定：不動産データを使用したケーススタデ
人間よりAIのほうがレッスン上手？ 「学マス」で新カードのバランス調整を迅速かつ確実にするための“AI開発手法”とは［CEDEC 2024］
人間よりAIのほうがレッスン上手？ 「学マス」で新カードのバランス調整を迅速かつ確実にするための“AI開発手法”とは［CEDEC 2024］ ライター：高橋祐介 ゲーム開発者向けカンファレンス「CEDEC 2024」の初日（2024年8月21日），スマホゲーム「学園アイドルマスター」（以下，学マス）の講演「『学園アイドルマスター』における適応的ゲームAIとグレーボックス最適化を用いたバランス調整支援システムの実現」が行われた。 学マスではこれまで，深層強化学習によるカードゲームAIと，デッキ探索を用いたバランス調整支援システムを開発し，新規実装カードのバランス調整に活用してきたという。これらについて講演では，カードゲームのバランス調整支援にAIを活用する考え方や，最新のマスターデータにも適応するゲームAIの開発手法などが伝えられた。 左からサイバーエージェント ゲーム・エンターテイメント事
2023年もマテリアルズ・インフォマティクス（MI）の論文紹介を続けることができました。昨年に引き続き、今年も備忘録のために個人的注目論文を5本書き留めておきます。 大規模結晶材料データベース 2023年に発表された論文の中で最も読んでおくべきと思ったのは、やはりDeepMindさんが計算で38万もの合成可能性の高い材料を予測したものです。 これまでに計算によって熱力学的に安定とされた材料は高々数万件しかなかったのに対し、この論文によって材料データ空間が1桁広がったのはすごいです。 僕はボストンで開催された2023 MRS fall meetingにてこの発表を立ち見で聞いていたのですが、投影された数字を見て「？」となりました。 この論文ではブレークスルー技術が明確にあったわけではなく、「こんなことができればいいなぁ」と誰しもが思い描いていた内容であったと思いますが、それをちゃんと組み上げ
はじめに シュレディンガー先生、予防線を張る NTTICCでの展示について Chaotic Satisfying Things ライフゲーム・(スキ|キライ) お前は神から愛されなかった/イコンを捨てたSCP財団 Reminiscence Syndrome（連想症候群） 時空間の離散化・格子法の限界 人工生命とAI 共進化する二つの分野 LLMとオープンエンドな進化 「非人間中心主義」 野良猫的人工生命 「何の役に立つの？」 媒介者としての人工生命 環世界の拡張としての人工生命 単純なセンサではないことの意味 おわりに はじめに ICC キッズ・プログラム 2024 キミ( ).コード( ).セカイ( )の展示が無事終わりました。避雷は「うまれる，かかわる，またうまれる，」という作品を展示していました。デカいプロジェクションマッピングに、センサを取り付けたような作品です。大きな展示を実寸で
本記事のめあて 自然言語を中心とした生成AIの、AIの中での位置付けの整理 背景 ネット上の記事により、AI、機械学習、深層学習、生成AIの位置付けに混乱が見られるのでそれを整理したかった 概要 AIとはを説明しその中の機械学習の位置づけ 予測AIと生成AIの違い 機械学習とはを説明しその中の深層学習の位置づけ 深層学習を説明しその中の生成AIの位置づけ LLMでも生成AIでないものもある 生成AIとはで、自然言語処理を中心に説明する 生成AI自体を詳述するのではなく、AIの中での位置付けのみ 生成AIに関係ないところは軽く触れるか記載なし（機会があればまた別記事で） あちこちから刺されそうな記事ですが刺さずにコメントで指摘いただくと嬉しいです。 本記事の見取り図 書籍でここらを学ぼうとする方はよければこの記事も見てください。 AIとは AIの定義 人工知能学会の（一般人向け？）定義 人工
これまでのLLMの使用法は、モデルの動きを観察し、その反応に基づいてプロンプトを調整するという方法に重点が置かれてきました。しかし、プロンプトの効果を微細に制御するには不十分といえます。 この問題に対処するため、センスタイム社を含む研究者たちが開発したのが『ControlPE』（Continuously Controllable Prompt Engineering）です。ControlPEは、プロンプトによるLLMの動きを直接調整する手法です。モデルの挙動を細かく直接的に制御することを目指しています。 ControlPEはモデルを直接編集することなく実現します。そのため、開発者や研究者はLLMをカスタマイズする際に大きなリスクやリソースを必要としません。本記事では背景、ポイント、実装について、性能評価の結果について見ていきます。 参照論文情報 タイトル：To be or not to b
ヘイトスピーチの何が問題なのか | 法政大学出版局
A5判 / 330ページ / 上製 / 価格 4,400円 (消費税 400円) ISBN978-4-588-15136-1 C1010 [2024年03月 刊行] 「言論の自由」や「表現の自由」との関係など、法規制の是非も含め、ヘイトスピーチをめぐる議論は錯綜している。ヘイトスピーチそれ自体の悪さは、話し手の意図にあるのか、言葉それ自体にあるのか、言葉において実行される行為にあるのか、あるいはその行為が惹き起こす結果にあるのか。言語哲学、法哲学、情報学、文学の学際的観点から、ヘイトスピーチと差別に関する問題の本質を究明する。 本多 康作（ホンダ コウサク）本多 康作（ホンダ コウサク） 神戸大学大学院法学研究科理論法学専攻博士後期課程修了。博士（法学）。摂南大学法学部准教授。法哲学。主な業績に、本多康作・蓮沼啓介「いかにして『合意は拘束する（pacta sunt servanda）』のか
2023年7月に東京で設立されたスタートアップ企業「Sakana AI（サカナAI）」 設立からわずか1年足らずですが、すでに日本初かつ最速でのユニコーン企業（企業価値10億ドル以上の未上場企業）になる見込みと話題です。 あのNVIDIAも出資をしたということで、さらに注目が集まっています。 AIサイエンティストプロジェクト AIが自ら研究する時代へ。 Sakana AIの特徴の1つとして、「The AI Scientist（AIサイエンティスト）」というものを開発しています。 これは、大規模言語モデル（LLM）を使って研究開発プロセスそのものを自動化するシステムです。アイデア創出から、実験の実行と結果の要約、論文の執筆及びレビューといった科学研究のサイクルを自動で回すシステムです。 まずは、研究して欲しいテーマを与えると、それが研究するに値するか？要はいけてるアイデアであるかをAIサイエ
社内ランチ会のグループ分けを遺伝的アルゴリズムで最適化してみた - Insight Edge Tech Blog
Introduction こんにちは、データサイエンティストの善之です。 Insight Edgeでは社内のコミュニケーション活性化を目的として定期的にシャッフルランチを開催しています。 企画の全体像については以前ntさんに投稿いただいた 社員同士の距離を縮める！シャッフルランチ会開催レポート をご覧ください。 今回は、ntさんの記事で詳しく触れていなかった「グループ分けを最適化するアルゴリズム」の詳細をご紹介したいと思います。 目次 実現したいことと課題 要件の整理 アルゴリズムの概要 Pythonで実装 実行結果 引き継ぎのためにStreamlitでUIを作成 まとめ 実現したいことと課題 ランチ会の目的は以前の記事にも記載の通り、コミュニケーション活性化のために社員同士の接点を増加させることでした。 したがって、普段あまり接点がない人どうしをランチ会でできる限り巡り合わせることが最大
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
おうち３D配信を支えるトラッキングシステムについて｜カバー株式会社 公式note
マッキンゼーのレポートに見る企業応用を促進する大規模言語モデルの評価方法｜piqcy
有名人の卒業論文 中島健人 明治学院大学の社会学部を卒業した中島に、司..
風を受けて進む仮想生命体「ストランドビースト」がめちゃくちゃにパワーアップしていく歴史
人間よりいいぜ!と思ってAI科学者を使ったら、人間より日給が高かった｜shi3z
11年目のフルスタックエンジニアがおすすめする「2023年のうちに読んでおくべきテックブログ」14選
2023年の読んでおきたいマテリアルズ・インフォマティクス論文5選
シュレディンガーの「生命とは何か」を読んで、人工生命の事を考え、NTTICCの展示を振り返る - 補遺
AIとは機械学習とは深層学習とは生成AIとはβ版 - Qiita
プロンプトを調整しないLLMのプロンプトエンジニアリング新手法『ControlPE』 | AIDB
日本の生成AI企業「Sakana AI（サカナAI）」に期待 - デザインのそれ。