はじめに Turing 株式会社のリサーチチームでインターンをしている東京工業大学 B4 横田研究室の藤井(@okoge_kaz)です。 大規模言語モデル(Large Language Model: LLM)への注目がGPT-4のリリース以降高まっていますが、LLMを作るための知見は十分に共有されているとは言い難いと個人的に感じています。 Turingでは、Vision and Language, Video and Languageなどのマルチモーダルなモデルの研究開発を行っている一環として、Megatron-DeepSpeed, GPT-NeoXなどを用いて数十Bのモデルの学習を行う知見を蓄積しています。今回はLLMの事前学習を行う際に候補となるMegatron-DeepSpeedを用いてGPT-2-7B(6.6B)の学習をどのように行うのかについて解説します。 分散並列学習がどのよう

＜ポイント＞卵の生臭みを消すために、生姜は使わず、黄酒（紹興酒）を加える。卵は香りが立ち上るまでたっぷりの油で加熱する。トマトは具を兼ねた調味料とするため、水加えて軽く煮て、片栗粉を少々加え、加熱した卵に絡めるように炒める。 ①にんにく、白ねぎをみじん切りにする。 左が白ねぎ、右がにんにく。 香りづけの薬味には、にんにくと白ねぎを使う。中華料理は何かとしょうがを使うが、この料理に関して、李さんはしょうがを使わない。なぜなら「しょうがを使うと“蟹の味”になってしまう」という。 「蟹⁉」と思うかもしれないが、卵と生姜の組み合わせは、たしかに蟹を思わせる要素がある。例を挙げると、西太后のために作られた宮廷料理、賽螃蟹（サイパンシェ）は、鶏卵に生姜を効かせ、蟹のような味わいを出した料理として知られる。 また、秋冬の風物詩、上海蟹を使った料理で、蟹味噌の生臭みを消すためにしょうがを合わせるあの感じ…

前置き 毎週金曜日夕方に行われる社内勉強会にて、先日生成AIについて発表しました。折角なので少し加筆修正した資料を公開します。進化のスピードが早く、一時期食傷気味に陥ってましたが改めて昨今の生成AI関連の基本となるインプットを目指しました。 ※資料内冒頭に記載してますが、AIの専門家ではないので認識や説明に誤りがある可能性があります。 当方も勉強中なので、「ここ違うよ」や「これの説明もあるといいんじゃない」など様々なコメント大歓迎です！ 資料 資料目次 AIの基本 機械学習について 深層学習について 機械学習の種類 教師あり学習の得意なこと 教師あり学習のイメージ 教師なし学習の得意なこと 教師なし学習のイメージ 強化学習の得意なこと 生成AIについて 生成AIとは 生成AIの位置付け 生成AI利用例 代表的なサービス例 日本における盛り上がり 生成AI市場規模 AGIとは AGIは近い？

twitterやprivatterに投稿していたものをまとめました 思いついた時に加筆・増補・編集してます 「創作で銃を出したい（出す必要がある）が具体的にどのような銃を出せばいいのか、どう描けばいいか分からない」という層向けに、ひとつの切っ掛けや取っ掛かりになれば、という意図で書いたものです。 性質上、内容が重複したりして少し冗長になっている部分があります。 （また、全ての銃器を網羅することを目的としたものではありません） 創作で銃を出す場合、基本的には一般名詞の「拳銃」とか「ライフル」で充分だと思っていますが、通常はどういうデザインや性能が想定されるのか分かっていたほうが描きやすい場合もあると思うので、適宜調べて下さい ページが重いので、動画埋め込みを削除しリンクにした軽量版を作りました TL;DR向け早見表　通常は、「リボルバー」「拳銃」「ライフル」「マシンガン」「散弾銃」といった一

リンク コミックDAYS ドランク・インベーダー - 吉田優希/Rootport / 第１話 就活なんてろくでもない！ | コミックDAYS 中世ヨーロッパレベルの酒造技術しかない世界に、現代のお酒を持ち込んだら－－。ある日、異世界と行き来できるようになってしまった日本。異世界の広大な土地や資源を手に入れたいと考えた政府は、""武力""ではなく、現代の""お酒""で異世界の人々を支配することを目論む。この計画に巻き込まれた、無類の酒好きダメ大学生・トウジ。彼は、自分が持つ圧倒的な酒の知識と技で、政府の計画を阻むことができるのか！？ 6 users 24

Function callingの登場 6/13ごろにOpenAI社から発表された新しいgpt-3.5-turboのインスタンスにFunction callingという機能が追加され話題を呼んでいます。このFunction calling、非常に強力な機能なのですが、仕組みがいまいちピンとこないといった方も多いのではないでしょうか。筆者もその一人で、ドキュメントを3回くらい読んでもしっくり来なかったのですが、実際にFunction callingを実装してみてなるほど、これは凄いな、となったので紹介します。 ここでは、具体的なソースコードを紹介しながら、実際に動作するサンプルを作っていきます。 TL;DR ソースコードだけ見られればいい！という方は以下へ https://github.com/canada/openai-function/blob/master/app.py ソースコードを

tl;tr ChatGPTの新機能「Function calling」はすごい。 今後注目される機能になっていくと思われる。 ChatGPTの新機能「Function calling」について 6/13のアップデートで、ChatGPTに新たな機能「Function calling」が実装 されました。 「Function calling」は、ChatGPTに「呼び出すことができる関数」を教えておく機能で、ChatGPTがこの関数を呼び出せるようになります。 この機能を活用すると、ChatGPTを経由することで、曖昧な指示でも関数が実行できるようになります。 「Function calling」の概要と可能性 概要 ChatGPTに呼び出せる「functions」をパラメーターとして渡します。 この状態で通常通りChatGPTに送信をすると、関数の呼び出しを要求するレスポンスが帰るようになり

Bethesda Softworksは6月12日、RPG『Starfield』の詳細情報を届ける番組「Starfield Direct」を放送した。本作はPC（Steam/Microsoft Store）/Xbox Series X|S向けに9月6日発売予定。Xbox/PC Game Pass向けにも提供される。 本作は、『The Elder Scrolls』シリーズや『Fallout』シリーズで知られるBethesda Game Studiosが、25年ぶりに手がける完全新作RPGだ。人類が太陽系外に進出している2330年の世界を舞台に、プレイヤーは希少なアーティファクトを求める宇宙探検家集団コンステレーションの一員として、広大な宇宙の星々を冒険する。本稿では、Starfield Directで公開された情報をかいつまんで紹介する。 ＊Starfield Directは1時間52分頃から

『Fallout: New Vegas』のディレクター/リードデザイナーを務めた人物が「ゲームデザインにおける“銃づくり”で大事な考え」について持論を説明している。シングルプレイゲームであっても、反動や発射レートといった銃の基本性能の調整は重要な要素となるそうだ。 Josh Sawyer氏はObsidian Entertainmentにてディレクターなどとして活躍する人物だ。同スタジオの最新作『Pentiment』ではゲームディレクターおよびナラティブディレクターを兼任。過去の実績としては『Pillars of Eternity』シリーズや『Fallout: New Vegas』などでディレクターやリードデザイナーなどを担当してきたベテランだ。『Fallout: New Vegas』におけるゲームデザインでは、武器やパークの開発に携わっていたという。 Josh氏は先日、ユーザーからの要望を

国土交通省が「Cities: Skylines」のMOD“SkylinesPLATEAU”を公開。日本の3D都市モデルを反映したマップを作成できる ライター：蒼之スギウラ 2023年5月22日，国土交通省主導による“Project PLATEAU”が，Paradox Interactiveの都市建設シム「Cities: Skylines」で利用できるMOD「SkylinesPLATEAU」を，Steamワークショップで公開した。 #PLATEAU GitHubにて、都市育成シミュレーションゲーム"Cities:Skylines"のMOD「SkylinesPLATEAU」を公開しています！ 現実の都市データを舞台としたまちづくりシミュレーションを体験することができます。 是非ご活用ください！https://t.co/6E8GEJLNsV pic.twitter.com/AejxaWx5jk—

【2023/11/7追記】 OpenAI Dev Dayにて、開発者向けの大型アップデートが発表されました。この記事で紹介している手法は、Retrieval-Augmented Generation(RAG)と呼ばれてきましたが、今回のアップデートでコンテクスト長（やりとりできるテキストの長さの上限）がこれまでの8Kから128K（12万8千トークン）に大幅にアップするため、一般的な本の内容は1冊分丸ごと渡すことができるようになります。独自データベースとの連携という意味では、ここで紹介している手法も引き続き有効な手法ですが、API関連でも様々な機能が追加されているので、リリースやSam Altmanによるキーノートは要チェックです。 ChatGPTは、膨大な量のテキストを学習してはいますが、天気予報のような最新の情報や、ある特定の本の内容や、特定のサービスの詳細についてはじめから知っているわ

From simple sketches to realtime AI art generation. Have full control of the image generation AI by expressing visuals in real-time.

みなさんこんにちは。@ryuzeeです。 2023年5月9日に開催されたNTT Com Open TechLunch #7「エンジニアリングマネージャーと目標設定」の登壇資料を公開します。 このイベントはNTTコミュニケーションズの社内ランチ勉強会を一般に公開しているものです。 ぼくは、NTTコミュニケーションズの技術顧問をしており、顧問業の一環として登壇しています。 多くの組織では、この時期に期初の目標設定を行っているのではないかと思いますが、目標設定の意味や位置づけ、それをどのように使うのか、評価や報酬との関係はどうなるのかといったことについて組織のなかで認識が揃っていることはまれです。 こうなると、人事制度のなかで目標設定をすると決められているのでめんどくさいけどやる、という感じになったり、目標設定が終わったら内容を綺麗さっぱり忘れて、期末になって「あー、そういえば……」みたいなこと

知財、IT産業、ネット、放送、買ったもの、ライフハックなど、コデラの気になるところを語ります。 先日、Adobeのビジネス分野への取り組みとして、オンラインで記者発表会が行なわれた。PDFのあまり知られていない機能などを紹介するものだったが、後半に紹介された「Adobe Express」が結構面白かった。これまでこんなサービスがあるのをまったく知らなかったので、ぜひ皆さんに共有しておきたい。 Adobe Expressは、Photoshopのような単体アプリケーションではない。簡単に説明するなら、クラウド上で動くデザインテンプレートツールである。利用にはAdobeアカウントを作って、[ブラウザでログイン](https://express.adobe.com/ja-JP/sp)する必要がある。 Adobeのデザインツールは、デザインの専門家がゼロから作っていくようなものも多く、ある程度デザイ

Azure OpenAI Service を利用するための申請内容やチーム内の利用ルールを検討するために調べたことや対応したことをまとめました。作成した利用ルールの説明会の内容についても記載します。 以前に Azure OpanAI Service を検証目的で利用するための準備をする機会があったため、利用申請前に確認したことや利用のためにルール化したことを本ブログにまとめたいと思います。また、実施した利用ルールの説明会の内容についても記載します。 前提条件 導入・導入の前提条件は下記でした。 Azure AD は社内で導入済み Azure サブスクリプションは社内で払い出されたものを利用 チームの複数人が検証用途で Azure OpenAI Service を利用 Azure OpenAI を利用するサブスクリプションと Azure AD ユーザーとの信頼関係が既にある状態です。 もし組

オープンソースのAI声質変換（ボイスチェンジャー）ソフトウェア「RVC WebUI」が、日本語での表示に対応しました。 VITSという声質変換技術をベースにしたRVC（Retrieval-based Voice Changer）に、Webユーザーインタフェースを付加したのが「RVC WebUI」です。

今酒ハクノ（酒クズ系Vtuber） @hakuno_imasaka shapezというゲームを紹介されたんだけど　大時間泥棒すぎる 超ざっくりいうと　マイクラから冒険も戦闘もアクションも建築も何もかも取り上げて　ただ「全自動〇〇収穫装置」をどれだけ効率いいものに仕上げるか　の部分を遊びの肝にしてる　みたいなゲーム pic.twitter.com/0okxrpnrCH

モデルデータに関するFAQモデルデータを使う際によくありそうな疑問をまとめていきます。 モデルデータってどこからダウンロードするの?基本的にCivitaiかHugging Faceの2択です。 これ以外の場所で入手できるモデルデータは、公式のものではないことがほとんどなので注意してください。 色々種類があるけど、どれをダウンロードすればいいの?基本的には1番バージョンが新しく、最も容量が大きいものをダウンロードしておけばOKです。 prunedとモデルデータの名前についているものは、元のモデルデータから不必要と思われる部分を削ってファイルサイズを小さくしているものです。 fp32は単精度浮動小数点演算、fp16は半精度浮動小数点演算を意味していて、学習の際に使われた手法が異なるようです。ただfp32の方が基本的に容量が大きく、モデルによっては2倍程度の差があります。

kazh @kazhomely 何度でも言いますけど、ジンジャーエールの素になるジンジャーシロップの作り方は新生姜に同重量の砂糖まぶして1時間放置するだけですからね。あとは鍋に移してレモン汁たっぷり入れて弱火で沸騰後5分です。水も何もいりません。簡単だから全員作ってください。 #Twitter家庭料理部 pic.twitter.com/MlkXkSeeTl