CyberAgent社の日本語LLM OpenCALMの対話モデル用途のfinetune検証 - ACES エンジニアブログ
こんにちは、ACESでアルゴリズムエンジニアとして働いている檜口です。最近はChatGPTを始めとする言語モデルの研究開発やプロダクト改善に取り組んでいます。 昨年末のChatGPTのリリース以降、大規模言語モデル（large language model, LLM）の社会実装が急速に進んできています。弊社でも商談解析AIツールACES MeetにLLMを組み込むなど、LLMの活用を広げています。こちらに関してはLLMを活用したAIまとめ機能リリースの裏側について過去記事を書いてありますのでご興味ある方はぜひご覧ください。 tech.acesinc.co.jp LLMはOpenAIのChatGPTが最も有名ですが、最近はオープンソースでモデルを開発する流れも活発になっています。特に、英語で学習したオープンソースモデルはMeta社のリリースしたLlamaを始めとして非常に強力なものがリリース
【論文解説】Google の対話 AI『LaMDA』を理解する
この間までは『DALL-E2』や『Midjourney』といった文章から画像を生成するモデルが話題になっていましたが、最近では OpenAI の『ChatGPT』や『PerplexityAI』と言った対話システムが盛り上がっていますね。 特に OpenAI の『ChatGPT』は Microsoft のブラウザ Bing による検索に使われるということで、Google を脅かす存在になっているようです。 それに対抗するかのように Google は『Bard』という対話システムを発表しましたが、それはそれで問題も出てきているようですね。 ここでは、その『Bard』で使われているモデルである『LaMDA (Language Models for Dialog Applications)』について解説したいと思います。 一通り仕組みを理解していただくことで、対話システムにはどんな課題があって、ど
【論文解説】OpenAI ChatGPT の仕組み『InstructGPT』を理解する
2022年11月に公開されて以来、非常に話題になっている ChatGPT ですが、今回は ChatGPT で使われているモデル『InstructGPT』を解説したいと思います。 もともと OpenAI では 『GPT-3』 という巨大言語モデルを作り、それが一般の人にも API の形で公開されていました。 （2023年3月より ChatGPT の API も公開されています。詳しくはこちらをご参照ください ⇒ 「OpenAI 『ChatGPT』APIの使い方を解説」） GPT-3 では、人間が書いたものと区別がつかないようなニュースの文章を生成したり、いくつかの例示をするだけで人間のようにうまくタスクをこなしたり、アイデアを列挙したりと様々なことができるようになっています。 OpenAI GPT-3 APIの使い方を解説 2021年11月18日にOpenAIが「GPT-3」のウェイティング
【論文解説】OpenAI GPT-4 を理解する
さて、ChatGPT が非常に盛り上がっていますが、2022年11月にリリースされた ChatGPT は GPT-3.5 というモデルがベースになっています。 そして、2023年3月にはその後継モデルである GPT-4 がリリースされ、ChatGPT Plus で利用できるようになっています。（月額20$） それ以降も画像データを処理できるようになったり、個人の好みを記憶できるようになったりと色々なアップデータがあってこの先どうなるんだろうと楽しみになりますね。 今回は、もともとの GPT-4 についてしっかりと解説したいと思います。 ちょっとした対話であれば GPT-3.5 でも GPT-4 でもそこまで大きな差はないように思えますが、GPT-4 に情報抽出や分類問題などのタスクを解かせようとすると、GPT-4 の方がかなり精度が良くなっていることがわかります。 ですので、より複雑な利用
アップル、iPhoneやMacが自分そっくりのAI生成声で話す「Personal Voice」発表。学習もローカルで完結（CloseBox） | テクノエッジ TechnoEdge
AIを活用して声を学習し、本人そのままの高精度な声で生成する技術がここ数カ月で大きく進化しています。 RVCというAIボイスチェンジャー機能は、岸田首相の声真似を本人の前でデモするまでになり、AIフェイクボイスの問題が一部で取り沙汰されるようにもなりました。 そんな中、アップルがAIを使った人声の学習・生成機能「Personal Voice」を今年下半期のOSアップデートで提供すると発表しました。 iPhone、iPad、そしてAppleシリコンを搭載したMacで15分、ランダムに表示される150の文章を読み上げるだけで自分の声を学習することができ、テキストをタイプすると自分そっくりな声で相手に伝えることが可能になります。ただし、当初は英語のみです。 テキストした文章を音声化する機能（TTS、Text To Speech）をアップルは「Live Speech」という新機能で提供。これまでは
【連載①】大規模言語モデル（LLM）のビジネス利用に関して注意すべき点-LLMの使用許諾条件- - Platinum Data Blog by BrainPad
本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 このたびブレインパッドは、LLM/Generative AIに関する研究プロジェクトを立ち上げ、この「Platinum Data Blog」を通じてLLM/Generative AIに関するさまざまな情報を発信をしています。 今回は、LLMのビジネス利用に関して注意すべき点、その中でも使用許諾条件についてまとめました。 はじめに 本連載で扱うLLMサービスのイメージと想定する対象者 連載内容（予定） LLMの使用許諾条件について ①プラットフォーマーが提供するサービスの利用条件（主にサービス提供者・ユーザーの方向け） サービスの商用利用の可否 利用条件（制限事項） ②ソースコードが公開されたモデルのライセンス（主にプラットフォーマーの方向け） モデル等の主な使用条件 ライセンス情報の確認方
【やってみた】Azure OpenAI＋Azure Cognitive Servicesで音声会話ボットを作ろう！～音声入力からテキストを生成する編～ - 神戸のデータ活用塾！KDL Data Blog
株式会社神戸デジタル・ラボ DataIntelligenceチームの原口です。 今回は今話題の「ChatGPT」とAzure Cognitive Servicesを利用して音声会話ボットを作ってみました！ 本記事は連載記事となります。 Step1：音声入力からテキストを生成する Step2：得られたテキストから返答を生成する Step3：返答を合成音声でしゃべらせる 今回は音声入力からテキストを生成してみましょう！ はじめに 皆さんは「音声会話アシスタント」、欲しいと思ったことはありませんか？某アニメに出てくるロボットや某ゲームに出てくるアシスタント、某映画に出てくるムニっとした愛くるしいロボット。すべてに共通するのは「音声入力で自然な会話ができる」点です。 今までの音声会話ボットは入力された音声に対して定型文で対応していました。それでも十分でしたが、自然な対話文を自動生成するレベルには達
ChatGPTで独自データを扱うためのエンべディング｜緒方 壽人 (Takram)
【2023/11/7追記】 OpenAI Dev Dayにて、開発者向けの大型アップデートが発表されました。この記事で紹介している手法は、Retrieval-Augmented Generation(RAG)と呼ばれてきましたが、今回のアップデートでコンテクスト長（やりとりできるテキストの長さの上限）がこれまでの8Kから128K（12万8千トークン）に大幅にアップするため、一般的な本の内容は1冊分丸ごと渡すことができるようになります。独自データベースとの連携という意味では、ここで紹介している手法も引き続き有効な手法ですが、API関連でも様々な機能が追加されているので、リリースやSam Altmanによるキーノートは要チェックです。 ChatGPTは、膨大な量のテキストを学習してはいますが、天気予報のような最新の情報や、ある特定の本の内容や、特定のサービスの詳細についてはじめから知っているわ
ChatGPTにタスクを整理してもらう&iPhoneに取り込む｜たぬ
やりたいこと、やらなければいけないことが大量にあると、もう何もやりたくなくなります。 ToDoリストを活用するのが1つの方法ですが、そもそも優先順位をつけにくいタスクが溜ってくると、それだけで見るのも嫌になります。 と、いうことでChatGPTに整理してもらいます。 整理してもらった後に、時間帯も付け加えてiPhoneのカレンダーに取り込むまでをお願いしたいと思います。 このテンプレートは仕事だけではなく、プライベート、趣味や家事などでも活用出来ます。 あなたはタスク管理の専門家です。 以下のタスクを実行したいと思います。どのような順序で実行したら最適でしょうか。 順序を示したの後に理由も説明してください。 また、理想的な時間配分を工数で示してください。 例を以下にあげます。 1.メールを確認する|0.5h 2.本を読む|1.5h 理由 1.メールの確認は、重要な連絡や緊急のタスクがないか
CTOの視点から見たAzure OpenAI ServiceとOpenAIのChatGPT APIの深堀り比較 - Qiita
※ この記事の内容は先日のQiita Nightでお話ししたことと一部重複します。 Qiita NightではLTの制限時間(10分)に収めるため、結構端折りました。 はじめに ChatGPTが登場してから数ヶ月が経ちました。 ChatGPTをはじめとしたGenerative AIは完全に現在のIT業界のトレンドとなっています。 今や多くの企業でChatGPT APIをサービスに組み込んで顧客提供を開始したり、自社の社内システムに組み込んだりと積極的に利用するようになりました。 私もGenerative AIが無くなると業務に支障が出るレベルで利用しています。 そして、2023年5月時点ではChatGPTのAPIを利用する方法として、本家OpenAI社が提供しているAPIを利用する方法とMicrosoft社が提供しているAzure OpenAI ServiceのAPIを利用する方法の2つが
ChatGPT plugins のベータ提供が開始され、約70種類のプラグインが利用可能になりました | DevelopersIO
こんにちは、CX事業本部 Delivery部の若槻です。 今回は、ChatGPT plugins のベータ提供が開始されていたので、現在利用可能なプラグインと、実際に試してみた内容についてご紹介します。 ChatGPT plugins とは ChatGPT UI 上で 3rd-party アプリケーションを利用できるようにする機能です。 プラグインを追加することにより、ChatGPT に対して次のような機能拡張を行うことができます。 リアルタイムな情報の取得（例：スポーツのスコア、株価、最新ニュースなど） プライベートなナレッジベースからの情報取得（例: 社内ドキュメント、個人的なメモなど） チャットベースのアクション代行（例: 航空券の予約、フードの注文など） 各社が ChatGPT 向けのプラグインをこぞって開発するようになれば、ChatGPT がツールの枠を超え一種のプラットフォーム
あの日確かに俺だった男との再会 『ザ・スーパーマリオブラザーズ・ムービー』 | ムービーナーズ
こっちはあくまで「おもしれーマリオの映画」を見に来たつもりで映画館に来たのにいざ劇場に座ってみたら叩きつけられたのは「これはお前らの映画です」だったのでマリ泣きしてしまいました……。『ザ・スーパーマリオブラザーズ・ムービー』、どうせただの楽しい映画に過ぎないだろ！ おもしろいに決まっている、とたかを括っていたのですが予想以上に心に刺さる映画でござった。 いくら物語がすばらしくても手を動かして体験しなければゲームを味わうことはできない アクションゲームにしろ格ゲーにしろRPGにしろノベルゲームにしろ、ただ提示される物語を摂取するだけでなく「この俺様が操作をすることでこの世界を味わっているんだ」というのがゲームが他の媒体に優れているポイントと言えるでしょう。だから他人がプレイしてるゲームを眺めるだけでもおもしろく、ゲーム実況なんて文化も生まれたんだと私は思う。 だからあらゆるゲームには単に「物
映画『スーパーマリオ』宮本茂氏インタビュー。約6年かかった制作の裏側、マリオとルイージの設定、次回作など、制作中に刺激を受けたことやこだわりのポイントなども聞いた | ゲーム・エンタメ最新情報のファミ通.com
――『スーパーマリオブラザーズ』の発売から約38年経過していますが、なぜこのタイミングでの映画化になったのでしょうか？ 宮本マリオがデビューしたころに、アメリカでミッキーマウスとマリオの人気調査があって、そのときにマリオのほうが人気という結果になったんですよね。それで「ミッキーマウスを抜きましたけど、どんなお気持ちですか？」ともてはやされたりしたのですが、「40～50年間、生き続けているミッキーマウスと新参者のマリオを比べることがおかしいです」という話をしたことがあって。でも、そのときにふとミッキーマウスはアニメーションといっしょに育ってきたので、マリオもデジタル技術といっしょに育っていこうかなと思ったんです。 それがすごくいいキッカケになって、「新しいハードが出たら（マリオのゲームを）1本作ろう」と。だから、これまでの歴史を振り返ってもらえるとわかると思いますが、同じハードではたくさん作
生成系人工知能（生成AI）についての学長からのメッセージ | 武蔵野美術大学
学生の皆さんへ 2023年5月11日 学長 樺山祐和 現在、ChatGPTをはじめとした生成系人工知能（生成AI）についての議論が高まっています。そして、今後ますます技術が進み、また社会にも深く広く浸透していくことが予想されます。 美術大学としてはよりよい「学び」を得てもらうべく、こうした新技術を柔軟に活用し、また危惧される側面にも十分に配慮し、制作や研究に真摯に向き合ってもらいたいと期待しています。このメッセージでは、以下の6点を軸に、生成AIをめぐる現状と課題について大学としての見解を記述します。 身近なツールとなってきた生成AIを、まずは自分の目で確かめてみよう。 生成AIの問題や可能性についてより深く考えていこう。 個人情報や機密情報、また悪意のある内容の入力は絶対にしてはいけません。 レポートや論文に、生成AIの回答をそのまま用いて提出することを禁止します。 生成AIを引用すると
Zero-shot Learning網羅的サーベイ：CLIPが切り開いたVision & Languageの新しい世界 - エクサウィザーズ Engineer Blog
こんにちは！ 画像システムグループで機械学習エンジニアをやっている小島です。 この記事では、今ホットな「Zero-shot Learning」と「Vision & Language」に関する最新情報を、CLIPという研究を起点として網羅的にサーベイをしていきます。このために論文1000本に目を通し、70本程度を記事にしました。 Zero-shotやVision & Languageは、Stable Diffusionに代表される画像生成AIとも密接に関連している技術です。この記事を通して、Vision & Languageの奥深い世界を体感できるでしょう。 注意事項 この記事は非常に長いため、全部読むのに1時間以上かかる可能性があるので、休憩を取りながら、または必要な部分だけ読んでください。各セクションを個別に読んでも問題ありません。 また、文章中の画像は、特別な記載がない限り、引用元の論
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://www.redbull.com/jp-ja/tokyo-dive-interview
「ChatGPT」にパワポのマクロを書かせてみた ～スライドを分割してPDF化できるかな？【残業を減らす！Officeテクニック】
🦜️🔗 LangChain
LlamaIndex - LlamaIndex