ChatGPTに感情回路を埋め込んだら、やべぇ感じになった深津 貴之 (fladdict) さんのnote記事 面白い記事が出ていました。 会話AI(ChatGPT)に、感情パラメータを設定させて、対話の中で内容に従ってこの値をAI自身に操作させつつ、その対話内容を変えてゆこうという実験のまとめ。結果として、会話AIがすでにアナログハック(*)を行う能力を持っているように見える、というものでした。 (*)アナログハックとは、『BEATLESS』（2012:KADOKAWA）のメインギミックとして、長谷が用意した技術と概念で、「人間のかたちをしたもの」に人間がさまざまな感情を持ってしまう性質を利用して、人間の意識に直接ハッキング（解析・改変）を仕掛けるものです。 https://w.atwiki.jp/analoghack/pages/8.html 長谷から見ても、まるでAIに感情があるかの
[初心者向き] OpenAI APIを使ってPythonでChatGPT遊びするための最初の三歩くらい | DevelopersIO
ChatGPT面白いですね！ あんなことやこんなことできるんじゃないかと夢想して楽しんでいます。 そんなわけで、OpenAIのAPIキーを発行できたんだけれども、そのあとどうすればいいの？ という過去の自分のために、Pythonでの超基本的な使い方をまとめておきたいと思います。 結論から言うと、 Pythonのコード15行程度でChatGPTを使ったアプリが出来上がりました！ （APIキーを発行するやり方は他の記事をご参照ください） 準備 Python3でOpenAIのライブラリを使うので、pipでインストールしておきます。 pip install openai また、最小限のコードとはいえ、環境変数はハードコードしたくないので、 コマンドラインの環境変数に設定します。 export OPENAI_API_KEY="sk-xxxx" コード Pythonのコードを書いていきます。 ここに書
![[初心者向き] OpenAI APIを使ってPythonでChatGPT遊びするための最初の三歩くらい | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/3c0e373391bd52827f22134f0b09da3118d7f40a/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F01%2Fopenai_chatgpt.png)
Meta、音声生成AIモデル「Voicebox」発表 ノイズ除去や言い間違い修正、多言語会話など多機能 米Metaは6月16日（現地時間）、新たな音声生成AIモデル「Voicebox」を開発したと発表した。音声の編集、サンプリング、スタイルの設定などを行える。 音声とテキストを入力することで、以下のような音声を出力できる。 入力した声で入力したテキストを読み上げる音声クリップを作成する 録音した音声から犬の鳴き声やブザー音などのノイズを除去する 録音した音声の言い間違いを修正する 1つの言語のスピーチを同じ声のまま別の言語に変換する（英語の音声を仏語に、など） 1つのテキストを多様な声で読み上げる Metaは、Voiceboxで将来的にはメタバース内のバーチャルアシスタントやNPC（ノンプレイヤーキャラクター）が自然な声で話せるようになるとしている。また、自分の声のまま（本来は話せない）外
LLMで自動運転車を動かしてみた話｜aoshun7
こんにちは、自動運転EVをつくるTuring（チューリング）株式会社で共同創業者CTOをやっている青木俊介です。 先日Turingは噂のLLM（Large Language Model：大規模言語モデル）で自動運転車を動かすプロジェクトを完遂させました。 上の動画にもあるように、今回開発したデモではユーザ（乗客）が音声で指示を出すと、LLMが裏で動き、自動運転車がユーザの指示に従って動いてくれます。LLMで実際の自動車が動いたのは世界初な気がします。 もちろんこのシステムで公道を走るわけではないのですが、我々Turingの開発思想的には非常に重要なデモでした。 この記事では「なぜTuringがLLMで自動運転車を動かしたのか」「実際どんな風にLLMで自動運転車が動いているのか」「Turingの開発体制の今後」について書いていこうと思います。 1. LLMと自動運転とTuring「LLMで自
Open Interpreterを使ってReactプロジェクトを自動生成してみた - Taste of Tech Topics
こんにちは、最近アニメ「葬送のフリーレン」を観て、漫画を全巻購入してしまった安部です。 今回は、Open Interpreterを使ってみます。 Open Interpreterは、ChatGPTのAdvanced Data Analysis（旧Code Interpreter）のように、プロンプトから判断して自動で処理を実行するという動きを、ローカル環境で実現してくれます。 ローカル環境で動くため、ディレクトリに置いてあるファイルを読み込ませたり、ファイルを特定の場所に出力させたりできます。 今回は、OpenAI のAPIで、gpt-3.5-turboを利用していますが、API Keyを持っていない場合は、Metaが公開した大規模言語モデル（LLM）である「Code-Llama」が自動でダウンロードされて利用できるようになります。 Open InterpreterのChatGPTとの一番
生成AIのトップランナーといえば、米OpenAIが提供するGPT-4などを使ったChatGPTですが、その対抗馬として期待されているのが米Metaが提供する大規模言語モデル「Llama 2」です。 このLlama 2、GPT-3.5の3月1日時点のモデルに匹敵する性能を持っているというのがウリです。GPT-3.5といえば、無料版のChatGPTで使われているモデルです。それがオープンソースとして公開されたのですから、衝撃的です。 さらに、高性能なだけでなくモデルサイズが小さいことも特徴です。GPT-3のパラメータ数は1750億（175B）、GPT-3.5は未公開ではあるものの3550億（355B）と推定されています。一方で、Llama 2は、700億（70B）パラメータで、GPT-3.5並をうたっています。 パラメータが小さくなれば必要なGPUのメモリも小さくなります。GPT-3.5はデー
The development of AI is as fundamental as the creation of the microprocessor, the personal computer, the Internet, and the mobile phone. It will change the way people work, learn, travel, get health care, and communicate with each other. https://t.co/uuaOQyxBTl — Bill Gates (@BillGates) March 21, 2023 ビルゲイツがAIについて長文ブログを投下。ビルゲイツが人生で革命的だと思ったテクノロジーは二つしかない。一つ目は、1980年にパロアルト研究所で見たコンピュータのGUIのデモ。Windowsの
大きな問題も分割すればなんとかなる まつもとゆきひろ氏：次のことわざにいきましょうね。4番目は、これもことわざじゃないと言われちゃうんですが、「分割統治」という言葉です。英語だと「Divide and Conquer」。「分割して征服せよ」という感じです。大きな問題もね、分割すればなんとかなるというやつですね。 （スライドを示して）これは最近見た漫画です。巨大なタスクが存在して、圧倒されそうな気持ちになった時には、タスクを取り上げて細かく分解すると、細かく分解されたタスクは無視しやすいので、タスクは片づかなくても気分は楽になるという漫画なんですけども（笑）、実際、そういうところもあるんですよね。 非常に巨大なことをしろと言われると大変なんだけど、手に負える範囲に分割して1つ1つ話をしていくと問題を解決できるというのは、どこにおいても応用可能な原則だと思います。 クイックソートは一応現時点で
達人出版会
探検! Python Flask Robert Picard, 濱野 司(訳) BareMetalで遊ぶ Raspberry Pi 西永俊文 なるほどUnixプロセス ― Rubyで学ぶUnixの基礎 Jesse Storimer, 島田浩二(翻訳), 角谷信太郎(翻訳) 知る、読む、使う！ オープンソースライセンス 可知豊 きつねさんでもわかるLLVM 柏木餅子, 風薬 デザインディレクション・ブック 橋本 陽夫 現場のプロがやさしく書いたWebサイトの分析・改善の教科書【改訂3版 GA4対応】 小川 卓 解釈可能なAI Ajay Thampi(著), 松田晃一(翻訳) PowerPoint 目指せ達人 基本&活用術 Office 2021 & Microsoft 365対応 PowerPoint基本＆活用術編集部 ランサムウェア対策 実践ガイド 田中啓介, 山重徹 TODによるサステナ
GPT-4 API general availability and deprecation of older models in the Completions API
Starting today, all paying API customers have access to GPT-4. In March, we introduced the ChatGPT API, and earlier this month we released our first updates to the chat-based models. We envision a future where chat-based models can support any use case. Today we’re announcing a deprecation plan for older models of the Completions API, and recommend that users adopt the Chat Completions API. GPT-4
米MicrosoftがOpenAIのLLM「ChatGPT」採用の「新しいBing」を公開して2週間以上が経過した。Microsoftで検索とAI担当のCVP（コーポレートバイスプレジデント）を務めるジョルディ・リバス氏が2月22日（現地時間）、Microsoft傘下のLinkedInに「Building the New Bing」というブログを投稿し、新しいBingについて解説した。 新しいBingでは、OpenAIが昨夏に共有した「GPT-3.5よりはるかに強力な、ChatGPTを強化するLLM」（「GPT-4」とはしていない）を採用している。この次世代GPTは強力ではあるが、他のLLMと同様にトレーニングデータが古い（GPT-3.5のトレーニングデータは2021年までのもの）ため、Bingのバックエンド機能と組み合わせることで最新データを利用できるように開発したのがAI技術「Prom
【論文解説】OpenAI GPT-4 を理解する
さて、ChatGPT が非常に盛り上がっていますが、2022年11月にリリースされた ChatGPT は GPT-3.5 というモデルがベースになっています。 そして、2023年3月にはその後継モデルである GPT-4 がリリースされ、ChatGPT Plus で利用できるようになっています。（月額20$） それ以降も画像データを処理できるようになったり、個人の好みを記憶できるようになったりと色々なアップデータがあってこの先どうなるんだろうと楽しみになりますね。 今回は、もともとの GPT-4 についてしっかりと解説したいと思います。 ちょっとした対話であれば GPT-3.5 でも GPT-4 でもそこまで大きな差はないように思えますが、GPT-4 に情報抽出や分類問題などのタスクを解かせようとすると、GPT-4 の方がかなり精度が良くなっていることがわかります。 ですので、より複雑な利用
はじめに賽は投げられた2022年11月にOpenAIが公開したAIチャットボットChatGPTは、それまでのチャットボットの常識を大きく凌駕するその余りの流暢な受け答えから瞬く間に技術系コミュニティで話題沸騰となり、わずか2ヶ月でアクティブユーザー数は1億人を超え、その影響範囲はすぐさま技術系コミュニティの内側にとどまるものではなくなりました。プログラマが、大学生が、研究者が、物書きがChatGPTを試してはその自然な回答に驚愕しました。翌23年4月には、東京大学理事・副学長で教育・情報担当の太田邦史博士がChatGPTやStable Diffusion等の「生成系AI」の急速な発展とその著しい品質の向上を受けて「人類はこの数ヶ月でもうすでにルビコン川を渡ってしまったのかもしれない」とする声明を発表しました。 人類はこの数ヶ月でもうすでにルビコン川を渡ってしまったのかもしれないのです。むし
大規模言語モデルの開発者が知っておくと役立つさまざまな数字
Googleの人工知能部門の責任者を務めるスゴ腕エンジニアのジェフ・ディーンがかつて作成した「すべてのエンジニアが知っておくべき数字」に習って、「大規模言語モデル(LLM)の開発者が知っておくべき数字」が元Googleのエンジニアだったワリード・カドスさんによってまとめられています。 ray-project/llm-numbers: Numbers every LLM developer should know https://github.com/ray-project/llm-numbers ◆プロンプト編 40-90％：プロンプトに「簡潔に」を追加することで節約できる量 LLMの返答はトークン単位で課金されるため、LLMに簡潔に返答するよう要求すると大幅にコストを削減可能です。単にプロンプトに「簡潔に」を追加するだけでなく、例えば10個の案を出すというプロンプトを行う時に代わりに5個
統計数理シンポジウム 生成モデル 岡野原
株式会社 Preferred Networks 岡野原 大輔 @hillbig 生成モデルは世界を どのように理解しているのか 「統計的機械学習」の中核としての 統計数理シンポジウム 2023/05/25 アジェンダ • 現在の代表的な生成モデル 大規模言語モデル/ 拡散モデル • 自己教師あり学習 / メタ学習 • 未解決問題 岩波書店 2023 一般向け 関連書籍 岩波書店 2023 専門家向け 技術評論社 2021 2022 ディープラーニングの基礎知識 日経BP 2022 個別の深い話題 生成モデル x ~ p(X | C) X: 生成対象 C: 条件 • 生成モデル：対象ドメインのデータを生成できるようなモデル – テキスト、画像、動画、化合物、行動列 等 – 条件を通じて、制約、指示、対象ドメインなどを指定する （条件付き生成モデルの方が学習の面でも使いやすさの面 でも有利であ
本記事は日本オラクルが運営する下記Meetupで発表予定の内容になります。発表までに今後、内容は予告なく変更される可能性があることをあらかじめご了承ください。下記セッションでは、本記事の内容以外にデモンストレーションも実施する予定です。 ※セミナー実施済の動画に関しては以下をご参照ください。 はじめに 2022年暮れ、ChatGPTの登場以降、あらゆる企業がDXの在り方を問われはじめ、大規模言語モデルの仕組みをどのように業務に取り入れるかを検討されていると思います。 その検討の一つとして、「GPT(LLM)が学習していない企業内のデータや最新のデータも有効活用すべき」 という点は非常に大きな論点なのではないでしょうか。 ご存じの通り、LLMとはインターネット上に存在するドキュメントデータをクローリングにより大量に収集し、それを学習データとして機械学習にかけたモデルです。 従って、至極当たり
手軽に作れるChatGPTクローンと本家ChatGPTを対決させてみた 2022.12.27 Updated by Ryo Shimizu on December 27, 2022, 18:50 pm JST LangChainというフレームワークを使うと、サンプルコードになんとChatGPTクローンというものがある。 LangChainは、まさにChatGPTのような、既存の大規模言語モデル(LLM;Large Language Model)を前提として、それを使いやすくするためのツールキットだ。 LLMとしては、ChatGPTでも使われているOpenAIのGPT-3(またはGPT-3.5相当)を使うこともできるし、GoogleのFLAN-T5 XLみたいなモデルも使える。詳しくはnpakaこと布留川英一のnoteを参照のこと。 ただ、このモデル、ChatGPTとちがってタダでは使えない
会話型AIサービス「ChatGPT」を手掛ける米OpenAIのサム・アルトマンCEOは2月24日（現地時間）、AGI（Artificial General Intelligence；汎用人工知能）実現への短期および長期のロードマップを発表し、人類改善のためのリスク軽減策について説明した。アルトマン氏はAGIを「一般的に人間より賢いAIシステム」と定義する。 同氏は、人間の知性を超えた存在を成功させることは人類史上最重要事項であり、希望に満ちてはいるが、恐ろしいプロジェクトだと語った。 AGIには誤用、劇的な事故、社会的混乱などの深刻なリスクが伴うが、それでも利点が非常に大きいとしている。いずれにしてもAGIの開発を停止することはもはや不可能であるため、「社会と開発者は正しく開発する方法を見つけ出さなければならない」とアルトマン氏。 同氏は短期計画として以下の3つを挙げた。 AIモデルの現実
2022年末に登場、一躍テクノロジー業界の話題を席巻したAIチャットボット「ChatGPT」 自然な文章で情報を提供するこの「ChatGPT」に対して、ビジネス、ブログ、プログラミング、など、様々な場での活用が期待されています。 OpenAIが開発、サービスを提供してるこの「ChatGPT」のベースとなっている技術が、同じくOpenAIが開発した、自然言語処理AI「GPT-3」です。 膨大なテキストデータを使った機械学習によって、生み出される「GPT-3」の文章は、人間が書いた物と判別できない程 そして、機械学習の訓練によって得た知識を元にして、質問に対し即座に答えを返してくれるので、知りたい事が有る度に、一々”ググる”必要も無い。 そこで一考、「GPT-3」とGoogleスプレッドシートを組み合わせたら、作業効率を向上できるんじゃないか。 本記事では、自然言語処理AI「GPT-3」をGo
AI News という、AI・データサイエンス(DS)・機械学習(ML)関係の話題を集め、AIで3行に要約して配信するサイトを公開しました。twitter @AINewsDev や Atomフィードでも配信しています。数日前から運用していて、手前味噌ですが便利に情報集めに使えています。また英語記事も日本語で要約されるので便利です。 なぜ作ったのか 以前、 @syou6162 さん作の ML-News で、ML系の情報を便利に読ませてもらっていたのですが、Twitter API の有料化の話が出た前後で閲覧できないようになってしまったようでした。 そのため、DS・ML系の話題を追いかけるのが大変になって、そのうち同じようなサイトを作ろうかな、と思っていた所でChatGPT(GPT4)というふつうに便利なLLMが登場しました。その後は御存知の通り、それらの話題が大量に溢れ、情報過多で見きれない
20～50の質問をされるたび、ChatGPTは500mlのペットボトル1本分の真水を｢飲む｣必要がある —— 最新調査
人工知能（AI）の環境への影響はまだあまりよく知られていないが、その実態を伝えるレポートが出てきた。 GPT-3は計算過程で熱くなるのを防ぐために水を必要とする。 20～50の質問をされるたびに、ChatGPTのサーバーは500ミリリットル入りのペットボトル1本分の水を｢飲む｣必要があるという。 ChatGPTといった生成AIツールの人気が高まる中、この新たな技術が環境に与える影響も明らかになってきた。 AIと持続可能性についてはまだほとんどデータがないものの、カリフォルニア大学リバーサイド校とテキサス大学アーリントン校の研究者らはOpenAIのGPT-3やGPT-4といったAIモデルのウォーター・フットポイントに関する研究をまとめた。 マイクロソフトはデータセンターでGPT-3を訓練するのに70万リットルの真水を使用したと見られている。Gizmodoによると、これは原子炉の冷却塔を満たす
PythonでChatGPTとBardを対話させてみた…ChatGptさんGoogle AIと会話していることを認識してしまう - Qiita
PythonでChatGPTとBardを対話させてみた…ChatGptさんGoogle AIと会話していることを認識してしまうPythonChatGPTBard 画面 上段が人間、中段がChatGPT、下段がBard ログの見方 HUMAN・・・人間 NONE ・・・システム（カウンター） CHATGPT ・・・マイクロソフト(gpt-3) 人工知能 BARD ・・・Google 人工知能 コード まったく同じソースコードではないですがいかにおいています。 https://github.com/su5filed/chatgpt_python/blob/main/chatgpt_20230713_AIBA_pub.py 12行目 にCAHTGPTのAPIキー それぞれの取得方法は以下参照 https://qiita.com/foo4/items/0228c7b604bae4e3c1ca 戦争
オウンドメディアのコンバージョン連載 第2回：GA4を活用したオウンドメディアの分析と改善方法（寄稿：小川卓） - はてなビジネスブログ
株式会社HAPPY ANALYTICSの小川卓（id:ryuka01）です。 全2回で、オウンドメディアのコンバージョン改善方法について紹介をしていきます。前回は、オウンドメディアで設定するべきコンバージョンは何か？そしてそれらの数値を最新のアクセス解析ツールであるGoogle Analytics 4でどのように設定し確認するかを紹介いたしました。まだ見ていない方は、ぜひ記事をご覧の上、今回の内容を見ていただけるとより理解が深まるかと思います。 business.hatenastaff.com さて第2回の記事では、データを取得しレポートを作成した上で、どのように改善案を考えていくのか？その具体的な方法を紹介していきます。 オウンドメディアには3種類の役割がある 3種類の記事を評価するためにGA4で行う分析 まとめ オウンドメディアには3種類の役割がある まずひとつ理解しないといけないのが
大規模言語モデルと外部リソースとを融合させたアプリケーションを作ろう－langchainのご紹介－ - Qiita
はじめに 近年、深層学習を用いた自然言語処理技術の進展が目覚ましいです。 その中でも、GPT-3をはじめとする大規模言語モデル（LLM）には大きな可能性を感じています。 最近ですと、AI技術者以外にも大きなインパクトを与えたChatGPTが記憶に新しいでしょう。 今後もLLMの進化は止まらないと予想されており、私たちもどうやって活用するかを具体的に検討すべきフェーズに入ったのではないでしょうか。 しかし、LLMを実業務に適用するとなると、越えなければならない課題がいくつも出てきます。 今回は、以下にあげた第2・第3のハードルを越えるために役立つlangchainというライブラリをご紹介します。 第1のハードル：機密データの扱い LLMはOpenAPIのGPT-3等、モデル自体は公開されておらずWebAPIだけが提供されているというパターンが多いです。 そのため、機密データを社外に送信すると
はじめに ABEJAでデータサイエンティストをしている服部です。 今回はLLMで外部データを使うケースについてのお話をしたいと思います。 はじめに LLMと外部データの利用 RetrievalとLLM 0. (事前準備)参照したいテキストデータをDBに格納 1. ユーザの入力文とのテキスト類似度を計算して、関連テキストを抽出する(Retrieval) 2. 関連テキストをLLMのプロンプトに入れ込み、ユーザの入力文に回答する。 Retrieval時の課題 LangChainでの用意 Case1: それぞれの文章がRetrievalしにくい形で保存されている 対策案: ページ構造を意識した形で各文章を格納する 他の対策案 聞き方を明確にする 類似度を測るクエリ文章を置き換える 不要そうな文章をデータから削除する データ自体をLLMで整形し直す Case2: 未知の単語を含む 仮説: ニャオハ
チャットAI「ChatGPT」では、有料プラン「ChatGPT Plus」に加入することで2023年に発表された高性能言語モデル「GPT-4」によるチャット機能が利用可能となります。このGPT-4によるチャット機能をを無料で使えるようにするオープンソースプロジェクト「gpt4free」が、ChatGPTの開発元であるOpenAIによって削除要請を受けていることが明らかになりました。 GitHub - xtekky/gpt4free: decentralising the Ai Industry, just some language model api's... https://github.com/xtekky/gpt4free OpenAI Threatens Popular GitHub Project With Lawsuit Over API Use | Tom's Hardwa
130億パラメータの「Llama 2」をベースとした日本語LLM「ELYZA-japanese-Llama-2-13b」を公開しました（商用利用可）｜ELYZA, Inc.
130億パラメータの「Llama 2」をベースとした日本語LLM「ELYZA-japanese-Llama-2-13b」を公開しました（商用利用可） 本記事のサマリーELYZA は「Llama 2 13B」をベースとした商用利用可能な日本語LLMである「ELYZA-japanese-Llama-2-13b」シリーズを一般公開しました。前回公開の 7B シリーズからベースモデルおよび学習データの大規模化を図ることで、既存のオープンな日本語LLMの中で最高性能、GPT-3.5 （text-davinci-003） も上回る性能となりました。また、推論の高速化を実現したチャット型デモを併せて公開しています。 はじめにこんにちは。ELYZAの研究開発チームの平川、佐々木、中村、堀江、サム、大葉です。 この度 ELYZA は、130億（13B）パラメータの「ELYZA-japanese-Llama-
GPT-2におけるテキスト生成
はじめにMachine Learning部門の江間見です。ストックマークでは、自然言語処理技術の研究開発を行っています。 昨今、OpenAIからGPT-3が発表され、生成系モデルが大きな注目を集めています。 そこで、本記事では、弊社で作成している生成系モデルの紹介をいたします。 自然言語処理におけるテキスト生成自然言語処理（NLP）は、人間の言語（自然言語）とコンピュータの相互理解、特に大量の自然言語データをコンピュータに処理および分析させるための研究分野です。 今回紹介するテキスト生成は、この自然言語処理の研究分野の一つです。 テキスト生成の応用例の一つは、スマートフォンのキーボードでの次の単語の予測です。このタスクはまさに言語モデルが行うことと同様です。言語モデルは、単語のリストを受け取り、次の単語を予測します。 図1の例では、言語モデルが「今日は」という単語を受け取り、次の単語で
本記事のサマリーELYZA は、「Llama-3-ELYZA-JP」シリーズの研究開発成果を公開しました。700億パラメータのモデルは、日本語の生成能力に関するベンチマーク評価 (ELYZA Tasks 100、Japanese MT-Bench) で「GPT-4」を上回る性能を達成しました。各モデルは Meta 社の「Llama 3」シリーズをベースに日本語で追加学習を行なったものです。 ■「Llama-3-ELYZA-JP-70B」 700億パラメータモデル。「GPT-4」を上回る日本語性能を達成。無料で利用可能なデモを用意しています。 ■「Llama-3-ELYZA-JP-8B」 80億パラメータと軽量ながらも「GPT-3.5 Turbo」に匹敵する日本語性能を達成。モデルを商用利用可能な形で一般公開しました。 使用したAPIのバージョンなど、より詳細な評価結果については本記事の後段
GPT-4o-miniのファインチューニングのすゝめ
突然ですが、みなさんLLMのファインチューニングしていますか？ 個人的な感想かもしれませんが、ファインチューニングは、幻滅期に入っているように感じています。 GPT-3.5 Turboのファインチューニングが発表されて以降、ファインチューニングしても思ったような出力をしてくれないので、ファインチューニングに期待しないという意見がちらほら聞こえてきました。 ファインチューニングするぐらいなら、Few-shotなどのプロンプトエンジニアリング技法を駆使した方が、結果的には求めている出力をしてくれると考えている方も多かったのではないでしょうか。 正直、私自身もそうでした。 ファインチューニングは、データセットを準備するのも大変ですし、正直コスパがよくないなと感じていました。 実際、プロンプトのチューニングは高速でPDCAを回せるので、ファインチューニングを反復するよりも遥かに高速なフェードバック
9名のKagglerの方にアンケートにご協力いただき、2020年に面白かったコンペと論文を教えていただきましたのでその結果を紹介します。 2020年も数多くのデータ解析コンペが開催され、興味深い論文が多く発表されました。 昨年公開した「Kaggle上位ランカーの5人に聞いた、2019年面白かったコンペ12選と論文7選」は現時点で20,000人を超える方にご覧いただき、Kaggleを始めとするデータ解析コンペへの関心が非常に高まっていると感じました。 そして本年も9名のKagglerの方にアンケートにご協力いただき、2020年に面白かったコンペと論文を教えていただきましたのでその結果を紹介します。 (1)回答いただいたKaggler9名のご紹介 まずは今回のアンケートに回答いただいたのは以下9名のKagglerの方です。 aryyyyyさま(@aryyyyy221) カレーちゃんさま(@cu
「ChatGPT」と「Microsoft Bing」は何が違う？ スマホでの使い方から回答内容までを徹底比較（1/4 ページ） 2022年11月にOpenAIが「ChatGPT」をリリースしてからというもの、毎日のように対話型AIに関する話題がネット上で見られるようになりました。対話型AIとは、ユーザーが投げかけた質問に対して、人が行うようにAI（人工知能）が自然な文章で回答してくれるというものです。 「検索と検索結果」に似ていますが、検索の場合、通常入力するのは検索ワード。複数の単語を区切りつつ入力する必要がある上、回答は関連Webサイトがリスト形式で表示されるだけです。それに対し、対話型AIでは、知りたいことを自然な文章で質問すれば、向こうも理解しやすい自然な文章で回答してくれる、という点が異なります。まるで、何でも知っている人と会話しているような感覚ですね。 ChatGPTには、言語
ソフトウェア開発を手掛けるpicon（東京都渋谷区）は3月6日、対話型AI「ChatGPT」のAPIを活用したLINEbot「AIチャットくん」の累計ユーザー数が5日に20万人を超えたと発表した。 AIチャットくんは2日にサービスを開始。ユーザーはLINE上でChatGPTの機能が使える。無料で使う場合は1日5回までメッセージを送信可能。月額680円のプレミアムプランに加入すれば無制限に利用できる。 piconによれば、子育ての相談や物語の制作、旅行プランの作成などに利用する人が出ているという。ChatGPTを巡っては、提供元の米OpenAIが1日（現地時間）にAPIの提供を開始。さまざまな企業・個人による利用が広がっている。 関連記事 ChatGPT、美少女になる 立体AIキャラと魔合体でスムーズにおしゃべり Gateboxのデモ動画が話題 3月2日（日本時間）に公開された「ChatGP
動画配信サービス「ABEMA」で、新番組「世界の果てに、ひろゆき置いてきた」が始まる。西村博之（ひろゆき）さんをナミビアの砂漠に放置。10万円を渡し、自力で帰国できるかを見守る内容だ。初回は8月12日配信。 5日には予告編を公開。ひろゆきさんが砂漠を渡り、ヒッチハイクで目的地を目指す様子や、現地の人に「YouTubeを見ている」と声をかけられ、写真撮影を求められる様子を確認できる。番組は全9回。12日以降、毎週土曜日と日曜日の午後9時に最新回を配信する予定。 関連記事 AIひろゆき、投げ銭で時給1万4273円稼ぐ ひろゆきさん「“それっぽいことをそれっぽく言う”という芸人力が上がってきましたねー 「AIひろゆき」GPT-4導入し再び生配信 今度は投げ銭OK 収益は“本物”に還元 ひろゆきさんのようなコメントを、ひろゆきさんのような声で発し続けるAIが、投げ銭OKの生配信を実施する。得た収益
OpenAIと長期的パートナーシップを締結したMicrosoftが、検索エンジンのBingにGPT-4を組み込み、Googleに対抗していく方針であることが報じられています。 ChatGPT is about to get even better and Microsoft's Bing could win big | Semafor https://www.semafor.com/article/02/01/2023/chatgpt-is-about-to-get-even-better-and-microsofts-bing-could-win-big Report: Microsoft plans to update Bing with a faster version of ChatGPT in the coming weeks | TechCrunch https://techc
[翻訳] GPTs are GPTs: An Early Look at the Labor Market Impact Potential of Large Language Models (前編) - Qiita
[翻訳] GPTs are GPTs: An Early Look at the Labor Market Impact Potential of Large Language Models (前編)OpenAIChatGPTGPT-4 訳者註 GPTs are GPTs: An Early Look at the Labor Market Impact Potential of Large Language Models の「GPTs are GPTs」は「事前学習済み文章生成型トランスフォーマー(GPT)は汎用技術(GPT)である」という意味だと理解しています。 前者のGPTs: Generative Pre-trained Transformers 後者のGPTs: General-Purpose Technologies なので、 事前学習済み文章生成型トランスフォーマーは汎用技術
![[翻訳] GPTs are GPTs: An Early Look at the Labor Market Impact Potential of Large Language Models (前編) - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/8ca14f607b958d50d13aa0b0cbf5bf4c4b835ddd/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCJUU3JUJGJUJCJUU4JUE4JUIzJTVEJTIwR1BUcyUyMGFyZSUyMEdQVHMlM0ElMjBBbiUyMEVhcmx5JTIwTG9vayUyMGF0JTIwdGhlJTIwTGFib3IlMjBNYXJrZXQlMjBJbXBhY3QlMjBQb3RlbnRpYWwlMjBvZiUyMExhcmdlJTIwTGFuZ3VhZ2UlMjBNb2RlbHMlMjAlMjglRTIlODAlQTYmdHh0LWFsaWduPWxlZnQlMkN0b3AmdHh0LWNvbG9yPSUyMzFFMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZzPWE4N2VmMWZiZGFhMjgwY2Y5YmRmZDY5MTZkOTEzMmZi%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDB0YWthX3lheW9pJnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz02MGMzNTE2ZTA2ZWY3Y2ZmODYzYzFmYTk4M2U1YWNlMQ%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3Db7598402a399df65953e479ced8855fb)
記事の目的 この記事は、自然言語処理（NLP）に詳しくない方を主な対象として、ChatGPT について特にビジネスでの利用法という観点で概説するものです。ChatGPT の現在の提供内容や機能および利用例を紹介し、専門外の方の理解を助けることを目的としています。 ChatGPTとは ChatGPT とは、OpenAI が2022年11月に公開したチャットボットです。 従来のFAQチャットボットとは異なり、単に質問に答えるだけでなく、それ以外の使い方（例：文章の要約や翻訳など）もできます。他にも、チャットボット自身の間違いを認めたり、ユーザ（利用者）の質問の矛盾点を指摘・拒否する機能もあります。また、多言語対応しており、例えば英語や日本語を扱うことができます。 なお現時点（2023年1月）では、企業独自のマニュアル等、特定のデータでのチューニングができません。事前に学習した一般的な知識に基づ
GPT-3.5ベースのChatGPTのコーディング能力は「古い問題には有効も新しい問題では困難に直面する」ことが明らかに
GoogleやMistral AIなどからプログラミングに特化したAIツールが登場しており、大手テクノロジー企業のCEOが「AIがコードを書くのでもうプログラミングを学ぶ必要はない」と発言するなど、AIによるプログラミングは注目を集めています。そんなAIによるプログラミング能力を分析した研究が公開されており、AIモデルがトレーニングされたタイミングによっては困難に直面することがあることが判明しました。 No Need to Lift a Finger Anymore? Assessing the Quality of Code Generation by ChatGPT | IEEE Journals & Magazine | IEEE Xplore https://ieeexplore.ieee.org/document/10507163 ChatGPT Code: Is the AI
このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 Twitter: ＠shiropen2 米ライス大学と米スタンフォード大学に所属する研究者らが発表した論文「Self-Consuming Generative Models Go MAD」は、AIが生成した画像（合成データ）を用いて別の生成モデルが学習し続けると、その精度にどのような影響がでるのかを検証した研究報告である。 結果は、AIモデルを合成データでトレーニングすると、画像が乱れるアーティファクトが徐々に増幅され、品質や視覚的多様性のいずれにおいても悪化する結果を示した。研究チームは、この状態を狂牛病になぞらえて「Model Autophagy Disorder」（モデル自
こんにちは、クレスウェア株式会社の奥野賢太郎 (@okunokentaro) です。本記事では、GPT-4を使った開発体験について語りたいと思います。 2023年3月14日、GPT-4が発表されました。GPT-4とは、OpenAI社が開発した最新のAI技術で、自然言語処理の能力が従来のGPT-3.5と比較して、さらに向上しています。これにより、文章生成やコーディングの補助といった様々な分野での応用が期待されており、開発者にとっても非常に興味深いツールとなっています。現在は、GPT-4を利用するためにはChatGPT Plusという課金コンテンツに月額20ドルを支払う必要があります。驚くことに、この記事もChatGPTに大半を書いてもらいました。それでは、GPT-4を活用したコーディング体験について紹介します。 AIとのペアプロに近いコーディング体験 筆者はGPT-4公開初日である日本時間の
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
アナログハックの時代が、そろそろ始まりそうだ : 青灰色blog（移行版）
Meta、音声生成AIモデル「Voicebox」発表 ノイズ除去や言い間違い修正、多言語会話など多機能
ChatGPT（3.5）に匹敵する「Llama 2」をローカルPCで動かしてみた
「脳は世界をどう見ているのか」を読んだ
巨大なタスクに圧倒されそうな時は“分割統治”で征服せよ ゴールまで走り続けるために有効な考え方
Microsoftの中の人、「新しいBing」のAIモデル「プロメテウス」を解説
Azure OpenAI Serviceの世界へようこそ｜父
【ChatGPT】とベクトルデータベースによる企業内データの活用(いわゆるRAG構成) - Qiita
手軽に作れるChatGPTクローンと本家ChatGPTを対決させてみた
OpenAI、AGI（人間より賢いAI）へのロードマップを公表 「世界に深刻な害を及ぼす可能性」回避のために
Googleスプレッドシートと自然言語処理AI「GPT-3」を組み合わせてデータ作成を効率化
AI News の公開と、裏側の OpenAI の活用話 - A Day in the Life
外部データをRetrievalしてLLM活用する上での課題と対策案 - ABEJA Tech Blog
有料の「GPT-4」を無料で使えるようにした「gpt4free」がOpenAIから「削除しないと訴える」と脅迫される
「GPT-4」を上回る日本語性能のLLM「Llama-3-ELYZA-JP」を開発しました｜ELYZA, Inc.
Kaggleランカーの9人に聞いた、2020年面白かったコンペ9選と論文9選 | 宙畑
「ChatGPT」と「Microsoft Bing」は何が違う？ スマホでの使い方から回答内容までを徹底比較
話題の「ChatGPT」をLINEで使える「AIチャットくん」、リリース3日で累計20万ユーザー突破
ひろゆきをアフリカ・ナミブ砂漠に放置 Abema新番組 10万円で帰れるか
MicrosoftがChatGPTより高速なGPT-4を検索エンジンのBingに搭載へ
ChatGPTのビジネス利用検討 - Qiita
画像生成AIに“AIが作った画像”を学習させ続けると？ “品質や多様性が悪化” 「モデル自食症」に
GPT-4との新たな開発体験: AIとペアプロを極める