性能劣化は本当なのか？ChatGPTの性能を検証した3本の論文を解説 | AI専門ニュースメディア AINOW
はじめに ChatGPTが公開されて半年以上が経過し、そのユーザは急激に増えて世界的に普及しましたが、その一方でユーザの一部からは「ChatGPTは性能劣化したのではないか」という疑問が出てきました。同AIの性能に関しては、生成された回答と人間が作成したそれとの違い、さらには政治的トピックに対する回答の党派性などといった疑問も生じます。 最近、以上のような疑問について調査した論文が発表されました。それらは、以下のような3つの問題を論じています。 疑問1：ChatGPTの性能は、経年変化しているのか。 疑問2：（Stack OverFlowに掲載された質問に対する回答のような）特定のトピックに関するChatGPTの回答はどのような特徴を持っており、人間が作成したそれとどのような違いがあるのか。 疑問3：ChatGPTを含めた言語モデルは、政治経済的トピックに関して何らかの党派性をもった回答を
住所正規化のデモ機能を作ったので、日本のヤバい住所を入力してみた
はじめに 数か月ほど前、住所の正規化が話題になりました。こちらの記事が特に有名ですね。 関連して、こちらの記事も話題になりました。 当時はほかにも色々な人が日本のヤバい住所の例をあげてくれて、とても楽しかったです。 実は弊社でもAddressianという住所正規化サービスを提供しています。初めて目にする変わった住所を見かけたら、とりあえず自社のAPIに投げてみて「おお、正規化できた」「すごい！」などといいながら遊んで働いています。 サービスは無料で利用できますが、今までは利用の手順が面倒でした。 ユーザー登録する APIキーを発行する 住所正規化APIを呼び出すプログラムを用意する（サンプルコードあり） プログラムを実行して住所を正規化する そこで、もっと気軽に住所正規化を試してもらえるように、ユーザー登録しなくても使えるデモ機能を作ってみました。 デモ機能の概要 住所正規化デモ画面 こち
Google Cloudの生成AI(PaLM2)で社内LLM Webアプリを爆速で作ってみた - G-gen Tech Blog
G-gen 又吉です。Google Cloud (旧称 GCP) の生成 AI (Generative AI) である PaLM 2 を用いて、Cloud Run 上に社内 LLM Web アプリを構築してみました。 はじめに 前提知識 Vertex AI PaLM API Gradio Cloud Runサービスへのアクセス制御 準備 ディレクトリ構成 app.py requirements.txt Dockerfile デプロイ 動作検証 はじめに 今回は、Google Cloud の生成 AI である Vertex AI PaLM API を用いて、社内向け LLM Web アプリを Cloud Run 上にデプロイします。 また、Cloud Run サービスの認証には Identity-Aware Proxy (IAP) を用いることで、社内ユーザーのみがアクセスできる状態を構成で
LLMのファインチューニングで事実の学習ができないのは本当か？ちょっと実験してみた
三行要約 LLM のファインチューニングでは事実の学習ができないという話があったので、事実の学習の例として、シェイクスピアのRomeoをBobに置き換える実験を行った 実験では、訓練対象とする層による結果の違いを確認した。アテンション層のみを訓練した場合は、Bobへの置き換えはできなかった。一方、全結合層を含めて訓練した場合は、学習率を調整するとBobへの置き換えができた ファインチューニングが事実の学習に向いているかはさておき、工夫次第でファインチューニングも事実の学習に利用できる可能性はある 背景 先月 ChatGPT(GPT-3.5 Turbo) のファインチューニングがリリースされました。いろいろな方が試されて、うまくいった、いかなかったという話がちらほらありました。例えば以下の記事では、一晩試してみた程度では、ChatGPTに最新の知識を教え込む目的での Fine-tuning
Google ColabでOpen Interpreterを試してみた｜IT navi
Open Interpreterは、ChatGPTのAdvanced Data Analysis（旧Code Interpreter）と同様の機能をローカル環境で動かせるオープンソースのツールです。 自然言語でのプログラミングを実現し、Python、Javascript、Shellなどの言語に対応しています。また、データ分析、ネットアクセス、テキスト、画像、動画などの編集ができます。 【参考】日本語公式解説 １．Google Colabでの利用法以下のコードをColabノートにコピーして、GPUを設定し、セルを実行すると、チャットが開始します。 なお、事前に「sk-」で始まるOpenAIのAPIキーを取得して、「自分のOpenAIのAPIキー」のところに貼り付けてください。 !pip install open-interpreter import interpreter interpret
Unityが「ゲームがインストールされるたびに手数料発生」の価格体系を導入してゲーム開発者が激怒、年額約5万円の「Unity Plus」も新規受付停止に
多数の開発者が利用するゲームエンジン「Unity」が価格体系を大幅に変更しました。既存の定額料金に加え、Unityソフトウェアを使用したゲームがインストールされるたびに、開発者に一定の手数料が請求されることになります。 Changes to pricing and Unity plans 2023 FAQ | Unity https://unity.com/pricing-updates Official - Unity plan pricing and packaging updates - Unity Forum https://forum.unity.com/threads/unity-plan-pricing-and-packaging-updates.1482750/ Unity のプランの価格設定とパッケージの更新 | Unity Blog https://blog.unity
「“クールな”LLMアプリは簡単に作れるが、リリースレベルは難しい」 Azure OpenAIとCognitive Searchを使ったチャット機能開発
プロンプティングからOpenAI API、さらには周辺のライブラリやHubのエコシステムまで広く活用の助けになる知見を共有し、みんなで手を動かして楽しむためのコミュニティ「ChatGPT Meetup」。3回目に登壇したのは、吉田真吾氏。HRテックのSaaS「CYDAS PEOPLE」における、ChatGPTを活用したチャット機能開発について発表しました。 HRテックのSaaS「CYDAS PEOPLE」のチャット機能にChatGPTを活用 吉田真吾氏：どうもみなさんこんばんは。今日私からは、本番リリースに向かってLLMアプリケーションを構築している話をしようかなと思います。 第0回（ChatGPT Meetup Tokyo #0）でもお話をしたのですが、私は現在、RAG（Retrieval-Augmented Generation）フローを使ったLLMアプリケーションを作っています。 サ
シニアエンジニアの先にある「スタッフエンジニア」という役職 書籍『Staff Engineer』から見る4つの役割
「【t_wada & masuidrive CARTA探訪】スタッフエンジニアというキャリア」は、書籍『スタッフエンジニア マネジメントを超えるリーダーシップ』の監修・解説を担当した増田氏を招き、スタッフエンジニアという役職について学ぶイベントです。基調講演には増井氏が登壇。まずはスタッフエンジニアの役割について紹介します。 増井氏の自己紹介 増井雄一郎氏：よろしくお願いします。今日これから話をする増井雄一郎と言います。あらためてよろしくお願いします。 僕のアイコンはお風呂に入っている姿のアイコンで、ここ20年ぐらいずっと使っています。16歳ぐらいの時にフリーランスのエンジニアとして仕事を始めたので、そこから考えると30年ぐらいエンジニアをしています。 僕の名前がけっこうよく出ていたのは前職のトレタという名前の会社にいた時で、あとはiPadの受け付けのアプリのハッカソンで作って、それをいろ
凄すぎると話題の「Open Interpreter」の始め方・使い方まとめ - Qiita
以下の記事を見て、早速「Open interpreter」を試してみたので、使い方や始め方をまとめておきます Open Interpreterとは Open Interpreterは、GPT-3.5、GPT-4、Code Llamaなどの大規模言語モデル（LLMs）を活用して開発されたオープンソースのツールです。 このツールは、OpenAIが提供するChatGPTの「Advanced Data Analysis(旧Code Interpreter)」のオープンソース版とも言える存在で、Python、Javascript、Shellなどのプログラミング言語のコードを自然言語による対話を通じてローカル環境で実行することができます。 このツールの最大の特徴は、ChatGPTの「Advanced Data Analysis」と違いローカル環境で動くため、ファイル容量やネット接続への制約がなく、Ch
もうみんなプログラマーになれるよ｜shi3z
僕の20年来の親友にnpakaというプログラマーがいるんだけど、彼はもう超凄い。何でもすごい。何でも書けるし何でも早い。本を書くのもプログラムを書くのも、新しいわけわかんない説明書がバグだらけの環境に慣れるのも早い。 んで、これまではちょっとしたことも難しいことも全部npaka(布留川君)に頼んでたんだけど、最近二人とも独立したからつまんないこと頼むのは悪いなと思って「あれはできるんだっけ」くらいのことは自分で何とかしようかなと思った。 それでChatGPTに「Swiftで⚪︎⚪︎やるにはどうすんの?」と聞いたら、Swiftについてほとんど何も勉強してないのに作りたいものが何となくすぐにできてきちゃって、でもまあやっぱりChatGPTだと知識が古いので詰まったらネットで検索すると、だいたい結局npaka(布留川君)のページが出てきてやはり信頼と実績の大先生(仲間内ではそう呼ばれている)です
OpenInterpreter / ついにAIがガチのアシスタントに!これは凄い、というか凄すぎる｜shi3z
凄いものが出てきてしまった。 ChatGPTの「Code Interpreter」が話題になったが、あれはあくまでクラウド上で動いているだけ。それを模してローカルで動作するようになった「Open Interpreter」は、衝撃的な成果である。 Open Interpreterのインストールは簡単。コマンド一発だ $ pip install open-interpreter起動も簡単 $ interpreter -yこれだけでOK。 あとはなんでもやってくれる。 たとえばどんなことができるのかというと、「AppleとMetaの株価の推移をグラフ化してくれ」と言うとネットから自動的に情報をとってきてPythonコード書いてグラフをプロットしてくれる。 凄いのは、ローカルで動くのでたとえばApplescriptを使ってmacOSで動いているアプリを直接起動したり操作したりできる。「Keynot
VSCodeをプログラミングエディタとして強化しよう！ 便利な設定や拡張機能を紹介
はじめに Microsoftの提供するVisual Studio Code（VSCode）は、2015年の最初のリリースから、今では開発用エディタの定番の座を占めるまでになりました。これには、無償で使えることも大きいですが、何よりエディタとしての使いやすさ、そしてさまざまな拡張機能によっていくらでも使い勝手を向上させたり、利用の領域を拡げられたりすることも大きいでしょう。本連載では、このVSCodeにフォーカスし、基本的な使い方から拡張機能の活用、そして本格的な開発現場での利用を想定した高度な機能までを紹介していくことで、読者がVSCodeマスターになるお手伝いをします。 対象読者 テキストエディタメインで開発してきた方 Visual Studioより軽い環境が欲しいと考えている方 Visual Sudio Codeをもっと使いこなしたい方 必要な環境 本記事の内容は、以下の環境で動作を確
ChatGPT､｢算数｣より｢作文｣が得意な納得の仕組み 『ChatGPTの頭の中』著者､ウルフラム氏に聞く | IT･電機･半導体･部品 | 東洋経済オンライン
コンテンツブロックが有効であることを検知しました。 このサイトを利用するには、コンテンツブロック機能（広告ブロック機能を持つ拡張機能等）を無効にしてページを再読み込みしてください。 ✕
最小限のコードで動く最も汚いコードから始める
最小限のコードで動く最も汚いコードから始める 2023.09.02 コードを書く際の重要な要点は、読みやすく他人に理解される「良いコード」を書くことです。しかし、完璧を目指して最初から書こうとすると行き詰まります。代わりに、荒削りながらも動くコードを作成し、徐々にリファクタリングして完成度を高めます。型エラーやリントエラーを無視しても構わないので、まずは動くものを作成しましょう。それからリファクタリングして「良いコード」を作成できます。 コードを書くときに最も大切なことってなんだろう？聡明な読者諸君ならご存知だろうが、コードは書く時間よりも読む時間のほうが長い。だから他人に読まれることを意識して、読みやすい「良いコード」を書かなくっちゃならない。コンポーネントは適切な粒度で分割されていて、適切な名前がつけられている。型システムに安全性だって守られてるし、最新のなんとかアーキテクチャにも準拠
【Python】ChatGPT効率化の為に非同期処理を実装｜Clirea
非同期処理は、データ解析、APIリクエスト、ベクター化など多様なタスクにおいてパフォーマンスを向上させる鍵となる技術です。特に、待ち時間が発生しやすい多数のリクエストや処理を一度に効率よく処理したい場合、この技術は不可欠です。 非同期処理と並列処理の違い非同期処理と並列処理は、よく一緒に取り上げられることが多いですが、実はそれぞれ異なる目的と特性を持っています。 非同期処理非同期処理は、I/O待ち（ディスクへの読み書きやネットワーク通信など）といった待機時間を有効に使いながら、他のタスクを進める技術です。この方法で、全体のプログラムがスムーズに動作します。 並列処理一方で、並列処理は複数の処理を物理的に同時に行う技術です。簡単な例でいえば動画です。動画の再生と音声の再生を遅延が無いよう同時に行っています。 並列処理により、大量のデータ処理や高度な計算を高速に行えます。 まとめ簡単に言えば、
「仕事のメールを一瞬で生成する機能」や「プレゼン用の画像を生成する機能」を備えたAIサービス群「Duet AI」がGoogle Workspaceに搭載される
Googleは文章生成AIやコード生成AIなどからなるAIサービス群「Duet AI」を開発しています。新たに、「Googleドキュメントで文書のひな形を生成」「Googleスプレッドシートのデータを自動整理」といった機能を備えたGoogle Workspace向けDuet AIの一般提供開始が発表されました。 Duet AI in Google Workspace | Generative AI Tools for Work https://workspace.google.com/solutions/ai/ Duet AI for Google Workspace now generally available | Google Workspace Blog https://workspace.google.com/blog/product-announcements/duet-ai-
生成AIと音声認識を組み合わせて会議アシスタントツールを作ったら生産性が大幅に向上した話
株式会社クラウドネイティブは、Azure OpenAIで自組織専用のChatGPTの構築を支援するサービスを展開しています。ChatGPTとAzure AD OpenAI Serviceの取り組みや事例、支援… IDチームの前田です。今日は生成AI(ChatGPT)と音声認識モデル(Whisper)を利用した会議アシスタントツールに関する投稿になります。 (追記) 作ったツールはGitHub上で公開しており、Dockerを利用してすぐに試せるようになってます。 https://github.com/cloudnative-co/mtg-ai-assistant 2023年8月30日現在Azure OpenAIにてWhisperが利用出来ていないため、OpenAI Whisper APIを利用した試験段階のものになります。近日中にAzure OpenAIにてWhisperが利用出来るとアナウ
ChatGPTを業務に組み込むためのハンズオン.pdf
ChatGPTを業務に組み込むためのハンズオン 2023/06/26 一般公開用 デジタル庁 Fact&Data Unit 大杉直也 ↑マイナンバー交付数のダッシュボードを作っているところです 「Microsoft でテストされたアイデアのうち、改善を示すメトリクスを実際に改善できたのは3分の1にすぎない」 (Microsoft社 元Vice President) 「もしあなたが実験主導のチームにいるなら、70%の仕事が捨てられることに慣れてください。それに応じてプロセスを構築しましょう」(Slack社 Director) A/Bテスト実践ガイド p14より 一方で 「アイデアの価値を見積もることは難しい。このケースでは、年間１億ドルの価値ある単純な変更が何か月も遅れていた。」(同著 p5より) こともあります 午前中のアイデアソンで出たアイデアはちゃんと検証するまで価値があるかは不明です
GPT-3.5 Turboのファインチューニング｜npaka
以下の記事が面白かったので、かるくまとめました。 ・GPT-3.5 Turbo fine-tuning and API updates 1. はじめに「GPT-3.5 Turbo」のファインチューニングが利用可能になりました。「GPT-4」のファインチューニングもこの秋に提供される予定です。 初期のテストでは、ファインチューニングした「GPT-3.5 Turbo」が、特定の狭いタスクに関して「GPT-4」と同等、またはそれ以上のパフォーマンスを発揮できることが示されています。 他のAPIと同様、ファインチューニングAPIで送受信されるデータは、OpenAIやその他の組織が、他のモデルを学習するために使用することはありません。 2. ファインチューニングのユースケース今回のリリースにより、開発者は教師ありファインチューニングで、ユースケースに合わせてこのモデルのパフォーマンスを向上できるよう
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
最近のLLMの学習法のまとめ - SFT・RLHF・RAG｜npaka
