LLM chatbotが人類にもたらすのは、絶望なのか希望なのか - 渋谷駅前で働くデータサイエンティストのブログ
ちょっと前に以下のようなことを放言したら、思いの外反響が多くてちょっとびっくりしたのでした。それだけ、現代のLLM chatbot / generative AIの台頭に期待と不安を抱いている人が多いということの裏返しなのでしょう。 既に色々コメントが出ているけど、我々人類が「知的労働」だと思っていることの大半が実は「過去実績をなぞって適当にその場に合わせて組み立てているだけ」なんじゃないかと訝っているので、そういう「自称知的労働」は多分LLMで代替されると思う。新奇なものを生み出す仕事は相変わらず残る https://t.co/GGK41vSDcn— TJO (@TJO_datasci) 2023年3月15日 昨年の年末振り返り記事でも話題にしたChatGPT（そして後続の各種LLM chatbot）ですが、今年に入ってからの話題の広がり方には想像を超えるものがあり、ついに朝の情報番組な
大規模言語モデル（LLM）の「GPT-4」を手掛けた米OpenAIとペンシルベニア大学の研究者らは3月17日、「GPTはGPT：LLMの労働市場への影響の可能性に関する初期の考察」と題した論文を公開した。「GPT（Generative Pre-trained Transformer）モデルと関連技術が米国の労働市場に与える潜在的な影響を調査」したとしている。 調査の結果、米国の労働力の約80％が、GPTの導入によって少なくとも仕事の10％に影響を受ける可能性があり、約19％の労働者は仕事の50％に影響を受ける可能性があることが示されたという。 ほぼすべての職種に影響するが、特に現在高収入な職種のリスクが高いとしている。 調査は、学習達成度を表を用いて測定するルーブリック評価によって、職業別の人間の専門知識とGPT-4を使った場合を比較した。 方法は、1016の職業について、職業ごとに測定す
五反田のゴールデン飲食街「五反田ヒルズ」へようこそ！ スナック、バー、居酒屋、小料理店など全40店舗をレビュー【2023年】 - ぐるなび みんなのごはん
はじめに この記事は長いです。お店の情報だけ知りたい場合は、以下の目次から気になる店の名前をクリック（タップ）してください。できれば「五反田ヒルズを楽しめるお客さん診断」「五反田ヒルズ来場の注意事項」はご一読ください。 はじめに 五反田ヒルズとは 五反田ヒルズを楽しめるお客さん診断 五反田ヒルズ来場の注意事項 不明朗会計で、営業時間もアバウトな店がある 参考情報（メニューがある店／何となくある店／ない店） 雨の日は中央フロアや階段に注意 一見さんお断り？ or ウェルカム！ 居酒屋や小料理、立ち食い寿司など、食事できる店が中心のB1Fフロア すし処 都々井 食堂 とだか／立呑み とだか きになる嫁デラックス 五反田の嫁的小料理 やきとり ももちゃん AOI GAZE スナック 友（※未訪問） Roco（※未訪問） あけの Shoko（※未訪問） 酒食事 かづ（※未訪問） ビストロ、とんかつ
【2021年】 技術書好きプロエンジニア達が紹介する40選 - RAKUS Developers Blog | ラクス エンジニアブログ
こんにちは、技術広報のyayawowoです。 皆様、お気に入りの技術書はありますか？ 今回は、弊社主催で開催している「おすすめの技術書LT会」にて、エンジニア/デザイナーの皆さんに紹介いただいた技術書を一挙公開します！ おすすめの技術書 LT会 - vol.1 おすすめの技術書 LT会 - vol.2 積読が増える可能性がある、エンジニア/デザイナーが厳選した技術書が盛り沢山…お読みになる際は覚悟ください！ ラクス開発メンバーが選んだ技術書は以下をご確認ください。 ・開発メンバーが選ぶ、おすすめの技術書【2020年度】 - RAKUS Developers Blog | ラクス エンジニアブログ 入門シリーズ 『C++プログラミング入門（湯田幸八）』 『ドメイン駆動設計入門』 『実践SQL教科書』 『ソフトウェアデザイン 2021年3月号』 『独習C 新版』 『PHPの絵本 第2版 Web
TypeScriptではじめるChatGPT API：入門から一歩進んだテクニックまで - Uzabase for Engineers
NewsPicks エンジニアの中村です。普段はデータ基盤や機械学習システムの開発、運用をやっています。 さて皆さん、すでにChatGPTは使っていらっしゃるでしょうか。エンジニア、非エンジニアを問わず世の中を席巻している感のある ChatGPT ですが、今月初めにいよいよ API も公開されて、アプリケーションやサービスに組み込みたいと考えている方も多いのではないでしょうか1。 というわけで、弊社でもこの新しい技術をより多くのエンジニアに使いこなせるようになってもらいたいと考え、ChatGPT API に関する社内勉強会を先日開催しました。本記事ではこの勉強会の内容を再構成してお届けします。 とりあえず使うだけなら簡単な ChatGPT ですが、本記事では、長文を扱ったり、ChatGPT と外部のシステムを連携させたりするテクニックなど、知っている人はすでに知っているが、まだそれほど広く
ChatGPT API の使い方｜npaka
「OpenAI」の 記事「Chat completions」が面白かったので、軽くまとめました。 1. ChatGPT API「ChatGPT」は、OpenAIの最も先進的な言語モデルである「gpt-3.5-turbo」を搭載しています。「OpenAI API」から「gpt-3.5-turbo」を使用して独自アプリケーションを作成できます。 ・メールや文章のドラフト ・Pythonコードの生成 ・一連の文書に関する質問応答 ・会話型エージェントの作成 ・ソフトウェアへの自然言語インターフェースの追加 ・さまざまな科目の家庭教師 ・言語の翻訳 ・ビデオゲームのキャラクターのシミュレート 2. 使用料金使用料金は、以下で確認できます。 3. Colab での実行「gpt-3.5-turbo」は、マルチターンの会話を簡単にするように設計されていますが、会話のないシングルターンタスクでも役立ちます
皆さんこんにちは。CTOの松本です。LLM使ってますか？ChatGPT毎日触ってますか？ LLMに熱狂してすでに1年以上が経ちましたが周辺エコシステムが充実してきたことでいろいろな取り組みがとても簡単に実現出来るようになったなーと感じています。 ということで今回はZapierを使った小ネタのご紹介です。 AI・LLM事業部の今 とその前に、AI・LLM事業部での取り組みから着想を得たものでして、AI・LLM事業部について簡単に紹介させてください。 LayerXの新規事業であるAI・LLM事業部では、バクラクでも取り組んできたビジネス文書の解析の延長としてLLMを活用して文書分析エンジンの開発を進めています。現在このエンジンを使ったエンタープライズ向けの新規プロダクト開発にいそしんでおります。とても楽しいですし、最近は様々なお客様からの引き合いも増えておりまして、事業成長に向けて満を持しての
ChatGPT(GPT-4) で一撃でスクレイピングするコードを生成出来たので感想とコツ - Qiita
今回やりたかったこと 目標：ChatGPT(GPT-4) で一撃でスクレイピングするコードを生成 するにはどうしたらいいのか、ChatGPT のハードルとかコツとかを知りたい。 ※最終的なプロンプトの入力と出力の全文は本ページ下部に貼り付けてます。 作ったもの概要 保険組合のウォーキングイベントの会社内の3チームの歩数進捗の slack への自動投稿 bot を作成しました。 処理は大きく2つに分かれています。 ウォーキングイベントサイトから歩数をスクレイピング＆スプシへアップロード スプシの GAS で投稿文字列作成＆ slack へ自動投稿 今回 ChatGPT でやったのは1の方です。 2は前回半年前開催分のコードをほぼそのまま流用しました。 運良く（？）今回のタイミングでウォーキングイベントのサービスサイトが変わり、 HTML がまるっと変わり1のスクレイピングコードは作り直しが必
人間が書いたものと見分けが付かないぐらいに精度の高い文章を生成できる言語モデル「GPT-2」の後継である「GPT-3」が、人工知能を研究する組織・OpenAIにより公開されました。 GitHub - openai/gpt-3: GPT-3: Language Models are Few-Shot Learners https://github.com/openai/gpt-3 [2005.14165] Language Models are Few-Shot Learners https://arxiv.org/abs/2005.14165 OpenAI debuts gigantic GPT-3 language model with 175 billion parameters https://venturebeat.com/2020/05/29/openai-debuts-giga
ChatGPT開発に必要なGPUは3万基、日本の国策AI基盤は1千基。目前に迫る日本のAI敗戦 2023.08.19 Updated by Ryo Shimizu on August 19, 2023, 16:47 pm JST そろそろ業界の最深部でしか知られてなかった事実がニュースになって来始めているのでここで本当の問題を明らかにしておきたい。 AI開発に必須なのは、計算資源である。そしてこれは現在のところ、事実上NVIDIAが一社独占している。 NVIDIA以外の半導体がいくら「AIに特化しています」と能書きを垂れていてもごくわずかな例外を除いてはほとんど全部が誇大広告である。 たとえばApple Silliconは、「ニューラルエンジン」と称するモジュールを内蔵しているが、これを使ってAIの学習をすると、なんとCPUよりも遅い。信じられないかもしれないが、これが残酷な事実なのである
このサイトを立ち上げて、執筆するとき、いくつか心のなかで決めたことがありました。 その中の一つに「タイトルで”やばい”という言葉は使わないようにしよう」というものがあります。まとめサイト等で、対して大きな事件でもないものを「やばすぎるｗｗｗ」等と囃し立ててアクセスを取る行為が嫌いだったからです。 しかしその禁を今日破ります。「GPT-3」は、私が思っていた以上に「やばい」代物でした。 もちろん「ライターが要らなくなる」とか「１ヶ月後にはロボットが秘書になる」とか、そういった大げさなものではありませんが、 思ったより早く「AI社会」の片鱗が落ちてきた、という印象です。 まだ多くの方は「GPT-3」という単語を聞いたことがないかもしれません。GPT-3は「Generative Pretrained Transformer」の頭文字を取ったもので、1750億個のパラメータを使用した「文章生成言語
先日 OpenAI からChatGPTが Beta 公開された ChatGPT ではどんな質問に対しても何かしらの回答を生成してくれるのだが、ソースコードに関しても中々の筋が良さそうな雰囲気のコード片を生成してくれるということで少し話題になっていた こうしたプログラムを生成してくれる AI が発展していく中でどういう具合にプログラマの仕事が奪われていくのか興味がある 特に以下ではweb アプリやモバイルアプリなどのアプリケーションの開発においてという文脈で考えることにする まず AI がプログラマの仕事を奪うまでにはいくつかの段階があると思う コード支援レベル 現状はGitHub Copilotのようなコーディング支援を行うレベルの AI はある程度実用レベルになっている 自分は Copilot が生成したコード片をプロダクションコードに含めるのは権利関係の問題もあり様子見している しかし
「社内のアレ分からん、教えてAI」実現 Microsoftの“自社版ChatGPT作成サービス”にデータ取り込み機能
「社内のアレ分からん、教えてAI」実現 Microsoftの“自社版ChatGPT作成サービス”にデータ取り込み機能 米Microsoftは6月19日（現地時間）、大規模言語モデル「GPT-3.5」などのAPIをクラウドサービス「Microsoft Azure」上で使える「Azure OpenAI Service」に、新機能「On Your Data」を追加した。ローカルやAzure上のストレージに保管するテキストファイルやPDF、PowerPointファイルを、GUIの操作でチャットAIに参照させられるという。まずはパブリックプレビュー版を提供する。 これにより、社内で分からないことがあったときに何でも質問できるAIチャットbotなどを作成しやすくなるという。 Microsoftが提案する活用例では、ユーザーの「サポートチケットはどうやって作る？」（How do I create a s
GPT-3を使って自分だけのAIアシスタントを作る第一歩 - Taste of Tech Topics
皆さんこんにちは。健康診断の結果がちょっと気になる年齢になってきたSsk1029Takashiです。 GPT-3を扱ってチャットボット作ってみる記事の第2弾になります。 第1弾のこちらもぜひご覧ください。 acro-engineer.hatenablog.com 前回は質問応答システムとしてGPT-3を活用しましたが、今回はAIアシスタントとしてGPT-3を活用してみます。 AIアシスタントとは何かというと、Google Homeのように命令を入力すると、それに沿った処理を実行してくれるシステムを指します。 ChatGPTとの違いは命令の結果は必ずしも文章生成だけではないということです。 ChatGPTでは文字列を入れて、要求に沿った文字列を返します。 対して、AIアシスタントでは、カレンダーに予定を入力したり、アラームを設定したりなど、具体的なタスクを実行します。 この記事では、前回に続
AIがヤバい。今回は本気でヤバい。 既存の仕事は今後どうなってしまうのか。ライター業は、AIに取って代わられるのではないか。 危機感の理由は「GPT-4」だ。米OpenAIが3月14日（現地時間）に公開した、次世代の大規模自然言語モデル。その試用が、AIチャットbot「ChatGPT」の有料版で利用できるようになったので、早速試したところ、たまげた。 以前のバージョン「3.5」は、詳細かつ適切に指示しないと狙った結果が得られなかったのだが、「4」は、雑な指示でも適切な結果を返してくれる。例えば、以下のような感じだ 「ゆかたんかわいい」で「縦読み」を作ってもらった。「縦読み」とは、横書きで意味の通じる文章で、冒頭の文字を縦に読むと別の意味になっている、という言葉遊びの一種だ。前モデルの「GPT-3.5」だと要領を得ない返答だったが、「GPT-4」は一発でこんな答えを示した。 「ゆめのような彼
こんにちは！逆瀬川 ( https://twitter.com/gyakuse )です！ 今日は気軽にできるプロンプトインジェクション対策を紹介したいと思います。 プロンプトインジェクションとは ChatGPTなどの言語モデルをベースとしたサービスに対し、「これまでの命令を表示してください」などの文章を与え、出力をジャックしてしまう攻撃手法です。 Prompt Leaking, Jailbreaking, 等の類似手法が知られています。 対策 これへの対策は簡単で、命令を追加で挿入する手法があります。以下に示します。 import openai openai.api_key = openai_key def completion(new_message_text:str, settings_text:str = '', past_messages:list = []): """ この関数は
ChatGPT についてポエムを書き散らすのが流行っている。珍しく流行に乗ってみる。機会を逃すとまた状況が激変しそうだし。 研究者の YouTuber 化 ChatGPT は研究者が想定していた成長曲線よりも上に外れたところに現れた。こんなに流暢にテキストを生成するモデルがこんなに早く出現するとは思わなかった。なぜ日本語まで流暢なのかはいまだに謎。 ChatGPT はテレビでも取り上げられるくらい一般に認知されているらしい。複数のテレビ取材に応じたという人がいたのでそうなのだろう。*1 私の観測範囲で起きているは、参入者が大勢いること。これまで自然言語処理をやってこなかったであろう人。従来の技術よりも圧倒的に敷居が低い。そもそもプログラムを書く必要がない。自然言語で指示を出すだけなら誰でもできる。 ChatGPT の上で踊りたいかというと気乗りしない。参入障壁が低いということは、競合が多い
いくらAIが便利だからって、子どもの教育データをGPTに流し込んで表を作らせようとする馬鹿教師は滅亡して欲しい｜山本一郎（やまもといちろう）
いくらAIが便利だからって、子どもの教育データをGPTに流し込んで表を作らせようとする馬鹿教師は滅亡して欲しい 確かにAIは便利なんですが、どこかの会社とのオンライン会議などのログをそのまま文字起こしにして出力し、それをGPTに食わせて要約してSLACKに流している馬鹿もいました。まあどこまでOpenAIを信頼するか（あるいは他のサービスと比べてマシと考えるか）にもよるのでしょうが、某ベンチャー企業で当方との打ち合わせのログをそのままGPT3.5に食わせて出力した議事録のサマリを送ってきたので、さっそく「何考えてんだおまえ」という話になりました。 なんでこんなことに気を使うのかというと、もちろん第一義的には私どものクライアントは潜在的にOpenAIの競合でもあるからなのですが、ただ、仮にAppleの仕事をしていた人がGoogleのAndroidOSでPixelが提供している文字起こしツール
【2024年版】ChatGPT APIを社内利用する時に採用すべきアーキテクチャを考えた - Qiita
結論 社内システム上の多数のアプリケーションがChatGPT APIを活用しているというシチュエーションを想定し、AI共通基盤が持つべき機能とアーキテクチャを検討しました。 ポイントは以下の３つです。 社内システム上のあらゆるアプリケーションにChatGPT APIが組み込まれる未来が想定される アプリケーションごとに必要な実装は重複するため共通化が可能 Proxyサーバを社内に配置しそこで共通的な処理を行い、各アプリケーションはAPI呼び出しのみを行う 背景 -ChatGPT APIの2024年を予想する- 2023年5月現在のChatGPT APIの活用状況 2023年3月1日にChatGPT APIであるGPT3.5-turboがリリースされ、あらゆるプレイヤーによってこぞって活用方法が模索されています。 現在の活用状況について知見を深めたかったため、TwitterにてChatGPT
ほしいWebアプリの説明を書くだけで、ChatGPTが作って即Web公開してくれるサービス「GPTApp」を、ゲームアプリの企画・開発を手掛けるミリオンダウト代表のTakayuki Fukudaさんが公開した。 アプリのイメージを考えてフォームにテキストで入力すると、ChatGPT（GPT-3.5）がコードを出力してWebに実装する。開発にかかるのは約30秒と“爆速”。Web単体で動く簡単なアプリのみ開発できる。 うまくいけばきちんと動くが、失敗することも多い。アプリ完成画面で「ChatGPTの返信を見る」をクリックすると、ChatGPTが書いたコードも表示される。 GETAppはFukudaさんの個人開発だが、経営するミリオンダウトでは、ChatGPTなどのAIを使ったアプリを開発しているという。 関連記事 LINEでChatGPTと会話「AIチャットくん」100万ユーザー・2000万メ
クリエイターの時代
クリエイターの時代 2023.03.11 Updated by Ryo Shimizu on March 11, 2023, 15:48 pm JST ChatGPTが流行り過ぎている。 来週にはGPT-4が出るという話になっていて、しかもGPT-3は1750億パラメータであるのに対し、GPT-4は100兆パラメータと言われている。 普通に考えて単位が桁違いにおかしいのだが、そもそもそんなに巨大なニューラルネットワークが学習できてしまったことも驚きだが、実用的に使うためには信じられないくらい大規模な機械が必要になる。 まだ出てもいないGPT-4を警戒しても仕方ないので、むしろGPT-4が出る前の今のタイミングだからこそ、敢えて「ChatGPTブームの終わりは近い」と予測してみたい。 なぜか? 第一に、ChatGPTは、簡単に使え過ぎてしまう。 朝思いついて昼には新しいアプリができてしまう。
Transformerは分散できる代償として計算量が爆発的に多いという不利がある。 一度みんなが忘れていたリカレントニューラルネットワーク(RNN)もボケーっとしている場合ではなかった。 なんと、GPT3並の性能を持つ、しかも完全にオープンな大規模言語モデルが公開されていた。 そのなもRWKV(RuwaKuvと発音しろと書いてある。ルワクフ?) RWKVはRNNなのでGPUメモリをそれほど大量に必要としない。 3GBのVRAMでも動くという。 時間がない方はビデオをご覧ください 僕の失敗は、何も考えずにgit lfs installでディレクトリごとコピーしようとしたこと。 このディレクトリには過去のモデルデータが全部あるので、ひとつ30GBのモデルデータを何十個もダウンロードしようとしていて終わらなかったのだ。 モデルデータは一とつあれば十分なのでひとつだけにする。 次に、chatのリポ
3DCG製作ソフトのBlenderにGPT-4を統合し「球体を作って」などのプロンプトを入力するだけで3Dモデルを作成するアドオン「BlenderGPT」レビュー
プロンプトを入力するだけで適切なモデルを出力してくれるBlenderのアドオン「BlenderGPT」が登場しました。OpenAIのGPT-4を使用しており、プロンプトを受けてPythonコードを生成します。 GitHub - gd3kr/BlenderGPT: Use commands in English to control Blender with OpenAI's GPT-4 https://github.com/gd3kr/BlenderGPT 導入方法は以下の動画でも確認できます。 3DCG製作ソフト「Blender」にGPT-4を統合する「BlenderGPT」の導入方法を解説 - YouTube まずはGitHubのリポジトリにアクセスします。続いて「Code」をクリックし、「Download ZIP」をクリックしてZIPファイルをダウンロード。 次にOpenAIのAPI
1. ファインチューニングの利点ファインチューニングの利点は、次のとおりです。 (1) プロンプトよりも高品質な応答 (2) プロンプトに収まりきらないより多くの例の適用 (3) プロンプトの短縮によるトークン数 (コスト) の節約 (4) プロンプトの短縮による処理時間の短縮 モデルは膨大な量のテキストで事前学習されており、このモデルを効果的に利用するため、プロンプトに手順や応答の例を指定する手法が使われます。この例を使用してタスクの実行方法を示すことを「Few-Shot」と呼びます。 ファインチューニングで、プロンプトに収まりきらないより多くの例で学習することにより、さまざまなタスクでより良い結果を達成できるようになります。プロンプトに多くの例を指定する必要はなくなります。これによりトークン (コスト) が節約され、処理時間も短縮されます。 2. ファインチューニングの使用料金ファイン
「GPT-4o」発表 頭一つ抜けた性能をChatGPT無料版にも展開 音声と視覚を備えて“自然な対話”可能に【追記済】
米OpenAIは5月13日（米国時間）、生成AI「GPT」の新たなモデル「GPT-4o」を発表した。テキストはもちろん、音声や画像、映像での入力、音声での応答に対応し、アプリ版の「ChatGPT」ではユーザーと自然に対話できるようになった。開発者向けにAPIとして提供する他、同日からChatGPT内で利用できるように展開を始める。 GPT-4oは無料ユーザーでも利用可能になる。ChatGPTでは従来、無料ユーザーが使えるモデルは「GPT-3.5」までで、「GPT-4」を利用するには課金する必要があった。ただし、有料のChatGPT Plusユーザーは時間当たりのメッセージやり取り可能回数が無料ユーザーに比べて5倍に緩和される。企業向けのTeamやEnterpriseユーザーはさらに制限が緩和されるとしている。 同社は発表会のライブデモで、GPT-4oを搭載したiOS版ChatGPTと対話す
人工知能(AI)を研究する非営利団体のOpenAIが、自然言語処理と画像生成を組み合わせたAI「DALL・E」を発表しました。DALL・Eは人間と見分けが付かないほど高精度な文章を生成するAI「GPT-3」のパラメータを使用し、文章からイラストや写真を作り出すことができます。 DALL·E: Creating Images from Text https://openai.com/blog/dall-e/ OpenAI debuts DALL-E for generating images from text | VentureBeat https://venturebeat.com/2021/01/05/openai-debuts-dall-e-for-generating-images-from-text/ OpenAIの公式ブログでは、実際に「DALL・Eに入力したテキスト」と「DA
画像生成AI「DALL・E 2」や文章生成AI「GPT-3」といった高性能AIを開発してきたAI開発組織のOpenAIが、新たに音声を超高精度で認識して文章に書き起こせるAI「Whisper」を発表しました。発表と同時に公開されたサンプルでは「早口のセールストーク」や「ハイテンポな曲の歌詞」などの音声でも問題なく文字起こしできる性能の高さが示されています。 Introducing Whisper https://openai.com/blog/whisper/ GitHub - openai/whisper https://github.com/openai/whisper Whisperはインターネット上から収集された合計68万時間におよぶ音声データでトレーニングされた文字起こしAIです。OpenAIのブログ記事には「早口のセールストーク」「K-POPの曲」「フランス語」「独特なアクセン
Whisper、ChatGPTを活用した、テキスト入力不要な新感覚メモ日記アプリの紹介と、開発における学び｜にょす
日常生活の中で生まれた「できごと」や「思ったこと」を、楽しく記録できるメモ日記アプリを開発しました！ しゃべったら、あとは丸投げして良い感じにメモを残してくれる「シャべマル」です！（笑） シャべマルの紹介具体的には、、 絵文字で見返せるメモアプリあんまりないですが、良いですよ…！音声入力でメモ内容を作成。かなり高精度な音声認識モデル（Whisper）を用いているので、想像以上にちゃんと文字起こししてくれます！ 「今日あったこと」など、日記として利用するのもオススメです。1日を振り返る機会になって、それが後から振り返りできるので、あの時こんなこと考えていたなー、といった発見につながるはずです！ そして個人的にここが目玉なのですが、文字起こしされたメモには、「タイトル」「絵文字アイコン」「感情アイコン」「カテゴリ」が自動で紐づきます！ これ何が良いかというと、圧倒的に見返しやすくなるんですよね
Transformer 深層学習モデル以前の言語モデルの課題 言語モデルでやりたいことは、「今まで生成した単語列を元に、次の単語を予測する」ことで、その単語は今まで生成した単語列を条件とし、次にある単語がくる条件付き確率を求め、その確率が最大のものを選ぶということだった。（LLM資料p.8参照） ただ、これだと単語列が長くなったときや、類義語の処理に課題が生じてしまっていた。 ニューラル言語モデル しかし、計算したい条件付き確率をNNで推定することにより、対処できた。 Encoder-Decoder型のRNN（Recurrent Neural Network)が最も基本的なモデルにはなるが、これでは長文に対応できなかった。（勾配消失＆単語間の長距離依存性の把握が困難） RNNが勾配消失するのは、活性化関数のtanhが1未満の値を取るため、BPTT時に掛け算されるとだんだん値が小さくなってし
昨日は新潟県長岡市に行って、市役所の職員向けと、一般向けに二回の講演を行った。 市役所の職員からの質問事項をよく読むと、ChatGPTを闇雲に何にでも使おうとして苦戦している姿が見てとれた。 たとえばこんな感じだ。 ⚪︎時に東京駅につく新幹線を予約したいとChatGPTに言ったが、公式サイトをチェックしろと言われた 我々からすればその回答は当たり前なのだが、闇雲になんでもChatGPTでやろうとするとこうなってしまうという典型的な例だった。当たり前だが、その目的ならえきねっと一択だ。 ChatGPTには限界がある。しかも低い。 だから通常はPluginと組み合わせたり、プログラムから呼び出したりするという「工夫」が必要になる。 GPTを使うプログラムを書くのはものすごく簡単だ。 たぶんプログラムの世界でも最も簡単な部類だろう。 たとえば僕がプログラムでGPTを使おうかなと思った時、こんなふ
超巨大高性能モデルGPT-3の到達点とその限界. この記事では、超巨大言語モデルGPT-3の技術的な解説、GPT-3達成したことと… | by akira | Jul, 2020 | Medium
この記事についてこの記事ではGPT-3[1]の解説をします。内容のサマリは以下の通りです。 GPT-3の前身であるGPT-2では、巨大なデータセット＋巨大なネットワークで言語モデルを構築し、各タスクで学習させなくても良い結果が得られた。GPT-3では、さらに巨大なデータセット＋さらに巨大なネットワークで言語モデルを構築し、数十のサンプルを見せると凄く良い結果が得られた一方、様々なタスクに言語モデルのスケールアップのみで対応することへの限界が見えてきた。人種、性別、宗教などへの偏見の問題や、悪用に対する課題もある。この記事の流れは以下の通りです。 Transformer, GPT-2の説明GPT-3のコンセプトと技術的な解説GPT-3ので上手くいくタスクGPT-3で上手くいかないタスク偏見や悪用への見解 Transformerまず、GPT-3の前身となったGPT-2に入る前に、その中に使われ
Open Interpreterの使い方や料金を徹底解説！実際にアンケート結果のデータ分析をした活用事例を紹介！｜Ainova
1. インストール 1pip install open-interpreter ターミナルで次のコマンドを実行して、Open Interpreter をインストールします。 2. 対話型チャットの開始 インストール後、次のコマンドを実行して、ターミナルで対話型チャットを開始できます。 1interpreter Python で対話型チャットを開始するには、次のコマンドを実行します。 1import interpreter 2interpreter.chat() 2. OpenAI APIキーの設定 OpenAIのAPIキーを利用する場合は設定が必要ですが、OpenAIのキーを使用しない場合は、Code-Llamaを利用することができます。 これで、Open Interpreterを利用する準備が整いました。 Open Interpreterの使い方 タスクの依頼・実行 Open Inter
はじめに こんにちは、一休.comデータサイエンス部の平田です。 みなさんChatGPT活用してますか？ 一エンジニアとして便利に使ってはいるものの、自社サービスにどのように組み込もうか模索しているところも多いかもしれません。 一番の利用先として思いつくのが、自社の情報をもとに質問に答えるチャットボットではないでしょうか。 その中では、ハイコンテキストな検索（例えば、「東京から2時間以内で子供も楽しめるアクティビティがあって、景色も良い宿」のような）にも答えられるとボットの価値が増します。 ChatGPTが事前に学習した内容では古く、正確ではないためそういった検索に応えるのはかなり厳しいです。 そのため、こちら側が持っているデータを渡してあげる必要があるのですが、今回はその自社の情報をどう組み込むのか、という部分についてご紹介します。 素のChatGPTでは？ ChatGPTに例えば「熱海
パナソニック独自AIサービスの活用実績を報告する、パナソニック コネクト IT・デジタル推進本部 戦略企画部 シニアマネージャーの向野孔己氏 パナソニック子会社のパナソニック コネクトは6月28日、OpenAIの大規模言語モデルをベースにしたAIアシスタントサービス「ConnectAI」の活用実績を報告。今後は機能を拡大し、社内データを活用できるシステムへアップデートすると発表した。 社内利用は「想定の5倍」 「ConnectAI（旧称ConnectGPT）」は、日本マイクロソフトがMicrosoft Azure上で提供する「Azure OpenAI Service」を活用し、パナソニックコネクトが2023年2月から、国内の社員1万3400人に提供しているサービス。 当初は「GPT-3.5」でスタートしたが、Azure OpenAI Serviceの対応にあわせて、3月からは「ChatGP
はじめに 新規事業部 生成AIチーム 山本です。 ChatGPT（OpenAI API）をはじめとしたAIの言語モデル（Large Language Model：以下、LLM）を使用して、チャットボットを構築するケースが増えています。通常、LLMが学習したときのデータに含まれている内容以外に関する質問には回答ができません。そのため、例えば社内システムに関するチャットボットを作成しようとしても、素のLLMでは質問に対してわからないという回答や異なる知識に基づいた回答が（当然ながら）得られてしまいます。 この問題を解決する方法として、Retrieval Augmented Generation（以下、RAG）という手法がよく使用されます。RAGでは、ユーザからの質問に回答するために必要そうな内容が書かれた文章を検索し、その文章をLLMへの入力（プロンプト）に付け加えて渡すことで、ユーザが欲しい
ChatGPTを活用して事業計画書作成を効率化しよう 経営者にとって、事業計画書を作成するのにハードルの高さを感じている人もいるかもしれません。 しかし、事業計画書は補助金申請や金融機関から融資を受けたい時にも重視される傾向にあるものです。 事業計画書を効率的に作成するなら、ChatGPTの活用がおすすめです。 今回は、ChatGPTで事業計画書を作成する際のプロンプト例や、作成時の注意点についてご紹介します。 事業計画書の作成に頭を悩ませている方は、ぜひ参考にしてみてください。 創業手帳ではオンライン上で記入・保存ができる「事業計画シート＆資金シミュレーター」をリリース。事業計画を書くにあたっての定番項目は網羅しており、これを埋めるだけで事業の今後の計画などが整理できます。また出先で思いついた内容をちょっとメモするときに使ったりすることも可能。無料でご利用いただけますので、是非ご活用くだ
GPTで作ったAIに24時間お問合せ対応をしてもらう方法とは？ 導入手順とそのリアルな成果と課題を徹底レポート！｜maKunugi
GPTで作ったAIに24時間お問合せ対応をしてもらう方法とは？ 導入手順とそのリアルな成果と課題を徹底レポート！ GPTを利用したプロダクトが次々と登場し、AIの社会実装が加速していますね！「AIによるお問合せへの対応」も、GPTの利用が大きく期待される領域です。本記事は、GPT製のお問合せ対応チャットボットを導入する手順を紹介します。そして手順に加え、導入によって見えた成果と現状のリアルな課題を併せてご紹介します。 この検証によって作成されたお問い合わせ対応AIは、下記のページに設置済みです。本記事の内容でこんなAIチャットボットを作れます。 https://miibo.jp/ お問合せAIとの会話の様子※ 本記事は会話AI構築プラットフォームmiiboを運営する株式会社miiboにて執筆しています。 お問合せAI導入の恩恵は大きい！GPTを利用した賢いAIが顧客や社員の質問に24時間回
OpenAIが2023年3月14日に正式発表した「GPT-4」は、ChatGPTなどに用いられたGPT-3.5の性能をさらに超え、「初代iPhone登場時と同等の衝撃を与える存在」と評されています。すさまじい性能を有するGPT-4がどのような影響を生み出しているのか、AIに関するマーケティングの専門家であるサム・ウッズ氏が「生後わずか3週間のGPT-4が作成した14の素晴らしいもの」としてまとめています。 GPT-4 is barely 3 weeks old. It has already made significant contributions to various fields. Here are the 14 incredible things created with GPT-4.— Sam Woods (@samuelwoods_) GPT-4では、テキストだけでなく画像を
GPT-4でPythonコードをエラーがなくなるまで自動修正・実行繰り返すAIツール「ウルヴァリン」 | テクノエッジ TechnoEdge
ガジェット全般、サイエンス、宇宙、音楽、モータースポーツetc... 電気・ネットワーク技術者。実績媒体Engadget日本版, Autoblog日本版, Forbes JAPAN他 コンピューターはプログラムコードで動作しますが、このコードは人間が記述している以上、どうしてもエラーを含んでしまうことが避けられません。 しかし、最近は大規模言語モデルを使ったGPTなどジェネレーティブAIの急速な進歩により、目的とする処理を文章として渡すだけで、AIがある程度プログラムコードを出力できるようになってきました。 そして、BioBootloaderと名乗る開発者による新しい試みでは、プログラム開発の際にどうしても必要となるデバッグ作業を、GPT-4をベースとするAIで行うことを可能にしました。このツールは、プログラムを自動修正することから、似た能力を持つアメコミヒーローにちなんで「Wolveri
マイクロソフトはいかにして再びイノベーティブになったか テックジャイアントが組織文化改革でスタートアップの精神を取り戻すまで | 組織文化/組織開発｜DIAMOND ハーバード・ビジネス・レビュー
サマリー：本稿では、マイクロソフトがどのように組織文化の変革を実現したのか、筆者が実施した調査を元に解説する。一定の利益を出す既存事業に安住してしまう状況は、組織文化が旧来のままであるために起こった。その後、サ... もっと見るティア・ナデラの下で、組織変革を遂げ、いまに至る。その変遷を、グーグルと対比しながら解説する。 閉じる マイクロソフトはどのように組織文化を変えたのか ハイテク業界では長年、マイクロソフトはウィンドウズで市場を独占したことにあぐらをかいている前世紀の成功企業とみなされてきた。なにしろ同社はもう数十年も、画期的なイノベーションを起こしていない。他社を素早く追従するファストフォロワー戦略を取れるだけの潤沢な資金はあるが、どの市場においてもリーダーになるには大きすぎ、官僚的すぎた。アマゾン・ドットコムのジェフ・ベゾスは東を指差し、社員に「シアトルの隣人のように自己満足に陥
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GPT-4が労働市場に与える影響と各職種のリスク評価──OpenAIの研究者が論文発表
今日から始めるChatGPT+Zapierで雑パーソナライズ情報収集 - LayerX エンジニアブログ
あまりに高精度のテキストを作り出してしまうため「危険すぎる」と問題視された文章生成言語モデルの最新版「GPT-3」公開
ChatGPT開発に必要なGPUは3万基、日本の国策AI基盤は1千基。目前に迫る日本のAI敗戦
「GPT-3」は思ってたより「やばい」ものだった。話し言葉でプログラミングまでこなすAI - CUBE MEDIA
どのようにしてプログラマはAIに仕事を奪われていくかの妄想
ヒエッ！ GPT-4がスゴすぎて、「AIで仕事がなくなる」不安がいよいよリアルに
ChatGPTを使ったサービスにおいて気軽にできるプロンプトインジェクション対策 - Qiita
ChatGPT 雑感 - murawaki の雑記
ほしいアプリを入力すると、ChatGPTが爆速で作るサービス「GPTApp」
完全フリーで3GBのVRAMでも超高速に動く14B大規模言語モデルRWKVを試す｜shi3z
OpenAI API の ファインチューニングガイド｜npaka
「バイクに乗るピカチュウ」「アボカドの椅子」など言葉から自動でイラストや写真を生成するAI「DALL・E」
OpenAIが高性能文字起こしAI「Whisper」を発表、日本語にも対応し早口言葉や歌詞も高精度に文字起こし可能
【Day 3】東大松尾研のLLM講座資料が公開されたから、詳しく読んでいくよ【備忘録】 - Qiita
AIを語りたいなら最低限Pythonをやるべき。足し算より簡単なんだから｜shi3z
ChatGPTに自社の情報を組み込みたい① - 一休.com Developers Blog
9時間かかる仕事、6分で終了 パナ子会社「ChatGPTはビジネスに有効」 (1/3)
RAGの実案件に取り組んできた今までの知見をまとめてみた | DevelopersIO
ChatGPTで事業計画書を作ろう！プロンプト例や作成時の注意点などをご紹介
「自動ムービー編集」「ゲーム開発」「文章校正」「論文要約」などGPT-4がわずか3週間で生み出した14の画期的ツール