言語処理学会第29回年次大会(NLP2023) 緊急パネル：ChatGPTで自然言語処理は終わるのか？（言語処理学会理事会主催）2023年3月14日 沖縄コンベンションセンター https://www.anlp.jp/nlp2023/#special_panel *概要：* 大規模言語モデルの発展によって自然言語処理（NLP）の方法論は大きく様変わりした．中でもOpen AIから発表されたChatGPTは言語モデルの利用方法を飛躍的に拡げ，世間からも大きな関心を集めている．ChatGPTに代表される巨大言語モデルの出現でNLPはどう変わるか，はたまた終焉をむかえるのか？ 本パネルでは，NLP研究の一線で活躍されている5名のパネリストをお招きし，ChatGPTに関するファクトの共有をはかるとともにNLP研究の今後についてご議論いただく．我々NLP/言語研究に携わる者自身が今起こっていること

OpenAIが開発したChatGPTをはじめ、さまざまなAIが人間レベルの会話を行ってくれるようになりました。AIは文章を読み書きするとき「トークン」という単位で認識を行うのですが、普通の文章がトークン的にはどのように分解されるのかを一目で教えてくれるツール「Tokenizer」がOpenAIのページ上で公開されています。 OpenAI API https://platform.openai.com/tokenizer Tokenizerの画面はこんな感じ。テキストを入力する必要がありますが、いったん「Show example」をクリックして例を見てみます。 英語の場合、252文字の文章で64トークンとなる模様。下部にて文字がトークンのまとまりごとに色分けして表示されています。 「TOKEN IDS」をクリックするとそれぞれの数値も確認できます。人間が見てもなにがなんだか分かりませんが、G

OpenAIが提供する「ChatGPT」などのチャットAIは要約やコーディング、翻訳などを人間の専門家以上の精度で実行できると報告されています。しかしチャットAIの訓練に必要な人間のフィードバックに基づいた強化学習(RLHF)を実行するエンドツーエンドなパイプラインが存在せず、最先端のチャットAIの訓練を行うことは困難でした。しかしMicrosoftが発表した「DeepSpeed-Chat」では誰でもChatGPTのようなモデルを作成可能です。 DeepSpeed/blogs/deepspeed-chat/japanese at master · microsoft/DeepSpeed · GitHub https://github.com/microsoft/DeepSpeed/tree/master/blogs/deepspeed-chat/japanese これまでChatGPTのよ

LangChainのAgentをカスタムできると自由度が上がりますが、LangChainのAgentがいまいちブラックボックスだった感があったので、デフォルトのプロンプトを解剖してみました。最近のLangChainだとChatGPT対応されており、これをカスタムすることで安価にAPIが使えそうです。 はじめに LangChainのAgentを使うとReActで自動的に使うツールを選択してくれるのですが、このAgentがどんなテンプレートをLLMに送っているのか前から気になっていました。そこで、Agentのプロンプトをデバッグする方法を考えます。 ここでターゲットとするAgentは、ChatGPTのConversationalChatAgentです。 ConversationalなAgentは比較的最近のLangChainでないと利用できません（LangChain0.0.101では不可で、0

ChatGPT-like models have taken the AI world by storm, and it would not be an overstatement to say that its impact on the digital world has been revolutionary. These models are incredibly versatile, capable of performing tasks like summarization, coding, and translation with results that are on-par or even exceeding the capabilities of human experts. Given the sheer power of these models, multiple

700社以上存在する「テキストベースのジェネレーティブAI市場」 ChatGPTの登場で、ジェネレーティブAI（または生成AI）への関心が爆発的に高まっている。Statistaのまとめによると、ChatGPTが登場した2022年11月からグーグル検索における「ジェネレーティブAI」への関心が徐々に高まり、関心度合いの指数は2023年2月に過去最高となったことが判明した。 現在、ChatGPTがジェネレーティブAIの代表格のような存在となっているが、ジェネレーティブAI市場には多種多様なプレーヤーがおり、ジェネレーティブAI認知の高まりとともに、今後競争が激しくなることが予想される。 ChatGPTは、チャット、文章生成、翻訳、コーディングなどさまざまなタスクをこなす万能型のAIツールだが、市場にはそれぞれのタスクを専門とする特化型AIツールが多数ひしめき合っている。Venturebeatの

Change your region to view content applicable to your location and shop online. Sorry, our service is not available in your location.

ちょっと前に以下のようなことを放言したら、思いの外反響が多くてちょっとびっくりしたのでした。それだけ、現代のLLM chatbot / generative AIの台頭に期待と不安を抱いている人が多いということの裏返しなのでしょう。 既に色々コメントが出ているけど、我々人類が「知的労働」だと思っていることの大半が実は「過去実績をなぞって適当にその場に合わせて組み立てているだけ」なんじゃないかと訝っているので、そういう「自称知的労働」は多分LLMで代替されると思う。新奇なものを生み出す仕事は相変わらず残る https://t.co/GGK41vSDcn— TJO (@TJO_datasci) 2023年3月15日 昨年の年末振り返り記事でも話題にしたChatGPT（そして後続の各種LLM chatbot）ですが、今年に入ってからの話題の広がり方には想像を超えるものがあり、ついに朝の情報番組な

はじめに GoogleColaboratory（Googleコラボ）使ってますか。 Googleコラボは、Googleアカウントさえあれば、簡単にPythonの実行環境を構築できるうえに、GPUも無料で使えて、最強のサービスだと思います。 私自身、Pythonは、Googleコラボで実行していますが、これまで、ブラウザを操作するSelenium　はGoogleコラボでは「できない」と思い込んでいました。 今回、GoogleコラボでもSeleniumが扱えることを知ったので、その方法について、ご紹介したいと思います。 AnacondaやVS-codeよりずっと簡単にSeleniumを扱うことができます。 Seleniumについて Seleniumはブラウザを直接操作するライブラリーです。 Pythonではrequestsライブラリを利用して、WEBサイトからデータを取得することもできますが、

インストール方法 Chatomeウェブストア「Superpower ChatGPT」に接続します。 「Chromeに追加」をクリックします。 確認画面になりましたら、「機能拡張を追加」をクリックします。 「Superpower ChatGPT」がChromeに追加されました。というメッセージが表示されたら、インストールは完了です。 使い方 まずはChatGPT画面でどの部分が変わったかを確認します。以下は「Superpower ChatGPT」をインストール前の画面です。 そして、こちらが「Superpower ChatGPT」をインストール後の画面です。 「My Prompt History」、「Community Prompts」、「Export All」、「Newsletter Archive」、「Settings」、「Delete All」が新たに追加されていることが確認出来ます。

【SQL】PrestoのTIME関数の中で本当に使うものだけピックアップ！〜AthenaやBigQueryで活用〜 ■はじめに お客様のサポートをする中で、「TIME系の関数が多くて使い分けが分かりにくい」という声をよく聞きます。後ほど説明しますが、TIMEの表記も「Data型」と「Unixtime型」の種類があり、それぞれの型に関数を使い分ける必要があるので、少しややこしさを感じるのではないでしょうか。 ただTIME関数を使うことで、すっきりしたSQLの式を書くことができます。 この記事では、そういったTIME関数について、私自身がよく使うものをまとめましたので紹介したいと思います。 参考：Prestoドキュメント ■本記事の内容 ・Timeについて前提確認 ・Presto関数紹介 ・まとめ ■Timeについて前提確認 Timeの表記は2パターンあります。 この後の説明を理解して頂くため

OpenAIの提供するGPT-3には何種類かある text-davinci-003 / text-curie-001 / text-babbage-001 / text-ada-001 特にLangChainでは最も性能の良いtext-davinci-003が使用されている． だが，APIは金が掛かるのでなるだけフリーのLLMが使いたい → transformers-openai-api等で偽サーバを建てて，APIのオリジンをすり替えると任意のLLMをLangChainで使用可能となる 例 (LangChain + GPT-index) 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46

Make AI your expert customer support agentIt's like having ChatGPT specifically for your product. Instantly answer your visitors' questions with a personalized chatbot trained on your website content. Personalized onboarding helpFriendly pricing as you scale95+ languages supported7-day free trialCancel anytime

2023年3月23日、OpenAI社はChatGPTでのプラグインの立ち上げを発表しました。 これにより、ChatGPTとさまざまな情報を組み合わせることができるようになり、ChatGPTが利用できるシーンはさらに多様になっていくと予想されます。 この発表と併せて、OpenAI社のGithubリポジトリで、「ChatGPT Retrieval Plugin」が公開されました。 このプラグインにより、ChatGPTで自前のドキュメントを利用する（つまり、自前のドキュメントの情報をもとにしたQ&Aなどができる）ようになるようです。 2023年3月24日現在、まだChatGPTのプラグイン自体は利用するにはWaitlistに登録して順番を待たなければいけない状態です。そのため、このプラグインをいまいま試すことはできないのですが、Github上のREADMEを読み解いて、どんなことができるかなどざ

1. Unstructured「Unstructured」は、MLサービス用の自然言語データの前処理ツールです。HTML、PDF、Wordなどの自然言語データをMLサービス用に変換することができます。 以下のような処理を行います。 ・ドキュメントを要素に分割。 ・ドキュメントから不要なテキストを削除。 ・データラベル付けなどの下流タスク用の書式調整。 対応ドキュメントは、次のとおりです。 ・txt ・docx ・pptx ・jpg ・png ・eml ・html ・pdf 2. Colabでの実行Google Colabでの実行手順は、次のとおりです。 (1) Colabで新規ノートブックを開く。 (2) パッケージのインストール。 # パッケージのインストール !pip install unstructured !apt-get install -y libmagic-dev(3) 左端