gpt-index(0.2.5)をOpenAI APIなし＆日本語で動かす｜oshizo
gpt-indexは長いコンテキストに対してQAを行えるフレームワークです。 デフォルトではOpenAIのAPIを利用するので無邪気に長いコンテキストに質問を投げているとすぐ数$の請求になって焦りますね。 今回はローカルでオープンな日本語モデルを使って動かす方法をご紹介します。 あくまで試みであり、正答率もいまひとつで実用性があるものではありませんが、学習データセットを作るコード、モデル学習コード、gpt-indexを実行するコードはこのリポジトリに置いています。 https://github.com/oshizo/gpt_index_japanese_trial 1/18のツイートで投稿したツリーをもう少し詳しく説明する内容です。 gpt-indexをOpenAIなし＆日本語で動かしてみています。かなりカスタマイズ性がある。 embed_modelとllm_predictorにローカルの
13億パラメータの日本語特化GPT言語モデルを使ってSlackAIチャットボットを作ってみた1～文章生成機能編～ - Qiita
1.はじめに 社内勉強会で発表することになり、題材としてrinna/japanese-gpt-1bを使用したSlackのAIチャットボットを作成したので、備忘録として残しておきます。 「文章生成機能編」と「SlackBot実装編」で記事を2つに分けており、当記事では文章生成機能について記載します。 初心者なため、間違った部分や理解の足りていない部分もあるかと思います。 そういった部分がありましたらコメントまたはTwitterで指摘して頂けると幸いです。 rinna/japanese-gpt-1bとは 13億パラメータの日本語特化GPT言語モデルです。rinna株式会社がオープンソースで公開しています。 今回はこちらを使用して、文章を生成する機能をbotに実装しています。 サンプルコードとほぼ同じものを使用していますが、相違点もあるためそこも含めて解説していきます。 公式ニュースはこちらです
Google I/O 2022で発表された最新自然言語処理技術まとめ | AI専門ニュースメディア AINOW
画像出典：Google I/O 2022におけるサンダー・ピチャイCEOの基調講演をまとめたGoogle公式ブログ記事より引用 前書き 2022年5月11日から12日、毎年恒例のGoogle主催の開発者会議「Google I/O 2022」がハイブリッド開催されました。同社のサンダー・ピチャイCEOが行った基調講演をまとめた記事を読むと、多数のAI技術が発表されたことがわかります。この記事では、GoogleI/Oの発表から特に自然言語処理に関するものを抽出して解説します。 統合学習データを使って24の言語に対応 Google I/O 2022では、Google翻訳が新たに24の言語に対応したことが発表されました。対応した言語にはインド北東部で使われるアッサム語、クルド人が話すクルド語などが含まれいます（24の翻訳対応言語については本記事末尾の付録参照）。この新機能の実現には、多言語機械翻訳
「AI音声認識」が飛躍 グーグルのデバイスの独自性が見えてきた | Forbes JAPAN 公式サイト（フォーブス ジャパン）
グーグルの開発者会議イベント「Google I/O 2022」が開催され、今年の夏から秋にかけて投入を予定する多くの新製品とARスマートグラスのアーリープロトタイプがベールを脱いだ。 ライバルであるアップルの製品群に重なるカテゴリーも多くあるが、グーグルの「AIによる音声認識技術」に注目すると、各々の独自性が浮かび上がってくる。 Pixelシリーズにスマートウォッチやタブレットが登場 スマートフォンは夏に「Pixel 6a」を発売し、続く秋にはフラグシップの「Pixel 7」と「Pixel 7 Pro」を順次投入する。Pixel 6aは昨年発売されたPixel 6シリーズの廉価版。日本では7月28日に発売される。価格を53900円と安くして、カメラなど人気の機能を継承した。 秋にはPixel 7シリーズと同時期に、グーグル初のスマートウォッチ「Pixel Watch」が発売を控える。昨年グ
Googleの対話特化型AIとスマホで語り合えるアプリ「AI Test Kitchen」が自然すぎて完全に中の人がいるレベル
Googleが、2022年5月12日から催されている年次開発者カンファレンス「Google I/O 2022」で、同社の自然言語処理AI「LaMDA 2」と、そのデモアプリの「AI Test Kitchen」を発表しました。 AI Test Kitchen https://aitestkitchen.withgoogle.com/ Google I/O 2022: Advancing knowledge and computing https://blog.google/technology/developers/io-2022-keynote/ 近日公開予定のアプリ「AI Test Kitchen」は、Googleの対話特化型AIである「対話アプリケーションのための言語モデル(Language Model for Dialogue Applications：LaMDA)」の第2世代を、ス
テンセント スマート作文アシスタントの公開トライアルを開始
中国ネットサービス大手の騰訊控股（テンセント）のAI（人工知能）研究開発組織「AI Lab」は2022年4月7日、スマート作文アシスタント「文涌（Effidit）」の一般向け公開トライアルを開始した。Effiditは、AI技術を通じて、作文者の思考を広げて表現を豊かにすることをサポートし、文章の作成と編集の効率を向上することができる。AI Labは今後、自然言語処理（NLP）技術のより深い開発に努め、Effiditの各機能の改善を図っていく。 中国ネットサービス大手の騰訊控股（テンセント）のAI（人工知能）研究開発組織「AI Lab」が手掛けるスマート作文アシスタント「文涌（Effidit）」（画像はテンセントのニュースリリースより） スマート作文アシスタント「文涌（Effidit）」は、テンセントが蓄積してきたNLPの技術を結集し、ナレッジ抽出やテキスト理解、テキスト生成、大規模事前トレ
日本語対話コーパス一覧
日本語対話コーパス一覧 これは日本語を対象とした、対話システムの構築に利用できる言語資源のリストです。 本リストは、理化学研究所 吉野 幸一郎さん発案のもと、C4A研究所 中野 幹生さん、東北大学 赤間 怜奈さん、大阪大学 駒谷 和範さん、JAIST 吉川 禎洋さん、リクルート 林部 祐太さん、京都大学 児玉 貴志さん、愛知工業大学 徳久 良子さんにご協力をいただき、水上 雅博が作成いたしました（所属はリスト作成または更新時のものです）。 もしこのリストに載っていないものや、リストのまちがいに気づかれた場合、新たにコーパスをリリースした際には是非、issueやメールで教えてください。 対話コーパス 主に人同士または人とシステム間（2名以上の場合を含む）で、対話（模擬対話等を含む）を行ったコーパスです。 名前 データ量 形式 研究利用 商用利用 概要
辞書とルールで固有表現抽出器を作れるライブラリfunerを公開しました - 農園
概要 こんにちは@kajyuuenです。 辞書とルールによる固有表現抽出（Named Entity Recognition; NER）を実現するライブラリfunerを作りました。 github.com 辞書とルールによって抽出した固有表現をこんな感じで確認できます。 tokens 東京 出身 の 吉田 は 4 月 から JR で 働く 。 ============================================================================================= gold_label B-LOC O O B-PER O B-DATE I-DATE O B-ORG O O O ------------------------------------------------------------------------------
インフォマティクス、BERT日本語版事前学習モデルを公開
株式会社インフォマティクス（本社：川崎市幸区、代表取締役：齊藤大地）は、このたび、ディープラーニングを用いた言語モデルであるRoBERTa（A Robustly Optimized BERT Pretraining Approach）の日本語版事前学習モデルを公開しました。 ◆背景 インフォマティクスはこれまで、画像処理・自然言語処理・時系列解析等、さまざまなAI・機械学習技術を用いたソリューションをお客様に提供してまいりました。 このたび、弊社が持つ技術力をより広く認知していただくこと、および社会貢献の一環として、所有するAI・機械学習技術の中から、自然言語処理に関する技術の一部を公開する運びとなりました。 《自然言語処理について》 自然言語処理とは、私たちが日々読み・書き・話している言葉を処理するための技術です。 この技術は、以下をはじめさまざまな用途に使われています。 具体例： ・ス
Pathwaysの恐るべき威力、ベールを脱いだグーグルの万能AIが目指す究極形とは
米Google（グーグル）が数年にわたって開発を進めてきた万能AI（人工知能）、「Pathways」の実力が明らかになった。Pathwaysは1つの機械学習モデルが最大数百万種類のタスクに対応できるという「万能」もしくは「汎用」のAIだ。従来のAIが1モデル1タスクの専用品であるにもかかわらず、タスクを処理する性能は汎用であるPathwaysが上回った。驚くべき威力だ。 グーグルは2022年4月4日（米国時間）、自然言語処理に関する複数種類のタスクを処理できる「Pathways Language Model（PaLM）」を発表した。自然言語による質問応答や文章生成などができる言語モデルと呼ばれるAIをPathwaysによって実装した。言語モデルは近年、BERTやGPT-3などがめざましい成果をあげたことで注目されている。 1モデル1タスクの専用品である従来の言語モデルで別のタスクを処理させ
スマートインサイト社、自然言語理解AIを搭載したMµgen NLU Optionをリリースしました
スマートインサイト社、自然言語理解AIを搭載したMµgen NLU OptionをリリースしましたテキストデータをAI解析で高度に活用 スマートインサイト株式会社（本社：東京都千代田区、代表取締役社長：町田潔、以下スマートインサイト）は、あらゆるデジタルデータを活用し部門毎のデータを横断的に素早く仮想的に統合することができるMµgenに自然言語理解AI（Natural Language Understanding AI）を搭載したMµgen NLU Optionを 2022年4月よりリリースしたことを発表いたします。 Mµgen（ミュージェン）の最大の特徴は、構造化データに加えて非構造化データも同時に扱い「見える化」や分析を進めることができる点にあります。この度の自然言語理解AIはあたかも人間が言葉を理解しているかのようなリアルなテキスト解析ができるAI機能です。 一般的に自然言語処理(N
NTTとLINEが牽引する日本の自然言語処理、この2社がリーダーである理由とは｜BUSINESS NETWORK
私たちの生活・ビジネスに深く浸透し始めた自然言語処理（NLP）。今や医療・金融、コールセンターなど様々なビジネス現場でもNLPを活用したアプリケーションが当たり前に使われるようになった。このNLP研究と実用化をリードしているのがNTTグループとLINEだ。 SiriやAlexaといった対話型AIは、今やすっかり日常生活の一部となった。人間とコンピュータの関係を劇的に変えたこのAI技術は音声認識や機械学習、ディープラーニングなど様々なテクノロジーによって実現されている。なかでも核となる技術が「自然言語処理（NLP）」だ。 NLPとは、人間が日常的に使っている自然言語をコンピュータに分析・処理させる技術だ。その応用範囲は急速に広がっている。 例えば、医療分野では電子カルテの入力支援や記載内容のチェックに活用され、コールセンターでは音声認識と組み合わせて会話内容のテキスト化や感情分析、自動応答な
Awesome NLP — 21 popular NLP libraries of 2022
In this article I list the most used NLP libraries of today, giving them a brief description. They each have specific strengths and weaknesses in distinct use cases, so they can all be useful as a wealth of knowledge of a good data scientist specialized in NLP. Descriptions of each library are extracted from their GitHub repositories. Top NLP librariesHere is the list of top libraries, sorted by t
rinna社、日本語に特化した13億パラメータのGPT言語モデルを公開
rinna株式会社（本社：東京都渋谷区/代表取締役：ジャン“クリフ”チェン、以下rinna社）は、日本語に特化した13億パラメータのGPT言語モデルを開発し、公開しました。 ■背景 rinna社はこれまでに、日本語の自然言語処理 (NLP) に特化したGPT (3.3億パラメータ) やBERT (1.1億パラメータ) の事前学習モデルを公開し、多くの研究・開発者にご利用いただいています。最近のNLPに関する研究では、モデルのパラメータ数が多いほど高い性能であることが知られています。 そこでrinna社は、これまでに公開してきたモデルより大規模な13億パラメータを持つ日本語に特化したGPT言語モデルを開発し、日本語のNLPコミュニティに貢献するために、この言語モデルをNLPモデルライブラリ Hugging Face に商用利用可能なMITライセンスで公開しました。 ■ Hugging Fac
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
spaCyを使った先進的な自然言語処理 · 無料のオンラインコース
東京大学深層学習（Deep Learning基礎講座2022）深層学習と自然言語処理
会話型AIは「有害な発言」を抑制できるか：グーグルが新しい言語モデル「LaMDA 2」で挑む課題
「Microsoft To-Do」に自然言語の認識機能 ～期限・リマインダー・繰り返しを自動追加／英語ロケールから順次展開へ
AIで言語処理、競争激化 カナダ新興も大型調達 - 日本経済新聞
ELYZA DIGEST