Googleは5月10日（日本時間5月11日未明）、米カリフォルニア州マウンテンビューで開催中のイベント「Google I/O 2023」で、最新のAI基盤モデル「PaLM 2」を発表しました。 PaLM 2は規模の異なるGecko、Otter、Bison、Unicornの4種類のモデルが用意され、いちばん小さな規模のGeckoはモバイルデバイスでの利用も可能で、オフラインでも動作可能。
［速報］Google、責任あるAIを実現するとして、画像にウォーターマークとメタデータの埋め込みを進めると発表。Google I/O 2023
Googleは5月10日（日本時間5月11日未明）、米カリフォルニア州マウンテンビューで開催中のイベント「Google I/O 2023」で、最新のAI基盤モデル「PaLM 2」を発表しました。 PaLM 2は規模の異なるGecko、Otter、Bison、Unicornの4種類のモデルが用意され、いちばん小さな規模のGeckoはモバイルデバイスでの利用も可能で、オフラインでも動作可能。
構想半日、実装一日、全社活用される ChatGPTのSlackbotを作りました！ - MonotaRO Tech Blog
はじめに こんにちは、新卒2年目の佐藤です。 MonotaROでは先日、ChatGPTを簡単に利用できるSlackbot「MonoChat (β)」を全社員を対象にリリースし、大勢の方に利用されるようになりました。 私は、ChatGPTが社内全体で活用されることで一人一人の身の回りの業務がもっと楽になったり、生産性を上げられる良い機会に必ずなると思いMonoChat (β) を開発しました。 本記事では社内の大勢の方に利用してもらうために考えたこと、設計/開発/運用してみて得た結果や知見、またMonotaROでのChatGPT利用についても紹介します。 特に、開発部分だけでなく設計部分や結果も紹介しているのでChatGPTを社内に普及させたい方にとって何か気づきになれば幸いです！ はじめに MonotaROでは全社員がChatGPTを利用可能です 社内でのChatGPT利用 MonoCha
こんにちは。Anond AIを研究している id:cockscomb です。 私たちはこの度、このAI時代を制するプロダクト、Anond AIを開発しました。本エントリではその詳細について説明します。 Anond AIとは Anond AIはいわゆるGenerative AIで、人類が匿名で日記を書くことをアシストしてくれるものです。私たちは日記に芸術性を感じる文化を持っていて、「日記文学」という言葉もあります。Generative AIによって、名前を隠して楽しく日記を書くことをサポートし、匿名日記文化のさらなる発展に寄与できないか、と考えました。 Anond AIは、rinna/japanese-gpt2-mediumをはてな匿名ダイアリーのデータを用いてファインチューニングし、ドメイン適応させたものです。 Anond AIの開発 Anond AIは実験的なプロダクトのため、Hatel
アリババ、新型肺炎の新たなAI診断技術を開発 正確度96% 中国（CNS（China News Service）） - Yahoo!ニュース
【CNS】人工知能（AI）が新型コロナウイルスによる肺炎との闘いで「新兵器」になりつつある。阿里巴巴（アリババ、Alibaba）は15日、アリババ系研究機関の「達摩院（DAMO）」が、クラウドサービスを主業務とする阿里雲（Alibaba Cloud）と共同で、新型肺炎に関する新しいAI診断技術を開発したことを明らかにした。 【写真】CT画像を分析する医療関係者 このAIは、新型肺炎の疑いがある患者のCT画像を20秒以内に判読できる。分析結果の正確度は96％に達し、診断効率を大幅に引き上げることが可能だ。16日より運営を開始した河南省（Henan）鄭州市（Zhengzhou）の「小湯山（Xiaotangshan）医院」では、このアルゴリズム補助による臨床診断を導入済みという。 新型肺炎の流行初期では、確定診断のサンプル数が少なく、医療機関では高水準の臨床診断データが不足していたため、核酸検査
昨年末から急激に話題を呼んだChatGPT、その内部的なバージョンアップであるGPT-3.5とGPT-4はいずれもMicrosoftから強力な支援を受けた米OpenAIという企業が独占的に提供する大規模言語モデル（LLM）だ。 それに呼応するかのように、Meta社からはLLaMA（ラマ）がリリースされ、LLaMAをChatGPTとの1万3千回の会話データで微調整したAlpaca（アルパカ）、AlpacaをShareGPT（GPTとの会話を有志がオープンにしたもの）のデータで微調整したVicuna（ビクーニャ）といった派生モデルが次々と登場した。 しかし、LLaMAはMeta社の意向により「アカデミック用途限定」という縛りがある。またGPTの出力にはOpenAIの利用規定で「GPTの出力結果を元にGPTに対抗できる強力なAIを作ってはいけない」という制約があるため、AlpacaもVicuna
Pythonで始める自然言語処理の基礎の基礎 | クリエイターのための総合情報サイト CREATIVE VILLAGE
PythonはAIや機械学習領域のライブラリを豊富に持っており、近年非常に高い人気を誇っています。今回はPythonを使用して自然言語（人間が読み書きする言語）を処理する方法ご紹介します。 近年、自然言語処理の領域は急速に発展しており、機械翻訳（英語から日本語の翻訳等）の精度も年々向上しています。今回はその自然言語処理の基礎の基礎の部分をお伝えし、Pythonで処理する方法をご紹介いたします。 合田 寛都（ごうだ・かんと） 株式会社メンバーズ メンバーズデータアドベンチャー データアナリスト メンバーズに新卒入社後大手企業のWEBサイト運用やアクセス解析等に従事。メンバーズデータアドベンチャーに異動し、クライアント企業にデータアナリストとして常駐。 自然言語とは？ 自然言語とは人間が日常的に読み書きする、所謂普通の言語のことを指します。これと対比されるのが機械語やプログラミング言語で、Py
Red Hatの森若です。 今回は個人でChatGPT Proを契約したので、ChatGPTをRHELの運用に使えるか試してみます。 趣旨とご注意 ログの意味を教えてもらう やりたいことの実現方法を聞いてみる チェックリストのたたき台を作ってみる ドキュメントの検索をさせてみる ナレッジベースを特定バージョンむけに書き換える RHELアップグレードのための稟議書を書いてもらう 趣旨とご注意 趣旨: 乗るしかない このビッグウェーブに…… ということで流行りもので遊んでみるという話です。検索を汚染しないようにChatGPTの出力は画像で貼りつけます。 ご注意: ChatGPT(に限らず現状の大規模言語モデルと呼ばれるもの)は「それらしいテキストを生成する」という技術で、厳密な論理や一貫性のある主張、 発言が正しいことの裏づけなどはできません。使う場合には特徴を踏まえて使いましょう。 ログの意
2024.04.16「先達エンジニアに学ぶ 思考の現在地 Online Conference」での登壇スライドです event link: https://findy.connpass.com/event/313119/ 生成AIを使ってプロダクト作りをしていたり、社内の生産性向上をチャレンジしてる方に少しでも参考になれば幸いです。
id:nishiohirokazuさん作のScrapboxの情報をChat GPTに流し込んで対話するスクリプトがおもしろそうだったので動かして遊んでみていた。 自分のScrapboxをChatGPTにつないだ - 西尾泰和のScrapbox 自分のScrapboxからおすすめサウナを案内してもらえた。おもしろい。自分のはてなブログとも対話したい。 https://t.co/7L51YPVURe pic.twitter.com/ijVXEFDXGl— 趣味はマリンスポーツです (@hitode909) 2023年3月10日 自分はScrapboxよりはてなブログのほうをよく書いてるので、当然はてなブログと対話してみたい。 はてなブログのMT形式のエクスポート結果をScrapboxのエクスポート結果のJSONっぽく乱暴に書き換えるスクリプトを用意して、はてなブログのデータを使ってチャットでき
講義資料は特設ページからダウンロード可能で、全7講義分のパワーポイントを無料で取得できる。内容はLLMの概要から、日本でのLLMの開発状況、Transformerと事前学習の仕組み、ファインチューニングなど。 関連記事 東大松尾研、大規模言語モデルの研究者＆開発エンジニアを募集 「LLM研究をさらに加速させる」 東京大学松尾研究室は、大規模言語モデル（LLM）の研究者や開発エンジニアを募集するとX（旧Twitter）で発表した。2024年、LLMの研究をさらに加速させるためチームを拡大するという。 ChatGPTでの業務効率化を“断念”──正答率94％でも「ごみ出し案内」をAIに託せなかったワケ 三豊市と松尾研の半年間 「ごみ出し案内」業務にはChatGPTを“活用しない”と決断──生成AIを使った業務効率化を検証してきた、香川県三豊市がそんな発表をした。実証実験には松尾研も協力したが、思
研究室のSlackチャンネルに最新の論文を共有してくれるbotがあれば、議論をもっと活発化できるのでは？と思ったので試しに作ってみました！ 目標 こんな感じで、時間通りにarxiv論文を要約したものをシェアしてくれるSlackbotを作ります。 手順 SlackBotのためのAPIトークンを生成 OpenAIのAPIを取得 Pythonコードを作成 Google Cloud Platform（GCP)で実行を自動化 完成！ 1. SlackBotのためのAPIトークンを生成 Slack APIのページからbotを作成する必要があります。 この方の記事で詳しいやり方が紹介されているので、参考にしながらアプリ作成、APIトークン生成、ワークスペースにアプリをインストール、メッセージ送信のテストまでやってみてください。 2. OpenAIのAPIを取得 今回は取得した論文を要約するために、Cha
～商用利用可能なライセンスで日本語のNLPコミュニティに貢献～ rinna株式会社（本社：東京都渋谷区/代表取締役：ジャン"クリフ"チェン、以下rinna社）は、日本語に特化した13億パラメータのGPT言語モデルを開発し、公開しました。 ■背景 rinna社はこれまでに、日本語の自然言語処理 (NLP) に特化したGPT (3.3億パラメータ) やBERT (1.1億パラメータ) の事前学習モデルを公開し、多くの研究・開発者にご利用いただいています。最近のNLPに関する研究では、モデルのパラメータ数が多いほど高い性能であることが知られています。 そこでrinna社は、これまでに公開してきたモデルより大規模な13億パラメータを持つ日本語に特化したGPT言語モデルを開発し、日本語のNLPコミュニティに貢献するために、この言語モデルをNLPモデルライブラリ Hugging Face に商用利用可
教務課 | 部署別管理ページ一覧 | 東京工業大学
東京工業大学,東工大,とうこうだい,Tokyo Institute of Technology,Tokyo Tech,理工系,東京,大学,国立大学,教育,研究,社会連携,国際交流
語学の勉強をしなくても世界の人々と意思疎通できる時代がやってきた。人工知能（AI）を用いた「ニューラル機械翻訳（NMT）」技術が猛烈な勢いで発展しているからだ。言葉の壁は大幅に低くなった。翻訳業界は再編が始まった。街中では自動翻訳機が急増中で、観光業界や店舗、運輸、病院などに普及し始めた。将来的には自動翻訳機が1人に1台、普及する可能性も出てきた。【次回記事】自動翻訳機、1人1台時代へ 観光・交通で活躍30年分の技術を一気に凌駕「翻訳業界全体が、雷に打たれたような衝撃を受けた。これは50年に一度の破壊的技術であると」──。自動翻訳サービスを手掛けるXtra（エクストラ、東京・千代田）社長でロゼッタ執行役員の古谷祐一氏は
Developers can now integrate ChatGPT and Whisper models into their apps and products through our API. ChatGPT and Whisper models are now available on our API, giving developers access to cutting-edge language (not just chat!) and speech-to-text capabilities. Through a series of system-wide optimizations, we’ve achieved 90% cost reduction for ChatGPT since December; we’re now passing through those
研究の呪い
私たちはなぜ研究をするのでしょうか。なぜかこの世にもたらされ、いずれ世を去る我々はなぜ研究をするのでしょうか。Read less
CybagerAgent AI事業本部 2023年度新卒研修 MLOps 応用編で使用したスライドです。 ハンズオンで使用したGitHub Repository: https://github.com/nsakki55/aws-mlops-handson
rinna株式会社（本社：東京都渋谷区/代表取締役：ジャン“クリフ”チェン、以下rinna社）は、日本語に特化したGPT-2の大規模言語モデルを構築し、オープンソースとして公開しました。 ■背景 rinna社は、MicrosoftのAI＆リサーチ部門でAIチャットボットの研究を行っていたチームがスピンアウトして2020年6月に設立したAI開発企業です。ディープラーニング技術を活用し、AIが文脈に応じた会話文を自動生成して人間と自然に会話する「共感チャットモデル」、AIが話し声や歌声で豊かな感情表現を可能にする「音声合成システム」などの技術を発表してきました。これらの最新技術は、当社が運営するAIチャットボット「りんな」や、会話内容や音声表現をカスタマイズしてキャラクター性を持たせたAIチャットボットである「AIキャラクター」の開発に応用され、企業のマーケティングなどにお使いいただいています
こんにちは。わいけいです。 今回の記事では、生成AI界隈ではかなり浸透している RAG について改めて解説していきます。 「低予算で言語モデルを使ったアプリを開発したい」というときに真っ先に選択肢に上がるRAGですが、私自身もRAGを使ったアプリケーションの実装を業務の中で何度も行ってきました。 今回はその知見をシェア出来れば幸いです。 RAG（Retrieval-Augmented Generation)とは まず、 そもそもRAGとは何ぞや？ というところから見ていきましょう。 RAG（Retrieval-Augmented Generation) は自然言語処理（NLP）と特に言語モデルの開発において使用される技術です。 この技術は、大規模な言語モデルが生成するテキストの品質と関連性を向上させるために、外部の情報源からの情報を取得（retrieval）して利用します。 要は、Chat
LLMs The History of Chatbots ELIZA (1966) 初期の人工知能プログラムのひとつ。 ルールベースの簡単なパターンマッチングで返答していた。 心理療法士の会話を模したELIZA(DOCTOR)が有名。 PARRY (1972) PARRYは偏執病的統合失調症患者をシミュレートしようとしたもの。 ELIZA(DOCTOR)と通信し話題となった。 Jabberwacky (1982, 1988, 1997) ユーモラスな人間同士の自然な会話をシミュレートすることを目的としていた。 ユーザーとの会話の大規模なデータベースを構築し、言語と文脈を学習することができた。 プロジェクト自体は1982年から開始されていたが、当初は学習機能は有していなかった。 ローブナー賞を2005年(George)、2006年(Joan)に受賞している。 ローブナー賞(Loebner P
いまこそ学ぶLLMベースのAIエージェント入門―基本的なしくみ／開発ツール／有名なOSSや論文の紹介
大規模言語モデル（LLM）の応用例として「AIエージェント」が大きな話題の1つとなっています。 AIエージェントは、与えられた目的に対して、何をすべきか自律的に判断して動作します。 たとえば、必要に応じてWeb上の情報を検索して回答してくれたり、試行錯誤しながらプログラムを実装してくれたりします。 2024年2月現在では、OpenAIのAssistants APIやGPTs、Agents for Amazon BedrockやLangGraphなどがリリースされ、AIエージェントを開発するエコシステムも急速に発展しています。 そんな中、この勉強会では「いまこそ学ぶLLMベースのAIエージェント入門」と題して、LLMベースのAIエージェントの基本を解説します。 LLMベースのAIエージェントの基本的なしくみ（MRKLやReActなど）や各種開発ツール、有名なOSSや論文で実装されたAIエージ
AIへの指示を、誰でも簡単に
PromptLab(プロンプトラボ)とは、AIプロンプトと呼ばれる「AIに適切な指示を出すための文章」を誰でも簡単に利用できるサービスです。必要項目を記入するだけで、面倒な作業を20秒程度でAIに片付けてもらうことができます。
米OpenAIは4月15日、大規模言語モデル「GPT-4」について、日本語に最適化したカスタムモデルを発表した。日本語のテキストを記述する能力が向上しており、「GPT-4 Turbo」より最大3倍高速とうたっている。今後数カ月以内にAPIをリリースするという。 関連記事 OpenAI、“怠けにくい”「GPT-4 Turbo」プレビューリリースや値下げを発表 OpenAIは、11月に発表した「GPT-4 Turbo」のプレビュー版をリリースすると発表した。「GPT-4」が怠け者になってきたという苦情を受け、怠けにくくしたという。公式版は数カ月中にリリースする計画だ。 マイクロソフト提供の“社内GPT基盤”もGPT-4 Turboなどに対応 米Microsoftが、大規模言語モデル「GPT-4」などのAPIをクラウドサービス「Microsoft Azure」経由で使える「Azure OpenA
Waiting Listにもっと時間がかかるかと思ったのだが、予想外に早く(一日)APIのロックが解除された。ただしまずは8Kトークン版のみ。 GPT-3.5が4Kトークンだったから倍の長さのストーリーが出せるということだ。 ただし値段はChatGPT APIの10倍。元に戻った感じ。 これはどっちを使うべきか結構悩むぞ。 こんな感じで呼ぶ % curl https://api.openai.com/v1/chat/completions \ -H 'Content-Type: application/json' \ -H 'Authorization: Bearer APIKEY'\ -d '{ "model": "gpt-4", "messages": [{"role": "user", "content": "宮崎駿について"}], "temperature": 0.7 }'答えはこ
株式会社ANOBAKAは、直近の大規模言語モデル（LLM：Large Language Models）の開発競争の激化を受け、Generative AI領域で起業を考えている人への参考情報として「大規模言語モデル（LLM）カオスマップ」2023年度6月版を公開したと発表した。 大規模言語モデル（LLM：Large Language Models）とは、大量のテキストデータを使ってトレーニングされた自然言語処理のモデルだ。2022年11月に発表され大きな話題となったChatGPTも、2022年初頭にトレーニングした「GPT-3.5シリーズ」を対話向けにファインチューニングしたものであり、大規模言語モデルの応用例の一つだ。 米国同様、日本でも今後アプリケーションレイヤーのGenerative AIスタートアップが多数勃興することが予測されるという。アプリケーションレイヤーのGenerative
TOPコラム海外最新IT事情AIが自分自身に報酬を与えて進化する「自己報酬型言語モデル」 米Metaなどが開発、実験でGPT-4を上回る【研究紹介】 AIが自分自身に報酬を与えて進化する「自己報酬型言語モデル」 米Metaなどが開発、実験でGPT-4を上回る【研究紹介】 2024年1月23日 米Metaと米ニューヨーク大学に所属する研究者らが発表した論文「Self-Rewarding Language Models」は、大規模言語モデル（LLM）が自分自身に報酬を与えることで繰り返し学習する「自己報酬型言語モデル」を提案した研究報告である。このモデルは、自身が生成した問題に対する応答に報酬を割り当て、その結果をトレーニングデータとして使用。自己を反復して訓練することで、精度を向上させられる。 keyboard_arrow_down 研究背景 keyboard_arrow_down 研究内容
このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 Twitter: ＠shiropen2 米Metaや米HuggingFaceなどに所属する研究者らが発表した論文「GAIA: a benchmark for General AI Assistants」は、難しいタスクではなく、人間にとって簡単なタスクを達成する大規模言語モデル（LLM）を評価するためのベンチマークを提案している。この研究は、人間が日常で当たり前に実行してほしいタスクを正確にこなすLLM構築を目指すためのテスト集である。 現在のベンチマークは、人間にとってより困難なタスクを求めており、LLMには数学や法律などの複雑なタスクや、一貫性のある本を書くなどの複雑な課題が
Metaの「Llama 2」をベースとした商用利用可能な日本語LLM「ELYZA-japanese-Llama-2-7b」を公開しました｜ELYZA, Inc.
Metaの「Llama 2」をベースとした商用利用可能な日本語LLM「ELYZA-japanese-Llama-2-7b」を公開しました 本記事のサマリーELYZAが「Llama 2」ベースの商用利用可能な日本語LLM「ELYZA-japanese-Llama-2-7b」を一般公開 性能は「GPT-3.5 (text-davinci-003)」に匹敵、日本語の公開モデルのなかでは最高水準 Chat形式のデモや評価用データセットも合わせて公開 既に社内では、130億、700億パラメータのモデルの開発も進行中 はじめにこんにちは。ELYZAの研究開発チームの佐々木、中村、平川、堀江です。 この度ELYZAは、Metaの「Llama 2」をベースに、日本語による追加事前学習を行なった日本語言語モデル「ELYZA-japanese-Llama-2-7b」と、そこにELYZA独自の事後学習を施した「
M1MacでOllamaを試したら爆速で驚いた
はじめに いつもNVIDIAが載っているWindowsで楽しくLLMを動かしたり生成AIライフを楽しんでいますが、今回はMacOSでOllamaを入れてLlama3を動かしてみました。 スペック： Apple M1 Pro(16 GB) 少し前だとCUDAのないMacでは推論は難しい感じだったと思いますが、今ではOllamaのおかげでMacでもLLMが動くと口コミを見かけるようになりました。 ずっと気になっていたのでついに私のM1 Macでも動くかどうかやってみました！ 結論、爆速で推論できていたのでとても驚きました。OSS開発に感謝です！ Ollamaとは OllamaとはローカルでLLMを動かすことができるアプリケーションです。 以下からダウンロードできます。 MacOSとLinuxで使うことができます。Windowsもプレビュー版があるみたいです。 #いざ推論 ダウロードができたらシ
【初心者向け】画像生成AI別のプロンプト（呪文）比較表
こんにちは、画像生成AIでひたすら猫のイラストを生成している じょじお（＠jojio‗illust）です。 この記事は各種画像生成AIサービスのプロンプト（呪文）の記述方法の比較表をまとめた記事です。
プロンプトインジェクション対策｜ChatGPT APIのLINEボットを一ヶ月運用して戦った記録 - Qiita
ChatGPTのチャットボットを安全に運用する方法 プロンプトインジェクションは、不適切な文字列や悪意のあるコードを含むプロンプトがChatGPTに送信されることで発生するセキュリティ上の懸念です。 2023/04/11現在、LINEボットとして公開されている多くのサービスでプロンプトインジェクション対策がなされていないようです。この記事では、プロンプトインジェクション対策の背景や具体的なプロンプトの例を紹介し、ChatGPT APIを安全に利用する方法を説明します。 背景 ChatGPT APIは、OpenAIが開発した大規模な言語モデルで、自然言語処理のタスクを実行するために利用されます。しかし、APIを利用する際にはセキュリティ上の問題が生じることがあります。プロンプトインジェクションはその一例で、攻撃者が意図的に悪意のあるプロンプトを送信することで、システムやユーザーに悪影響を与え
エンジニアはLLMとどう付き合うか / How engineer get along with LLM
2023/7/24のDevelopersIO 2023 福岡での登壇資料です。 https://classmethod.connpass.com/event/286634/
最近話題になった大規模言語モデルまとめ｜npaka
最近話題になった大規模言語モデルをまとめました。 1. クラウドサービス1-1. GPT-4「GPT-4」は、「OpenAI」によって開発された大規模言語モデルです。 マルチモーダルで、テキストと画像のプロンプトを受け入れることができるようになりました。最大トークン数が4Kから32kに増えました。推論能力も飛躍的に向上しています。 現在、「ChatGPT Plus」(有料版)で制限付きで利用できる他、ウェイトリストの登録者を対象に「OpenAI API」での利用も開始しています。
こちらの記事では、Stable DiffusionでおなじみのStablity AIが送るLLM「Stable LM」について、概要や導入方法、実際に触ってみた感想をまとめています。 弊社のエンジニアによると、Stable LMはChatGPT等より規制が少ないとのこと。例えば、 エロ系の質問 悪用の可能性がある情報（例：ハッキング、爆弾の作り方、等） その他、アングラ系やグレーな質問 にも、答えてくれる可能性が高いそうです！ ChatGPTやGemini等のLLMを使っていると、Google検索で知れるような少しグレーな内容でも「その質問には答えられません」ってなりますよね？ どうやら、StableLMではそういったことが少ないらしいんです。 ということで当記事では、「エロい質問がいけるかもしれないLLM版Stable Diffusion」についてさまざまな検証を行います。噂の真相を確か
大規模言語モデルの開発
2024年度 人工知能学会全国大会（第38回）チュートリアル講演１ 本講演では、大規模言語モデルの開発に必要な基礎および最新動向を概観する。その後、東京工業大学情報理工学院の岡崎研究室と横田研究室、産業技術総合研究所の研究チームで開発された大規模言語モデルSwallowの開発経験を踏まえ、学習データの構築、モデルの学習や評価などを説明し、日本語に強い大規模言語モデルの現状や課題を議論したい。
TL; DR LangChainのメリデメを整理する過程で、今となってはopenai-pythonのうちChatGPTのAPIをを簡単に取り回せる程度のシンプルなライブラリがあるだけでも十分便利なんじゃないかと思ったので、ライブラリを個人で作ってみました。（バージョン0.0.1なのでちょっとお粗末な所もありますが） github.com はじめに こんにちは、データサイエンティストの坂元です。ABEJAアドベントカレンダーの13日目の記事です。世は大LLM時代ということで、ありがたいことにABEJAでも複数のLLMプロジェクトを推進させて頂いています。私自身もいくつかのLLMプロジェクトに参画しています。LLMといえばLangChainが便利ですね。OpenAI APIの利用だけでなく、各種ドキュメントのパースが出来たり、HuggingFaceやインデックスDBを扱う他のライブラリとインテ
ソフトウェア設計についてAIと壁打ちしたら良い体験でした（準中級者〜中級者向け） | DevelopersIO
こんにちは。AWS事業本部コンサルティング部に所属している今泉（@bun76235104）です。 ソフトウェア設計・クラス設計などの学習捗ってますか？ 私は実際にソフトウェア設計に関する本を読んで学習したり、OSSを書いてアウトプットしたりするのですが、なかなかフィードバックをもらえず上達しているのか分かりません。 普段のお仕事も直接的にコードを書くことも少ないので、先輩によるご指導などももらいにくい状況です。 そこで今回、話題のAIとソフトウェア設計の考え方について壁打ちしてもらったところ、非常に良い学習方法だと感じたので、この記事を書いてみました！ ちなみに私は以下のようにソフトウェア設計関連の書籍を読んで学習しています。 ちなみに今回は以下ブログ記事で公開しているくらにゃんGPTをベースにしたBotと会話をしています。 ChatGPT API model: gpt-3.5-turbo
最近の自然言語処理では、大規模なテキストから単語の分散表現や言語モデルを学習させて使っています。学習する際のテキストとしては、分量や利用しやすさの都合からWikipediaが選ばれることが多いですが、その前処理は意外と面倒で時間のかかる作業です。そこで、本記事では比較的最近リリースされた前処理済みのデータセット「Wiki-40B」とその使い方を紹介します。 Wiki-40Bとは？ Wiki-40Bは、40言語以上のWikipediaを前処理して作られたデータセットです。このデータセットは言語ごとに学習/検証/テスト用に分かれているので、単語分散表現や言語モデルの学習・評価に使えます。言語ごとの対応状況については、以下のページを参照するとよいでしょう。 wiki40b | TensorFlow Datasets 前処理としては、大きくは以下の2つに分けられます。 ページのフィルタリング ペー
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Anond AI開発日記 - Hatena Developer Blog
百花繚乱の大規模言語モデル その現状まとめ【2023年4月末版】
ChatGPTをRHELの運用に使えるか? いろいろためしてみた。 - 赤帽エンジニアブログ
生成AIによるプロダクトと生産性向上の舞台裏@2024.04.16
自分のはてなブログをChat GPTにつないだ - hitode909の日記
年末年始にLLMの勉強はいかが？ 東大松尾研、大規模言語モデルの講座資料を無料公開
心理学を知らずに生きるのは、刃の折れたノコギリで木を切るようなものかもしれない
最新の論文をChatGPTで要約して毎朝Slackに共有してくれるbotを作る！
日本語に特化した13億パラメータのGPT言語モデルを公開｜rinna株式会社
AI翻訳「人間超え」へ 技術が急発展 自動翻訳の衝撃（上） - 日本経済新聞
Introducing ChatGPT and Whisper APIs
CyberAgent AI事業本部MLOps研修応用編
rinna社、日本語に特化したGPT-2の大規模言語モデルを開発しオープンソース化
GPT連携アプリ開発時の必須知識、RAGをゼロから解説する。概要＆Pythonコード例
歴代チャットボットと最近のLLMのまとめ - Qiita
５分でわかる 天才をインストールする「実践心理学NLP」を簡単図解
GPT-4に日本語特化モデル OpenAI Japan始動会見で発表
GPT-4 APIがやってきた!3.5と"性能"を比較する｜shi3z
「大規模言語モデル（LLM）カオスマップ」2023年度6月版が公開
AIが自分自身に報酬を与えて進化する「自己報酬型言語モデル」 米Metaなどが開発、実験でGPT-4を上回る【研究紹介】
人だと正解率92％なのに、GPT-4だと15％になる新型テスト集「GAIA」 米Metaなどが開発
【Stable LM】エロにも使える禁断のLLMとは？使い方〜実践まで徹底解説！ | WEEL
LangChainを使わない - ABEJA Tech Blog
Wikipediaの前処理はもうやめて「Wiki-40B」を使う - Ahogrammer