並び順

ブックマーク数

期間指定

  • から
  • まで

281 - 320 件 / 517件

新着順 人気順

言語処理の検索結果281 - 320 件 / 517件

  • GPT-4を利用した長文原稿自動生成プログラムの紹介|IT navi

    以下の記事は、アウトライン及び原稿の自動生成プログラムによって作成したものです。 通常、GPT-4で長い文章を作成する場合は、最初に全体のアウトラインを作成し、部分ごとに分割して文章を生成して、最後に全体を統合する必要がありますが、このプログラムは、その手順を一括でできるようにしたものです。プログラムは記事の後に紹介します。 第1章: AIの浸透と今後のビジネスへの影響1. はじめにa. AIの重要性と現代ビジネスへの適応 近年、人工知能(AI)の急速な発展とその浸透がビジネス界に大きな影響を与えています。今や、AI技術は製造業からサービス業、さらには情報産業まで幅広く利用されており、企業が生き残るためには、この新技術に適応し実用化しなければならない時代となっています。そこで、本章ではこれまでのAI技術の進化とその局面を明らかにし、今後のビジネスに与える影響について検証します。 b. AI

      GPT-4を利用した長文原稿自動生成プログラムの紹介|IT navi
    • Python による日本語自然言語処理 〜系列ラベリングによる実世界テキスト分析〜 / PyCon JP 2019

      PyCon JP 2019 での発表スライドです。 GitHub: https://github.com/taishi-i/nagisa-tutorial-pycon2019

        Python による日本語自然言語処理 〜系列ラベリングによる実世界テキスト分析〜 / PyCon JP 2019
      • 東工大など、日本語に強い大規模言語モデル「Swallow」を無償で公開

        東京工業大学(東工大)と産業技術総合研究所(産総研)の両者は12月19日、現在公開されている中で、日本語に強い生成AIの基盤である「大規模言語モデル」(LLM)としては最大規模となる「Swallow」を、米・MetaのLLM「Llama 2」の日本語能力を拡張することで構築し、Webサイト「TokyoTech-LLM」にて一般公開したこと、またオープンで商用利用も可能なことを共同で発表した。 同成果は、東工大 情報理工学院 情報工学系の岡崎直観教授、同・横田理央教授、産総研の共同研究チームによるもの。今回、東工大は主にデータの語彙拡張によるモデル学習・推論効率の改善に取り組み、産総研はモデル構築に必須である大規模計算資源としてAI橋渡しクラウド(ABCI)を提供すると同時に、主に継続学習によるモデルの日本語能力の改善を担当したとしている。 産総研のAI橋渡しクラウド「ABCI」(出所:東工

          東工大など、日本語に強い大規模言語モデル「Swallow」を無償で公開
        • PyTorch の基礎 - Training

          このブラウザーはサポートされなくなりました。 Microsoft Edge にアップグレードすると、最新の機能、セキュリティ更新プログラム、およびテクニカル サポートを利用できます。

            PyTorch の基礎 - Training
          • 【誰でも簡単ChatGPT、GPT-4 利用】Azure OpenAI Serviceを使ってみた with LINE Bot【Azureでより安心・安全にAI機能が使える】 - Qiita

            【誰でも簡単ChatGPT、GPT-4 利用】Azure OpenAI Serviceを使ってみた with LINE Bot【Azureでより安心・安全にAI機能が使える】ChatGPTAzureOpenAIServiceGPT-4MicrosoftAIAOAI こんにちは、もっちゃんと申します。 今AIの快進撃が続いておりますね!2000年代に第三次AIブームが始まってからはや十数年、ここ数年の進化のスピードは眼を見張るものがあるのではないでしょうか。そしてその話題の中心となっているのがOpenAIやMicrosoftなどが開発を行っているChatGPT,GPT-4といった大規模言語モデルです。 特に今年に入ってからは本当にあまりにも各所でアップデートが巻き起こっていてついていくのに必死な状態ですよね(笑) また、情報を追うのと同時に実際に触っていくことも大事ですので、今回はAzure

              【誰でも簡単ChatGPT、GPT-4 利用】Azure OpenAI Serviceを使ってみた with LINE Bot【Azureでより安心・安全にAI機能が使える】 - Qiita
            • Microsoftがたった13億のパラメーターでGPT-3.5超えのHumanEval50.6%をたたき出す「phi-1」を発表

              LLaMaやFalconといった小型の大規模言語モデル(LLM)が矢継ぎ早にリリースされる中、Microsoft ResearchのAI研究チームが、プレプリントサーバーのarXivで、Transformerベースのモデル「phi-1」を発表しました。このモデルは、パラメーター数がGPT-3.5の100分の1以下の13億しかないにもかかわらず、テスト用データセット・HumanEvalでGPT-3.5を上回る成績を収めたことが報告されています。 [2306.11644] Textbooks Are All You Need https://doi.org/10.48550/arXiv.2306.11644 Microsoft Releases 1.3 Bn Parameter Language Model, Outperforms LLaMa https://analyticsindiama

                Microsoftがたった13億のパラメーターでGPT-3.5超えのHumanEval50.6%をたたき出す「phi-1」を発表
              • OpenAIが発見したScaling Lawの秘密 - ディープラーニングブログ

                OpenAIはGPT-3の次の研究を始めています. 世間がGPT-3のデモに湧き上がる中,OpenAIはScaling Lawに関する2本の論文をひっそりと公開しました. Scaling Lawを一言で説明するなら「Transformerの性能はたった3つの変数のべき乗則に支配されている」というものです. Scaling Lawはそれ単体だけなら興味深い話で終わるかもしれません.実際に英語圏でもあまり話題にあがっていません.しかし,この法則の本当の凄さに気づいている研究者もいて,なぜ話題にならないのか困惑しています. I am curious why people are not talking more about the OpenAI scaling law papers. For me, they seem very significant. What I heard so far:

                  OpenAIが発見したScaling Lawの秘密 - ディープラーニングブログ
                • メタファー空間でGPT4に発散と抽象化をさせてから具体化する - 西尾泰和のScrapbox

                  あるメタファーの空間において二つのメタファーの対比(B)についてGPT4に列挙(1)させ、それからその対比を抽象化(2)させる。その後、抽象化した対比を異なるドメインに応用して具体化(3)させた

                    メタファー空間でGPT4に発散と抽象化をさせてから具体化する - 西尾泰和のScrapbox
                  • フリーで使える日本語の主な大規模言語モデル(LLM)まとめ

                    ありがとうございます! 実は私本人がそのモデルの構築に関わっているのですが、詳細はまだ言えない状況です...。 来年3月の言語処理学会年次大会(NLP2023)での続報をお待ちください!このモデルに関する論文が公開される予定です(一応それを待ってからこの記事にも掲載します)。 (私が書いたものではありませんが、現段階で公開できる情報をまとめた記事があります: https://note.com/utokyo_itc/n/nb18b2a753f23 )

                      フリーで使える日本語の主な大規模言語モデル(LLM)まとめ
                    • 速報:話題の 1ビットLLMとは何か?|寺田英雄(㈱オープンストリームCTO)

                      2024-02-27にarXiv公開され,昨日(2024-02-28)あたりから日本のAI・LLM界隈でも大きな話題になっている、マイクロソフトの研究チームが発表した 1ビットLLMであるが、これは、かつてB-DCGAN(https://link.springer.com/chapter/10.1007/978-3-030-36708-4_5; arXiv:https://arxiv.org/abs/1803.10930 )という「1ビットGANのFPGA実装」を研究していた私としては非常に興味をそそられる内容なので、論文を読んでみた。今回は速報として、その内容のポイントを概説したい。 論文情報 Ma, S. et al. (2024) ‘The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits’, arXiv [c

                        速報:話題の 1ビットLLMとは何か?|寺田英雄(㈱オープンストリームCTO)
                      • ChatGPTのせいで子供たちがバカになるのでは?という疑問→未来では必要とされる〝賢さ〟の性質がたぶん変わる

                        Rootport💰🍹🍑 @rootport 「ChatGPTのせいで子供たちがバカになるのでは?」という疑問に対しては、未来では必要とされる〝賢さ〟の性質がたぶん変わる……というのが俺の予想です。ヒトの脳というデバイスの性能は、簡単には変わらないです。けれど、使い方が変わる。というのも、 2023-03-08 00:28:39 Rootport💰🍹🍑 @rootport ベストセラー『銃・病原菌・鉄』で、ジャレド・ダイヤモンドが「パプアニューギニアの先住民は別にバカじゃない」という話をしているんですね。彼らはハーバード大学には入れないかも知れないけれど、自分が暮らす森の詳細な地図を脳内で作っているし、動物の痕跡から狩りの計画を立てて実行できる。 2023-03-08 00:31:04 Rootport💰🍹🍑 @rootport 彼らは「森の中での生活」を完璧にこなすために

                          ChatGPTのせいで子供たちがバカになるのでは?という疑問→未来では必要とされる〝賢さ〟の性質がたぶん変わる
                        • 自然言語系AIサービスと著作権侵害|知的財産・IT・人工知能・ベンチャービジネスの法律相談なら【STORIA法律事務所】

                          第1 はじめに 自然言語処理技術の発展に伴い、自然言語AIを利用したサービスが大変盛り上がっています。 たとえば、検索、要約、翻訳、チャットボット、文章の自動生成、入力補完などのサービスで、近いところで有名なのは、2020年にOpenAIが発表した「GPT-3」ですかね。これは約45TBにおよぶ大規模なテキストデータを学習し、あたかも人間が書いたような文章を自動で生成することが可能な自然言語モデルです。 【参考リンク】 自然言語処理モデル「GPT-3」の紹介 進化が止まらない自然言語処理技術ですが、事業者が自然言語AIを利用したサービス(*ここでは、データの処理がクラウド上で自動的に行われるサービスを前提とします)を提供する際に検討しなければならないことは、大きく分けると、学習済みモデルの構築フェーズの問題と、モデルを利用したサービス提供フェーズに関する問題に分かれます。 このうち、モデル

                            自然言語系AIサービスと著作権侵害|知的財産・IT・人工知能・ベンチャービジネスの法律相談なら【STORIA法律事務所】
                          • OpenAI APIのファインチューニングの学習データのガイドライン|npaka

                            以下の記事を元に、「OpenAI API」のファインチューニングの学習データのガイドラインをまとめました。 1. 学習データの書式ファインチューニングするには、単一の入力「プロンプト」とそれに関連する出力 「コンプリーション」 のペアで構成される学習データが必要です。これは、1回のプロンプトで詳細な手順や複数の例を入力するような、ベースモデルの使用方法とは大きく異なります。 「学習データの書式」のガイドラインは、次のとおりです。 ・プロンプトが終了してコンプリーションが開始することをモデルに知らせるため、区切り記号 ("\n\n###\n\n"など) でプロンプトを終了する必要があります。区切り記号は、プロンプトの他の場所で使用されない文字列を指定します。 ・コンプリーションが終了することをモデルに知らせるため、停止記号 ("\n"、"###"など)でコンプリーションを終了する必要がありま

                              OpenAI APIのファインチューニングの学習データのガイドライン|npaka
                            • ChatGPTなどのチャットAIがどんな風に文章をトークンとして認識しているのかが一目で分かる「Tokenizer」

                              OpenAIが開発したChatGPTをはじめ、さまざまなAIが人間レベルの会話を行ってくれるようになりました。AIは文章を読み書きするとき「トークン」という単位で認識を行うのですが、普通の文章がトークン的にはどのように分解されるのかを一目で教えてくれるツール「Tokenizer」がOpenAIのページ上で公開されています。 OpenAI API https://platform.openai.com/tokenizer Tokenizerの画面はこんな感じ。テキストを入力する必要がありますが、いったん「Show example」をクリックして例を見てみます。 英語の場合、252文字の文章で64トークンとなる模様。下部にて文字がトークンのまとまりごとに色分けして表示されています。 「TOKEN IDS」をクリックするとそれぞれの数値も確認できます。人間が見てもなにがなんだか分かりませんが、G

                                ChatGPTなどのチャットAIがどんな風に文章をトークンとして認識しているのかが一目で分かる「Tokenizer」
                              • LLMプロダクト開発者がMac Studioを買ってローカルLLMを触るべき理由|erukiti

                                もしあなたがLLMを使ったプロダクトを何かしら開発している、もしくは興味があるのなら、メモリを大量に積んだMac Studioの購入を検討すべきです。 対象読者NVIDIAが絶対にいいという人はこの記事の対象読者ではありません。また、用途によって、ローカルマシンによるローカルLLMが向いてる・向いてないは明確にあるので、向いてない用途にしか使わない人も対象読者ではありません。あしからず。 また、この記事は別にNVIDIAをdisる意図はありません。みんな違っていい。NVIDIAもいい選択肢ですが、Mac Studioも悪くないですよ、と言いたい。 結論LLMプロダクト開発において、今年はもはやローカルLLMを無視できない、してはいけない状況です。 LLMプロダクト開発をする会社の視点でいえば、是非とも80GB以上の十分なGPUメモリを積んだマシンを用意できるようなアジリティを持つのが望まし

                                  LLMプロダクト開発者がMac Studioを買ってローカルLLMを触るべき理由|erukiti
                                • 1つの HTML ファイルだけで完結する校正支援ツールの作り方

                                  こんにちは。LINEヤフー株式会社でテキストマイニングや自然言語処理などをやっている山下( @yto )です。 Yahoo!デベロッパーネットワークのテキスト解析 Web API が CORS(Cross-Origin Resource Sharing)対応したため、サーバがなくてもブラウザから直接 Web API にアクセスできるようになりました(参考)。 そのテキスト解析 Web API の機能の一つである「校正支援」は日本語文章の品質チェック(校正)を支援するもので、文字の入力ミス、言葉の誤用、わかりにくい表記、不適切な表現などが使われていないかをチェックして、指摘します(内部の辞書データをベースとしているため完全なものではないことをご承知おきください)。 この校正支援機能のサンプルプログラムとして「HTML ファイル1つだけで完結する校正支援ツール」を作ったので紹介します。入力され

                                    1つの HTML ファイルだけで完結する校正支援ツールの作り方
                                  • 敵対的プロンプト技術まとめ - Qiita

                                    こんにちは@fuyu_quantです。 この記事はLLM Advent Calender 2023 17日目の記事です。 よかったらプライベートで作成したData Science wikiのGPTsも見て下さい! はじめに 今回は敵対的なプロンプト技術についてまとめました.まとめ方は主に,Ignore This Title and HackAPrompt: Exposing Systemic Vulnerabilities of LLMs through a Global Scale Prompt Hacking Competition というLLMに対する敵対的なプロンプト技術に関してまとめた論文を参考にしています.本記事の内容が世の中のLLMを使ったサービスの機能向上の役に立てれば幸いです. ※世の中のLLMサービスが敵対的なプロンプト手法に対応できるように公開をしたものであり,利用を

                                      敵対的プロンプト技術まとめ - Qiita
                                    • ChatGPTの仕組み、どのように機能しているか深く掘り下げて解説

                                      ChatGPTをすでに使用している人は多いと思います。また、使用していなくても興味があり、これから使用してみようという人もいるでしょう。 ChatGPTはその仕組みが分からなくても使用できますが、どのように機能しているのか分かると今よりさらに使いこなせるようになるかもしれません。 How ChatGPT works: a deep dive by Dan Holick 下記は各ポイントを意訳したものです。 ※当ブログでの翻訳記事は、元サイト様にライセンスを得て翻訳しています。 ChatGPTがどのように機能しているか 終わりに ChatGPTがどのように機能しているか ChatGPTなどの大規模言語モデル(Large Language Model、以下LLM)は、どのように機能していると思いますか? それらは驚くほどシンプルであると同時に非常に複雑なものです。 心の準備はいいですか? では

                                        ChatGPTの仕組み、どのように機能しているか深く掘り下げて解説
                                      • BudouX: 読みやすい改行のための軽量な分かち書き器

                                        .app 1 .dev 1 #11WeeksOfAndroid 13 #11WeeksOfAndroid Android TV 1 #Android11 3 #DevFest16 1 #DevFest17 1 #DevFest18 1 #DevFest19 1 #DevFest20 1 #DevFest21 1 #DevFest22 1 #DevFest23 1 #hack4jp 3 11 weeks of Android 2 A MESSAGE FROM OUR CEO 1 A/B Testing 1 A4A 4 Accelerator 6 Accessibility 1 accuracy 1 Actions on Google 16 Activation Atlas 1 address validation API 1 Addy Osmani 1 ADK 2 AdMob 32 Ads

                                          BudouX: 読みやすい改行のための軽量な分かち書き器
                                        • Google、オープンな生成AIモデル「Gemma」公開 商用利用OK、Geminiと同じ技術の軽量LLM

                                          また、Gemmaの事前トレーニング済みモデルでは、学習データから特定の個人情報やその他の機密データを除外していると安全性もアピール。開発者や研究者向けに、安全で責任あるAIアプリケーションを構築できるというツールキット「Responsible Generative AI Toolkit」も併せて公開している。 関連記事 Google、“現行最強”の生成AI発表 月2900円で利用可 チャットAIサービスはBard→Geminiに刷新 米Googleは2月8日(現地時間)、「現行最強」をうたう生成AI「Gemini Advanced」を発表した。すでにサービスを提供開始しており、月額2900円で利用可能。2カ月間の無料試用期間も用意する。 Google、「Gemini 1.5 Pro」限定リリース コンテキストウィンドウは100万トークン Googleは、生成AIの次世代モデル「Gemini

                                            Google、オープンな生成AIモデル「Gemma」公開 商用利用OK、Geminiと同じ技術の軽量LLM
                                          • NTT、国産の生成AI「tsuzumi」サービス開始--「2027年に売上1000億円」と島田社長

                                            日本電信電話(NTT)は3月25日、独自に開発した大規模言語モデル(LLM)「tsuzumi」の商用提供を企業向けに開始した。代表取締役社長を務める島田明氏は「2027年までに売上1000億円を目指す」と述べた。 tsuzumiは、NTTが2023年11月に発表した国産LLMだ。特徴の1つはモデルを大幅に軽量化した点で、パラメーター数は軽量版で70億と、OpenAIが提供する「GPT-3」の25分の1程度しかない。これによって、1つのGPUで動作し、大規模ハードウェア不要で事務所内でのオンプレミス利用にも対応する。 2つ目の特徴は「世界トップレベルの日本語処理能力」だ。パラメーターを軽量化したにも関わらず、GPT3.5と日本語性能で比較した場合の勝率は8割を超え、英語においても高い処理能力を達成しているという。さらに、マルチモーダルにも対応し、パワーポイントの図表読解や聴覚も備える。 3つ

                                              NTT、国産の生成AI「tsuzumi」サービス開始--「2027年に売上1000億円」と島田社長
                                            • サクッと始めるプロンプトエンジニアリング【LangChain / ChatGPT】

                                              この本では、初心者・入門者の方に向けて、プロンプトエンジニアリングの知識や使い方を体系的にまとめました。 【概要】 ・内容:プロンプトエンジニアとは?、プロンプトエンジニアの必須スキル5選、プロンプトデザイン入門【質問テクニック10選】、LangChainの概要と使い方、LangChainのインストール方法【Python】、LangChainのインストール方法【JavaScript・TypeScript】、LCEL(LangChain Expression Language)の概要と使い方、LangSmithの概要と使い方【LLMOps】、LangServeの概要と使い方【API】、LangGraphの概要と使い方【Multi-Actor】、OpenGPTsの概要と使い方【OSS版のGPTs】、LangChain Evaluations【生成物の評価方法】、LangChain Hub、Op

                                                サクッと始めるプロンプトエンジニアリング【LangChain / ChatGPT】
                                              • Python 3.12で増えた並列処理と、これまでの並列処理の挙動を比べてみる - Qiita

                                                この記事ですることを3行で Pythonの標準ライブラリでできる並列実行を、あらためて総当たりで速度比較しよう ウォーターフォールチャートで、それぞれの並列処理の処理時間の特徴を可視化しよう boto3の実行をモデルケースにして、どの並列処理が一番早いのかを調べよう この記事の結論を先に Python 3.12から本格的に使えるようになったサブインタープリターは、CPUで実行する処理について言えば、従来のサブプロセスよりも高速 boto3の実行は、サブインタープリターよりも署名付きURLの非同期実行のほうが速い → S3からの10ファイルの取得であれば、実行時間を90%削減できます → Bedrockの3回実行であれば、実行時間を60%削減できます 今回使ったソースコードはこちらに置いています。 お手持ちの環境で再実行できるようにしていますので、気になる方はぜひ。 どうしてこの記事を書くの

                                                  Python 3.12で増えた並列処理と、これまでの並列処理の挙動を比べてみる - Qiita
                                                • “LLM for SRE“の世界探索 - ゆううきブログ

                                                  ChatGPTが登場した当初、対話や要約、翻訳、コード生成などの典型的な言語タスクができても、SREやAIOpsの研究開発にはあまり関係ないのではないかと正直思っていた。AIOpsでは典型的にはいわゆるObservabilityデータ(メトリクス、ログ、トレースなど)が入力となるため、自然言語ではなく数値のデータを解析することが求められる。自然言語のタスクを研究対象としていなかったため、AIOpsとChatGPTに強い関係性は見いだせなかった*1。 しかし、自分で大規模言語モデル(Large Language Model: LLM)を日常的に使用したり、表題にあるようにSREのためのLLM(LLM for SRE, LLM4SRE)に関する論文を読むうちに、LLMのテキスト生成器としての性質よりもその優れた推論機械としての性質に注目するようになった。特にSREの障害診断は、人間の専門家が推

                                                    “LLM for SRE“の世界探索 - ゆううきブログ
                                                  • 最強のツール「LangSmith」が登場した話【Python / LangChain】

                                                    【📩 仕事の相談はこちら 📩】 お仕事の相談のある方は、下記のフォームよりお気軽にご相談ください。 https://forms.gle/G5g1SJ7BBZw7oXYA7 もしもメールでの問い合わせの方がよろしければ、下記のメールアドレスへご連絡ください。 info*galirage.com(*を@に変えてご送付ください) 🎁 「生成AIの社内ガイドライン」PDFを『公式LINE』で配布中 🎁 「LINEで相談したい方」や「お問い合わせを検討中の方」は、公式LINEでご連絡いただけますと幸いです。 (期間限定で配信中なため、ご興味ある方は、今のうちに受け取りいただけたらと思います^^) https://lin.ee/3zRuqKe おまけ①:生成AIエンジニア塾 より専門的な「生成AIエンジニア人材」を目指しませんか? そんな方々に向けて、「生成AIエンジニア塾」というプログラムを

                                                      最強のツール「LangSmith」が登場した話【Python / LangChain】
                                                    • ChatGPT APIとWhisper APIで議事録文字起こしアプリを作り、Hugging Face Spacesで公開する | gihyo.jp

                                                      ChatGPT APIの使い方 実際にChatGPT APIを使ってみましょう。 openai-pythonのインストール 今回はOpenAIのPython用ライブラリであるopenai-pythonを使います。pipを用いて、openai-pythonをインストールしましょう。 pip install openai APIリクエスト ChatCompletion.createで対話を生成できます。たとえば、以下のようなコードになります。 import openai openai.api_key = "sk-..." # APIキー completion = openai.ChatCompletion.create( model="gpt-3.5-turbo", messages=[{"role": "user", "content": "こんにちは!"}] ) print(complet

                                                        ChatGPT APIとWhisper APIで議事録文字起こしアプリを作り、Hugging Face Spacesで公開する | gihyo.jp
                                                      • チャット機能を搭載した新しいBingが使えるようになったので早速試してみた2|IT navi

                                                        昨日(2023年2月10日)、「チャット機能を搭載した新しいBingが使えるようになったので早速試してみた」という記事を公開しましたが、ほかにも色々と試してみましたので、前回の続きとして報告します。 新しいBingの概要などが知りたい方は、以下の記事を参考にしてください。 1.ショートストーリーの作成 Bingにショートストーリーを作成してもらいました。1行指示するだけで、簡単にこんな物語を作成してくれます。 問 かわいいシーズーの子犬が活躍する物語を作って 答 こんにちは、こちらはBingです。かわいいシーズーの子犬が活躍する物語を作りますね。😊 以下が私が作った物語です。楽しんでください。 シーズーの子犬のモコは、いつも元気で好奇心旺盛な子でした。彼は飼い主のリカと一緒に暮らしていましたが、リカは仕事が忙しくてあまり遊んでくれませんでした。そこでモコは、リカが仕事に出かけた後に、家の

                                                          チャット機能を搭載した新しいBingが使えるようになったので早速試してみた2|IT navi
                                                        • ChatGPTとLangChainで何でもできるAIを作る - Qiita

                                                          この記事は記事投稿キャンペーン_ChatGPTの記事です。 以下は、個人開発した最新のものになります. CreateToolAGI:ChatGPTとLangChainで何でもできるAI はじめに こんにちは、fuyu-quantです. 今回はLangChainという「大規模言語モデルを使いこなすためのライブラリ」の紹介とその機能を発展させるために作った新しいライブラリlangchain-toolsの説明およびその可能性について共有したいと思います. LangChainの機能であるtoolを使うことで,プログラムとして実装できるほぼ全てのことがChatGPTなどのモデルで自然言語により実行できるようになります.今回は自然言語での入力により機械学習モデル(LightGBM)の学習および推論を行う方法を紹介します. 記事に誤り等ありましたらご指摘いただけますと幸いです。 (※この記事の「Chat

                                                            ChatGPTとLangChainで何でもできるAIを作る - Qiita
                                                          • もはや検索ができない。

                                                            昨今のインターネット事情を思うにつけ、 検索をすることがますます億劫になっている、もはや不可能である、ということに気づいた。 検索の処端とはGoogle検索を典型に、文字による。 ところが、もはや検索したい対象があまりに漠然、フィーリング、印象の塊のようなものになっており、文字列と結びつかない。 であるから「都内 喫茶店 落ち着く」「電動 自転車 軽い」のように検索するわけだが、こんな検索ワードでは全く精度のいい情報は出てこない。 この「次」の検索ワードが、思い浮かばない、出てこない。自分の求める「集合」にたどり着く検索ワード、ボンヤリとした印象はあるのに、それを検索しようとしても望んだ結果は得られず、徒労に終わる。 そうすると、「都内 喫茶店 落ち着く」「電動 自転車 軽い」と書いた検索人はぐるなびや価格comや楽天など、有り体のネット市場と連動したサービスに回収される。 一方「次」を求

                                                              もはや検索ができない。
                                                            • 長文要約生成API:朝日新聞社メディア研究開発センター 人工知能研究の取り組み

                                                              概要 本APIは、入力された記事本文(最大2,000文字まで入力可能=製品版)を機械学習を用いて要約するものです。過去30年分の記事データを、ディープラーニングの機構を用いて学習させています。長文を要約するときにお役立てください。 本APIの機能は、 指定した長さごとに生成型要約 すべての文の長さを揃える すべての文を圧縮する 重要な文を抽出する 重要な文を抽出後圧縮して、指定した長さにする の5つです。より詳細はこちらに解説記事を載せています。 九州電力玄海原発3、4号機(佐賀県玄海町)の運転差し止めを住民らが求めた仮処分申し立ての即時抗告審で、福岡高裁(山之内紀行裁判長)は10日、住民側の抗告を棄却した。主な争点は、耐震設計の基になる基準地震動(想定される最大の揺れ)の合理性、原発周辺の火山の噴火リスク、配管の安全性の3点。 住民側は「基準地震動が過小評価されている」と主張。原子力規制

                                                              • 架空パラメーターによるChatGPTの文章表現の操作|IT navi

                                                                temperatureなどのChatGPTのパラメーターは、OpenAIのウェブサイトのPlaygroundやAPIでは変更できるようになっていますが、通常のChatGPTのサイトでは変更できないようになっています。 しかし、これを変更する方法を発見しましたので報告します。 また、自由に新しいパラメーターを設定して、これを使ってChatGPTの文章表現を操作できることが分かりましたので、これについても解説します。 1.temperatureの変更(1) temperature=2.0への変更最初にChatGPTのサイトでtemperatureを2.0に変更してみます。 ChatGPTのtemperatureは通常、1.0程度に設定されており、もし、temperatureを2.0に引き上げると、以下のように文章が壊れてしまうはずです。 若いSamadenacityas安 広がる豊かな井田_p

                                                                  架空パラメーターによるChatGPTの文章表現の操作|IT navi
                                                                • ChatGPTプラグイン の作成方法|npaka

                                                                  1. ChatGPTプラグインの作成手順「ChatGPTプラグイン」の作成手順は、次のとおりです。 (1) APIの実装 (2) マニフェストファイルの作成 (3) OpenAPIドキュメントの作成 2. マニフェストファイルの作成2-1. マニフェストファイルの基本構成「マニフェストファイル」は、「ChatGPTプラグイン」のメタデータを記述するファイルです。APIのドメインの「/.well-known/ai-plugin.json」でホストします。 「マニフェストファイル」の基本構成は、次のとおりです。 { "schema_version": "v1", "name_for_human": "TODO Plugin", "name_for_model": "todo", "description_for_human": "Plugin for managing a TODO list.

                                                                    ChatGPTプラグイン の作成方法|npaka
                                                                  • オープンなLLMをDockerで動かす

                                                                    次々と発表されるオープンな日本語大規模モデル どうなっているの??という感じですよね。 我らがnpakaさんは、さっそくGoogle Colabで動かしていらっしゃいます。 ただ、Google Colabだと毎回モデルのダウンロードが大変なので、ローカルでDocker使って手軽に動かせるといいな、ということでやってみました。 以下GitHubのリポジトリにDockerfileとサンプルプログラムをおいています。チャットっぽいことをできるようにしています。 上記で、サイバーエージェントとリンナのLLMが両方動きます。 使用環境 前提となる環境です。使用しているPCのスペックは以下です。 項目 内容

                                                                      オープンなLLMをDockerで動かす
                                                                    • Stable Diffusionで画像からプロンプト(呪文)を生成・抽出する方法。Fooocusの新機能「Describe」が便利でした (1/3)

                                                                      本連載「Stable Diffusion入門 from Thailand」は、2024年に入って1回目。今年も「Stable Diffusion」をメインに、画像生成AI周辺の話題について入門者視点でお伝えしていきたい。 今回の話題は、Stable Diffusionを手軽に使えるユーザーインターフェースの「Fooocus」。12月13日にリリースされた新バージョン「Fooocus 2.1.831」には、画像をアップロードするとテキストプロンプト(呪文)を生成する「Describe」機能が追加されている。 画像をドラッグ&ドロップしてボタンを押すだけ

                                                                        Stable Diffusionで画像からプロンプト(呪文)を生成・抽出する方法。Fooocusの新機能「Describe」が便利でした (1/3)
                                                                      • AIが勝手に議論を深めてくれる弁証法エンジンの構築|深津 貴之 (fladdict)

                                                                        AI哲学者ヘーゲルさんに、無限に議論を思索してもらえる穢土転生コードを書いてみた。GPT3.5でも4でも動きます。 弁証法ってなに?ヘーゲルって哲学者おっさんが考えた、思索を深めるメソッド。 ある意見(テーゼ)に対して、あえて反対意見(アンチテーゼ)をいって、それから意見と反対意見を統合(ジンテーゼ)することで議論が深まるよ…というもの。 ・筋トレは健康によい(命題 = テーゼ) ・筋トレで体を壊すこともある(反対命題 = アンチテーゼ) ・筋トレは健康によいが、やりすぎや間違った方法には注意しなければいけない(総合命題=ジンテーゼ) みたいな考えかた。 以下、勝手に無限ループでヘーゲル先生が、弁証法を繰り返してくれるプロンプトです。 弁証法エンジンのプロンプトあなたはヘーゲルの仮想人格として振る舞う、形而上の弁証法シミュレーターです。 ユーザーの入力「仕事にいかずにゲームをしていたい」に

                                                                          AIが勝手に議論を深めてくれる弁証法エンジンの構築|深津 貴之 (fladdict)
                                                                        • [速報]Googleの生成的AI「Bard」が日本語に対応。ウェイトリストもなくなり、すぐに利用できるように。Google I/O 2023

                                                                          Googleは5月10日(日本時間5月11日未明)、米カリフォルニア州マウンテンビューで開催中のイベント「Google I/O 2023」で、生成的AI「Bard」が日本語に対応したことを発表しました。 BardはOpenAIのChatGPTと同様に、AIに対してテキストチャットによる対話が可能なサービスです。 これまでは英語にのみ対応していました。また、利用するにはまずウェイトリストに登録し、その後Googleから利用許可の連絡が来くるまで待つ必要がありました。 今回、ウェイトリストがなくなり180カ国以上ですぐに英語での利用が可能になったこと、そして日本語と韓国語に対応したことが発表されました。今後さらに40の自然言語にも対応予定です。 Bardは現在、Googleが開発した最新のAI基盤モデル「PaLM 2」を用いており、今後さらに強力な基盤モデルのGeminiへ移行する予定であるこ

                                                                            [速報]Googleの生成的AI「Bard」が日本語に対応。ウェイトリストもなくなり、すぐに利用できるように。Google I/O 2023
                                                                          • ChatGPTなどの言語モデルに仕事を奪われる危険性がある職業ベスト20 - ナゾロジー

                                                                            以前から、AIが人間の仕事を奪うのではないかと懸念されてきました。 実際、「AIに仕事が奪われやすい職業リスト」などを目にしたことがあるでしょう。 そして最近では特に、ChatGPTのような言語モデルが飛躍的に進歩しています。 そこでアメリカ・プリンストン大学(Princeton University)に所属するエドワード・フォルテン氏ら研究チームは、言語モデルによって影響を受けやすい職業リスト ベスト20を作成しました。 そのリストによると電話勧誘業者(テレマーケティングする人)や教師たちは影響を受けやすく、もしかしたら仕事を奪われるかもしれません。 研究の詳細は、2023年3月1日付でプレプリントサーバー『arXiv』に公開されています。 The 20 jobs most at risk as the AI boom continues: Is YOUR occupation on t

                                                                              ChatGPTなどの言語モデルに仕事を奪われる危険性がある職業ベスト20 - ナゾロジー
                                                                            • 機械翻訳に対する現時点(2022年8月)での私の認識

                                                                              字幕翻訳スクールがAI字幕翻訳ツールを開発したというニュース 数日前に字幕翻訳スクールがAI字幕翻訳ツールを開発したというニュースが流れ、翻訳者たちの間に衝撃が広がりました。これを受けて翻訳者の堂本秋次さんがYouTubeで緊急動画を配信され、それを見たローズ三浦さんの発案で堂本さん、ローズさん、私の3人で機械翻訳の現状についてライブ配信することになりました。当日の告知にもかかわらず30名以上に方々にライブでご視聴いただき、その場でコメントもたくさんいただき成功裡にイベントは終了しました。(3人のトークイベントの動画はこちら:https://www.youtube.com/watch?v=L09NEJLBNzU) 普段「機械翻訳についてどう思いますか」と聞かれるわりに回答にこれほど長い時間をいただけることはなかったので、司会の堂本さんが用意してくださったテーマでお2人と話すことで私自身とし

                                                                              • ご家庭のパソコンでLLMが動く!・・・またかよ|shi3z

                                                                                やっぱあれですな。 一度動いちゃうと後はもう雪崩のようですな。 そしてこっち側も新鮮味を感じなくなってしまうというか。 んで、ものすごくアッサリとうちのMacBookProで動きました。 量子化済みのモデルをダウンロードしてスクリプト動かすだけ! 工夫なし! Windowsでもいけると書いてある。しかもめちゃくちゃ高速 % ./gpt4all-lora-quantized-OSX-m1 main: seed = 1680064969 llama_model_load: loading model from 'gpt4all-lora-quantized.bin' - please wait ... llama_model_load: failed to open 'gpt4all-lora-quantized.bin' main: failed to load model from 'gp

                                                                                  ご家庭のパソコンでLLMが動く!・・・またかよ|shi3z
                                                                                • 「危険すぎる」と言われたAIの自動文章作成ツール「GPT-2」のモデルが新たに公開へ

                                                                                  by duallogic AIによる文章生成ツール「GPT-2」はあまりにも高度な文章が作成できることから、「危険すぎる」と判断され公開が延期されていました。2019年2月に小型モデル、5月に中型モデルと、段階的に公開されていたGPT-2でしたが、新たに7億4700万個のパラメーターを持つより大きなモデルが公開されています。 GPT-2: 6-Month Follow-Up https://openai.com/blog/gpt-2-6-month-follow-up/ GPT_2_August_Report.pdf (PDFファイル)https://d4mucfpksywv.cloudfront.net/GPT_2_August_Report.pdf OpenAIは2019年2月にテキスト生成用のAIモデル「GPT-2」を開発しましたが、あまりにも高度な文章が作成されてしまうため、「悪用

                                                                                    「危険すぎる」と言われたAIの自動文章作成ツール「GPT-2」のモデルが新たに公開へ