［速報］GitHub、自然言語による指示だけでアプリケーションを生成する「GitHub Spark」テクニカルプレビュー公開 GitHubは、日本時間10月30日未明に開幕したイベント「GitHub Universe'24」で、自然言語による指示だけで、パーソナライズされた小規模なアプリケーション（Micro-App）をすぐに生成できる「GitHub Spark」の テクニカルプレビューを発表しました 。 下記はGitHub Sparkのデモとして公開された動画の一部をキャプチャしたものです。 例えばユーザーは、ダッシュボードから「An app for me to log all the cities I've travelled with a review and star rating」（これまで旅行したことのあるすべての都市のレビューと星の数での評価を記録するアプリ）のように、作りた

米OpenAIが2022年に発表した音声テキスト変換AI「Whisper」に、文章の一部または全部を捏造してしまういわゆる「幻覚」による重大な欠陥があると、米Associated Pressは10月26日（現地時間）、多数のエンジニアや研究者へのインタビューに基づいて報じた。 Whisperは、インタビューの翻訳や文字起こし、消費者向け技術でのテキスト生成、動画の字幕作成など、世界中の様々な業界で使用されている。Associated Pressは、医療機関でもWhisperベースのツールが診察の会話の文字起こしで使われ始めていることが、深刻な懸念を引き起こしていると指摘する。 Whisperのトレーニングには、ネット上の膨大な音声データと、それに対応する文字起こしテキストから構成される、68万時間に及ぶ大規模なデータセットが使われたとしているが、トレーニングに使った具体的なソースは明示して

AI企業のAnthropicは10月23日、大規模言語モデル「Claude 3.5 Sonnet」の刷新と、新モデル「Claude 3.5 Haiku」の導入を発表した。Claude 3.5 Sonnetには、AIモデルが人間のようにコンピューターを操作できるようになる新機能「コンピューター使用」が追加された。 アップデート版のClaude 3.5 Sonnetは、特にコーディング分野で大きく性能を伸ばし、業界ベンチマークで広範囲にわたる改善を示した。SWE-benchの検証済みタスクでは、前バージョンの33.4%から49.0%へと性能が向上し、他のすべての公開モデルを上回る結果となった。 新たに導入されるClaude 3.5 Haikuは、前世代の最大モデルであるClaude 3 Opusと同等の性能を持ちながら、コストと速度は前世代のHaikuと同等を維持している。特にコーディングタス

本物の人間と区別がつかない！ グーグルが先月リリースした新種の生成AIが米国で今、注目を浴びている。各種の文書を読み込んで、それをベースに（ポッドキャストを想定した）軽妙な音声会話を生成するAIだ。 本来、同社の文書管理・編集AI「NotebookLM」の派生機能として提供が始まったが、これがユーザーの間で実際に使われ出すと本家を凌ぐ人気となった。とにかく、このAIが生成する男女の音声会話は、本物の人間と全く区別がつかないほどリアルなのだ。また会話の内容も驚くほど充実している。 未だベータ版（試験利用）の段階だが日本でもすでに使えるし、日本語の文書も受け付ける。ただし出力される音声会話は今のところ英語のみだ。ちなみに、これによるポッドキャスト番組は「Deep Dive」と呼ばれているが、これは番組のホストとなる生成AI製の男女が自分たちの会話の中でそう呼んでいるに過ぎない。 つまりあくまで

米AppleのAI研究者らは10月7日（現地時間）、「GSM-Symbolic: Understanding the Limitations of Mathematical Reasoning in Large Language Models」（LLMにおける数学的推論の限界を理解する）という論文を発表した。 この論文は、LLM（大規模言語モデル）が、本当に人間のように論理的に考えて問題を解けるのか、という疑問を検証している。結論としては、LLMは今のところ、表面的なパターンを真似て答えを出しているだけで、真の推論能力は持っていないと主張している。 研究者らは、これらの問題点を検証するために、「GSM-Symbolic」という新しいテスト方法を開発した。これは、LLMの数学的推論能力を評価するためのベンチマークデータセット「GSM8K」を改良し、問題の表現や数字を柔軟に変えられるようにした

イントロダクション：スーパーマーケットの3つの課題 ナレッジグラフとは ナレッジグラフの活用事例 Google検索 Amazon ECサイトのレコメンドシステムCOSMO ナレッジグラフに関連した論文 Yu et al., COSMO: A large-scale e-commerce common sense knowledge generation and serving system at Amazon[4] Shi et al., LLM-Powered Explanations: Unraveling Recommendations Through Subgraph Reasoning[1] Wang et al., Multi-level recommendation reasoning over knowledge graphs with reinforcement lear

富士通は9月30日、カナダのAIスタートアップ企業Cohereと共同開発した大規模言語モデル（LLM）「Takane」の提供を始めた。富士通のAIサービス「Fujitsu Kozuchi」を通じて提供。同社はこのLLMについて「世界一の日本語性能を持つ」とうたっている。 Takaneは、CohereのLLM「Command R+」をベースに、日本語に特化させるための追加学習とファインチューニングを行ったAIモデル。日本語の性能評価指標「JGLUE」で世界最高記録を達成したことから、富士通は「世界一の日本語性能を持つ」と説明。また、プライベートな環境でセキュアに利用できるのも特徴に挙げている。 富士通は日本語に特化したLLMの必要性について「日本語は文字種の混在や主語の省略、敬語表現など、特有の難しさがあり、汎用LLMの出力精度には課題がある」と説明。言葉の間違いが大きな問題になったり、損害

RAGに関する主要な論文まとめていきます。(過去の分含めて随時更新予定) 見つけたものからまとめているので、最新の2024年以降の論文多めです。 Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks(22/05/2022) 一言紹介❓ LLMって、事前学習された知識に関しては答えてくれるけど、最新のニュースだったり、専門的な情報や組織固有の情報には対応できないよなぁ 💡 外部知識をLLMに検索させよう!→RAGの誕生 Abstract日本語訳大規模な事前学習済み言語モデルは、そのパラメータに事実知識を蓄積し、下流の自然言語処理（NLP）タスクに微調整されたときに最先端の成果を達成することが示されています。しかし、知識をアクセスして正確に操作する能力は依然として限られており、知識集約型タスクでは、タスク固有のアーキ

はじめに こんにちは。ついにジム通いを始めて四六時中筋肉痛を感じながら過ごしているイワツカです。 最近はLLM（大規模言語モデル）とRAG（検索拡張生成）を用いて企業内ドキュメントを活用する取り組みが多く見受けられます。 ドキュメントは基本PDFで保存されているため、PDFからテキストを抽出して、検索対象にすることが必要です。 そこで今回は、PythonでPDFからテキストを抽出するためのライブラリを比較して、どれが良いのか検証しました。 はじめに 概要 実装 PyMuPDF pdfplumber unstructured 比較結果 テキスト抽出 サンプル1のテキスト抽出結果 サンプル2のテキスト抽出結果 表の抽出 サンプル3の表抽出結果 サンプル4の表抽出結果 検証結果 まとめ 概要 今回はPDF読み取りライブラリとして、PyMuPDF、pdfplumber、unstructuredの3

Sakana AI⁠⁠、科学論文の調査から作成⁠⁠、レビューまですべてAIが自動で実行するThe AI Scientistを発表 Sakana AIは2024年8月13日、大規模言語モデル (LLM) を複数組み合わせてアイデアの生成、必要なコードの記述、実験の実行/結果の要約、視覚化、レビューまで、論文作成のライフサイクル全体を自動化するAI駆動型の論文作成システム「The AI Scientist」を発表した。 The AI Scientist: Towards Fully Automated Open-Ended Scientific Discovery 「AIサイエンティスト⁠」⁠： AIが自ら研究する時代へ（上記ブログの日本語訳） Introducing The AI Scientist: The world’s first AI system for automating sc

本記事は、2024年7月発売の書籍「つくりながら学ぶ！生成AIアプリ & エージェント開発入門」をベースに、私なりにGoogle Colabで動作する「生成AIエージェント」を実装してみた内容の解説です 上記の書籍「つくりながら学ぶ！ 生成AIアプリ & エージェント開発入門」(発売日 2024/7/18) [link]、著者：ML_Bear（本名: 内田 直孝）さん を参考にしながら、自分なりにいろいろ変更を加えてみて実装してみました。 Google ColaboratoryのNotebookファイルは以下となります。 本記事では今回作成してみたプログラムについて解説します。 拙著である、「つくりながら学ぶ！PyTorchによる発展ディープラーニング」などと、装丁が似ているようにも感じる？のは、マイナビ出版の（私がとても信頼している）同じ編集者の方がこちらの書籍もご担当してくださっている

Preferred Networksの岡野原氏が、「LLMの最前線と今後の展望」というテーマで、LLMの現状と今後について話をしました。全2回。 岡野原大輔氏の自己紹介 岡野原大輔氏：今日は、たくさん資料を用意しているので、少し巻きでどんどんいきたいと思います。 さっそく自己紹介をできればと思います。（スライドを示して）私はPreferred Networksの岡野原と申します。西川と一緒に会社を経営し、もう15年ですかね。Preferred Networksという会社としては、今年10周年を迎えました。 私自身は、今、「Twitter（現X）」で@hillbigという名前で、よくいろいろな論文をツイート（ポスト）をしているので、それで知っている方もいるかもしれません。そういった最先端の研究の状況を追いながら自分たちも作って、それを社会実装していく製品、サービスなどを作っていく部分に力を入

生成AI（人工知能）に不可欠な大規模言語モデル（LLM）の開発競争が過熱するなか、よりパラメーター数が小さい「小規模言語モデル（SLM）」が注目されている。運用コストを抑え、機微なデータを扱う分野に適しているためだ。スタートアップによる開発が先行するが、米グーグルなどビッグテックも急速に参入しつつある。LLMを導入している企業の費用は数百万ドル（数億〜十数億円）に上る場合もある。企業はAIの費用

以前、【LT大会#7】LLMの活用・機械学習・データ分析関係のいろいろな話題にふれようで、時系列基盤モデルについてLTをさせて頂きました。 他発表者のLTも面白く、私自身も時系列基盤モデルについて理解を深める良いきっかけとなりましたが、心残りはLLMを絡めた手法については時間を割けなかったことです。 そこで今回はLLM for 時系列分析に関するアイディアを簡単にまとめてみます。 おことわり 学習目的で調査・作成した内容がベースとなっており、誤りや他に面白い論文・事例がありましたら、教えて頂けますと幸いです。 主に以下Survey論文・Collectionリポジトリで取り上げられている内容の一部を対象としています。より網羅的に知りたい方は下記リソースを直接ご参照ください。 Large Language Models for Time Series: A Survey Position: W

180 characters lorem ipsum dolor sit amet, consectetur adipiscing elit. Mauris id auctor erat. Mauris cursus pharetra purus, et blandit magna condimentum et felis.

こんにちは。ベランダで育てていたバジルが虫に食べられてしまいました。ハヤトです。 しかし植物の生命力というのはすごいもので、残った茎から再び葉っぱが成長してきています。次はぜひ私が食べたいものです。 さて、成長著しいといえば生成AIアプリ開発の分野はまさに日進月歩ですが、 なかでも「Dify」は、LLMワークフローが特に便利で、注目度が急上昇中です。 今回はそんなDifyとKnowledge bases for Amazon Bedrockを連携させてRAGを構築してみます。 Difyとは？ Knowledge bases for Amazon Bedrockとは？ 今回作成するチャットボットについて AWS側の設定手順 ナレッジベースの作成 APIの作成 Lambdaの作成 API Gatewayの作成 Dify側の設定手順 カスタムツールの作成 チャットボットの作成 まとめ Difyと

と言ってもこの点数が低いのか高いのか分かりませんので、Claude 3.5 Sonnetの点数も見ていきましょう。 Claude 3.5 Sonnetの点数 現時点で最強と名高いClaude 3.5 SonnetにもELYZA-tasks-100を解いてもらいます。 単純に問題文だけを投げる形で、temperatureは0.8にしました。 import json import anthropic from datasets import load_dataset client = anthropic.Anthropic( api_key="APIキー", ) dataset = load_dataset("elyza/ELYZA-tasks-100") test_set = dataset["test"] results = {} for i, example in enumerate(t

この時はそれぞれ単独のプロンプトで小説家と編集者を演じさせましたが、今回はもうすこしシステマチックに、段階を踏んで小説を生成させてみます。 プロンプトの検討等にはkgmkm氏のリポジトリや記事を参考にさせていただきました。この場を借りてお礼申し上げます。 仕組みを相談するのにClaude (3.5 Sonnet)とやり取りをしていましたので、この記事の草稿も書いてもらいました。所々、なんとなく冗長だったり文体が違ったりしますが、面倒なのでそのままにしてあります（すみません）。 生成スクリプト生成スクリプトとプロンプト定義はgistに置きました。 https://gist.github.com/kohya-ss/68d41a9720bfbdfd87869ec970142f4b 概要近年、大規模言語モデル（LLM）の発展により、AIによる文章生成の可能性が大きく広がっています。今回はローカル環

LLMに面倒なことをやらせたい 面倒なことはChatGPTにやらせようという本の著者のからあげです。 書籍では、様々な面倒なことをChatGPTにやらせています。ChatGPT単体（コアの部分）は、基本的にテキスト（言葉）を生成することしかできないので、どうやって面倒なことをやらせているかというと、ChatGPTの生成したテキストで、拡張機能を操作することで、実現しています。イメージ的には以下のように、ChatGPTの手足のように拡張機能を使う感じです。拡張機能としては、色々ありますがChatGPTが生成したコードを実行できるAdvanced Data Analysis（Code Interpreter）が重要かつ代表的な機能となります。 面倒なことはChatGPTにやらせよう（講談社）より引用 この機能はChatGPT独自のものだったのですが、最近はGeminiのGoogle AI St

この記事では、LLMアプリケーション開発プラットフォームであるDifyとGoogle Apps Script（GAS）のカスタム関数を使って、スプシに記載した画像URLに写っているのがわんこかどうかをDifyを使って自動で判定してみました。 なぜDifyとGASカスタム関数の組み合わせなのか？ GASのカスタム関数から直接OpenAIなどのAPIを叩くのが実装としては一番早いのですが、RAGを使いたい、複数のGASから呼び出したい、GAS以外からも呼び出したい、LLMのモデルを柔軟に変えたい、などが発生することも多いです。 そのため実際にLLMアプリケーションを作っていく際は単純にAPIを叩くだけでは解決できないことがおおく、LLMに関わる処理をどこかにまとめておき、まとめておいたものをAPI経由で呼び出すという形にするのが好ましいです。 そこで登場するのがDifyです。 Difyはチャッ