1723998831 +0000\ncommitter system 1723998831 +0000\n\nUpdate README.md"}}},"entries":[{"type":"directory","oid":"8fcd9e92f5995cddc77bcee675bfe8488e08fbb4","size":0,"path":"onnx","lastCommit":{"id":"6a860077d20f3822d62060cd772610e21ccc6322","title":"v0.2","date":"2024-08-17T22:29:49.000Z"}},{"type":"file","oid":"a6344aac8c09253b3b630fb776ae94478aa0275b","size":1519,"path":".gitattributes","lastCom

物理学者の逆襲!?Entropixはわずか3億6000万パラメータで1000億パラメータ級の回答を引き出す!Claude-3でも間違う問題を360Mが正しく解く 物理学者たちがノーベル物理学賞をホップフィールドとヒントンが受賞すると知った時、まあまあ微妙な気持ちになったことは想像に難くない。 我々コンピュータ科学者にとっては、ノーベル賞は全く無縁なものだった。むしろ「ノーベル賞をコンピュータ科学者が取ることは永久にない」と言い訳することさえできた。コンピュータ科学の世界にはチューリング賞という立派な賞があるし、ノーベル賞よりも賞金が高かった京都賞は、アラン・ケイやアイヴァン・サザーランド、ドナルド・クヌースなど、コンピュータ科学者たちが堂々と受賞している。その割には本来マイクロチップの最初の設計者である嶋正利などが京都賞にノミネートされていなかったり、サザーランドの弟子であるアラン・ケイの

Google ColabでSwarmを試したのでまとめました。 1. SwarmOpenAIが新しくマルチエージェント構築のためのフレームワークを作り始めました。まだ実験的なフレームワークで、本番環境での使用を想定していないようで、今の所かなりシンプルな仕組みに見えます。 エージェントの調整と実行を軽量で、制御性が高く、テストしやすいものにすることに重点を置いているようです。 2. Google Colabで実行してみる2.1 実行準備ライブラリのインストール !pip install git+https://github.com/openai/swarm.gitOPENAI_API_KEYを環境変数として設定。（SwarmはOpenAI APIを使うので必要） import os from google.colab import userdata os.environ["OPENAI_A

米AppleのAI研究者らは10月7日（現地時間）、「GSM-Symbolic: Understanding the Limitations of Mathematical Reasoning in Large Language Models」（LLMにおける数学的推論の限界を理解する）という論文を発表した。 この論文は、LLM（大規模言語モデル）が、本当に人間のように論理的に考えて問題を解けるのか、という疑問を検証している。結論としては、LLMは今のところ、表面的なパターンを真似て答えを出しているだけで、真の推論能力は持っていないと主張している。 研究者らは、これらの問題点を検証するために、「GSM-Symbolic」という新しいテスト方法を開発した。これは、LLMの数学的推論能力を評価するためのベンチマークデータセット「GSM8K」を改良し、問題の表現や数字を柔軟に変えられるようにした

ChatGPTと協力しながら文章執筆やコーディングなどの作業をこなせるアプリ「Canvas」のベータ版が2024年10月3日にリリースされました。記事作成時点ではChatGPT Plusの加入者向けにベータテストが実施されており、テストの終了後は無料ユーザーも利用可能になる予定です。 Canvas is a new way to write and code with ChatGPT | OpenAI https://openai.com/index/introducing-canvas/ Canvasでは「ChatGPTに文章やコードの下書きを入力して清書させる」「ChatGPTが生成した文章の一部を人力もしくはChatGPTに依頼して修正する」といった操作が可能です。内部では「GPT-4oを共同作業用にトレーニングしたモデル」が動作しており、OpenAIはCanvasを「ChatGPT

現在、大規模言語モデル(LLM)に代表される生成AIがシステム開発の領域において注目を浴びており、システム開発プロセス全体の効率化から、特定の業務における自動化まで、その応用範囲は広がり続けている。本レポートでは、生成AIを用いたシステム開発についての現状を整理し、生成AIによって今後のシステム開発がどのように変化していくか考察したものである。 第1章では、生成AIがシステム開発において具体的にどのような場面(ユースケース)で活用できるかを述べ、ユースケースに対応した具体的な生成AIサービスとして、汎用的な生成AI(OpenAI社のChatGPTやGoogle社のGeminiなど)やエンジニアアシスタント型の生成AI(GitHub Copilot, Cursorなど)を紹介している。 第2章では、ITベンダやSIerでの事例を中心に、各企業におけるシステム開発領域での生成AI活用の動向につ

はじめに こんにちは。プロセス改善・アジャイルコーチで、Tech Blog編集長の高橋（@Taka_bow）です。 皆さんは、2021年6月に生まれたGitHub Copilotを利用していますか？ この生成AIベースのコーディング支援ツールは、コードの自動補完や生成、関数の自動生成、エラー修正支援など、開発者の作業を多面的にサポートします。 ファインディでは2023年3月から導入し、開発チーム全員が日常的に活用しています。Findy Team+で効果を測定した結果、コーディングの効率化やコミュニケーションコストの削減、さらには開発者の満足度向上など、多くの利点が確認されました。 今回は、このようなソフトウェア開発における生成AIの影響を分析した最新の論文を紹介します。GitHub Copilotが開発プロセスにもたらす変化や、開発者の生産性への影響についての研究が書かれた、興味深い論文で

GMO NIKKOのT.Nです。 最近弊社のプロダクトで使用しているOpenAIのモデルを、 gpt-4oやgpt-4o-miniに切り替えました。 gpt-3.5-turboを使用していた時と比較して、 トークン数に変化があったので、 tiktokenの処理時間も含めて確認してみました。 確認方法 以下のようなプログラムで、 トークン数と処理時間の平均を確認しました。 import tiktoken import timeit import statistics with open('sv_jp.txt', encoding="utf-8") as f: sv_text = f.read() model_name = "gpt-4o" tokenizer = tiktoken.encoding_for_model(model_name) # トークン数 token_count = len

Googleが2024年5月に発表したAIモデル「Gemini 1.5 Flash」は、ベンチマークテストにおいて高性能なGemini 1.5 Proに匹敵する性能を発揮できるにもかかわらず、Gemini 1.5 Proのわずか10分の1という低価格が特徴の一つです。そしてGoogleは2024年8月12日から、Gemini 1.5 Flashの大幅な値下げを実施することを発表しました。 Gemini 1.5 Flash price drop with tuning rollout complete, and more - Google Developers Blog https://developers.googleblog.com/en/gemini-15-flash-updates-google-ai-studio-gemini-api/ Gemini API の料金  |  Goo

OpenAIが8月7日（現地時間）、最新AIモデル「GPT-4o」API利用料金の引き下げを発表した。入力トークンで50%、出力トークンで33%の引き下げとなる。 OpenAIが8月7日（現地時間）、最新AIモデル「GPT-4o」API利用料金の引き下げを発表した。入力トークンで50%、出力トークンで33%の引き下げとなる。 前モデル「GPT-4」のAPI利用料金は、2023年3月の導入時に100万トークンあたり36ドルだったが、2023年11月には「GPT-4-turbo」の登場により14ドルに下がった。2024年5月の「GPT-4o」では7ドルとなり、最新版の「GPT-4o-2024-08-06」では4ドルにまで低下。わずか1年半でコストが9分の1に落ちたことになる。 料金の引き下げだけでなく、機能面も進化した。新モデルは構造化出力（Structured Outputs）をサポートし、

OpenAIが2024年7月18日に、コスト効率に優れた小型モデルの「GPT-4o mini」を発表しました。低コストでありながら、一部のベンチマークでGPT-4を上回るスコアを示したGPT-4o miniは、GPT-3.5の後継として無料ユーザーとChatGPT Plusのユーザーに提供が開始されています。 GPT-4o mini: advancing cost-efficient intelligence | OpenAI https://openai.com/index/gpt-4o-mini-advancing-cost-efficient-intelligence/ OpenAI Releases GPT-4o Mini, a Cheaper Version of Flagship AI Model - Bloomberg https://www.bloomberg.com/ne

生成AIに疑似コードで指示すると自然言語よりも効率的にプログラムが生成できるというアイデアから生まれた、生成AI用の疑似言語「SudoLang」 ChatGPTやCopilotなどの生成AIを用いてコードを生成しようとすると、多くの場合プロンプトを自然言語で書くことになるでしょう。 しかし自然言語で的確にプログラムの内容を表現するのは、ときに面倒だったり、あいまいさを排除することが難しかったりします。 一方で、プログラマが自分でコードを書こうとするとき、あるいは他のプログラマとコードの内容を議論するときに、自然言語をプログラミング言語のような構文で書く、いわゆる「擬似コード」を使うことがよくあります。 例えばこんな風に自然言語をコードっぽくホワイトボードに書いたことのあるプログラマの方は多いのではないでしょうか？ 入力値を処理するための関数（A、B）{ Aは数字かどうか確認する Bは日付か

はじめに 7月に入り、急に蒸し暑さが増してきたように感じますが、皆さまいかがお過ごしでしょうか。 新人エンジニアの木介です。 今回は先月にAWS公式ブログより紹介のあったAmazon Qサービスの内、フルマネージドで生成AIアシスタントを作成できるAmazon Q Businessの紹介をしていきます。 aws.amazon.com はじめに Amazon Q Businessとは 1. Amazon Q Businessの特徴 2. Amazon Q Businessの料金 Amazon Q Businessの使い方 1. アプリケーションの作成 2. retrieverの作成 3. データソースの作成 4. ユーザー/グループの設定 5. Applicationの実行 まとめ Amazon Q Businessとは まずAmazon Q Businessとは、与えられたデータに基づいて

Microsoft⁠⁠、RAGの機能を拡張⁠⁠、強化させたGraphRAGを一般利用可能に Microsoftは2024年7月2日、LLMが生成する出力の精度を向上させるために利用するRAG（検索拡張生成）の機能を拡張/強化した「GraphRAG」をGitHub上で公開した。 GraphRAG: New tool for complex data discovery now on GitHub -Microsoft Research Blog Welcome to GraphRAG RAG（Retrieval-Augmented Generation：検索拡張生成）は、ユーザーのクエリに基づいて特定の分野や組織の内部ナレッジベースの情報を検索し、その結果を参照してAIの回答に組み合わせる技術。モデルを再トレーニングすることなく、これらの情報を生成結果に即座に反映できる。 一方、通常のRAG

大規模言語モデル (LLM) の学習データに含まれない知識（各社の特有の書類など）を踏まえてLLMに回答させる際に最早必須となってきたRAG (Retrieval-Augumented Generation)。 今回はそんなRAGのSurvey論文を元に、RAGの変遷や構成要素、新たに出てきた技術を俯瞰していきます。 Survey論文へのリンクはこちら arxiv.org RAGとは LLMはそれ単体で回答させると、質問によってはハルシネーションや学習時のデータにはなかった情報を生成時に加味できないといった問題から正しくない回答を生成することが多々あります。例えば世間一般に公開されていない自社の就業規則や業務標準についてをChatGPTに質問しても、正しい回答は得られません。 そのような問題への対応としてRAGが使われます。 「LLM単体で適切な回答を生成できないなら、ユーザーの質問を元に

はじめに ChatGPTブームがひと段落した感がありますが、周りのエンジニアでChatGPTを活用している姿をあまり見みません。 基本的なテクニックを理解すれば、エンジニアこそChatGPTを活用できると思うので、普段使用しているテクニックをいくつかピックアップして紹介します。 プロンプトの記載方法 Markdown記法で指示する 色々なところで紹介されていますが、回答や処理の精度を上げる方法としてChatGPTへの指示にMarkdown記法を使用することがオススメされています。 例えば下記のような文章による指示を行おうとした場合