OpenAIのChatGPTの正式名称「Chat Generative Pre-trained Transformer」にTransformer(トランスフォーマー)という言葉が使われているとおり、記事作成時点でメジャーなAIモデルの多くはGoogleが発表した深層学習モデルであるトランスフォーマーを使用したものです。トランスフォーマーを使わずにGPTを超える基礎モデルを構築することを目標に掲げるAI企業のLiquid AIが、メモリー・フットプリントを最小限に抑えつつ優れたパフォーマンスを示すLiquid Foundation Models(LFM)の最初のシリーズを発表しました。 Liquid Foundation Models: Our First Series of Generative AI Models https://www.liquid.ai/liquid-foundati

人工知能(AI)チップスタートアップのCerebrasが新規公開株式(IPO)を申請しました。IPOの目論見書によると、Cerebrasの2024年上半期の売上高は1億3640万ドル(約200億円)、純損失は6660万ドル(約96億円)です。 AI chipmaker Cerebras files for IPO to take on Nvidia https://www.cnbc.com/2024/09/30/cerebras-files-for-ipo.html Cerebrasは2016年に設立されたAIチップメーカーで、アメリカのカリフォルニア州サニーベールに拠点を置いています。共同創設者のアンドリュー・フェルドマンCEOは、過去にサーバースタートアップのSeaMicroを立ち上げ、3億3400万ドル(約480億円)でAMDに売却した人物でもあります。 CerebrasはAIモデル

2024/8/28 - 2024/9/23 に開催されたプログラミングコンテストMN-Core Challenge #1に参加し、なんと優勝することができました！ この記事ではコンテストの振り返りと各問題に対する自分の解法の簡単な解説を行います。 MN-Coreについて 概要 MN-CoreシリーズはPreferred Networksが開発しているアクセラレータで、高いピーク性能・電力効率を実現するためかなり割り切った設計になっています。 数千個あるPEがすべて同期して動作する、条件分岐やループといった命令は存在しない、などの特徴により、動作がほぼすべて決定的*1という特徴があります。 ループや条件分岐がないため、繰り返し動作はその回数分だけ命令を並べることになります。 この特徴により、実行時間がほぼ命令数に比例することになります。逆に、命令数を減らせればそれだけ短時間で計算が完了するこ

Multimodal Open Language Model built by Ai2

3つの要点 ✔️ TransformerモデルのMLP層をKolmogorov-Arnold Network（KAN）に置き換えた「Kolmogorov–Arnold Transformer（KAT）」を提案 ✔️ 合理関数とグループ化されたKAN層を採用し、計算効率と精度を向上 ✔️ 画像分類や物体検出などで優れたパフォーマンスを示した Kolmogorov-Arnold Transformer written by Xingyi Yang, Xinchao Wang (Submitted on 16 Sep 2024) Comments: Code: this https URL Subjects: Machine Learning (cs.LG); Artificial Intelligence (cs.AI); Computer Vision and Pattern Recogni

導入 こんにちは、株式会社ナレッジセンスの須藤英寿です。普段はエンジニアとして、LLMを使用したチャットのサービスを提供しており、とりわけRAGシステムの改善は日々の課題になっています。 この記事では、長文から分割されたチャンクを精度高く検索するための手法、Late Chunkingについて紹介します。 サマリー Late Chunkingは、従来のRAGと比較して長文を分割したチャンクでの検索精度を向上させます。 Late Chunkingの特徴として、長文対応のEmbeddingを用いてトークンごとのベクトルデータを取得します。その後、チャンクの単位に合わせてベクトルデータの平均を取り、そのベクトルのデータを利用してベクトル検索をかける手法となっています。 問題意識 チャンク化はコンテキストを失う可能性がある RAGのシステムでは、関連のある情報を取得するために大量の文章情報をある程度

OpenAIは9月24日、ChatGPTの高度な音声機能「Advanced Voice Mode」をすべてのPlusユーザーとTeamユーザー向けに提供開始すると発表した。より自然で感情豊かな会話が可能になり、ユーザーの感情を読み取って応答することができる。 サム・アルトマンCEOもXで、「高度な音声モードの展開が本日から始まります！（1週間かけて完了する予定です）待つ価値があったと思っていただけることを願っています」とコメントした。 高度な音声機能は、2024年7月に一部の有料ユーザー向けにアルファ版として提供が開始されていた。今回の発表により、すべての有料ユーザーがこの機能にアクセスできるようになる。 OpenAIによると、ユーザーからのフィードバックを基に、カスタム指示やメモリー機能の追加、5つの新しい音声の導入、アクセントの改善などが施された。また、50以上の言語で「遅れてごめんな

2024.09.04

NTTは2024年9月19日、ゼロ知識証明の「リセット可能統計的ゼロ知識アーギュメント」について、その実現には証拠暗号の利用が不可欠だと証明した。さまざまな分野で平文を使わない技術の一つとしてゼロ知識証明の実用化が期待されており、今回の証明によってその実現に貢献できると説明されている。 ゼロ知識証明は秘密情報を一切開示せずにその情報を知っていることを証明する暗号技術であり、リセット可能統計的ゼロ知識アーギュメントはその一種。これまで証拠暗号を使ってリセット可能統計的ゼロ知識アーギュメントを実現可能であることは知られていたが、証拠暗号なしで実現できるかどうかは不明だった。 ゼロ知識証明でNTTが新たな発見　これによって得られるメリットとは？ リセット可能統計的ゼロ知識アーギュメントはゼロ知識証明の一種で、統計的ゼロ知識性とリセット可能性を兼ね備えた暗号プロトコルとされている。統計的ゼロ知識性

In the next couple of decades, we will be able to do things that would have seemed like magic to our grandparents. This phenomenon is not new, but it will be newly accelerated. People have become dramatically more capable over time; we can already accomplish things now that our predecessors would have believed to be impossible. We are more capable not because of genetic change, but because we bene

ひろゆきさんが今話したいエンジニア（あるいはプロダクトの作り手）に聞いてみたかったことを聞いていく本連載。話題のプロダクトを、ひろゆきさんはどうみるのか？ 「僕ならこうつくる」というひろゆき案も飛び出すかも！？ 「世の中をあっと言わせるプロダクトが作りたい」エンジニアのみなさんにヒントを届けます。 AIエンジニアであり、経営者の顔も持つ安野たかひろさんをゲストに迎えた今回の対談。「エンジニアと経営側の要望が一致しない場合、大いに悩む」というジレンマが聞けた前編に続いて、後編では「エンジニア側とどう折り合いをつけるのか？」という安野さんの質問からスタート。 なぜ日本のエンジニアは小粒なものしか開発しなくなってしまったのか。そんな話題にも話が及びました。

RIG is 何？RAG の妹？DataGemma の論文を翻訳しながら RIG を読み解く〜①まずは翻訳〜RigragDataGemma DataGemma がリリースされました。外部情報を使ってハルシネーションを抑止する手法として RAG が有名ですが、Datagemma では RAG だけではなく RIG という手法も提案・利用していました。 RIG というのがよくわからなかったので論文を読みました。そしてそのときの翻訳を残します。 RIG が一体なんなのかはそのうち… 論文の原本はこちら 注) RIG の Retrieval Interleaved Generation は勝手に検索交互生成としました。 以下原文を LLM の助けを借りながら翻訳したもの 要旨 大規模言語モデル（LLM）は、数値や統計データ、あるいは時事的な事実に関連するクエリに応答する際、事実に反する情報を生成し

株式会社ナレッジセンスは、生成AIやRAGを使ったプロダクトを、エンタープライズ向けに開発提供しているスタートアップです。本記事では、RAGの性能を高めるための「Router Retriever」という手法について、ざっくり理解します。 この記事は何 RAGを実装するエンジニアが困りがちなのは、大量の文書から「いかに、ソースとなる正しい文書を検索してくるか」という検索部分です。この記事では、そういった文書検索の精度を上げるための手法である「RouterRetriever」の論文[1]について、日本語で簡単にまとめたものです。 今回も「そもそもRAGとは？」については、知っている前提で進みます。確認する場合は以下の記事もご参考下さい。 （注：前提として、今回の手法はちょっとディープです。これまでRAGをやってきたエンジニアで、「RAGの文書検索って難しい」と感じたことがある方にだけ刺さる内容

大規模言語モデル（LLM）の開発を手がける中国の人工知能（AI）ユニコーン「智譜AI（Zhipu AI）」がこのほど、新たに数十億元（数百億円超）を調達した。出資を主導したのは、北京市海淀区政府が設立した投資機関の中関村科学城（ZGC Science City）。調達前評価額（企業価値）は200億元（約4000億円）だった。2024年に入ってから3回目の資金調達となる。 智譜AIの現在の株主構成は比較的複雑で、政府系投資機関のほか、高瓴資本（Hillhouse Capital）や啓明創投（Qiming Venture Partners）などの大手投資会社、アリババグループや騰訊控股（テンセント）、小米集団（シャオミ）などのテック大手、さらに石油大手サウジアラムコのベンチャーキャピタル部門「プロスペリティ7」も出資している。 米OpenAIが対話型AI「ChatGPT」を発表した22年末以降

「arXiv」は物理学・数学・コンピューターサイエンス・統計学などの分野における世界最大のプレプリント(査読前論文)サーバーであり、査読がないため研究者が自身の研究結果を素早く世の中に問うことが可能です。そんなarXivに掲載された論文について、専門家らがオープンにディスカッションすることができるプラットフォームが「alphaXiv」です。 alphaXiv https://www.alphaxiv.org/ 2023年5月、当時スタンフォード大学の修士課程でコンピューターサイエンスを研究していたRehaan Ahmad氏とRaj Palleti氏は、「学生や研究者が査読前論文について議論できるオンラインのディスカッションプラットフォームがあったらどうだろうか」と考えました。 アイデアを実行に移すことにした2人は、世界最大のプレプリントサーバーであるarXivをベースにして、「alphaX

GPT-4oの入力コンテキストは殆ど嘘だということ。 例えば、DRMをクラックした本とかを読ませて「なんて書いてある？」みたいなことを聞いてみると分かるのだが、後半については殆ど無視される。128Kトークンという巨大な入力コンテキストウィンドウを持っていることになっているが、これは殆ど嘘、ごまかしであり、出力を高速化するために「渡されたものの前のほうだけ読んで適当に回答する」ということをやってくる。でもこれについて問題視している人をほとんど見たことがないので、とっくにみんな生成AIには飽きていて使ってないんだと思う。 現実的な対策としては、RAGをがんばるか、あるいはテキストを分割して適切なサイズにしてから渡していって最後にその結果を統合するか。それか「OpenAIさんはそのレベルで信用できないことをやってくる」ということを前提にそもそも使わないか。

Notes from my reading in quest to answer questions like: How do I choose the right embedding model for a task? Will the same embedding model work for all my tasks? How can I evaluate an embedding model for a given task? How do I detect bias in embedding model? Is the model with higher number of dimensions always the best choice? What are Embeddings?Imagine trying to explain the taste of an apple t

Research AlphaProteo generates novel proteins for biology and health research Published 5 September 2024 Authors Protein Design and Wet Lab teams New AI system designs proteins that successfully bind to target molecules, with potential for advancing drug design, disease understanding and more. Every biological process in the body, from cell growth to immune responses, depends on interactions betwe