Our next-generation (“next-gen”) language model outperforms Google Translate, ChatGPT-4, and Microsoft for translation quality The new LLM's translations require fewer edits, with Google needing 2x and ChatGPT-4 needing 3x more edits to achieve the same quality As part of our mission to provide the highest quality translations to businesses around the world, we’re excited to introduce our next-gen

高精度な翻訳ツールを提供するDeepLが、翻訳性能を強化した次世代言語モデルの実装を発表しました。DeepLの次世代言語モデルはGoogle翻訳やGPT-4と比べて高い精度で翻訳が可能とのことです。 DeepLが翻訳でChatGPT-4、Google、Microsoftを上回る次世代LLMモデルを実装 https://www.deepl.com/ja/blog/next-gen-language-model DeepLはAIを用いた高精度な翻訳が可能なウェブアプリで、日本語や英語を含む多様な言語を相互に翻訳可能です。DeepLでアメリカ独立宣言の冒頭を日本語に翻訳してみた結果が以下。かなり高い精度で翻訳できていることが分かります。 上記のようにDeepLには高品質な翻訳が可能な言語モデルが搭載されていますが、新たに既存の言語モデルよりも翻訳性能を高めた次世代言語モデルを実装することが発表さ

EUはデジタル市場法やデジタルサービス法で大手デジタルプラットフォームやその運営企業を厳しく規制しており、AppleやGoogle、Meta、Microsoftなどのビッグテックはその対応に追われています。大規模言語モデルのLlamaを開発するMetaが、2024年中にリリースする予定のマルチモーダルAIをEUでは提供しないことを発表しました。 Meta won't bring future multimodal AI models to EU https://www.axios.com/2024/07/17/meta-future-multimodal-ai-models-eu 海外ニュースメディアのAxiosによると、Metaは自社で開発する大規模言語モデル・Llamaをベースとして、映像・音声・画像・テキストを推論できるマルチモーダルAIのリリースを2024年中に予定しているとのこと

MetaとGoogle DeepMindの元従業員が立ち上げたAI開発企業のMistral AIが、コーディング用AIモデル「Codestral Mamba」を発表しました。オープンソースライセンスでのリリースであり、商用利用が可能となっています。 Codestral Mamba | Mistral AI | Frontier AI in your hands https://mistral.ai/news/codestral-mamba/ Mistral AIは2024年5月に初のコーディング用生成AIモデルとして「Codestral」をリリースしていましたが、Codestralは商用利用が禁止されていました。 Mistral AIが初のコーディング用生成AIモデル「Codestral」をリリース、80以上のプログラミング言語でトレーニング済み - GIGAZINE 今回リリースされたC

スイスのバイオコンピューティングスタートアップ企業「FinalSpark」の研究者らが発表した論文「Open and remotely accessible Neuroplatform for research in wetware computing」は、16個のヒト脳オルガノイド（人間の脳の幹細胞を培養して作られる小さな脳のような構造体）を組み込んだバイオプロセッサを提案した研究報告である。同社のプレスリリースによると、このプロセッサは、従来のデジタルプロセッサの100万分の1以下の消費電力を実現できるという特徴を持つ。 ▲電極と接続されている脳オルガノイド このプロセッサには、生体組織であるヒト脳オルガノイドを収容する4つの多電極アレイ（MEA）が使用されている。 各MEAには4つのオルガノイドが収容されているため、計16個の脳オルガノイドが組み込まれている。各オルガノイドは、電気刺

幹細胞を培養して作られた脳組織(ヒト脳オルガノイド)をCPUとして使うシステム「ニューロプラットフォーム」が、スイスのバイオコンピューティング企業であるFinalSparkによって構築されました。ニューロプラットフォームは各地の研究者が遠隔でアクセスでき、「学習」と「情報処理」を行わせることが可能です。 Neuroplatform - FinalSpark https://finalspark.com/neuroplatform/ Frontiers | Open and remotely accessible Neuroplatform for research in wetware computing https://www.frontiersin.org/articles/10.3389/frai.2024.1376042/full World's first bioprocesso

人間の幹細胞を培養して作った「脳オルガノイド」を搭載するロボットが中国で開発されたそうだ。 天津大学と南方科技大学で開発された「MetaBOC」は、脳オルガノイド（ミニ脳）と電子機器をつなぐインターフェースとして機能するソフトウェアシステムで、これを通じてロボット本体に指示を伝えられるという。 研究チームによれば、この生きた脳を搭載したバイオハイブリッド・ロボットを作った目的は、人間の脳細胞を人工的なボディに組み込む技術を発展させることだそうだ。

はじめに 東京工業大学の藤井です。 今回は、GENIACにてNII 国立情報学研究所が現在(2024/7/1)も学習している172Bモデルに関連した事前学習パートに特化した学習知見について共有させていただきます。 この成果は、国立研究開発法人新エネルギー・産業技術総合開発機構（ＮＥＤＯ）の助成事業（JPNP20017）の結果得られたものです。 GENIACプロジェクトにおける分散学習環境の整備に関しても同様に記事を作成しています。 ぜひご覧ください。 LLMの学習 大まかにLLMを作成するための手順を下記に記しました。 今回は、これらの中でも特に"事前学習"に焦点を絞って知見の共有を行います。 現在の学習状況 まず、GENIACで学習しているモデルの現在の学習状況についてです。 2024/06/30現在、約1.45 T Token(1.45兆トークン)を事前学習にて学習済みです。 以下がそ

概要 先日までKaggleのAIMOコンペ(数学の問題をLLMに解かせて正答率を競う)に参戦していました。結果は初のチーム参加でメンバーに助けられつつ運もあり、なんとか銀メダルを取れました！これでMasterにリーチがかかりましたが、金メダルは未だ取れる気がしないので遠い道のりです……。 www.kaggle.com このコンペについて、近い内に同様のコンペが開催予定なこともあり上位解法があまり出ていない状態なので、どのような手法が良かったのかまだわかっていないのですが、とりあえず公開されている情報を元にすると、 LLMとしてはほぼほぼ全員が数学問題に特化したLLMであるDeepseek-Math-7Bを利用している LLMが出力したPythonコードを実行するインタープリターを実装することで、LLMのハルシネーションによる計算ミスを防ぐパイプラインが有力であった LLMの出力を比較的高い

CUDAはエヌビディアが提供するGPU向け統合開発環境（汎用計算処理プラットフォーム）だ。数百万行に及ぶコードから成るライブラリが含まれ、アプリケーション開発にかかる時間とコストを節減できる。AIエコシステムの多くでデフォルト利用されている。 セレブラスも自社製チップ向けのソフトウェアを自前で開発した。しかしそれも含めて、現存する代用品はどんなに優れたものでもエヌビディアに数年遅れという現状がある。 開発者の側でも（CUDAを長いこと使ってきて）知識や習慣が定着しているので、その差はなかなか埋まらないだろう。 スーザン氏はこう指摘する。 ｢私自身、エヌビディアの市場シェアの堅固さにおいて、CUDAがいかに重要な役割を果たしているのか理解できず、完全に過小評価していました。顧客はハードウェアを手に入れようとやって来るわけですが、そこに留まるのはソフトウェアがあるからこそなのです。 私も含めて

Metaのマーク・ザッカーバーグCEOが、YouTuberのケイン・サッター氏によるインタビューの中で、競合するAI企業の開発がクローズドソースで行われていることに触れ、「まるで神を創っていると思っているようだ」と批判したと報じられています。 Mark Zuckerberg on Creators, AI Studio, Neural Wristbands, Holographic Smart Glasses, Picasso & More - YouTube Zuckerberg disses closed-source AI competitors as trying to 'create God' | TechCrunch https://techcrunch.com/2024/06/27/zuckerberg-disses-closed-source-ai-competitors-

3つの要点 ✔️ デコンパイルに特化した初のオープンソースモデル「LLM4Decompile」を開発 ✔️ モデルに新しい学習目的を導入し、デコンパイルの精度向上を実現 ✔️ 再コンパイルと再実行可能性に焦点を当てたデコンパイルのための初の標準化されたベンチマークを構築 LLM4Decompile: Decompiling Binary Code with Large Language Models written by Hanzhuo Tan, Qi Luo, Jing Li, Yuqun Zhang (Submitted on 8 Mar 2024) Comments: Published on arxiv. Subjects: Programming Languages (cs.PL); Computation and Language (cs.CL) code： 本記事で使用してい

ChatGPTなどのAIを開発するOpenAIが、ロシアや中国などサポート対象外とする国のユーザーに「2024年7月9日(火)以降のアクセスをブロックする」とメールで通達したと報じられています。 Identifying API Keys with Traffic from Unsupported Regions - API - OpenAI Developer Forum https://community.openai.com/t/identifying-api-keys-with-traffic-from-unsupported-regions/837837 OpenAI to pull plug on 'unsupported' nations from July 9 • The Register https://www.theregister.com/2024/06/25/open