大規模言語モデルによる文書画像理解の最新動向/Recent Trends in LLM-based Visual Document Understanding
大規模言語モデルによる視覚・言語の融合/Large Vision Language Models
大規模言語モデルによる文書画像理解の最新動向/Recent Trends in LLM-based Visual Document Understanding
こんにちは、MNTSQでアルゴリズムエンジニアとチームマネージャーをやっている平田です。 MNTSQでは自然言語処理を使って契約書を解析したり検索したりする機能を開発しています。 契約書解析には、次のようなタスクがあります。 秘密保持契約等の契約類型に分類 契約締結日や契約当事者等の基本情報を抽出 条項（第1条, 第2条, ...）単位で分解 本稿では、これらの契約書解析タスクをGPT-4oに解かせてどんな結果になるか見てみます。 ざっくりやり方 GPT-4oのAPIを呼び出すところ ここではAzure OpenAIのGPT-4oを使います。Microsoftのサンプルコードほぼそのままですが、一応貼り付けておきます。 from openai import AzureOpenAI client = AzureOpenAI( api_version="2023-05-15", azure_e
GoogleのAI「Gemini」って、何ができるの？知っておきたい基礎知識まとめました | ライフハッカー・ジャパン
著者David Nield - Lifehacker US [原文]翻訳長谷睦（ガリレオ） 2024.06.28 lastupdate 最近、避けて通るのが難しい話題と言えば、やはり人工知能（AI）です。AIは、「テック業界に到来した次の大革命」として、今まさにもてはやされています。 「猫も杓子もAI」という状況のなかで、Googleも、業界をリードする存在になろうとして、あの手この手で努力しています。 同社のAIに関する取り組みは、「Gemini」という総称で呼ばれていますが、実際のところ「Google Gemini」のブランド名で提供されるサービスの形や規模は多岐にわたります。 意外とややこしいGemini（＋ネーミングの理由）GoogleはGeminiという名前を、自社のAIモデル（この人工知能の基盤となるテクノロジー）とAIアプリ（ウェブやスマートフォンでアクセスできるサービス）の
neoAI、高性能日本語LLM「Llama 3 neoAI 8B Chat v0.1」を公開。低コスト開発、且つオンプレミス導入も可能
このニュースのポイント neoAIが、高性能日本語LLM「Llama 3 neoAI 8B Chat v0.1」を開発・公開 オープンソースで、同等パラメータ数の他モデルと比べて最高水準の日本語性能を持っている Metaの「Llama 3 8B」に日本語データセットを用いて追加学習を行い、約20万円の低コストで日本語性能の向上を実現 生成AI特化のスタートアップ企業であるneoAIは、Metaが開発した大規模言語モデル「Llama 3」に日本語学習を行い、商用利用可能な日本語LLM「Llama 3 neoAI 8B Chat v0.1」を公開しました。neoAIは、このモデルを使ったオンプレミス生成AI環境構築や、企業データを用いた業務特化のLLM開発支援を進めていきます。 昨年3月にOpenAIからLLMのAPIが公開されて以来、日本企業でLLMのビジネス活用が進んでいます。ほとんどがA
関連キーワード 人工知能 | チャットbot | 金融 | Google 画像やテキストを生成する人工知能（AI）技術「生成AI」は、業界や業種を問わずさまざまな企業で使われ始めている。今後重要となるのは、“生成AIを使ってどのようにビジネスの競争力を高めるか”という視点だ。 Googleのクラウドサービス部門Google Cloudが2024年6月4日に開催した「Google Cloud金融サミット '24」のパネルディスカッションでは、北國銀行、SBIホールディングス、みずほフィナンシャルグループ、第一生命保険が生成AI活用の取り組みについて講演した。 金融大手各社は生成AIをどのような業務に生かし、ビジネスの競争力を高めているのか。取り組みの中で見えてきた課題や解決策と併せて解説する。 北國銀行の「脱COBOL」に向けた生成AI活用法 併せて読みたいお薦め記事 生成AIの活用事例 「
生成AIアプリ展開で迫られる選択、APIかセルフホストか？ コストの違いを探る（AMP［アンプ］） - Yahoo!ニュース
企業が生成AIアプリケーションを展開する際、言語モデルを選択する必要がある。選択肢は、OpenAIやAnthropicのAPIを利用するか、オープンソースのLLMをセルフホストするか、大きく2つに大別される。 OpenAIであれば、GPT-3.5 TurboやGPT-4 Turboなどを選ぶことができ、かつGPT-3.5 Turboであれば、自社データで調整したファインチューニング版を展開することも可能だ。GPT-3.5 TurboのAPI利用料は、インプット100万トークンあたり0.5ドル、アウトプット100万トークンあたり1.5ドル。一方、GPT-4 Turboは、インプット10ドル、アウトプット30ドルとなる。 また、GPT-3.5 Turboを使ったファインチューニングのコストは100万トークンあたり8ドル、推論のコストはインプット100万トークンあたり12ドル、アウトプット16ド
Amazon Web Services ブログ 週刊生成AI with AWS – 2024/6/24週 みなさん、こんにちは。AWS ソリューションアーキテクトの小林です。 Amazon Bedrockでは様々な基盤モデルを選択して利用することができ、新しいモデルが登場したらそれに乗り換えることも容易です。様々なモデルが用意されていますが、Amazon Bedrockでは利用できない、用途に特化したモデルを利用したいという場合もあるでしょう。その場合はAmazon SageMakerが提供する推論エンドポイントの機能を利用するのがベストな選択肢となります。こういったユースケースでよく目にするのが「日本語に特化したモデルを使いたい」というもので、SageMakerでも容易に利用できるモデルが日々登場しつつあります。 Amazon SageMaker JumpStart で ELYZA の日
VLMs are Blind
Large language models with vision capabilities (VLMs), e.g., GPT-4o and Gemini-1.5 Pro are powering countless image-text processing applications and scoring high on existing vision-understanding benchmarks. Yet, we find that VLMs fail on 7 visual tasks absurdly easy to humans such as identifying (a) whether two circles overlap; (b) whether two lines intersect; (c) which letter is being circled in
What is this? Googleの言語モデルgemma-2-27b-itをGGUFフォーマットに変換したものです。 imatrix dataset 日本語能力を重視し、日本語が多量に含まれるTFMC/imatrix-dataset-for-japanese-llmデータセットを使用しました。 なお、謎のエラー「GGML_ASSERT: D:\a\llama.cpp\llama.cpp\ggml\src\ggml-cuda.cu:1257: to_fp32_cuda != nullptr」を回避するため、imatrixの算出においてはf16精度のモデルを使用しました。 Chat template <start_of_turn>user ここにpromptを書きます<end_of_turn> <start_of_turn>model Note llama.cpp-b3266以降でのみご
参加メモ：科学基礎論学会シンポジウム「AIは科学をどう変えるのか？」 - 重ね描き日記（rmaruy_blogあらため）
本日、早稲田大学で行われた科学基礎論学会のシンポジウム「AIは科学をどう変えるのか？」を聴講した。 オーガナイザーは大塚淳氏、提題者は橋本幸士氏、高橋恒一氏、呉羽真氏の3名。AIによる科学のパイオニア、あるいはAI科学を哲学から論じてきた研究者として、おそらく日本でAI科学を最も深く考えてきたこの4名*1が一堂に会するイベントであった。 3名からの30～50分の提題と、それに続く大塚氏を司会としたパネルディスカッションからなる全体で3時間超。盛りだくさんで、頭の整理が追い付かない。断片的にでも、メモにしておこうと思う。 勘違いや記憶の補完が混じっている可能性がある、私的なメモであることをお断りします。このメモだけでシンポジウムの内容をなるべく議論されないよう、お願いいたします（本ブログが不要な誤解を招いている事象が見られたら削除するかもしれません）。 3名の講演 橋本幸士氏は、まず人工知能
SB Intuitions、独自の日本語LLMを構築 アカデミアや産業界の研究開発に資するために70億、130億、650億パラメータの日本語LLMを公開 | プレスリリース | SB Intuitions株式会社
SB Intuitions、独自の日本語LLMを構築 アカデミアや産業界の研究開発に資するために70億、130億、650億パラメータの日本語LLMを公開 2024年6月14日 SB Intuitions株式会社 SB Intuitions株式会社（本社：東京都港区、代表取締役社長 兼 CEO 丹波 廣寅、以下「SB Intuitions」）は、この度70億、130億、650億パラメータの日本語大規模言語モデル（Large Language Model:LLM）を公開しましたのでお知らせします。なお、SB Intuitionsは2024年度中に3,900億パラメータのLLM構築を目指しています。 公開モデル Sarashina1-7B Sarashina2-7B Sarashina1-13B Sarashina2-13B Sarashina1-65B Sarashina2は、Sarashin
グーグルは6月19日、「AIで日本のさらなる可能性を～Google for Japan 2024～」と題したイベントを開催した。2027年までに全国47都道府県で生成AIモデルの実装、AI人材を育成し求人と求職のミスマッチによる人材不足の解決、地域社会が抱える課題解決を目指すなど、グーグルの新たな取り組みを発表した。 東京大学松尾・岩澤研究室とパートナーシップ 47都道府県の架台を生成AIで解決 同イベントには東京大学の松尾教授が登壇し、グーグルとのパートナーシップにいたった経緯を説明した。 2023年9月に大規模言語モデルを実際に開発できる人材育成を目的にLLMの講義を実施し、受講生2000人のうち660人が修了した。これはLLMを実際に作ることができる人材が660人誕生したということになる。しかし、実際に開発をするにはGPUが必要になり、そこでグーグルに相談に行ったことが縁となっている
1. 記事の狙いと想定読者層研究を進めるうえでのTIPSをまとめていくシリーズです。大学や大学院等における研究活動に関して、お読みいただいている皆さまになにかしら示唆をご提供できればという思いで書いています。 読者層としては、大学院等の研究機関で研究活動に取り組む方々を想定しています。今回テーマとして取り上げるのは、「避けるべき論文」、すなわちハゲタカジャーナルに掲載されている論文の見分け方。 2. 「避けるべき論文」とは？なぜ避ける必要があるのか？このテーマで記事を書こうと思った背景がいくつかありまして、最大の要因はいわゆるハゲタカジャーナル（英語だと、Predatory Journal。ハゲタカだからってVulture journalとは言いません）の氾濫猖獗。以前、別記事「先行研究レビューの実作業のやりかた」でも触れましたが、世の中には一見学術誌の体裁をとりつつ、じつは粗悪な著作物で
開発者の76％がコード生成AIを利用 最も利用されているのは「ChatGPT」、最も満足度が高いのは？
Stack Overflowは2024年5月29日（米国時間）、開発者がコード生成AI（人工知能）をどの程度利用しているのか、人気のコード生成AIツールは何かを調査した結果を発表した。同調査は、Stack Overflowのコミュニティーを対象に実施しており、1700人以上の開発者による回答に基づいている。 開発者の76％がコード生成AIを利用 開発者の76％が、コード生成AIを使用／使用する予定があると回答している。最もコード生成AIを使用している職種は研究者（87％）で、AI開発者（76％）、フロントエンド開発者（75％）、モバイル開発者（60％）、データサイエンティスト（67％）と続いた。 コードアシスタントを使用している／使用する予定があると回答した割合が平均より低かった職種は、データ／ビジネスアナリスト（29％）、デスクトップ開発者（39％）、データエンジニア（39％）、組み込み
NVIDIAは6月18日、LLMをトレーニングするのに使用する合成データ生成に特化した大規模言語モデル「Nemotron-4 340B」ファミリーを発表。商用利用可能なオープンモデルライセンスで公開された。 合成データの生成とは LLMの訓練には大量の専門的なデータが必要になる。だが、インターネット上で収集されたデータを人手で収集・注釈付けするのは非常にコストがかかる。プライバシー保護やデータ不足などの問題もあり、実際のデータを模倣して人工的に生成される「合成データ（Synthetic Data）」の生成に注目が集まっている。 「Nemotron-4 340B」は、基本となるモデル「Nemotron-4-340B Base（以下Baseモデル）」の他に、プロンプトから合成データを生成する「Nemotron-4-340B Instruct（以下Instructモデル）」と、生成された合成デー
[セッションレポート] プロンプトエンジニアリング入門（AWS-TC-04）#AWSSummit | DevelopersIO
こんにちは、AWS事業本部の荒平(@0Air)です。 AWS Summit Japan 2024にて、AWS-TC-04「プロンプトエンジニアリング入門」のセッションに参加しましたのでレポートします。 オンデマンド配信を見よう AWS Summit Japanの登録を行うことでオンデマンドで視聴可能です。（現地参加された方は改めての登録は不要です。） "AWS-TC-04"を検索してみてください。 セッション概要 このセッションでは、基盤モデルの基本とプロンプトエンジニアリングの主要な概念について学びます。 また、プロンプトを設計するためのベストプラクティスと、ゼロショット、フィューショット、 Chain of Thought プロンプティングなどのいくつかのプロンプティング手法について、例を通して学びます。 セッションスピーカー： 佐中 晋 氏 所属：アマゾン ウェブ サービス ジャパン
![[セッションレポート] プロンプトエンジニアリング入門（AWS-TC-04）#AWSSummit | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/9eea763f2eac736cbd32de0c7e9f136cd854c226/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2024%2F06%2Feyecatch_awssummit2024_session.png)
関連キーワード 人工知能 | Google | チャットbot | Facebook | Microsoft（マイクロソフト） 2022年にAIベンダーOpenAIがAI（人工知能）チャットbot「ChatGPT」を発表して以降、テキストや画像を自動生成する「生成AI」と、その基になる大規模言語モデル（LLM）は、急速に企業や消費者の関心を集めることとなった。これまでに登場しているLLMの中から、主要なLLMを11個まとめて紹介する。それぞれのLLMにはどのような特徴があるのか。 BERT、GeminiからGPT-3.5、GPT-4oまで 主要LLM11種の特徴 併せて読みたいお薦め記事 LLMをどう比較する？ 「LLM（大規模言語モデル）選び」の“基本の基”とは？ 「ChatGPT」「Gemini」の比較ならスペック以上に面白い“個性と違い”はこれだ 1．BERT BERTは、Googl
生成AIによって作業は楽になるけれど、レビューは楽にならない 田中邦裕氏（以下、田中）：ここからは活用上の課題に入っていきたいと思うのですが、これは順番に当てても大丈夫ですかね。では、中山さんから紹介してもらえればと思います。お願いいたします。 中山心太氏（以下、中山）：そうですね。今の生成AIがこの後どうなっていくかというと、作業は楽になるけどレビューは楽にならない。先ほど契約書のレビューの話が出たので「うっ」て思っちゃったのですが、作業は楽になるけどレビューは楽にならないというのが、この後に起こっていくことかなと思っています。 僕は、仕事は基本的に2種類に大別されると思っています。仕事は2種類あって、1つは作業です。これは手を動かして実際の成果物を作ることで、今の生成AIの支援を比較的受けやすいと思っています。 一方でレビューは何かというと、人の成果物を評価して修正を指示すること、そし
Gen-3 Alpha | Runway
Runway Research is enabling the impossible. Our mission is to build multimodal AI systems that will usher in a new era of human creativity.
パナソニックホールディングスは7月2日、パナソニックグループ専用の大規模言語モデル（LLM）「Panasonic-LLM-100b」を開発すると発表した。AIスタートアップ企業のストックマーク（東京都港区）と協業し、開発していく。パラメータ数は1000億を想定しており、これは企業が開発する自社専用LLMとしては国内最大規模という。 ストックマークは5月、LLM「Stockmark-LLM-100b」をフルスクラッチで開発し、Hugging Face上で一般公開していた。ハルシネーション（AIがもっともらしいうそをつく現象）を大幅に抑えているのが特徴。また、独自に収集したビジネスドメインの日本語データを中心に事前学習しており、日本語やビジネスドメイン、最新の時事話題に精通しているという。 パナソニックではこのLLMに対して、同社の社内情報を追加事前学習させ、グループ専用の日本語LLM「Pan
ＥＬＹＺＡ（イライザ、東京都文京区、曽根岡侑也社長）は２６日、生成人工知能（ＡＩ）の基盤となる最新の大規模言語モデル（ＬＬＭ）を開発し、性能を公開した。米メタのＬＬＭ「Ｌｌａｍａ（ラマ）３」を基に、ＬＬＭの性能指標となるパラメーター数が７００億パラメーターと８０億パラメーターの日本語ＬＬＭを開発。７００億パラメーターモデルは日本語を対象にした二つの指標で国内最高精度を達成したという。 指標のうち「イライザ・タスクス１００」の５段階評価で４・０７と、３月時点のモデルと比べて０・５８６向上。米オープンＡＩの「ＧＰＴ―４」の４・０３を上回った。「ジャパニーズＭＴ―ベンチ」でも執筆や推論、コーチングなど８項目の平均が１０点満点中９・０７５と、ＧＰＴ―４の９・０１３を上回った。 軽量の８０億パラメーターモデルは「イライザ・タスクス１００」で３・６５５とＧＰＴ３・５ターボの３・４７５を上回った。同モデ
はじめに はじめまして、株式会社松尾研究所で働いている長谷です。 2024年4月に入社し、AIソリューション開発のプロジェクトマネージャーとして活動しています。 これまでは企業の研究所でデータ解析や機械学習アルゴリズムの研究者として働きつつ、AI・データ分析の教育の会社を立ち上げて企業や個人のデータ分析リテラシーの底上げに尽力してきました。 松尾研の構築するエコシステムに感銘を受け、研究者、起業家、教育者として松尾研から世界をより良くしていきたいと思い、ジョインしました。 今回は、先日松尾研究所で開催されたデータ分析コンペティションDS Dojo#1において、からあげさんと私(chome)のチームが1位に入賞しましたので、その解法をご紹介いたします。 DS Dojo#1とは DS Dojoの位置付けやコンペの詳細に関してはこちらの記事を参照いただき、本記事では概要を紹介します。 今回のタス
![松尾研究所主催分析コンペ [DS Dojo #1] 回答したLLMの分類 - 1st Solution -](https://cdn-ak-scissors.b.st-hatena.com/image/square/08032c2aee658c314f963bdcd40899f18faa568a/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--jKmDLOTt--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3A%2525E6%25259D%2525BE%2525E5%2525B0%2525BE%2525E7%2525A0%252594%2525E7%2525A9%2525B6%2525E6%252589%252580%2525E4%2525B8%2525BB%2525E5%252582%2525AC%2525E5%252588%252586%2525E6%25259E%252590%2525E3%252582%2525B3%2525E3%252583%2525B3%2525E3%252583%25259A%252520%25255BDS%252520Dojo%252520%2525231%25255D%252520%2525E5%25259B%25259E%2525E7%2525AD%252594%2525E3%252581%252597%2525E3%252581%25259FLLM%2525E3%252581%2525AE%2525E5%252588%252586%2525E9%2525A1%25259E%252520-%2525201st%252520Solution%252520-%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_34%3AKoki%252520Nagatani%252Cx_220%252Cy_108%2Fbo_3px_solid_rgb%3Ad6e3ed%252Cg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyL2U2NGM3ZTBkMzIuanBlZw%3D%3D%252Cr_20%252Cw_90%252Cx_92%252Cy_102%2Fg_south_west%252Ch_34%252Cl_default%3Aog-publication-pro-mark-xcosax%252Cw_34%252Cx_217%252Cy_158%2Fco_rgb%3A6e7b85%252Cg_south_west%252Cl_text%3Anotosansjp-medium.otf_30%3A%2525E6%25259D%2525BE%2525E5%2525B0%2525BE%2525E7%2525A0%252594%2525E7%2525A9%2525B6%2525E6%252589%252580%2525E3%252583%252586%2525E3%252583%252583%2525E3%252582%2525AF%2525E3%252583%252596%2525E3%252583%2525AD%2525E3%252582%2525B0%252Cx_255%252Cy_160%2Fbo_4px_solid_white%252Cg_south_west%252Ch_50%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyLzk2OGQ3NjEzNTUuanBlZw%3D%3D%252Cr_max%252Cw_50%252Cx_139%252Cy_84%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)
We’re excited to announce that we are partnering with the React team to build and maintain the react-codemod repo, offering open-source codemods to enhance the migration experience for React 19 and beyond. React 19 MigrationTo kick things off, we've released 10 new codemods and recipes to assist with upgrading to React 19. Upgrade your React project with the following command: For more details, re
この図は、テクストソースの一覧ですが、クリックすれば実際に原典を参照することができます。生成AIを研究に活用する際にしばしば問題になるのが、偽情報の生成、いわゆる幻覚（ハルシネーション）です。我々はこの問題を低減するために、(1)確かなデータベースに基づいて情報を生成する、(2)ユーザーがテクストソースを直接確認できるようにする、という対策を講じました。これによってユーザーは、生成結果の真偽を確かめることができ、また生成結果にあまり反映されていない関連文脈も調べることができます。これは言わば、AIの利便性と限界を同時に確認できるシステムと言えるでしょう。 ヒューマニテクストでは生成された結果について、特定の著作データにテクストソースを絞りながら、さらなる詳細な説明を求めることができます。あるいは、他の著作家のテクストに基づいて質問をすることもできます。たとえば、プラトンを選択して「このイソ
Recent advances in large language models (LLMs) demonstrate substantial capabilities in natural language understanding and generation tasks. With the growing number of LLMs, how to harness the collective expertise of multiple LLMs is an exciting open direction. Toward this goal, we propose a new approach that leverages the collective strengths of multiple LLMs through a Mixture-of-Agents (MoA) met
This paper introduces the MCT Self-Refine (MCTSr) algorithm, an innovative integration of Large Language Models (LLMs) with Monte Carlo Tree Search (MCTS), designed to enhance performance in complex mathematical reasoning tasks. Addressing the challenges of accuracy and reliability in LLMs, particularly in strategic and mathematical reasoning, MCTSr leverages systematic exploration and heuristic s
レッドハットは2024年6月20日、東京都内で会見を開き、2024年度の事業戦略を説明した。企業向けLinuxの「Red Hat Enterprise Linux（RHEL）」、Kubernetesコンテナプラットフォーム「Red Hat OpenShift（OpenShift）」、ITオートメーションソフトウェア「Red Hat Ansible Automation Platform（Ansible）」から成るコアビジネスが堅調に拡大を続ける中で、次世代ビジネスの成長に向けてエッジとAI（人工知能）に注力する方針を打ち出した。 2024年でレッドハットの日本法人は設立から25周年を迎えた。同社 代表取締役社長の三浦美穂氏は「1999年に秋葉原の小さな雑居ビルで十数人から始まったが、顧客やパートナーの皆さまに支えていただき、今や企業のオープンソースと言えばレッドハットという評価をいただける
情報通信研究機構（NICT）とKDDIは7月1日、高性能な大規模言語モデル（LLM）を開発する共同研究を始めると発表した。NICTが蓄積してきたWebページなどの膨大なデータと、KDDIが開発してきたハルシネーション抑制技術などを組み合わせる。 LLMでは、AIが事実と異なる情報を生成する「ハルシネーション」が課題になっている。 共同研究では、NICTが蓄積してきたWebページなど600億件以上のデータや、そこから作成したLLMの事前学習用データなどをKDDIと共有。KDDIが開発してきたハルシネーション抑制技術、マルチモーダルAI技術と組み合わせ、高性能なLLM実現を目指す。 テキストに加え、日本の地理空間情報などのマルチモーダルデータをLLMで取り扱う技術も研究。これにより、通信事業者の顧客対応に活用する際に、問題が発生している設備やエリアを迅速に把握する、などといった応用が可能になる
Lance Whitney （Special to ZDNET.com） 翻訳校正： 緒方亮 吉武稔夫 （ガリレオ） 2024-06-13 09:43 Microsoftの有料人工知能（AI）サービス「Copilot Pro」で「GPT Builder」を使った人もいるだろう。そうであれば、GPT Builderに別れを告げる時だ。7月10日になると、MicrosoftはGPT Builderを永久に廃止する。少なくとも、一般ユーザー向けのCopilotについては。 Microsoftが公開したサポートページには、「GPT」作成機能を7月10日から廃止し、さらに、Microsoftが作成したものも顧客が作成したものも含めて、すべてのGPTを7月10日から7月14日にかけて削除すると書かれている。プライバシーを考慮して、GPTに関連するデータ、GPTで収集されたデータもすべて消える。 3カ月
LLM開発にもオープンソースの哲学を ―Red HatがIBMとともにInstructLabで挑むAI民主化へのアプローチ ここ最近、大手テクノロジベンダが開催するカンファレンスでは必ずと言っていいほどメインテーマに生成AIが掲げられています。5月6日～9日（米国時間）にかけて米デンバーで開催されたRed Hatの年次カンファレンス「Red Hat Summit 2024（RHS 2024）」も同様で、カンファレンス期間中に発表された10数本のリリースはすべて生成AIに関連した内容でした。 また、Red Hatの親会社であるIBMが米ボストンで開催した「IBM Think 2024」（5/20～5/23）も同様で、同社のアービンド・クリシュナ（Arvind Krishna）CEOは「企業が生成AIを活用し、大規模にビジネス価値を創出できるようにする」と基調講演で明言しています。 両社
はじめにLayerX の @qluto です。 今年4月に LayerX へ機械学習エンジニアとして入社しました。 ごく簡単にバックグラウンドをお伝えすると、これまで、機械学習エンジニアやエンジニアリングマネージャー（VPoE 的な役回りも）としての経験をそこそこ積んできたという感じのバックグラウンドを持ったという人です。 早くも3ヶ月近くが経とうとしており、入社前に LayerX に抱いていた気持ちや実際に入ってみて感じたことが言語化できるくらいに固まってきたので、筆を取っています。 「論語」と「論語と算盤」という書籍が両方とも好きなので、それに LayerX で感じたことを重ね合わせてのタイトルに仕立ててみました。 論語 -> LayerX の掲げる行動指針 "徳" に照らし合わせて 算盤 -> LayerX の掲げる行動指針 "Fact Base" や経済活動をデジタル化するというミ
Gemma 2 の 概要｜npaka
以下の記事が面白かったので、簡単にまとめました。 ・Gemma 2 is now available to researchers and developers 1. Gemma 2本日 (2024年6月27日)、「Gemma 2」の9Bと27Bがリリースされました。第1世代よりもパフォーマンスが高く、推論の効率も高く、安全性が大幅に向上しています。 特徴は、次のとおりです。 ・パフォーマンス 「Gemma 2」の27Bはクラス最高のパフォーマンスを発揮し、2倍以上のサイズのモデルにも匹敵します。9Bもクラス最高のパフォーマンスを発揮します。詳細しくは、テクニカルレポートを参照してください。 ・効率性とコスト削減 「Gemma 2」の27Bは、単一の「Google Cloud TPU ホスト」「NVIDIA A100 80GB Tensor Core GPU」「NVIDIA H100 Te
Appleが沈黙を破ってAI戦略を公開しました。Apple Intelligenceと名付けたAI戦略は、iPhoneを軸としながらなかなかによく練られたものです。ポイントは、（1）ローカル（2）プライバシー（3）エージェント化 にあると思っています。 AppleのAI戦略 ローカル プライバシー エージェント どうした？Goolge AppleのAI戦略 Appleが公開したAI戦略はApple Intelligenceと名付けられ、Appleらしく垂直統合されたとてもまとまった戦略でした。各部門がそれぞれ別々にAIを使おうとしているかのように見えるGoogleとは、一味違います。 詳細はWWDC2024の下記の動画から確認できますが、ぼくはポイントが3つあると思っています。 ローカル プライバシー エージェント です。 www.youtube.com ローカル 1つ目はローカルです。現
仮想現実スタートアップのAww（アウ、東京・渋谷）は17日、米エヌビディアと技術提携すると発表した。Awwは人気バーチャルヒューマン「imma（イマ）」などを開発し、マネジメントしている。エヌビディアとの提携で制作の効率を高め、自然な動きで対話するバーチャルヒューマンを短時間で作れるようにする。Awwが独自に開発している大規模言語モデル（LLM）とエヌビディアの技術を融合することで、高性能なバ
6月13日、Engineering at Metaで「Metaが大規模言語モデルをトレーニングする方法(How Meta trains large language models at scale)」と題した記事が公開された。この記事では、AIの研究開発において直面している計算規模の大幅な拡大にどのように対処しているかについて詳しく紹介されている。 以下に、その内容を簡潔にまとめて紹介する。 大規模モデルのトレーニングの課題 大規模な言語モデル（LLM）のトレーニングでは、GPUの数が増えるにつれて、ハードウェアの故障による中断の可能性が高まる。これを最適に行うためには、次の4つの要素が重要である。 ハードウェアの信頼性：ハードウェア故障を最小限に抑えるため、厳格なテストと品質管理を行う。 故障時の迅速な復旧：ハードウェア故障が発生した場合、迅速に復旧する必要がある。これには、再スケジュー
As we continue to focus our AI research and development on solving increasingly complex problems, one of the most significant and challenging shifts we’ve experienced is the sheer scale of computation required to train large language models (LLMs). Traditionally, our AI model training has involved a training massive number of models that required a comparatively smaller number of GPUs. This was th
IT Leaders トップ ＞ テクノロジー一覧 ＞ AI ＞ 事例ニュース ＞ 宮崎銀行、融資の稟議書を生成AIで作成、手作業と比べて作業時間を95％削減 AI AI記事一覧へ [事例ニュース] 宮崎銀行、融資の稟議書を生成AIで作成、手作業と比べて作業時間を95％削減 2024年6月13日(木)日川 佳三（IT Leaders編集部） リスト 宮崎銀行（本店：宮崎県宮崎市）は2024年6月13日、融資案件における稟議書の作成に生成AIを適用したと発表した。Azure OpenAI Serviceおよび日本IBMの生成AIアセットを用いてシステムを構築し、同年4月から一部店舗で利用を開始。作成時間を95％短縮したという。システムは日本IBMと共同で開発した。 宮崎銀行は2024年4月から、一部の店舗において、融資案件における稟議書の作成に生成AIを利用している。行員の手作業と比べて、作
2024年5月から6月にかけて、米Google（グーグル）、米Microsoft（マイクロソフト）、米Apple（アップル）の大手プラットフォーマー3社が生成AI（人工知能）についての新施策を相次いで発表した。各社の取り組みを比較しながら、生成AIの最新動向を見ていこう。 2024年初夏、グーグル、マイクロソフト、アップルがそれぞれ開発者会議を開催した。話題の中心はやはり生成AIだが、2023年までとは異なる新しいトレンドも見られた。スマートフォンやパソコンなどのデバイス上で稼働するオンデバイス生成AIに関する動きだ。 米OpenAI（オープンAI）が2022年11月にChatGPTを発表して以来、生成AIの主役といえばLLM（大規模言語モデル）がクラウド上で推論を行う「クラウドLLM」だった。それに対して2024年は、大手プラットフォーマー3社が一斉にオンデバイスの生成AIに力を入れ始め
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ChatGPTとPydanticでかんたん契約書解析 - MNTSQ Techブログ
“脱COBOL”にも着手 金融4社が語る「生成AIを使い倒す戦略」とは
週刊生成AI with AWS – 2024/6/24週 | Amazon Web Services
【海外ITトピックス】 大幅値下げから無料まで 激化する中国のLLM価格競争
grapevine-AI/gemma-2-27b-it-gguf · Hugging Face
パナソニック、1000億パラメータの自社LLM開発 ストックマークと協業
グーグル、AIで日本全国の課題を解決 松尾・岩澤研究室と協力
【研究のススメかた】避けるべき論文の見分け方｜Dr. MM
NVIDIA、超優秀なオープンAIモデル 学習データ生成用だけどすごいぞ
BERT、GeminiからGPT-3.5、GPT-4oまで「主要LLM11種」の特徴は？
賢い生成AIが出た時それを最大限活かすデータの準備は？ 比戸将平氏・中山心太氏・中村龍矢氏が考えるLLMの“課題”
パナソニック、1000億パラメータの社内専用LLMを開発へ AIスタートアップ・ストックマークと協業
「GPTー4」上回る…イライザ、高精度の日本語LLM開発 ニュースイッチ by 日刊工業新聞社
松尾研究所主催分析コンペ [DS Dojo #1] 回答したLLMの分類 - 1st Solution -
Codemod partnering with the React team
2024/06/16：西洋古典に特化したAI対話システム「ヒューマニテクスト」の開発
Mixture-of-Agents Enhances Large Language Model Capabilities
Accessing GPT-4 level Mathematical Olympiad Solutions via Monte Carlo Tree Self-refine with LLaMa-3 8B
エッジとAIでさらなる成長を目指すレッドハット、LLMの最適化手法「LAB」を提案
NICTとKDDI、ハルシネーションを抑えたLLMを共同研究
マイクロソフト、「Copilot Pro」の「GPT Builder」をわずか3カ月で廃止
LLM開発にもオープンソースの哲学を ―Red HatがIBMとともにInstructLabで挑むAI民主化へのアプローチ | gihyo.jp
論語と算盤と技術 ーー LayerX 入社エントリ｜Qluto
AIのエージェント化に挑むApple Intelligence - FIRE: 投資でセミリタイアする九条日記
バーチャルヒューマン開発のAww、NVIDIAと提携 - 日本経済新聞
Metaがいかにして大規模言語モデルをトレーニングしているか、その取組みを大公開
How Meta trains large language models at scale
宮崎銀行、融資の稟議書を生成AIで作成、手作業と比べて作業時間を95％削減 | IT Leaders
先行するGoogleをMS・Appleが猛追、クラウド使わずAI動かす「オンデバイスSLM」