生活保護の扶養照会。田村厚労大臣「いや、ですから、家族関係が壊れてるような、そんな場合は照会しません。もう壊れてるんですから」。小池晃議員「壊れてないんですよ。壊れてないから、知られたくないんですよ」😭この人間理解の差。菅首相の共… https://t.co/yngKZn2sLM
タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
マイクロソフトは4月23日、生成AI向けの小規模言語モデル(SLM)「Phi-3-mini」を発表した。 Phi-3-miniは、パラメーター数が38億の比較的小型軽量な言語モデル。単純なタスクに適しており、特定のニーズに合わせて容易に微調整できる点を特徴とする。スマートフォンや自動車のコンピューター、リモートカメラといったリソースの少ないデバイスでも利用できるほか、オフライン動作にも対応し、ネット接続が困難な地域でも生成AIの恩恵を受けられるという。 同社が実施したベンチマークテストでは、パラメーター数で勝るメタの「Llama 3-8B-in」(80億)や、グーグルの「Gemma 7B」(70億)に対して、より優れた性能を発揮。特にLlama 3に関しては、4月18日のリリースからわずか5日でPhi-3-miniに追い越される形となった。 ただしPhi-3-miniも万能ではなく、広範な
先日行われた、米Microsoftの開発者向けイベント「Microsoft Build 2024」。AI系技術を中心にさまざまな発表があったが、目玉の一つだったのが、SLM(Small Language Model)関連の新製品だ。ITmediaでも紹介記事が公開されているので、具体的な情報は以下を参照してほしい。この記事では、そもそもSLMとは何か、何が期待されているのかを整理してみよう。 (関連記事:Microsoft、Windowsローカルで実行可能なSLM「Phi Silica」を全「Copilot+ PC」に搭載へ) (関連記事:Microsoft、マルチモーダルなSLM「Phi-3-vision」をプレビュー) “大は小を兼ねない”「小規模言語モデル」(SLM)とは? SLMは日本語で「小規模言語モデル」と訳されている。名前から分かるように、ChatGPTを始めとした生成AIア
生成AI領域における言語モデルは今、いくつかの方向で開発が進められている。 その1つは「大規模言語モデル(LLM)」の開発。大規模言語モデルは、生成AIの代名詞的な存在で、文字どおりサイズ(パラメータ数)が大きなモデルを指す。最近の例でいえば、GPT-4oやClaude 3 Opusなどが代表格といえるだろう。パラメータ数は公開されていないが、非常に大規模なモデルといわれており、パフォーマンスもかなり高いものとなっている。 もう1つが、大規模言語モデルに比べ規模が小さな言語モデル(Small Language Model=SLM)の開発だ。SLMとは、LLMよりもパラメータ数が少なく、よりコンパクトで効率的なAIモデルのことを指す。一般的にLLMが数百億から数千億のパラメータを有するのに対し、SLMは数億から数十億程度のパラメータで構成される。 LLMは、テキストや画像、音声、動画など幅広
「Phi-3」「Llama-3」「GPT-4o mini」などの小規模言語モデルを使用して生成AIの回答精度を向上させる「SLMファインチューニング」カスタムサービスを開始 AIソリューション事業を手掛ける株式会社ヘッドウォータース(本社:東京都新宿区、代表取締役:篠田 庸介、以下「ヘッドウォータース」)は、生成AIの業務活用を推進する企業向けに「SLMファインチューニング」カスタムサービスの提供を開始しました。 同サービスは、マイクロソフト株式会社が提供する「Azure AI モデルカタログ」から選べるオープンソースAI基盤モデル「Phi-3」、「Llama-3」、並びに「GPT-4o mini」を中心とした小規模言語モデルを使用して、生成AIの回答精度を向上させるサービスとなり、生成AIが作成する文章の精度では業務利用が厳しいと考えられている企業に有用なサービスとなっております。 ヘッ
米Microsoftは4月23日(現地時間)、小規模言語モデル(SLM)の「Phi-3」を発表した。3サイズ(mini、small、medium)あり、最小モデルのminiは同日からAzure AI Studio、Hugging Face、Ollamaで利用可能になった。 miniのトレーニングデータは38億パラメータ。smallは70億、mediamは140億と、大規模言語モデル(LLM)より少ないが、高品質なデータでトレーニングしているため、「主要なベンチマークにおいて、同じサイズまたはより大きなサイズの言語モデルよりも大幅に優れたパフォーマンスを示す」という。 例えばPhi-3-smallは、米OpenAIのGPT-3.5 Turbo(パラメータ数は公表されていないが、約175億とみられている)などの「はるかに大きなモデルよりも優れたパフォーマンスを発揮する」としている。 Micro
米Microsoftは5月21日(現地時間)、開発者向け年次開発者会議「Microsoft Build 2024」の基調講演で、ローカルで実行可能なSLM(小規模言語モデル)「Phi Silica」(ファイシリカ)を発表した。前日発表した一連の「Copilot+ PC」に搭載していく。 Microsoftは「Phi-3」ファミリーでSLMを展開しているが、Phi SilicaはPhi-3の最小モデル「Phi-3-mini」(38億パラメータ)より小さい33億パラメータ。 Copilot+ PCのNPU(ニューラルプロセッシングユニット)に最適化されており、トークン生成はNPUのキャッシュを再利用してCPUで実行され、1秒当たり約27個のトークンを生成するという。これにより、閲覧中の画面を数秒ごとに保存しておき、後から横断検索できる「回顧」(Recall)機能などを高速に実行できる。 「回顧
米Microsoftは5月21日(現地時間)、開発者向け年次開発者会議「Microsoft Build 2024」の基調講演で、SLM(小規模言語モデル)「Phi-3」ファミリーの新メンバー「Phi-3-vision」(以下「vision」)を発表した。画像を解析するマルチモーダルなSLMだ。プレビュー版を利用可能。 SLMは単純なタスクで適切に実行できるように設計されており、リソースが限られる組織や端末上でローカルに実行する必要があるアプリに適した言語モデルだ。 visionは、描画はできないが、モバイル端末で利用可能なコンパクトさだ。42億パラメータモデルで、グラフや画像に関して質問すると、それについて説明してくれる。 Microsoftは「visionは画像とテキストを一緒に検討する必要があるタスクに最適だ」としている。多様なハードウェアで実行できるように最適化されており、開発者はモ
Microsoft Researchの機械学習基盤チームは2023年12月12日(米国時間)、小規模言語モデル(SLM)の「Phi-2」を発表した。 Microsoft Researchは過去数カ月の間、SLMの研究開発を進めてきた。これまで、Pythonコーディングに特化した13億パラメーターを持つ「Phi-1」や、推論能力と言語理解に焦点を当てた「Phi-1.5」をリリースしてきた。Phi-2は27億パラメーターのSLMであり、さまざまなベンチマークにおいて、最大25倍の大規模言語モデル(LLM)に匹敵する性能を持つという。 Phi-2の特徴 Microsoft Researchは、数百億のパラメーターを持つ言語モデルと同等の性能を小規模なモデルで達成することを目的に、Phiの研究開発を進めてきた。Phi-2の特徴として次の2つを挙げている。 関連記事 Googleが次世代AIモデルで
関連キーワード 人工知能 テキストや画像を生成する人工知能(AI)技術「生成AI」の導入が加速した背景には、大規模言語モデル(LLM)の性能向上が大きく寄与している。LLMの回答精度や文脈の理解力が飛躍的に進化し、企業もエンドユーザーもその実用性を実感したはずだ。一方で、ビジネスで生成AIを活用する企業は、小規模言語モデル(SLM)などLLM以外の選択肢にも目を向けるようになっている。なぜなのか。 「LLM」ではなく「SLM」を使うと何がうれしい? 併せて読みたいお薦め記事 連載:小規模言語モデル(SLM)が台頭 前編:Microsoftが「スマホで使える小型AI」を開発した理由 なぜLLMでは駄目なのか? 生成AIとコストに関する記事 「GPUの進化」は企業にとって“うれしいことばかり”ではない? 「生成AIのこれから」を予測 幻滅期がないなら“次の進化”はこれだ 各ベンダーがより多機能
2024年5月から6月にかけて、米Google(グーグル)、米Microsoft(マイクロソフト)、米Apple(アップル)の大手プラットフォーマー3社が生成AI(人工知能)についての新施策を相次いで発表した。各社の取り組みを比較しながら、生成AIの最新動向を見ていこう。 2024年初夏、グーグル、マイクロソフト、アップルがそれぞれ開発者会議を開催した。話題の中心はやはり生成AIだが、2023年までとは異なる新しいトレンドも見られた。スマートフォンやパソコンなどのデバイス上で稼働するオンデバイス生成AIに関する動きだ。 米OpenAI(オープンAI)が2022年11月にChatGPTを発表して以来、生成AIの主役といえばLLM(大規模言語モデル)がクラウド上で推論を行う「クラウドLLM」だった。それに対して2024年は、大手プラットフォーマー3社が一斉にオンデバイスの生成AIに力を入れ始め
はじめに Microsoft社が2024年4月23日に商用利用可な小型言語モデル(SLM)のPhi-3(mini(3.8B)、small(7B)、medium(14B))を発表し、同日miniについて公開しました。 *3.8B〜14Bのため大規模言語モデル(LLM)とは言わず小規模言語モデル(SLM)と言っているのは共感が持てます。他の言語モデルも名称を共通化して欲しいですね😁 どのくらいの精度のものなのか早速検証してみました。 検証環境 今回は、Phi-3-mini-4k-Instructモデルを使用しました。 Googleコラボ Pro+ で A100 環境を使用しました。GPU RAMが8.4GB程度で動いているのでV100等でも動くと思います(なお、CPUでも動くとありましたがCPUリソースでは筆者の環境では残念ながらレスポンスが返ってきませんでした)。 パラメータは、max_n
米アップルが10年続けてきた電気自動車(EV)の開発計画を断念したというニュースは投資家にとって朗報だったようだ。 米ブルームバーグ通信などの報道によれば、アップルはEV開発の人員を、スマートフォン「iPhone」などのAI(人工知能)機能の開発に振り向ける。一方、AIサービスの分野では、米マイクロソフトや米グーグルといった競合の動きが速く、アップルがこれらに追いつけるかどうかが注目されている。 アップル、再びiPhoneの機能拡充に注力 英フィナンシャル・タイムズ(FT)によると、アップルのAI開発はこれまで主に、自動運転EVや複合現実(MR)端末「Vision Pro(ビジョンプロ)」といった新しいハードウエアの市場を開拓するための手段として進められてきた。しかしEVプロジェクトの終了と、MR端末の出足の鈍さに伴い、アップルは再びiPhoneの機能拡充に注力するようになった。 FTによ
マイクロソフトは4月23日、生成AI向けの小規模言語モデル(SLM)「Phi-3-mini」を発表した。「Azure AIモデルカタログ」や「Hugging Face」から利用可能だ。 【もっと写真を見る】 マイクロソフトは4月23日、生成AI向けの小規模言語モデル(SLM)「Phi-3-mini」を発表した。 Phi-3-miniは、パラメーター数が38億の比較的小型軽量な言語モデル。単純なタスクに適しており、特定のニーズに合わせて容易に微調整できる点を特徴とする。スマートフォンや自動車のコンピューター、リモートカメラといったリソースの少ないデバイスでも利用できるほか、オフライン動作にも対応し、ネット接続が困難な地域でも生成AIの恩恵を受けられるという。 同社が実施したベンチマークテストでは、パラメーター数で勝るメタの「Llama 3-8B-in」(80億)や、グーグルの「Gemma 7
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く