C／C++の脆弱性をLLMで検出 Googleが新研究開発プロジェクト「Naptime」を発表
Googleは2024年6月20日（現地時間）、脆弱（ぜいじゃく）性の検出に大規模言語モデル（LLM）を活用する新しい研究開発プロジェクト「Naptime（お昼寝タイム）」を発表した。 C／C++の脆弱性検出はLLMに任せて“お昼寝しよう” NaptimeはAIエージェントとターゲットコードベース間のインタラクションを中心に構築されたアーキテクチャだ。特にC／C++の高度なメモリ破壊およびバッファーオーバーフローの脆弱性を発見することに焦点を当てている。この2つの対象は従来の方法論では発見することが難しく、GoogleはLLMを利用することで検出効率を最大20倍まで改善できると説明している。 なお、プロジェクト名の由来は開発した成果物がセキュリティ担当者やIT担当者を支援し、定期的に昼寝ができるくらいにはなりたいという願掛けになっているという。 Naptimeのアーキテクチャはセキュリティ
Claude 3.5 "Sonnet" 公開、GPT-4oに匹敵する性能かつ低価格を謳う
6月21日、Anthropicは最新のAI言語モデル「Claude 3.5 Sonnet」を発表した。このモデルは3月に発表されたClaude 3を基盤にしたシリーズ初の「3.5」モデルで、テキスト作成、データ分析、コード作成などが可能である。200,000トークンのコンテキストウィンドウを特徴とし、現在ClaudeのウェブサイトとAPIを通じて利用可能である。また、Claudeインターフェースに新機能「Artifacts」が追加され、関連する作業ドキュメントを専用ウィンドウで表示することができる。 arstechnicaの報道によると、このモデルは非常に高評価を受けているという。独立AI研究者のサイモン・ウィリソンは、「このモデルは非常に優れている」と述べており、「Opusの半分の価格であり、GPT-4 Turboに匹敵する性能を持っている」と評価している。 Anthropicによると、
Metaがいかにして大規模言語モデルをトレーニングしているか、その取組みを大公開
6月13日、Engineering at Metaで「Metaが大規模言語モデルをトレーニングする方法(How Meta trains large language models at scale)」と題した記事が公開された。この記事では、AIの研究開発において直面している計算規模の大幅な拡大にどのように対処しているかについて詳しく紹介されている。 以下に、その内容を簡潔にまとめて紹介する。 大規模モデルのトレーニングの課題 大規模な言語モデル（LLM）のトレーニングでは、GPUの数が増えるにつれて、ハードウェアの故障による中断の可能性が高まる。これを最適に行うためには、次の4つの要素が重要である。 ハードウェアの信頼性：ハードウェア故障を最小限に抑えるため、厳格なテストと品質管理を行う。 故障時の迅速な復旧：ハードウェア故障が発生した場合、迅速に復旧する必要がある。これには、再スケジュー
Nvidia、新しいAIベンチマークでも圧倒的な性能 ー 9つのベンチマークすべてでトップ
6月13日、IEEE Spectrumが報じたところによると、Nvidiaは最新のAIテストでの圧倒的な成果を発表した。長年にわたり、Nvidiaは多くの機械学習ベンチマークで支配的な地位を築いている。 MLPerfは、しばしば「機械学習のオリンピック」と呼ばれるAIベンチマークスイートであり、競合するコンピュータシステム間の比較をより明確にするための新しいトレーニングテストを発表した。この新しいテストには、大規模言語モデルの微調整とグラフニューラルネットワーク（GNN）が含まれる。 今回のテストには、GoogleやIntelのAIアクセラレータを使用したシステムも参加したが、NvidiaのHopperアーキテクチャを搭載したシステムが再び圧倒的な結果を示した。特に、11,616個のNvidia H100 GPUを搭載したシステムは、9つのベンチマークすべてでトップを飾り、そのうち5つ（新
GW、暇なら読んどく？ 企業が無料公開した研修資料まとめ 「AI活用」「グラブル裏側」「うんこのリスク」など
2024年のゴールデンウイークがやってきた。暦の上では、3連休、平日3日、4連休と続いており、最大で10連休を取得し、休みを満喫している人も多いと思う。その中には、外出はせずに自宅でゆっくり過ごすという人もいるかと思うが、そんな人たちにおすすしたい、無料で読める研修資料を紹介したい。 昨今さまざまな企業で、自社の研修で使った資料を社外に公開するケースが相次いでいる。「事業や教育に役立ててほしい」という思いから公開されるそれらの資料たちは、新入社員向けの仕事の心構えを説くものや、各業務の基礎を解説した教材、今話題の生成AIの活用方法など多種多様である。 今回は、過去にITmedia NEWSやITmedia AI＋で取り上げた記事の中から数点を紹介する。ゴールデンウイーク中に読むもよし、連休明けの仕事始めのモチベーションを上げるために読むもよし、“あとで読む”用にブックマークしてもよし。それ
【海外で話題】PyTorch、新ライブラリtorchtuneをリリース ー LLMのファインチューニングを容易にするPyTorchネイティブのライブラリ
4月18日、PyTorchチームは新しいライブラリ「torchtune」を公開した。このライブラリはPyTorch固有の機能を活用し、大規模言語モデルのファインチューニングを容易にすることができる。 4月18日、PyTorchチームは新しいライブラリ「torchtune」を公開した。このライブラリはPyTorch固有の機能を活用し、大規模言語モデルのファインチューニングを容易にすることができる。 torchtuneの設計方針 PyTorchの設計原則に則り、 torchtuneは組み合わせ可能なモジュラー構成ブロック と 拡張しやすいトレーニングレシピ を提供し、一般的な消費者向けGPUからプロフェッショナルなGPUに至るまで、様々な環境で人気のLLMをファインチューニングする支援を行う。 torchtuneはファインチューニングの全工程をサポート しており、モデルチェックポイントのダウン
「Meta AI」公開 ー AI×SNS時代の幕開け
4月19日、Meta社は新しいAIアシスタントである「Meta AI」を公開した。 このAIはMeta Llama 3技術を基に構築され、モバイルアプリに既に無料で組み込まれている。Meta AIはFacebook、Instagram、WhatsApp、Messengerなどで利用可能で、情報検索、創作活動、コミュニケーション支援など多岐にわたる機能を提供する。 4月19日、Meta社は新しいAIアシスタントである「Meta AI」を公開した。 このAIはMeta Llama 3技術を基に構築され、モバイルアプリに既に無料で組み込まれている。Meta AIはFacebook、Instagram、WhatsApp、Messengerなどで利用可能で、情報検索、創作活動、コミュニケーション支援など多岐にわたる機能を提供する。 Meta AIは英語版としてアメリカ以外の12か国以上で展開されてい
Meta、自慢の「AI専用インフラ」の現状と未来を語る ー 「まだ旅は始まったばかり」
4月11日、Metaは次世代のAI専用インフラストラクチャについて、同社の独自チップ「MTIA」の新バージョン、そして同社のAIインフラの将来について述べたブログを公開した。 4月11日、Metaは次世代のAI専用インフラストラクチャについて、同社の独自チップ「MTIA」の新バージョン、そして同社のAIインフラの将来について述べたブログを公開した。 昨年、Metaは独自に設計した第一世代AI推論アクセラレータである Meta Training and Inference Accelerator（MTIA）v1 を発表した。これはMetaが提供するサービスで利用する、大規模な深層学習推薦モデルに特化して設計されたもの である。 MTIAは、Metaのサービス独自の要件に特化し、最も効率的なアーキテクチャを提供することを目的としている。このチップは実際にMetaのデータセンターに配備されており
背景も、ぼやけも、ライトもAIに編集してもらう時代 ー Google Photos、3つのAI編集ツールを無料で利用可能に
4月11日、GoogleはすべてのGoogle Photosユーザーに向けて、写真をプロのように編集できるAI編集ツールの提供を開始した。 Google Photosを使用するすべての人が、以下のようなAI編集ツールをサブスクリプション不要で利用可能となる。 わずかな操作で写真から不要な物体を消去する「Magic Eraser」 写真のぼやけを解消し、画質を鮮明化する「Photo Unblur」 ポートレート写真において光の方向や明るさを自由に調整できる「Portrait Light」 これらは、専門的な編集技術がなくても、誰でも簡単に高品質な写真編集を行うことを可能にする。 さらに、Googleは昨年、Pixel 8とPixel 8 Proで「Magic Editor」を導入した。これは、生成AIを利用して、被写体の位置の変更や空の色の変更など、複雑な編集を直感的な操作で実現するエディタ
「Made with AI」ラベルはInstagramを変えるか ー Meta、AI生成コンテンツに対するポリシーを表明
4月6日、MetaはFacebook、Instagram、Threadsにおける、AIによって生成されたメディアに対するポリシーを表明した。 これらの変更は、Oversight BoardからのフィードバックとMetaのポリシー見直しプロセスを受けて実施され、現代のコンテンツの広範な範囲を反映し、ラベルを通じてコンテンツについてのコンテキストを提供することを目指している。 AI技術の急激な進展 Oversight Boardは、Metaによって設立された独立した監視機関であり、コンテンツのモデレーション決定に対するレビューを行い、Metaのポリシーとプラクティスの改善を提案する役割を持っている。Metaは、Oversight Boardの提言に同意し、既存のアプローチがカバーする範囲がビデオのみという点で、「狭すぎる」と判断した。 この方針は、リアルなAI生成コンテンツが珍しかった2020
「仕事を早く終わらせたいだけ」がセキュリティの脅威に ー AI時代の生産性とセキュリティの間の緊張関係
4月4日、1Passwordは「AI時代のセキュリティと生産性（Security and productivity in the age of AI）」という年次セキュリティレポートを公開した。このレポートは、ビジネスの進歩がセキュリティにとってしばしば逆効果になる可能性があるという、避けられない結論に達している。 4月4日、1Passwordは「AI時代のセキュリティと生産性（Security and productivity in the age of AI）」という年次セキュリティレポートを公開した。このレポートは、ビジネスの進歩がセキュリティにとってしばしば逆効果になる可能性があるという、避けられない結論に達している。 北米のホワイトカラー従業員1,500人、うちセキュリティ専門家500人を対象に実施した調査により、生産性とセキュリティの間に新たな緊急性を帯びた緊張関係が浮かび上が
Cloudflare、AI対応を大幅強化 ー Workers AIの一般提供開始、Pythonサポート、Hugging Faceとのパートナーシップ拡張
4月3日、Cloudflareは「Workers AI」の一般提供開始（GA）と複数の新機能を公開した。 この発表は、AI推論プラットフォームの信頼性とパフォーマンスの向上、GPUハードウェアの更新、Hugging Faceとのパートナーシップの拡張、独自のLoRAファインチューニング推論の提供、WorkersにおけるPythonサポート、AI Gatewayにおけるプロバイダーの追加、およびベクトル化メタデータフィルタリングなど、幅広い領域に及ぶ。 Workers AIが一般提供開始 Workers AIが正式に一般提供を開始し、オープンベータ期間からのフィードバックを元にサービスが強化された。Cloudflareは、AI推論を同社ネットワークの他のサービス同様に信頼性が高く利用しやすいものにする目標の下、内部のロードバランシング機能をアップグレードし、リクエストをより多くのGPUに、1
プロンプトエンジニアリングとは？ 16種類の手法を記述例とともに解説
1.プロンプトエンジニアリングとは 1-1.プロンプトとは 1-2.プロンプトの構成要素 2.プロンプトエンジニアリングの代表的な手法 2-1.Zero-shot prompting 2-2.Few-shot prompting 2-3.CoT（Chain-of-Thought） Prompting 2-4.Zero-shot CoT 2-5.Self-Consistency 2-6.Generate Knowledge Prompting 2-7.ReAct 2-8.Directional-Stimulus -Prompting 2-9.Multimodal CoT Prompting 3.敵対的プロンプトエンジニアリングの代表的な手法 3-1.Prompt-Injection 3-2.Prompt-Leaking 3-3.Jailbreak 3-4.Do Anything Now 3-
ChatGPT、記憶を持つように ー 「メモリー」機能がテスト中
ChatGPTが進化を遂げ、新たな機能「メモリ」が導入された。この新機能により、ChatGPTはユーザーとの対話から得た情報を記憶し、将来の対話で活用することが可能となる。 ChatGPTが進化を遂げ、新たな機能「メモリ」が導入された。 この新機能により、ChatGPTはユーザーとの対話から得た情報を記憶し、将来の対話で活用することが可能となる。 「メモリ」の基本的な機能は、ChatGPTが対話の中でユーザーが共有した情報を覚え、それを利用して対話の一貫性や効果を向上させるものだ。 例えば、ユーザーが以前「会議のメモは見出し、箇条書き、アクションアイテムのようにまとめるのが好きだ」と伝えた場合、ChatGPTはこの情報を覚え、今後の会話でそれに基づいたメモを生成するようになる。 ユーザーはChatGPTのメモリを柔軟にコントロールできる。オプションでメモリをオンまたはオフに切り替えたり、C
Google、GPU不要でLLMの実行を可能にするツール「localllm」を公開
2月7日、Google Cloudがブログで紹介したところによると、大規模言語モデル（LLM）をGPUなしでローカル実行できる新しいツール「localllm」を発表した。localllmはCPUとメモリでLLMを実行可能にし、特にGPUの不足が課題となる開発者に新たな選択肢を提供する。 このアプローチでは、Google Cloudの完全管理型開発環境であるCloud Workstations内で、GPUなしでLLMを実行できる。具体的には、HuggingFaceの「TheBloke」リポジトリのLLMモデルを使用し、CPUや低消費電力GPUで動作できるように最適化された量子化手法を採用している。 量子化モデルは、制限された計算リソースを持つローカルデバイスで効率的に動作するように最適化されたAIモデルだ。例えば、以下の利点が挙げられる： パフォーマンスの向上: 低精度データ型を使用すること
【BardがGeminiになりました】Google、有料版「Gemini Advanced」と新モバイルアプリもリリース
2月9日、Googleは、同社のAIチャットサービス「Google Bard」を「Gemini」にリブランディングするとともに、有料版「Gemini Advanced」と新しいモバイルアプリの発表を行った。40以上の言語、230以上の国と地域で「Pro 1.0」と呼ばれるAIモデルとチャットを行える。 Google Gemini 更にGeminiは、次の2つの新しいエクスペリエンスを提供している: Gemini Advanced: この新しいエクスペリエンスでは、「Pro 1.0」を超えたAIモデルである「Ultra 1.0」にアクセスできる。Gemini Advancedは、複雑なタスクの実行において非常に優れており、コーディングや論理的推論、クリエイティブプロジェクトにおいて高度なサポートを提供する。Gemini Advancedは、長く詳細な対話を可能にし、前回のプロンプトからの文脈
Meta、AI生成画像に「Imagined with AI」ラベルを導入すると発表 ー Facebook、Instagram、Threads上で
2月7日、Meta社はAI生成画像に「Imagined with AI」ラベルを導入する方針を発表した。AI画像生成ツールを使用して作成された写真には、自動的にAIの関与を示すラベルが適用され、透明性が向上する。 2月7日、Meta社はAI生成画像に「Imagined with AI」ラベルを導入する方針を発表した。AI画像生成ツールを使用して作成された写真には、自動的にAIの関与を示すラベルが適用され、透明性が向上する。 ラベリングの新しいアプローチ Meta社は他社と連携してAI生成コンテンツを特定する共通の技術基準を開発している。 IPTCメタデータと不可視の透かしはPAI（Partnership on AI）のベストプラクティスと一致しており、他社が作成した画像にも同様のラベルが適用される見通しだ。 ※ IPTCメタデータ …IPTC（International Press Tel
グーグルのAI画像生成「ImageFX」を体験、リアルな画像に感心
Googleの人工知能（AI）画像生成ツール「ImageFX」が公開されたのは、「DALL・E 3」の公開から1年以上経った米国時間2月1日のことだった。そのため、待つだけの価値はあったのかという疑問がどうしても湧いてくる。これに対する筆者の答えは、その価値はあった（しかも驚くべきものだった）というものだ。 この無料ツールは、米国など一部の国で提供されている。それらの国では、「LABS.GOOGLE」にアクセスして「IMAGEFX」を選択するか、ImageFXのページに直接アクセスし、Googleアカウントにサインインすると利用できる。 画像を生成する方法は、テキストから画像を生成できる他のツールと同じだ。画像にしたい内容を好きなだけ詳しく、あるいは好きなだけ簡単に入力すればいい。 GoogleはImageFXを支えるAIモデル「Imagen 2」について、手や顔の生成など、画像への変換が
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Google、Gemini 1.5 Proリリース ー JSONモードやFile APIなど、開発者向けの機能が大幅に強化
Google、Gemini 1.5をリリース ー MoEアプローチの採用、複数ファイルやコードリポジトリ全体を理解
