1. 第3次AIブームの到来 米Google DeepMindが開発した人工知能（AI）の囲碁プログラム「AlphaGo」が世界トップレベルの実力を持つ韓国のプロ棋士、李世ドル（イ・セドル）九段に4勝1敗と大きく勝ち越したことが着火剤となり、2015年より第3次AIブームへと突入した。(ちなみにAIが誕生したのは1950～1960年代で第1次AIブームの到来) 1.1 余談になるがAlphaGo(4億円の知能)はなぜすごいのか？ AlphaGoがそれ以前のチェスや将棋のAIと異なるのは、 畳み込みニューラルネットワーク（CNN） を応用している点だ。このCNNはさらに強化学習を行い、自分自身と対局を数千万回も繰り返した。 間違っていたらすみません、、、、 1.2 ChatGPTによる生成AIのブーム ChatGPTに代表されるLLMは以前から開発競争が繰り広げられていた。 GPT1は201
今日のWebは商取引などの目的に最適化され、少数の企業によって所有されている。個人に力を与え、自己表現を促すかつてのWebの魅力を取り戻す「HTMLエネルギー（HTMLエナジー）」というムーブメントが密かに盛り上がりつつある。 by Tiffany Ng2024.01.08 363 9 Webサイトは、常に洗練されたデジタル体験だったわけではない。 かつて、ネットサーフィンをするには、自分の意に反して音楽が再生されるタブを開いたり、色つきの背景にタイムズ・ニュー・ローマン書体の文字がびっしり詰まったページを読んだりする必要があった。スクエアスペース（Squarespace、Webページ作成サービス）やソーシャルメディアが登場する以前の2000年代、Webサイトは個性を表現するものであり、コードの知識とインターネット上に存在したいという願望を持ったユーザーが、HTMLを使ってゼロから作るもの
米OpenAI「公表しないで……」 ブラックボックスであるLLMの中身を“盗む”攻撃 米Googleらが発表
このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 Twitter: ＠shiropen2 米Google DeepMindなどに所属する研究者らが発表した論文「Stealing Part of a Production Language Model」は、米OpenAIのGPT-4や米GoogleのPaLM-2などのクローズドな大規模言語モデル（LLM）から、モデルの一部を盗み出す攻撃を提案した研究報告である。言語モデルのAPIへのクエリを通じて、低コストでモデルの内部構造に関する情報を抽出することに成功した。 GPT-4やPaLM-2などの最先端AIモデルは、APIを通じて一般ユーザーに提供されているが、内部構造や学習に使用され
また、Gemmaの事前トレーニング済みモデルでは、学習データから特定の個人情報やその他の機密データを除外していると安全性もアピール。開発者や研究者向けに、安全で責任あるAIアプリケーションを構築できるというツールキット「Responsible Generative AI Toolkit」も併せて公開している。 関連記事 Google、“現行最強”の生成AI発表 月2900円で利用可 チャットAIサービスはBard→Geminiに刷新 米Googleは2月8日（現地時間）、「現行最強」をうたう生成AI「Gemini Advanced」を発表した。すでにサービスを提供開始しており、月額2900円で利用可能。2カ月間の無料試用期間も用意する。 Google、「Gemini 1.5 Pro」限定リリース コンテキストウィンドウは100万トークン Googleは、生成AIの次世代モデル「Gemini
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます Googleが人工知能（AI）に多額の投資を行ってきたことを考えれば、同社が先頃、独自の画像生成AIツール「ImageFX」を公開したのは、意外なことではない。ImageFXは、OpenAIの「DALL-E 3」や「Midjourney」「Image Creator from Microsoft Designer」といった多くの画像生成AIツールの強力なライバルになるはずだ。 ImageFXは、テキストから画像を生成するGoogleのテクノロジー「Imagen」の最新世代である「Imagen 2」を利用する。ImageFXで作成されるすべての画像には、DeepMindの「SynthID」が埋め込まれる。SynthIDは、肉眼では見えない
LLM時代のX情報収集術｜べいえりあ
AI for Everyoneについては日本語版もあるのと、どちらのコースも日本語字幕付きで見られる（多分機械翻訳での英語字幕からの翻訳だが、翻訳の質は悪くない）ので、英語分からなくてある程度何とかなるんじゃないかと思います。 あと、余力のある人、最新のNLP研究を理解したい人はこちらの本を読むことをオススメします。アルゴリズムの詳細は必ずしも理解しなくても良いですが、どんなタスクがあるのかは理解しておいた方が良いかと思います。 NLPの知識がLLMを応用する上で実際にどう役に立つかですが、例えばで言うとNLP的には対話の中には「タスク指向型対話（task-oriented dialogue）」と「雑談（chit-chat dialogue）」があります。それぞれ対話の中で重要視されるものから評価の仕方まで全然違うのですが、NLPをやらずにLLMをやっている人と話しているとこれらをごっちゃ
AIにとって微分可能性が必須条件でなくなりつつある意味 2024.07.04 Updated by Ryo Shimizu on July 4, 2024, 12:26 pm JST かなり長い間、本欄でも「AI(人工知能)」と書くときに、注釈として「AI(人工ニューラルネットワーク)」と書く必要があった。 というのも、AIという言葉が指す意味は範囲がとても広く、解釈次第ではただの電卓や辞書、IMEまでもがAIと呼べてしまうからだ。 だから、「AI」という言葉を多用する人を見た時、それは「新しいインチキ(Atarashii Inchiki)」であると考えた方が良いというジョークを言ったものである。 ここ5年で、事態は一気に変化した。今やニューラルネットワークでないものを「AI」と呼ぶのは憚られる。まあそれでもニューラルネット以前の古いシステムをいまだに「AI」と呼ぶようなIT(インチキ)企
生成AIを使った実験を重ねるにつれて、クリエイティブ分野での限界が明確に理解されるようになってきた。AIとアーティストたちの力関係を変えようとする取り組みもいくつか始まっている。 by Melissa Heikkilä2024.06.30 190 8 この記事の3つのポイント AIとアーティストとの関係性はこの2年間で変化しつつある 独創的で面白いものを生み出すのは難しく、補強ツールとして使うのが最適 権利侵害を防ぐ技術やツールも開発が進み、不安を和らげている summarized by Claude 3 この記事は米国版ニュースレターを一部再編集したものです。 人工知能（AI）のジョークはありきたりだ。グーグル・ディープマインド（Google DeepMind）の研究チームがプロのコメディアン20人に依頼し、一般的なAI言語モデルを使ってジョークやコメディパフォーマンスの台本を書いてもら
テキスト-画像生成AIは物語性のある複数の画像を生成するのが苦手だ。複数の画像で、設定に一貫性を持たせるのが難しいからだ。だが最近、物語を一度入力すると、それに合った一連の画像を生成するサービスが登場した。 by Will Douglas Heaven2024.03.07 177 10 13年前、ジャーナリズムの授業の宿題で、私は高級キャットフードを食べる男に関する馬鹿げた短い物語を書いた。今朝、私は「ロア・マシーン（Lore Machine）」という生成（ジェネレーティブ）AIプラットフォームが、自分の書いたおかしな話に命を吹き込むのを座って眺めていた。 自作の物語をテキストボックスに入れると、次のようなメッセージが出た。「シーン、ロケーション、キャラクターと、雰囲気を特定しています。このプロセスには最長2分かかる場合があります」。ロア・マシーンは、テキストを分析し、キャラクター描写と言
AIの登場で人間の囲碁のレベルが劇的に向上していることが明らかに、囲碁以外の分野でもAIが頭打ちになった分野に成長をもたらす可能性
by hiroaki maeda Googleの人工知能(AI)研究所であるGoogle DeepMindが開発した囲碁AIの「AlphaGo」は、当時世界トップ棋士のイ・セドル九段を打ち負かすなど、目覚ましい成果を挙げました。そんな囲碁特化のAIの誕生により、人間の棋士のレベルも向上していることが報告されています。 After AI beat them, professional go players got better and more creative https://www.henrikkarlsson.xyz/p/go スウェーデンの作家であるヘンリック・カールソン氏によると、AIが登場する以前の1950年代から2010年代半ばまで、囲碁のプロ棋士の棋力は頭打ちで、上達の限界に達していたとのこと。以下のグラフは当時のプロ棋士が対局中に差す手の質を示したものです。 しかし、Alp
Gemini - Google DeepMind
The Gemini ecosystem represents Google's most capable AI.Our Gemini models are built from the ground up for multimodality — reasoning seamlessly across text, images, audio, video, and code.Latest updates
LLMにまず前提から尋ることで出力精度を向上させる『ステップバック・プロンプティング』と実行プロンプト | AIDB
ステップバック・プロンプティングは極めてシンプルで具体的なテクニックながら、CoT（Chain-of-Thought prompting）やTake a Deep Breatheといった既存の手法を凌駕する性能を発揮しています。 参照論文情報 ・タイトル：Take a Step Back: Evoking Reasoning via Abstraction in Large Language Models ・著者：Huaixiu Steven Zheng, Swaroop Mishra, Xinyun Chen, Heng-Tze Cheng, Ed H. Chi, Quoc V Le, Denny Zhou ・所属：Google DeepMind ・URL：https://doi.org/10.48550/arXiv.2310.06117 従来の課題 LLMはSTEM（科学、技術、工学、
強化学習におけるLLMの活用パターン調査 はじめに：実世界における強化学習の課題 LLM×強化学習 人間はゼロショット推論によりサンプル効率の良い学習ができる LLMによるゼロショット推論の例 さまざまなLLM活用パターン 1. 報酬モデルとしてのLLM LLMによる代理報酬モデル VLMによる外観ベース代理報酬モデル 外部知識にもとづく報酬モデル設計 2. 計画モデルとしてのLLM LLMによるセマンティック計画 LLMによる構造的な探索計画 3. 方策モデルとしてのLLM LLM as 確率方策 マルチモーダルLLM as 確率方策 参考：GPTアーキテクチャの転用 4. 世界モデルとしてのLLM Language Models Meet World Models (あとで書く) おわりに：VLM as 確率方策に期待 はじめに：実世界における強化学習の課題 レトロゲームで人間並みのパ
米Googleが12月7日に発表した新しいAIモデル「Gemini」。日本では、いすゞ車のイメージもあって「ジェミニ」と表記するのが一般的だが、X（旧Twitter）では「ジェミナイが正しいようだ」という話も広がっている。 確かにGoogleの発表動画を見返すと、Google DeepMindのデミス・ハサビスCEOや、同社チーフ・サイエンティストのジェフ・ディーンさんは「ジェミナイ」と発音しているようだ。また米国のDJ機器メーカー・GEMINIのように、日本では「ジェミナイ」で通っているブランドもある。
Googleが「人間の専門家レベルを超える最初のモデル」とする『Gemini』発表、GPT-4を凌駕 | AIDB
Googleは、人間の専門家のパフォーマンスを上回る最初の大規模言語モデル（LLM）として「Gemini」を発表しました。LLMの主要なベンチマークの一つであるMMLU（多領域の学術ベンチマーク）をはじめとするほとんどのベンチマークでGPT-4を凌駕しています。 Geminiは、画像、音声、動画の理解を含むマルチモーダルタスクでも最先端の性能を示しています。テストに使用された20のマルチモーダルベンチマーク全てで最高の水準を達成しています。 また、複数のソースからの情報を統合して、より正確で詳細に理解する能力に優れているとのことです。 なお、Ultra、Pro、Nanoの3つのサイズがあり、それぞれ異なる計算要件に特化して設計されています（例えばモバイル向けにはNanoなど）。Ultraは最も高度に複雑なタスクをこなし、研究報告では主にUltraの性能が他モデルと比較されています。 本記事
米X（旧Twitter）が9月29日に発効させするプライバシーポリシーの改定で、公開データをAIのトレーニングに使うことを新たに追加していたことが明らかになった。米IT系ブログStackdiaryが9月1日に指摘した。 日本語版では、「本ポリシーで概説されている目的のため、当社が収集した情報や一般公開された情報を、機械学習または人工知能モデルのトレーニングに使用することがあります。」となっている。 この件について、XのオーナーでCTO（最高技術責任者）のイーロン・マスク氏は「（トレーニングに使うのは）公開データだけで、DMやプライベートなものは対象外だ」とポストした。 マスク氏は7月、“スーパーインテリジェントAI”構築を目指して立ち上げる新企業ｘAIで、xAIのAIモデルのトレーニングに、Twitterの公開データを利用すると明言している。xAIのWebサイトには、「当社はX Corpと
日本新聞協会など4団体は8月17日、生成AIにまつわる著作権保護策の再検討を求める共同声明を発表した。日本の著作権法第30条の4が「諸外国に比べ、AI学習に極めて有利に作られていることは大きな課題」と指摘。AIに学習させる著作物データの保護をめぐり、権利者団体と関係当局の意見交換を求めている。 声明を出したのは、新聞協会と日本雑誌協会、日本写真著作権協会、日本書籍出版協会。 生成AIは、ネット上の大量のデータを、著作者の同意なく学習して開発されているケースが多い。日本では、著作権法第30条の4により、このデータ収集は、「著作権者の利益を不当に害する」場合はを除き、著作権を侵害しないとされている。 声明では「学習利用の価値が著作権者に還元されないまま大量のコンテンツが生成されることで、創作機会が失われ、経済的にも著作活動が困難になる」「海賊版をはじめとする違法コンテンツを利用した、非倫理的な
LINEは8月14日、日本語に特化した大規模言語モデル（LLM）「japanese-large-lm」を発表した。オープンソース（OSS）として公開し、商用利用も可能（Apache License 2.0）としている。 公開したLLMは、36億パラメーターと17億パラメーターの2つ。両モデルともHuggingFace Hubからアクセスできる。Web由来のテキストから大規模かつ高品質なデータ構築を行うため、OSSライブラリ「HojiChar」を使ったフィルタリング処理を実施。モデルの訓練には、LINE独自の大規模日本語Webコーパス（最終学習は約650GBのコーパスで実施）を利用したという。 LINEは独自LLM「HyperCLOVA」の開発を長年手掛けているが、今回のモデルは別の開発ライン（LINEのMassive LM開発ユニット）にて構築したもの。同チームでは、指示文に対して適切な出
東京発・AIドリームチーム「Sakana.ai」が45億円調達 元Googleトップ研究者らが設立 AI業界の著名人や日本の大手IT企業も出資
元米Googleの著名な研究者、リオン・ジョーンズ氏とデビッド・ハー氏が東京で立ち上げたAI企業Sakana.ai（東京都港区）は1月16日、シリコンバレーのベンチャーキャピタルやNTTグループ、KDDI、ソニーグループなどから45億円の資金を調達したと発表した。 調達元はシリコンバレーのベンチャーキャピタル米Lux Capitalや米Khosla Venturesに加え、日本ではNTTグループ、KDDI、ソニーグループ、ベンチャーキャピタルのみやこキャピタルやジャフコグループなども出資した。Googleで最高AI責任者を務めるジェフ・ディーン氏や、米Hugging Face創業者CEOのクレム・デラング氏、米Scale AI創業者CEOのアレックス・ワン氏といった個人からも出資を受けた。 調達した資金は人材採用に充てる。国内外から優秀なITエンジニア人材を集め、日本に招致するという。さら
OpenAI and Elon Musk
The mission of OpenAI is to ensure AGI benefits all of humanity, which means both building safe and beneficial AGI and helping create broadly distributed benefits. We are now sharing what we've learned about achieving our mission, and some facts about our relationship with Elon. We intend to move to dismiss all of Elon’s claims. Elon said we should announce an initial $1B funding commitment to Ope
米OpenAIの現従業員、元従業員のグループは6月4日（現地時間）、Google DeepMindの2人の従業員とともに、OpenAIを含むAI企業に対し、AIに関する安全性対策の改善と、危険性を報告した従業員の保護を求める書簡を公開した。 署名した13人中4人はOpenAIの現従業員として匿名で記載されている。 研究者が報復を恐れることなくAIの危険性について「警告する権利」を持てるよう、AI関連企業に強力な内部告発者保護を確立するよう求めている。 「私たちは最先端のAI企業の現従業員および元従業員であり、AIが人類に前例のない利益をもたらす可能性を信じている」が、「AI企業には効果的な監督を回避する強い経済的インセンティブがあり、企業統治の特注構造ではこれを変えるのに十分ではないと考えている」という。 グループは、「AI企業はAIの危険に関する膨大な非公開情報を保有しているが、こうした
「公開するApple vs. 隠すOpenAI」アップルが300億パラメータのマルチモーダルAI「MM1」発表。重要論文5本を解説（生成AIウィークリー） | テクノエッジ TechnoEdge
2014年から先端テクノロジーの研究を論文単位で記事にして紹介しているWebメディアのSeamless（シームレス）を運営し、執筆しています。 1週間分の生成AI関連論文の中から重要なものをピックアップし、解説をする連載です。第38回目は、生成AI最新論文の概要5つを紹介します。 Appleが最大300億パラメータを持つマルチモーダル大規模言語モデル「MM1」を開発 OpenAIなどのクローズド大規模言語モデルの一部を許可なく取得する攻撃、Googleなどが開発 GPT-3.5の隠れ層のサイズを約4096と推定。非公開LLMの中身を抽出する手法 WebページのスクリーンショットからHTMLコードを生成するAIモデル「Sightseer」をHugging Faceが開発 実世界に強いマルチモーダル大規模言語モデル「DeepSeek-VL」 Appleが最大300億パラメータを持つマルチモーダ
わずか1分で10日間の天気を予測可能なAI「GraphCast」をGoogle DeepMindが発表、スパコンで数時間かけた予測より高精度
Google DeepMindが気象予測AI「GraphCast」を発表しました。10日間の天気を予測する場合、従来の気象予測システムではスーパーコンピューターを数時間稼働させる必要がありましたが、GraphCastでは1台のマシンを1分稼働させるだけで従来の予測システムを超える精度での予測が可能とアピールされています。 Learning skillful medium-range global weather forecasting | Science https://www.science.org/doi/10.1126/science.adi2336 GraphCast: AI model for faster and more accurate global weather forecasting - Google DeepMind https://deepmind.google/
AIは入力されたプロンプトに従ってさまざまな問題を解決したり、自然な応答を生成したりすることができますが、その精度はプロンプトの書き方に影響されることがわかっています。新たに、「AIに『深呼吸をして』といった人間に送るようなアドバイスを与えると問題の正答率が上昇する」ということが、Google DeepMindの研究チームによって報告されました。 [2309.03409] Large Language Models as Optimizers https://arxiv.org/abs/2309.03409 Uh oh, now AI is better than you at prompt engineering | ZDNET https://www.zdnet.com/article/uh-oh-now-ai-is-better-than-you-at-prompt-engineer
Googleが2023年12月6日に発表した大規模言語モデル(LLM)の「Gemini」は、文字だけではなく画像や映像なども理解してユーザーとやり取りができるマルチモーダリティが大きな特徴で、Googleが公開したGeminiの性能を示すデモムービーは大きな話題となりました。しかし、このムービーで示されたGeminiのデモはフェイクではないかと指摘されています。 Google’s best Gemini demo was faked | TechCrunch https://techcrunch.com/2023/12/07/googles-best-gemini-demo-was-faked/ フェイクだと指摘されたデモムービーが以下。 Hands-on with Gemini: Interacting with multimodal AI - YouTube Bloombergの記者で
イーロン・マスク氏が7月に立ち上げたAI企業xAIは、同社初のAIモデル「Grok」を発表した。まだ初期β段階だが、ベンチマークでは「ChatGPT-3.5」や「Inflection-1」を上回るとしている。 イーロン・マスク氏率いる米AI企業xAIは11月4日（現地時間）、同社初のAIモデル「Grok」を発表した。マスク氏はそれに先立ち、GrokをXのハイエンドサブスクプランユーザーに提供する計画だとポスト済みだ。 xAIは企業サイトのトップページで「Grokは、『銀河ヒッチハイク・ガイド』をモデルにしたAIで、ほぼすべてのことに答えることを目的としており、質問すべきことを提案することさえできる」「ウィットに富んだ質問に答えるよう設計されており、反抗的な性格でもあるので、ユーモアが嫌いであれば使わないように」と説明している。 xAIは、全人類に利益をもたらすAIツールを構築するためにフィ
「Google Colab」で「Gemini API」を試したので、まとめました。 1. Gemini API「Gemini API」は、「Google DeepMind」が開発したマルチモーダル大規模言語モデル「Gemini」を利用するためのAPIです。 3. Gemini API の準備Colabでの「Gemini API」の準備手順は、次のとおりです。 (1) パッケージのインストール。 # パッケージのインストール !pip install -q -U google-generativeai(2) 「Google AI Studio」からAPIキーを取得し、Colabのシークレットマネージャーに登録。 キーは「GOOGLE_API_KEY」とします。 import google.generativeai as genai from google.colab import userd
このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高いAI分野の科学論文を山下氏がピックアップし、解説する。 X： ＠shiropen2 米シカゴ大学に所属する研究者らが発表した論文「Nightshade: Prompt-Specific Poisoning Attacks on Text-to-Image Generative Models」は、生成AIモデルの無断学習を抑止するために、学習されても予期せぬ動作をAIモデルに生成させる毒入りデータに画像を変換するツールを提案した研究報告である。 この攻撃は「Nightshade」と名付けられ、約200枚の細工画像をモデルの学習データに紛れ込ませるだけで、特定の単語に関連する画像生成を高確率で操作できてしまう。 攻撃者は特定の単
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
pythonは_(アンダースコア)の使い方を理解するだけでプロフェッショナルになれる - Qiita
「昔のインターネット」の精神を取り戻す、HTMLエネルギー運動
Google、オープンな生成AIモデル「Gemma」公開 商用利用OK、Geminiと同じ技術の軽量LLM
グーグルの新たな画像生成AIツール「ImageFX」の使い方
AIにとって微分可能性が必須条件でなくなりつつある意味
見えてきた「生成AIの限界」がアーティストの不安を取り除く
プロンプト不要、生成AIで誰でも物語からマンガが作れる
LLM時代の強化学習 - どこから見てもメンダコ
Googleの新AI、日本では「ジェミニ」「ジェミナイ」どっち？ 公式見解は
X（旧Twitter）、ユーザーの公開データをAIトレーニングに使うと改定ポリシーに明記
「生成AIは著作権保護の検討が不十分」新聞協会など声明 「著作権法30条の4は大きな課題」
LINE、日本語の大規模言語モデル公開 オープンソースで 商用利用もOK
OpenAIの現・元従業員ら、AIシステム構築の無謀さと秘密主義を告発
AIに「深呼吸しよう」といった人間っぽい言葉をかけると問題の正答率が上昇するという研究結果
マルチモーダルAI「Gemini」の性能をアピールするGoogleの公式ムービーはフェイクだったという指摘
xAI、“全人類に利益をもたらすAIツール”を目指す「Grok」正式発表
Google Colab で Gemini API を試す｜npaka
AIが生成する画像を「ネコ」にするサイバー攻撃 絵師らを守る技術「Nightshade」 米シカゴ大が開発