ChatGPTを利用するときに漫然とプロンプトを入力するだけでは、その能力を十分に引き出せない。ChatGPTの達人である深津貴之氏が、プロンプトの極意を伝授する。 第5回 深津氏に学ぶChatGPTプロンプトの極意、必要な行動を考えさせてから尋ねる ChatGPTの達人である深津貴之氏にプロンプトの書き方を整理して教えてもらう。今回取り上げるのは「ReAct（Reasoning + Acting）」だ。 2024.09.06 第4回 深津氏に学ぶChatGPTプロンプトの極意、段階ごとやアプローチ別に考えさせる ChatGPTの達人である深津貴之氏にプロンプトの書き方を整理して教えてもらう。今回取り上げるのは「Chain of Thought」と「Tree of Thought」だ。 2024.09.05 第3回 深津氏に学ぶChatGPTプロンプトの極意、資料そのものをAIに作ってもら

サカナAIのジョーンズCTO㊧と握手するエヌビディアのファンCEO（3月、米サンノゼ）米半導体大手エヌビディアが日本の人工知能（AI）スタートアップのサカナAI（東京・港）への出資を決めた。米グーグル出身の著名研究者らが率いる有望企業と関係を深め、画像処理半導体（GPU）経済圏の拡大を狙う。高効率なAIを追求するサカナAIへの出資の背景を読み解くと、AIの省電力時代を見据えて布石を打つ戦略も浮かび上がる。サカナAIは4日、エヌビディアからの資金調達を発表した。金額など詳細は開示

米グーグル出身の研究者らが設立したサカナAI（東京・港）は4日、米エヌビディアなど複数の投資家から資金を調達したと発表した。総額は200億円規模で、そのうちエヌビディアが数十億円と最大の出し手になったとみられる。生成AI（人工知能）開発競争が世界で過熱するなか、日本発のスタートアップと米国半導体の雄が組む異例の展開となる。詳報をNIKKEI Digital Governanceでお読みいただけます。「サカナ逃さぬNVIDIA　『GPU貧乏』に見いだした省エネAI」

by Daniel Oberhaus テスラやSpaceXのCEOを務めるイーロン・マスク氏は、極右政党が拡散した偽情報を共有したり、真偽不明の動画を共有したりと、たびたび物議を醸す投稿をX(旧Twitter)上で行っています。そんなマスク氏が2024年9月2日に、「女性には批判的思考ができない」と主張する投稿をリポストしました。 Musk boosts 4chan claim that women are incapable of critical thinking - Boing Boing https://boingboing.net/2024/09/02/musk-boosts-4chan-claim-that-women-are-incapable-of-critical-thinking.html Elon Musk suggests support for replacing

NVIDIAが2024年3月に発表したGPUアーキテクチャ「Blackwell」は、2080億個ものトランジスタを搭載するなど複数の革新的なテクノロジーが搭載されています。しかし、極限まで性能を求めたことによりBlackwellでは発熱などの問題が生じているとのことです。 Nvidia’s Future Relies on Chips That Push Technology’s Limits - WSJ https://www.wsj.com/tech/nvidias-future-relies-on-chips-that-push-technologys-limits-bd3839fc Blackwell採用チップでは、これまでのAIチップから設計が大きく変更され1つのチップに2つのプロセッサと複数のメモリコンポーネントをシリコンや金属、プラスチック素材に組み合わせることで構成されてい

生成AI（人工知能）をめぐって米マイクロソフトや米グーグルなど各社が開発を競う。マイクロソフトが提携する「Chat（チャット）GPT」を開発する米新興オープンAI（Open AI）もその一つだ。競争が激化する中、同社は法人向けサービスの強化に力を入れている。オープンAIとの相性がよく、次の買収候補となりえる3社をCBインサイツがまとめた。対話型AIの「ChatGPT」を手掛けるオープンAIは、様

欧州の半導体業界は、RISC-Vへの注力をますます強めている。ただし、欧州での半導体投資が米国ほどダイナックではないことに懸念を示す業界関係者も存在する。さらに、ドイツなど国によっては技術を製品化する際にも幾つかの制約があるという。 欧州の技術分野は現在、オープンソースの命令セットアーキテクチャであるRISC-Vの利用拡大に伴い、注目すべき進化を遂げている。 ドイツ ミュンヘンで2024年6月24～28日に開催された「RISC-V Summit Europe」では、主要な専門家や業界の代表者たちが、「欧州は、資金提供メカニズムや研究機関、業界パートナーシップなどが複雑に絡み合った状況の中で、RISC-Vエコシステムにおける重要なプレイヤーとしてどのように自らを位置付けていくのか」という点について議論を行った。このような進展は、技術の進歩を意味し、半導体技術における自律性を強化していくための

米商務省国立標準技術研究所（NIST）のAI安全研究所は8月29日（現地時間）、米Anthropicおよび米OpenAIの両社とAIの安全性に関する研究、テスト、評価に関する正式な協力を可能にする契約を結んだと発表した。 これにより、AI安全研究所は両社の主要な新モデルを一般公開前に利用できるようになる。三者が協力して安全リスクを評価することで、潜在的な問題を軽減できるようになるとしている。 米連邦政府はかねて、大手AI企業に対し、安全対策に関する自主的な約束を取り付けるべく取り組んできた。 米国土安全保障省（DHS）は4月、Artificial Intelligence Safety and Security Board（AIの安全性およびセキュリティに関する諮問委員会、AISSB）を設立し、OpenAIのサム・アルトマンCEOなど、AIに携わる22人を委員に招致した。 アルトマン氏は今

【7月31日 CGTN Japanese】世界初の1億パラメータ数の地震波大規模言語モデル「諦聴」の発表会が29日、中国南西部四川省成都市にある国家スーパーコンピューティング成都センターで行われました。「諦聴」地震波大規模言語モデルの発表は、中国の地震の監視測定、早期警報、予兆識別などの重要な技術分野での成果とされています。 「諦聴」データセットは現在、地震学の専門家向けAIトレーニングデータセットとしては世界最大かつ最も包括的なサンプルタイプとアノテーションの一つです。この大規模言語モデルは国家スーパーコンピューティング成都センター、中国地震局地球物理研究所と清華大学が共同で開発したものです。 中国地震局地球物理研究所の陳石副所長は、「諦聴」大規模言語モデルは中国の地震観測ネットワークの膨大なデータに基づき、人工知能（AI）技術を通じて、地震信号の識別精度と速度を著しく向上させたと紹介し

Lloyd Lee ［原文］ （翻訳：大場真由子、編集：井上俊彦） Aug. 28, 2024, 11:00 AM 働き方 181,122 元グーグルCEO、リモートワークが会社に損害を与えているとの主張を撤回。しかし多くのCEOは同様の発言をしている。 John Lamparski/Getty Images グーグルの元CEOエリック・シュミットは、2024年8月にリモートワークの方針がAI競争でグーグルを苦しめていると講演会で話した。 その後、シュミットの広報担当者はBusiness Insiderに｢エリックはグーグルの労働時間について誤った発言をした｣と述べている。 だがOpenAIのサム・アルトマンを含む多くのCEOたちは、在宅勤務には限界があると考えている。 グーグル（Google）の元CEOは、｢グーグルはリモートワークを認める方針のために、OpenAIなどのスタートアップ企

米Cerebras Systemsは8月27日（現地時間）、AI開発者が同社のシステムにアクセスしてアプリを実行できるようにするAI推論ソリューション「Cerebras Inference」を発表した。「米NVIDIAのGPUベースのハイパースケールクラウドより20倍高速」で、はるかに安価だとしている。 Llama3.1 8Bで1秒当り1800トークン、Llama3.1 70Bで1秒当り450トークンを提供し、価格はLama 3.1 8Bで100万トークン当り10セント、Llama 3 70Bで100万トークン当り60セント。 Cerebrasは発表文で、NVIDIAなどのGPUシステムが推論に向かない理由を説明し、自社のシステムは「世界最大のチップを構築し、モデル全体をオンチップに保存することで、メモリ帯域幅のボトルネックを解決する」ことで、GPUのような遅延を解消したと主張する。

ジョンズ・ホプキンス大学の暗号学者であるマシュー・グリーン氏が、「Telegramが匿名性の高いアプリだという間違った考えがインターネット上に広まっている」と警鐘を鳴らし、なぜ間違っているのかについてブログで解説しました。 Is Telegram really an encrypted messaging app? – A Few Thoughts on Cryptographic Engineering https://blog.cryptographyengineering.com/2024/08/25/telegram-is-not-really-an-encrypted-messaging-app/ 事の発端は2024年8月24日にTelegramの創設者兼CEOであるパーヴェル・ドゥーロフが「Telegramアプリを通じて行われている麻薬密売・マネーロンダリング・児童ポルノといっ

2024年8月22日、GoogleがフラグシップスマートフォンのPixel 9シリーズをリリースしました。GoogleはPixel 9シリーズにおいて独自のAI機能をセールスポイントのひとつとしていますが、AI写真編集機能の「Magic Editor(編集マジック)」に搭載されているReimagineツールが、「写真が現実を捉えているという基本的な仮定を崩しつつある」とテクノロジーメディアのThe Vergeが指摘しています。 No one’s ready for this - The Verge https://www.theverge.com/2024/8/22/24225972/ai-photo-era-what-is-reality-google-pixel-9 Pixel 9シリーズでは、すべてのモデルで生成AIを利用した写真編集機能である編集マジックを利用可能です。この編集マジ

こんにちは、イノベーションセンターの加藤です。普段はコンピュータビジョンの技術開発やAI/機械学習（ML: Machine Learning）システムの検証に取り組んでいます。一方で、兼務で生成AIチームに参加し、大規模言語モデル（LLM: Large Language Model）に関する技術の調査を行なっています。 この記事では、日本語のコード生成のデータセットが無い条件下で、進化的モデルマージを活用することで日本語とソースコード生成に特化した大規模言語モデル(LLM)を合成した試みについて紹介します。 目次 目次 モデルマージとは 進化的モデルマージとは 利用したモデル 日本語LLM コード生成特化 MergeKitによる実験 利用モデル マージ用データセット JSQuAD CoNaLa 評価用データセット JCommonsenseQA HumanEval JHumanEval 実験

OpenAIを創業したサム・アルトマン氏が手がけるWorldcoinプロジェクトはプライバシー面を懸念されて世界各地でサービス停止命令や捜査を受けています。そんなWorldcoinプロジェクトがどのように政府や活動家の懸念を和らげようとしているのかについてウォール・ストリート・ジャーナルが報道しました。 Sam Altman’s Worldcoin Is Battling With Governments Over Your Eyes - WSJ https://www.wsj.com/tech/sam-altman-openai-humanness-iris-scanning-4d0e1dab Worldcoin's Iris-Scanning Tech Faces Global Pushback https://www.pymnts.com/news/biometrics/2024/w

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

はじめに 「Transformerのattentionはトークン間の類似度をモデリングしている」という説明をよく聞くが、この表現は適切でないことを示す。 なお、このような説明がよくされる背景としては、Transformerのdot-product attentionは内積で計算され、コサイン類似度も正規化されたベクトルの内積で計算される点によるものと思われる。しかしながら両者は正規化の有無に違いがあり、ベクトル空間に埋め込んだ時の数学的性質はかなり異なるということを本稿では指摘する。 TL; DR Attention(dot-product attention)は類似度とは異なる数学的性質を持つ 類似度はトークン間の近接関係はモデリングできるが、それ以外の多様な関連をモデリングするには適さない。 dot-product attentionはトークン間の近接関係を含むさまざまな関連をモデリン