超重要な基盤技術「Attention」、Transformerがなぜ画期的なのかを知る
対話型AIサービス「ChatGPT」で使われている自然言語モデルの核になっている技術が「Transformer」だ。自然言語処理を例に、Transformerの仕組みを解説する。 実は、エンコーダーとデコーダーに用いられている「RNN」（Recurrent Neural Network）には、欠点があります。それは、長い文章が苦手だということです。 なぜ苦手かというと、以下の2つのポイントからそのように言えます。 （1）RNNでは、翻訳元文章全体の特徴を記憶できるサイズが固定されている。そのため、文章が長くなり単語の数が増えるほど、エンコーダーにおいて、文章の前の方で出現した単語の意味が薄まってしまう。 （2）RNNでは、単語を1つずつニューラルネットワークで処理する。そのため、単語の数が多くなればなるほど処理時間がかかってしまう。 ですので、RNNが持つこうした欠点を解消するための仕組み
話題のClaude「Artifacts」は対話型AIにおける「UX革命」である｜梶谷健人 / 新著「生成AI時代を勝ち抜く事業・組織のつくり方」
ChatGPTのライバルサービスの一つである「Claude」が、彼らのサーバーが一時パンクするくらい話題になっている。 その理由は、運営元のAnthropicが発表した2つのリリースだ。 リリースの1つ目は新しい大規模言語モデル「Claude 3.5 Sonnet」のリリース。そしてもう一つが、今回の話題の中心である「Artifacts」機能のリリースだ。 「Claude 3.5 Sonnet」は、ほぼ全てのベンチマークでOpenAIの最新モデル「GPT-4o」を打ち負かしており、処理スピードは前モデルの「Claude 3 Opus」の2倍で、API費用は1/5程度に下がっている。 シンプルに性能、速度、費用面などの面でトップクラスの大規模言語モデルが登場したのだ。 しかし、今回Claudeが話題になっている理由は「Claude 3.5 Sonnet」というよりも、もうひとつのリリースであ
GPT-4に日本語特化モデル OpenAI Japan始動会見で発表
米OpenAIは4月15日、大規模言語モデル「GPT-4」について、日本語に最適化したカスタムモデルを発表した。日本語のテキストを記述する能力が向上しており、「GPT-4 Turbo」より最大3倍高速とうたっている。今後数カ月以内にAPIをリリースするという。 関連記事 OpenAI、“怠けにくい”「GPT-4 Turbo」プレビューリリースや値下げを発表 OpenAIは、11月に発表した「GPT-4 Turbo」のプレビュー版をリリースすると発表した。「GPT-4」が怠け者になってきたという苦情を受け、怠けにくくしたという。公式版は数カ月中にリリースする計画だ。 マイクロソフト提供の“社内GPT基盤”もGPT-4 Turboなどに対応 米Microsoftが、大規模言語モデル「GPT-4」などのAPIをクラウドサービス「Microsoft Azure」経由で使える「Azure OpenA
プログラミング言語をすぐに試せる「プレイグラウンド」まとめ。2024年版
新しいプログラミング言語やライブラリ、フレームワークを学ぶには、実際にそれらを試して挙動などを見てみることが大事ですが、実行環境を用意するのは手間がかかります。 そこで役立つのが、いわゆる「プレイグラウンド」と呼ばれる、Webブラウザでプログラミング言語やライブラリ、フレームワークをすぐに試すことができるサービスです。 主要なプログラミング言語の公式サイトには、実際にその言語をすぐに試せるプレイグラウンドが用意されていることも多く、また公式サイト以外にもネット上にはさまざまなプレイグラウンドがあります。 プレイグラウンドを使えば、気軽にいろんなプログラミング言語やライブラリ、フレームワークを試せます。 この記事ではそうしたプレイグラウンドをまとめてみました。ここで紹介したプレイグラウンドの他にも、あなたのお気に入りのプレイグラウンドがあればX/Twitterやブックマークのコメント、メール
日本語画像言語モデル「Japanese InstructBLIP Alpha」をリリースしました — Stability AI Japan
Stability AIは日本語向け画像言語モデル「Japanese InstructBLIP Alpha」を一般公開しました。入力した画像に対して文字で説明を生成できる画像キャプション機能に加え、画像についての質問を文字で入力することで回答することもできます。 Japanese InstructBLIP Alpha「Japanese InstructBLIP Alpha」は、先日公開された日本語向け指示応答言語モデル「Japanese StableLM Instruct Alpha 7B」を拡張した、画像を元にしたテキストが生成されるモデルです。 「Japanese InstructBLIP Alpha」は、高いパフォーマンスが報告されている画像言語モデルInstructBLIPのモデル構造を用いております。少ない日本語データセットで高性能なモデルを構築するために、モデルの一部を大規模な
複数のAIが話し合ってアプリを作るフレームワーク 米Microsoftなどの研究者らが開発
このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 Twitter: ＠shiropen2 米Microsoftや米ペンシルベニア州立大学などに所属する研究者らが発表した論文「AutoGen: Enabling Next-Gen LLM Applications via Multi-Agent Conversation」は、複数のエージェントの会話を使用してさまざまな大規模言語モデル（LLM）ベースのアプリケーションを作成するためのフレームワークを提案する研究報告である。このフレームワークでは、各エージェントを容易にカスタマイズでき、多様なアプリケーションへの対応が可能となる。プロジェクトページはこちら。
AIが自分自身に報酬を与えて進化する「自己報酬型言語モデル」 米Metaなどが開発、実験でGPT-4を上回る【研究紹介】
TOPコラム海外最新IT事情AIが自分自身に報酬を与えて進化する「自己報酬型言語モデル」 米Metaなどが開発、実験でGPT-4を上回る【研究紹介】 AIが自分自身に報酬を与えて進化する「自己報酬型言語モデル」 米Metaなどが開発、実験でGPT-4を上回る【研究紹介】 2024年1月23日 米Metaと米ニューヨーク大学に所属する研究者らが発表した論文「Self-Rewarding Language Models」は、大規模言語モデル（LLM）が自分自身に報酬を与えることで繰り返し学習する「自己報酬型言語モデル」を提案した研究報告である。このモデルは、自身が生成した問題に対する応答に報酬を割り当て、その結果をトレーニングデータとして使用。自己を反復して訓練することで、精度を向上させられる。 keyboard_arrow_down 研究背景 keyboard_arrow_down 研究内容
今井むつみ 言語習得に見る知性の本質｜社会｜中央公論.jp
ユーザーが問いかけた質問に対してほぼ的確な答えを生成できる対話型AI、ChatGPTが話題だ。人間の使うことばとは何が違うのか。どう使いこなせばいいのか。オノマトペや「記号接地」をキーワードに、今井むつみ慶應義塾大学教授が語る。 （『中央公論』2023年7月号より抜粋） 赤ちゃんに易しく外国人に難しいことば ──子どもはことばをいかに覚えるのかを研究する今井さんですが、今回はAIの言語学習との比較などを通して、両者の違いについて伺います。まず、最新刊『言語の本質』では、日本語を話す人はオノマトペを言語習得の足場とするとのことでしたが、どういうことなのでしょうか。 英語は日本語のようにオノマトペが体系化されていませんが、だからといって英語が音と意味のつながりが薄い言語というわけではありません。英語には音の感触が織り込まれた動詞が多いんです。例えばtickle（くすぐる）。語感に日本語でいう「
ローカルで動く大規模言語モデル(Rinna-3.6B)を使ってあなただけのAIパートナーを作ろう - Qiita
はじめに はじめまして。株式会社ずんだもんのアルバイトエンジニアのinadaです。 今日は誰でも作れるずんだもんと題してローカルPCにずんだもんAIを作ります。この記事はそのチュートリアル記事です。 (誰でもと書いてますが、RTX 3060(12G)搭載以上のPC推奨です。CPUマシンでも出来る部分はありますが非推奨です。RTX 3060(12G)のグラボは5万ぐらいで買えるので持ってなければ買っちゃいましょう。) 対象読者/記事の範囲 ローカルPCで動かせる大規模言語モデルを、学習用のデータの用意から、学習、動かすところまで一通りどんなものか、お試ししてみたい人。 自分だけの世界にただ一人だけのうちの子、またはパートナー(うちの嫁)を作り育てたい。そんな沼にはまりたい、興味がある人。 AIの仕組みや用語は当記事では解説しません。AIの用語(モデル, loss, epoch, checkp
ChatGPTで騒いでる場合じゃない。 AI研究者が｢FlexGen｣をゲームチェンジャーと呼ぶ理由
ChatGPTに世間が沸いている。 長年この分野を見てきた者としては｢ちょっと沸きすぎ｣のようにも見える。深層学習を使った会話ロボットは、何もChatGPTが初めてというわけではない。 ところが、世界中が驚かざるを得ないゲームチェンジャーが現れた。 その名も｢FlexGen｣と言う。2月15日に公開された。 特筆すべきは、FlexGenが、ChatGPTなどの大規模言語モデルを｢従来の100倍高速に動かせる｣上に、NVIDIA Tesla T4という、わずか16GBのメモリーしかないGPUでその性能を使えるということだ。 つまり、大規模言語モデルを秋葉原で売っているパソコン程度で動かせる新しいフレームワークが登場したことになる。 このインパクトがどれほどすごいのかを解説してみよう。 目次： ｢Google翻訳｣と｢大規模言語モデル｣は技術的にかなり近い 会話AIの正体とは何か ChatGP
「どんな文章も3行に要約するAI」デモサイト、東大松尾研発ベンチャーが公開 「正確性は人間に匹敵」
東京大学・松尾豊研究室発のAIベンチャーELYZA（イライザ／東京都文京区）は8月26日、文章の要約文を生成するAI「ELYZA DIGEST」を試せるデモサイトを公開した。人間より短時間で要約でき、要約の正確性は「人間に匹敵する」という。今後も精度を高め、議事録作りやコールセンターでの対話メモ作成などでの活用を目指す。 同社は自然言語処理技術（NLP）の研究を進めており、日本語テキストデータの学習量・モデルの大きさともに日本最大級というAIエンジン「ELYZA Brain」を開発している。 ELYZA DIGESTは、大規模言語モデルを基に、要約というタスクに特化したAIとして開発。読み込んだテキストを基に、AIが一から要約文を生成する「生成型」モデルで、文の一部を抜き出す「抽出型」モデルなどと異なり、文の構造が崩れていたり、話者が多数いる会話文だったりしても、精度の高い要約文を生成でき
自然言語系AIサービスと著作権侵害｜知的財産・IT・人工知能・ベンチャービジネスの法律相談なら【STORIA法律事務所】
第1 はじめに 自然言語処理技術の発展に伴い、自然言語AIを利用したサービスが大変盛り上がっています。 たとえば、検索、要約、翻訳、チャットボット、文章の自動生成、入力補完などのサービスで、近いところで有名なのは、2020年にOpenAIが発表した「GPT-3」ですかね。これは約45TBにおよぶ大規模なテキストデータを学習し、あたかも人間が書いたような文章を自動で生成することが可能な自然言語モデルです。 【参考リンク】 自然言語処理モデル「GPT-3」の紹介 進化が止まらない自然言語処理技術ですが、事業者が自然言語AIを利用したサービス（＊ここでは、データの処理がクラウド上で自動的に行われるサービスを前提とします）を提供する際に検討しなければならないことは、大きく分けると、学習済みモデルの構築フェーズの問題と、モデルを利用したサービス提供フェーズに関する問題に分かれます。 このうち、モデル
rinna社、日本語に特化したGPT-2の大規模言語モデルを開発しオープンソース化
rinna株式会社（本社：東京都渋谷区/代表取締役：ジャン“クリフ”チェン、以下rinna社）は、日本語に特化したGPT-2の大規模言語モデルを構築し、オープンソースとして公開しました。 ■背景 rinna社は、MicrosoftのAI＆リサーチ部門でAIチャットボットの研究を行っていたチームがスピンアウトして2020年6月に設立したAI開発企業です。ディープラーニング技術を活用し、AIが文脈に応じた会話文を自動生成して人間と自然に会話する「共感チャットモデル」、AIが話し声や歌声で豊かな感情表現を可能にする「音声合成システム」などの技術を発表してきました。これらの最新技術は、当社が運営するAIチャットボット「りんな」や、会話内容や音声表現をカスタマイズしてキャラクター性を持たせたAIチャットボットである「AIキャラクター」の開発に応用され、企業のマーケティングなどにお使いいただいています
Microsoft、文字起こしアプリ「Group Transcribe」を公開 - iPhone Mania
Microsoft、文字起こしアプリ「Group Transcribe」を公開 2021 3/16 Microsoftは3月上旬、対面での会議や会話のためのリアルタイムのテープ起こしと翻訳を提供する「Group Transcribe（グループ転写）」のiOSアプリをリリースしました。会議の参加者がそれぞれのデバイスで使用することができます。 メモを取らずに会議に集中できる優れもの 最先端のAI音声・言語技術を搭載したGroup Transcribeで、会話の参加者は共有セッションを開始し、それぞれが携帯電話のマイクを使用して、リアルタイムで誰が何を言ったかを示す、非常に正確なトランスクリプトをキャプチャできます。 会話の高品質な記録に自信を持つことで、ユーザーはメモを取る必要がなくなり、会話そのものに注意を集中させることができます。トランスクリプトは、共有したり、再配置も簡単に行う
「高精度過ぎる文章を作る」Microsoftが言語モデルGPT-3の独占的ライセンスを取得 | Ledge.ai
©Microsoft 「この言語モデルは危険すぎる」「新たなブレイクスルーだ」など多くの議論を生み、一躍注目された「OpenAI」が開発した言語モデル「GPT-3」の独占的ライセンスを、米Microsoftが取得した。 MicrosoftとOpenAIのコラボレーションに期待が高まるMicrosoftが2020年9月22日、OpenAIとの継続的なパートナーシップを拡大し、文章自動生成AI「GTP-3」の独占的ライセンスを取得したことを公式ブログで明らかにした。 MicrosoftのEVPであるケビン・スコット氏は公式ブログの中で、「GPT-3モデルによって解き放たれる商業的、創造的な可能性の範囲は非常に広く、本当に斬新な能力を持っています。文章生成のような分野で人間の創造性や創意工夫を直接支援したり、（コードを含む）長文データの大きなブロックを要約して記述したり、自然言語を別の言語に変換
長尾真（情報工学者）新井紀子（数学者）｜INFORIUM｜NTTデータ
人間を理解し、人工知能をさらに先へ。 情報処理学で多大な功績を残した長尾真氏と 「ロボットは東大に入れるか」プロジェクトで人間の能力に注目するようになった 国立情報学研究所の新井紀子教授が、 AI技術の発展にはこれから何が必要になるのか、徹底討論しました。 人間の知能を支えるもの新井 私が「ロボットは東大に入れるか」というプロジェクト(※1)を始めたときに人工知能学、特に言語処理の方面から「何でこんな役に立たないことをするのか」という批判的なご意見を受けました。そんな中、長尾先生が「それは今やるのはなかなか面白かろう」と、言語処理学会の記念大会などに私を講師として呼んでくださったのが印象に残っています。 長尾 でも、それから4～5年のうちに東ロボをおやめになった。「もうちょっとやったら面白いところまで展開するのでは」と思っていたので、それが残念です。 新井 いえ、まだプロジェクトはやめてい
人工知能は「美魔女」という言葉を生み出せるか 雑誌編集者×AI研究者、異色対談
人工知能は「美魔女」という言葉を生み出せるか 雑誌編集者×AI研究者、異色対談：これからのAIの話をしよう（言語編・前編）（1/4 ページ） 人工知能（AI）の研究を進めるほど、人間の研究に否が応でも取り組まざるを得ない。これは多くの人工知能開発に携わる研究者が口にする言葉です。 ある問題に遭遇すると、なぜ人工知能はできないのかを考えるより、なぜ人間はできるのかを考えた方が再現性は高く確実です。しかし、そもそも人間が「なぜできるのか」を言語化できていない場合も多く、人工知能と人間の研究を交互に行う機会も少なくありません。 例えば芸術家は他の人と同じように生きているはずなのに、なぜずぬけた創造性を発揮できるのでしょうか。理論的に説明できる人は少ないと思います。 「ディープラーニングはブラックボックスだ」と批判する人も大勢います。しかし、人間だって行為の多くがブラックボックスで、なぜできるのか
分分PK拾-[开户赠金]
8年网站优化经验，提供从网站建设到SEO关键词排名优化全程服务，帮助客户拥有自己的品牌网站快速提升排名。 很多之前合作过的代理商、企业、公司客户已经通过网络推广开始赚钱,超过同行不是梦，你还在犹豫什么。
![分分PK拾-[开户赠金]](https://cdn-ak-scissors.b.st-hatena.com/image/square/867a4dcd51ccfd7301078fca56b319248808702f/height=288;version=1;width=512/https%3A%2F%2Fi1.wp.com%2Fmagawas.com%2Fwp-content%2Fuploads%2F2016%2F04%2FScreenshot_2016-04-04-01-49-23.png%3Ffit%3D720%252C1280)
書籍出版 双風舎：【連載】「脳は心を記述できるのか」第3信 「人間」と「言語」、あるいは偶有性のアスペクト
斎藤環から茂木健一郎への手紙 ■はじめに 茂木さん。2年半のブランクを経て、この往復書簡がゾンビのごとく蘇ったことを、とりあえずはどう受けとめたものでしょう。 ずっと涙目で返信を待ち続けていたものの、私はこの往復書簡はとうに終わったものと考えていました。返信がいただけなかったのは、とても悲しいことではありましたが、その事実もまた「茂木健一郎」という人物の一側面であることを示しえたと考えて、それで満足することにしたのです。 もっともこの企画、茂木さんによるガン無視パフォーマンスによって世間的に有名になったというところもあって、私もずいぶんとおもしろい経験をしました。 いろんな媒体から取材を受けました。たくさんの人たちから「無視されてかわいそうに」と同情していただきました。なかでも、さる著名ミュージシャンは、この企画が往復しないほうに賭けてずいぶん儲けたということで、お礼にとごちそうしてくれま
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AIが「真の意味理解」をして人と対話する日は来るか ～モビルスが対話をテーマにしたシンポジウムを開催
