© 2023 Mizuho Bank, Ltd. All Rights Reserved. みずほフィナンシャルグループ リサーチ＆コンサルティングユニット みずほ銀行 産業調査部 生成AIの動向と産業影響 【総合編】 ～生成AIは産業をどのように変えるか～ （2023年12月） アンケートに ご協力をお願いします QR *日本産業の競争力強化や社会課題の解決に寄与しうる技術・イノベーション領域をとり上げるレポート バーコード未取得 みずほ産業調査74号 革新的技術シリーズ* 1 総合編目次 はじめに P2 1. 生成AIの概要と社会動向 P6 （1） 生成AIの概要～生成AIとは何か？ P6 （2） 生成AIをめぐる社会・市場動向 P13 （3） 主要国・地域の生成AI関連動向 P24 2. 生成AIが産業に及ぼす影響 P32 （1） 仕事の在り方の変化とビジネスへの影響 P32 （2）
基盤モデル開発に挑む各社が成果を共有。AWS LLM 開発支援プログラム 成果発表会 | Amazon Web Services
Amazon Web Services ブログ 基盤モデル開発に挑む各社が成果を共有。AWS LLM 開発支援プログラム 成果発表会 アマゾン ウェブ サービス ジャパン（以下、AWS ジャパン）は 2023 年 7 月 3 日に、日本独自の施策として国内に法人または拠点を持つ企業・団体の生成 AI 基盤モデル・大規模言語モデル（以下、LLM）の開発を支援する AWS LLM 開発支援プログラムを発表しました。 本プログラムでは、LLM 開発を行うための計算機リソース確保に関するガイダンスや AWS 上での LLM 事前学習に関わる技術的なメンタリング、LLM 事前学習用クレジット、ビジネス支援などのサポートを提供します。 そして 2024 年 1 月 31 日に、本プログラムにおける支援対象の企業・団体が集まり成果を共有する、AWS LLM 開発支援プログラム 成果発表会が開催されました
Open AIを敢えて使わない、セルフホストなAI Chat Bot(RAG)の意義と作り方 〜スケーラビリティ/コスト最適化のアイデアを添えて〜 - 流沙河鎮
はじめに オープンなモデルの急速な進化 オープンなモデルとは オープンなモデルの活況 オープンなモデルをセルフホストする利点 コスト効率 カスタマイズの自由度 選択肢の多様性 データのプライバシーとセキュリティ チームのケイパビリティ向上 スケーラブルでコスト最適なAI Chat Bot(RAG)の作り方を考える RAGアプローチの構成要素 ベクトル検索とは ベクトル検索の前準備 ベクトル検索の流れ LLMのデプロイ デプロイ方法 必要なスペック End to Endなアプリケーションに仕立てる 環境 使い方 実装上のポイント faiss_index検索時のtop_k intfloat/multilingual-e5-largeでのquery / passageの指定 LLMへのプロンプト 回答のストリーム systemdによるプロセスのデーモン化 スケーラビリティ、コスト最適化のアイデア
医療・ヘルスケア領域における大規模言語モデルの構築に向けて - Preferred Networks Research & Development
この記事は、パートタイムエンジニアの川上航さんとLLM応用に取り組んでいるエンジニアの鈴木渓太とリサーチャーの岩澤諄一郎による寄稿です。 概要 既存の大規模言語モデル (LLM) に対して医療ドメインの独自コーパスを用いた finetuning を行い、医療特化の大規模言語モデル Llama3-Preferred-MedSwallow-70B を開発しました。 Llama3-Preferred-MedSwallow-70B は日本医師国家試験において、 GPT-4 を上回る成績を収め、Hugging Face Hub で公開されているモデルの中で最高性能を誇ります。 PFN では医療・ヘルスケアを含む様々な分野での LLM 活用を目指し、引き続き研究開発を進めていきます。 はじめに 大規模言語モデル (Large Language Model, LLM) は医療やヘルスケアの分野で診断補助
岸本秀樹・臼杵岳・于一楽(編)『構文形式と語彙情報』に「動詞化形態の分布とル動詞のRoot派生分析」という論文を書きました。ル動詞っていうのは「愚痴る」とか「タピる」とかそういうタイプの動詞のことです。 構文形式と語彙情報 開拓社Amazon 目次は開拓社のページから確認することができます。 www.kaitakusha.co.jp 日本語文法学会第22回大会（2021年）のパネルセッションでやった発表をベースにしています。データはそこまで増やせませんでしたが、理論的分析の詳細とそれを支える経験的議論についてはけっこう整理できたかなと思います。 発表時には少ししか触れられなかったル動詞がなぜ俗語性を帯びるのかという問題についての回答も一応クリアにしてあって「ル動詞は一番基本的な語彙の単純和語動詞に色んな面で似ている（けど違う）のでかえってニセモノ感が出る」みたいな仮説が推したいポイントです
Style-Bert-VITS2の差分マージで遊ぶ
はじめに オープンソースな日本語音声合成 (TTS) であるStyle-Bert-VITS2の2024-06-16のver 2.6.0で、マージ機能に差分マージやヌルモデルマージが追加されました。 この記事は、これらのマージでできることをいろいろ紹介して、みんな実験して共有してみてね、という記事です。 注意 日本語特化版 (JP-Extra版) とそうでないモデル同士のマージはできません。 このページで共有している結果やモデルは全てJP-Extra版のものです。 差分マージとは？ 通常のマージについて SBV2では、今まで以下の点で2つのモデルをマージすることができました: 声質（誰が喋っているか） 声の高さ 話し方・感情表現 話すリズム・テンポ 具体的には、2つのモデルを A, B とすると、スカラー weight について、 を、上記4つの要素が入っていると思われるモデルの重みについて
音声認識モデルが大幅にアップデートされたReazonSpeech v2を使い、音声の文字起こしを試してみた | DevelopersIO
音声認識モデルが大幅にアップデートされたReazonSpeech v2を使い、音声の文字起こしを試してみた はじめに 2024年2月14日に、ReazonSpeechの最新バージョン v2.0が公開されたため、ReazonSpeech音声認識モデルを利用してみました。 ReazonSpeechは、レアゾン・ヒューマンインタラクション研究所が開発した高精度な音声認識モデルを中心とするプロダクト群で、それぞれ以下のような特徴があります。（引用）いずれも無償で公開されています。 ReazonSpeech音声認識モデル: OpenAI Whisper に匹敵する高精度な日本語音声認識モデル。商用利用可 ReazonSpeechコーパス作成ツール: TV録画データ等から音声コーパスを自動抽出するソフトウェアツール。商用利用可 ReazonSpeech音声コーパス: 高品質な日本語音声認識モデル学習用
このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 Twitter: ＠shiropen2 ノルウェーのNLA University Collegeに所属する研究者Oleksandr Kapranovさんが発表した論文「Throwing Soup at Van Gogh: The Framing of Art in Climate Change Activism by British Mass Media」は、気候変動抗議の一環として有名な絵画に食品を投げつける行為を報じる英国メディアを分析した研究報告である。 最近の環境活動家による抗議活動の一環として、著名な絵画への食品投げ付けが注目されている。この活動の初めての記録された事例
水族館でイルカもポーズを取ってくれました。 みなさま、ご無沙汰しています。 一ヶ月近くもブログから離れてしまっていました。 コメントにメッセージなども頂いてありがとうございました。ご心配をおかけしましたが、元気です。 息子の学校の学年カレンダーを入手したので、そして、もうすぐ母と甥っ子が日本からやってくるので旅行の計画を立てたり、知り合いの旅行に合わせて空港の送り迎えなど諸用が増え落ち着いて座る時間から遠のいていました。とは言え、うたた寝💤は欠かさなかったので、ブログに向き合えなかったのは、ぐうたらしていたせいでも有ります。 本当は書きたい事があるのですが、それを書こうかどうしようか迷い中、頭の中だけが忙しくなって結論が出なくて一ヶ月も経ってしまいました。これは少し寝かせてから書こうと思います。他にも毎日書きたいことが浮かんではいましたが、書かないでいると忘れてしまいますね、またぼちぼち
紹介 ・私たちの頭の中では、ことばに対してどのような処理が行われているのだろうか？ ・頭の中で（いままさに）行われている処理は、コンピュータによって再現できるのだろうか？ これらの問いに、ことばの意味を計算する2つのアプローチ（計算言語学と統計的言語処理）から挑む！ 【言語処理学会前会長 乾健太郎先生推薦！】 本書は、ChatGPTで周知となった「ことばのテクノロジー」としての自然言語処理と、哲学・数学・論理学から「ことばをサイエンスする」計算言語学との架け橋となる教科書である。 どちらの世界も知り尽くした第一線の若手研究者が基礎から最先端までを妥協なしに書き上げた。 骨太だが、豊富な例とかみ砕いた説明が読者の背中を押してくれる。 生成AIを作る人使う人はもちろん、「ことばを数学する」と聞いて心がざわつくようなすべての人に届けたい。 【主な内容】 第1部 ことばの意味を計算するには 第1章
Google スプレッドシートが計算ワーカーを JavaScript から WasmGC に移植した理由 コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。 Google スプレッドシートは、Chrome で WasmGC を使用する Google 初のプロダクトの 1 つです。この移行は 2022 年に発表され、Google スプレッドシートと Chrome のチームは標準化、エンジニアリング、ツールに関して連携し、最適化に関するフィードバックをリアルタイムで提供しました。このパートナーシップは、Google のエンジニアリング チームが Chrome を効果的に連携させ、より多くの Google アプリを WasmGC で実行できるようにする前例となります。 課題: JavaScript Google スプレッドシートの計算エンジンは元々 Java で記述
PodcastをWhisperで文字起こしして、BERTで句読点抜きの文章に句読点を付与する（その２） - Qiita
PodcastをWhisperで文字起こしして、BERTで句読点抜きの文章に句読点を付与する（その２）Pythonpodcastwhisperbert はじめに 前回の記事では、Podcast配信の仕組みを踏まえて、各エピソードの音声ファイルのURLを取得し、Whisperで文字起こしするところまでを書きました。このとき、文字起こしはできたものの、なぜか句読点が入らないという問題がありました。 そこで今回は、句読点のない文章に句読点を入れる方法を取り上げます。先にお伝えしておきますが、私はこの領域には知見が浅く、「句読点の無い文章に句読点を挿入する（BERTによる予測）」の記事を大いに参考にさせていただきました。 こんな方におすすめ 文字起こしをしたものの句読点が入らず困っている あまり詳しくないもののとりあえずBERTを動かしてみたい 句読点付与の成果 先にどのような結果となったのかをお
WEELメディア事業部LLMリサーチャーの中田です。 3月11日、日本語特化型の大規模言語モデル「Swallow on mistral（Swallow-MS 7B, Swallow-MX 8x7B）」を、東京工業大学の岡崎研究室と横田研究室、産業技術総合研究所の研究チームが公開しました。 このモデルは、「Mistral 7B」と「Mixtral 8x7B」の日本語能力が強化されたものなんです！ Xでの投稿のいいね数は、国内だけですでに300を超えており、注目されていることが分かります。 📢 大規模言語モデルSwallow-MS 7BとSwallow-MX 8x7Bを公開しました。東京工業大学の岡崎研究室と横田研究室、産業技術総合研究所の研究チームでMistral 7BとMixtral 8x7Bの日本語能力を引き上げました。Swallow-MS 7Bはオープンな7BのLLMの中で日本語最高
パナソニック コネクトは、OpenAIのLLMをベースに開発した自社向けのAIアシスタントサービス「ConnectAI」の2023年6月～2024年5月までの活用実績と、今後の活用構想を発表した。 1年間の活用実績、目標をすべて達成し労働時間を18.6万時間削減 同サービスは、同社の国内全社員約1万2400人に展開している。どれだけ作業時間が削減できたかを全社員に聞いたところ、1回あたり平均約20分の削減につながっていることがわかったという。なお、生成AI導入の目標として掲げていた3点の達成結果は次のとおり。 生成AIによる業務生産性向上：1年で全社員18.6万時間の労働時間を削減。アクセス回数は12ヵ月で139万6639回、直近3ヵ月の利用回数は前年の同期間と比較して41％増加 社員のAIスキル向上：検索エンジン代わりのような用途から、戦略策定や商品企画などの1時間以上の生産性向上につな
つい調べちゃう調べものがけっこう好きで，Twitterなんかで気になるものが見つかると，専門に近いところならコーパスや新聞データベース，そうでなければ公的統計を使って調べることがたまにあります。今までだと「享年」と「歳」が共起するのはいつからか（または昔はあったのか）について，中納言を使って調べたのを書いたことがあります。 金田一先生ではなく金田一賞受賞者です（本当）。コーパスで経年変化を見ると明治・大正は「歳なし」が多数でしたが，昭和から「歳あり」が増えました。資料での違い（緑vs青）もあり，皆さんの触れる文章の違いも影響してるかと。ちなみに完全に蛇足ですが金田一春彦先生は「歳あり」で書いていました https://t.co/14SLoyetQf pic.twitter.com/mZtMi3ZPdR — まつーらとしお (@yearman) March 31, 2023
LAと言えばディズニーですけど。。。 もうすぐ日本から母と甥っ子がやってきます。 3週間の滞在予定です。 1週目は海亀を見にコーパスクリスティへ行きます。2週目は甥っ子は英語学校へ行き、母は友達に会ったり、ランチをしたり適当に過ごします。そして3週目はロサンゼルスへ行きます。母と甥っ子はそこから日本へ帰ります。 帰りは母と甥っ子は朝一番に空港へ行き、私達は夕方の便なので２回に分けて空港へ行く事を想定して空港近くにホテルを取りました。ちょっと飛行機がうるさそうです。 LAで咲いていた薔薇が綺麗でした 困ったのはLAの交通事情や安全性がイマイチ分からない事です。大都会なので日本のように交通網は発達していそうですけど。空港近くのホテルからグリフィス天文台、サンタモニカやハリウッドへは時間もどれぐらいかかるのかわかりません。 テキサスなら全部車で解決できるんですけど、レンタカーは予定していません。
複数言語における概念に対するネットワーク解析により、中核をなす4つの感情を解明<br>～自然言語処理にも活用できる重要な知見～｜東京理科大学
研究の背景 colexificationとは、ある単語が複数の概念を意味する現象を指します。例えば、スペイン語の「malo」という言葉は、「悪い」という意味で用いられる場合と、「深刻な」と言う意味で用いられる場合があります。このようなcolexificationに着目することで、私たちは、対象とする言語が概念をどのように捉えて表現しているかについて知ることができます。 言語についてのテキスト分析を行う場合、一般に、言語を処理できるような大規模コーパス（＊2）の収集が必要になります。しかし、colexificationを用いた分析は、既存の翻訳辞書などを利用するため、言葉同士の類似度データを収集する必要がなくなります。そのため、間接的な意味の類似度を解析できる言語学の新しい手法の一つになると考えられます。 従来の複数言語における感情概念に関する研究では、感情の関連性に基づいたcolexifi
国立情報学研究所 大規模言語モデル研究開発センター（仮称）特任研究員（特定有期雇用職員）募集 - NIIについて - 国立情報学研究所 / National Institute of Informatics
2023年12月01日 １．職名： 特任研究員（特定有期雇用職員） ※業績により特任教授、特任准教授又は特任助教の称号付与を行う場合有 ２．募集人員： 予算状況により、最大で26名程度 ３．勤務地： 国立情報学研究所（千代田区一ツ橋２-１-２ 学術総合センター内） 都営地下鉄・東京メトロ「神保町」A8出口、東京メトロ「竹橋」1b出口、徒歩3～5分 URL ： https://www.nii.ac.jp/ （ただし、今後、大規模言語モデル研究開発センター（仮称）（以下「LLMセンター」という。）用に新たに賃借する近隣のオフィスとなる可能性がある。なお、状況に応じて在宅勤務を認める場合がある） ４．所属： 国立情報学研究所 LLMセンター ５．職務内容： 国立情報学研究所は、2023年5月からLLM勉強会(LLM-jp) https://llm-jp.nii.ac.jp/を立ち上げ、オープンか
東京工業大学と産業技術総合研究所の共同研究チームは、生成AI（ジェネレーティブAI）の基盤となる、日本語能力に優れた大規模言語モデル「スワロー（Swallow）」を公開した。同モデルは現在公開されている日本語に対応した大規模言語モデルとしては最大規模であり、オープンで商用利用が可能であるため、ビジネスに安心して用いることができるという。 研究チームは今回、英語の言語理解や対話で高い能力を持つメタのオープンな大規模言語モデル「ラマ（Llama）2」の日本語能力を拡張することでSwallowを構築した。Llama 2は事前学習データの約90％を英語が占めており、日本語の割合は全体の約0.10％に留まるため、英語で高い性能を示すにも関わらず、日本語の読み書きは苦手という弱点がある。 そこで同チームは、非営利団体のコモンクロール（Common Crawl）が配布しているアーカイブから日本語のテキス
レポート、手紙、報告書……私たちは思ったよりたくさんの文章を日々書いています。その反面、小説などは読むばかりで自分が書くことなんて想像もしない人が多いのではないでしょうか。 小説を書くためには、「キャラクター設定」「プロット」の設定に加えて魅力的なストーリーや詳細な場面描写が必要で、何もないところから書くのはこれまで難しいことでした。しかし「ChatGPT」の登場から起きたAIブームにより、今やAIの力で完成に近い文章を生成し、人間が軽く手直しするだけでシチュエーションに合わせた文章が短時間で作成可能です。 一般的な文章だけでなく、AIの学習能力によって小説の生成まで可能になっています。そのクオリティはAIで作った小説が文学賞を取ったことでも話題となりました。 今回は、文章や小説が作成できるツール6つを紹介します。それぞれの特徴がありますので、自分のニーズに合わせて試してみましょう！本記事
要点大規模言語モデル(10-50b)の開発に関わることになりました｡ オープンソースの短期集中プロジェクト(24年3-8月)です｡ データセットやコードなどを随時オープンに開発し､共有する予定です｡ こちらのプロジェクトのチームリーダの一人をつとめます｡下記URLに記載のSlackから､誰でも参加できます(オープンな部分の開発､助言､コメント､情報収集など)｡ プロジェクトのslackにも誰でも参加できます。見るだけの参加もOKです｡ (参加方法はページの末尾を参照) 24/3/4追記 オープンな日本語の指示データセットを作っています｡ 誰でも投稿・利用できるフォームと､作り方のコツなどが記されています｡ 経緯: どうしてそうなったのか? (読み飛ばしOK)(細かな話なので､読み飛ばしても支障のないセクションです) 筆者の本業は一応､化学者(大学教員 in 2024)なのですが､ITや機械
大規模言語モデル（LLM）の評価指標まとめ
背景 ChatGPTが2022年に公開されて以降、様々な大規模言語モデルことLLMが市場に現れている。 MetaのLlamaやGoogleのPaLMなど海外のLLMもさることながら、日本国内の企業や団体も国産のLLMを公開している。 そこで、本記事ではそれらのLLMの性能を公正に効果的に図るために重要となる評価指標について日本語のものを対象に紹介していく。 評価指標 JGLUE 概要 JGLUEは、2022年にYahoo株式会社と早稲田大学によって作成された定量的に日本語のLLMの評価指標です。 評価データ mark-ja 多言語商品レビューコーパス MARC(Multilingual Amazon Reviews Corpus) (keung et al.2020)の日本語部分をもとに作成されました。 MARCは、amazonにおける商品レビューとそれに紐づく1-5の5段階のレーティング
Yi-Coderは、効率的な推論と柔軟なトレーニングが可能になるように設計されており、特に「Yi-Coder-9B」は、01.AIのオープンソースLLMファミリー「Yi」の一つである「Yi-9B」をベースに、高品質の2.4兆（2.4T）トークンの追加データを用いたトレーニングによって構築されている。このデータは、GitHubのリポジトリレベルのコードコーパスと、CommonCrawlからフィルタリングされたコード関連データから厳密に調達されている。 Yi-Coderの主な特徴は以下の通り。 関連記事 日本と中国を含むアジア太平洋地域の生成AI支出、2027年までに260億ドルに IDC予測 IDCによると、アジア太平洋地域（日本と中国を含む）では、生成AIの導入がかつてなく急速に進んでいることから、生成AI支出が2027年までに260億ドルに増加し、2022～2027年の年平均成長率は95
「ChatGPTはなぜ、人間のような言葉を紡ぎ出せるのか？（後編）～日本語も飛躍的に進化 信頼性に課題も」岡崎直観 - スマートニュース メディア研究所 SmartNews Media Research Institute
大量のデータを学習することで、人工知能（AI）が人間に匹敵する言語能力を持つことを可能にした大規模言語モデル（LLM）。世界のトップベンダーに追いつけ、追い越せと日本発のモデル開発が進んでいる。その一つ、「Swallow」はどのようにして優れた日本語能力を実現しているのか。また、LLMの今後の課題についても、考えていく。 岡崎直観（おかざき・なおあき） 2007年東京大学大学院情報理工学系研究科博士課程修了。東京大学大学院情報理工学系研究科特任研究員、東北大学大学院情報科学研究科准教授を経て、2017年東京工業大学情報理工学院教授。言語処理学会理事、日本ディープラーニング協会理事、ACL 2023（自然言語処理に関するトップ国際会議）プログラム委員長。著作や作品に「自然言語処理の基礎」（オーム社）、「言語処理100本ノック」など。 工夫を重ねたデータ学習で“苦手な日本語”克服、日本語で最高
RAGの品質評価フレームワークの選択肢 - Qiita
RAGの品質評価 最近、LLMコミュニティは自動評価の利用を探求しており、多くの研究者や企業がLLMを使用して自身のLLMアプリケーションの出力を評価しています。 DatabricksがGPT-3.5とGPT-4を評価として使用して、自社のチャットボットアプリケーションを評価した実践は、LLMを自動評価ツールとして使用することが効果的であることを示唆しています。 この方法がRAGベースのアプリケーションを効率的かつコスト効果的に評価することもできるでしょう。 評価のためのフレームワーク RAG評価フレームワークの分野では、RAGAS、ARESが比較的新しいものです。 これらの評価の主な焦点は、回答の信頼性、回答の関連性、およびコンテキストの関連性という3つの主要な指標にあります。さらに、オープンソースライブラリであるTruLensも同様の評価モードを提供しています。 これらのフレームワーク
はじめに この記事では、中学英語の復習レベルから、東京大学の入試で英語をアドバンテージにできるレベルまで到達するための究極の英語勉強法 を、純ジャパで東大英語上位一割で合格しトリリンガルプログラムに入り、TOEIC990点＆IELTS8.0という日本人トップクラスの英語力を身につけた筆者さぐさぐ自身の経験に基づいて論じます。 本記事における英語勉強法の特長 本記事の英語勉強法は、以下の3点の特長を持っています。 単語から長文まで、各分野の参考書にどのように取り組むべきか明確に説明する 英語は知識の比重が大きい科目ですが、同時に数学以上に技能が身についたかを問う科目でもあります。成績の思うように伸びない受験生は、適切な参考書に取り組んでいない場合もあれば、参考書の取り組み方が間違っている場合も多くあります（例：長文問題の答えを当てたかどうかに一喜一憂する）。本記事では、英語の学習過程を、単語
最近（2024年4月）公開された LLM を ELYZA-tasks-100 で性能評価してみた - Qiita
TL;DR Command-R-Plus, Llama-3, Phi-3 mini を ELYZA-tasks-100 で評価しました Command-R-Plus と Llama-3 70B の性能は既存モデルを大きく上回り、ELYZA-tasks-100 ベンチマークのトップを争っています はじめに 2024 年に入ってからも、数々の LLM が公開されています。特に Cohere や Meta、Microsoft など AI 業界の大手が開発したモデルが、オープンアクセスモデルとして非常に高い性能をもち、話題となっています。 Command-R Plus は、AI 開発スタートアップの Cohere が開発したLLMで、2024/4/4 に公開されています。パラメタ数は 104B です。RAG やエージェントとしての活用を想定したモデルですが、一般的な会話用途にも対応しています。 L
以下の文章は、コリイ・ドクトロウの「AI “art” and uncanniness」という記事を翻訳したものである。 Pluralistic AIアート（または「芸術」）に関して、クリエイティブ・ワーカーの労働権、表現の自由、著作権法の重要な例外と制限、そして美学を尊重する微妙なポジションを見つけるのは難しい。 総合的には、私はAIアートには反対だが、その立場には重要な注意点がある。まず第一に、作品をスクレイピングしてモデルを訓練することが著作権侵害だと言うのは、法律上、明らかな間違いである。これは道徳的な立場からではなく（これについては後述）、むしろ技術的な立場からである。 モデルの訓練手順を分解すると、これを著作権侵害と呼ぶのが技術的に間違いである理由はすぐに明らかになる。まず、一時的に作品のコピーを作成する行為は、たとえ数十億の作品であろうと、明らかにフェアユースだ。検索エンジンや
![AI“アート”の不気味さ――AIが“仕事を奪う”のではない | p2ptk[.]org](https://cdn-ak-scissors.b.st-hatena.com/image/square/06abc0445218b293da17291d16c2aa8adf47d163/height=288;version=1;width=512/https%3A%2F%2Fp2ptk.org%2Fwp-content%2Fuploads%2F2024%2F05%2Fai-ouija2.jpg)
マルチモーダルLLMを理解する - Qiita
想像してみてください: お気に入りのソーシャルメディアをスクロールしていると、絵のように美しくて素晴らしい風景画像に出くわします。興味をそそられたあなたは、仲間からの反応を期待して、その場所に関する質問を入力します。すると、仲間に代わって機械が風景と場所をそのまま識別し、詳細な説明に加えて、近くのアトラクションまで提案してくれました。 このシナリオはサイエンスフィクションではなく、さまざまなモダリティ（様式）を組み合わせることでAIの世界を拡張する マルチモーダルLLM (以下、M-LLMと記載します)の可能性を示しています。 M-LLMはマルチモーダル情報をシームレスに統合し、テキスト、画像、音声などを含む多様な形式のデータを処理して世界を把握できるようにします。M-LLMの中核は、さまざまなデータ型を取り込むことができる汎用性の高いニューラルネットワークで構成され、それによってさまざま
深層学習っぽい用語のメモ 〜 Auxiliary loss、Transformer-XL、axial-attention〜 - magattacaのブログ
AlphaFold2はディープラーニングの専門家の視点でみても面白いそうですが、ど素人にはさっぱりです。 というわけで、前回の「Self distillation」に引き続き、深層学習っぽい用語を調べています。 今回取り上げる用語はAuxiliary loss、Transformer-XL、axial-attentionです。 www.nature.com 概要 1. Auxiliary loss 1-1. こまめな中間報告が成功の鍵？ ~補助損失~ 1-2. AlphaFoldででてくるAuxiliary loss 1-3. Auxiliary lossの効果はあったの？ ~ablation study~ 2. Transformer-XL 2-1. Transformer x Auxiliary lossで文字レベル言語モデルの高性能化 2-2. Transformer-XLと可変長文
DHSympo2023
日時 ： 11月18日（土）13:00-18:30 会場：東京ビッグサイト会議棟 6階 参加費無料・要参加申込 【参加申し込みフォーム】 デジタル・ヒューマニティーズ（DH）が国際的な潮流となって20年が経とうとしています。日本でも、多くの大学や研究機関がDH研究をすでに始めていますが、将来に向けてDH研究を持続的に拡大していくには、人文学のためのデジタル研究基盤が不可欠です。また、研究機関・研究者の連携を進め、人材育成を行っていくことも求められています。そこで、欧州全体の人文学のデジタル研究基盤として世界の最先端を切り開くDARIAH- EU（※）において、リーダーを務める Toma Tasovac氏の来日講演会を企画しました。またこれを機会に、日本におけるDHおよびそれを支える研究基盤の最新動向も把握できるよう、日本の研究教育機関やグループによるポスター・デモ展示も行います。世界と日本
IT Leaders トップ ＞ テクノロジー一覧 ＞ AI ＞ 事例ニュース ＞ 三菱重工とNTT、外国特許出願時に専用AI翻訳を活用する検証、人間の作業を大幅に削減 AI AI記事一覧へ [事例ニュース] 三菱重工とNTT、外国特許出願時に専用AI翻訳を活用する検証、人間の作業を大幅に削減 2023年10月17日(火)日川 佳三（IT Leaders編集部） リスト 三菱重工業（本社：東京都千代田区）とNTTは2023年10月17日、外国特許の出願に特許専用のAI翻訳を活用する検証を行い、人間の作業を大幅に削減できる可能性を確認したと発表した。特許関連文書の翻訳には正確さや厳密さが要求されるため、汎用的なAI翻訳では要求を満たせず、人間が翻訳結果を修正する必要がある問題への取り組みとなる。 三菱重工業とNTTは、外国特許の出願に特許専用のAI翻訳を活用する検証を行い、人間の作業を大幅に
第19回YANSシンポジウム プログラム - YANS
9/4(水): シンポジウム1日目 @梅田スカイビル Tower WEST 36F 「スペース36L」 [10:30-11:00] 受付 (留学交流会) [11:00-12:00] 留学交流会 [12:30-13:00] 受付 (ハッカソン) [13:00-20:00] YANS分野交流ハッカソン with 言語処理学会30周年記念事業 9/5(木): シンポジウム2日目 @梅田スカイビル Tower WEST 10F 「アウラホール」 [09:30-10:00] 開場 [10:00-10:30] オープニング [10:30-11:30] チュートリアル(1) 「ニューラルネットワークの損失地形」 [11:40-12:40] ポスターセッション (1) [12:40-14:00] 昼休憩 [14:00-15:00] ポスターセッション (2) [15:15-16:15] スポンサーセッショ
約1720億パラメータ（GPT-3級）の大規模言語モデルのフルスクラッチ学習を行い、プレビュー版「LLM-jp-3 172B beta1」を公開～学習データを含めすべてオープンにしたモデルとしては世界最大〜 - 国立情報学研究所 / National Institute of Informatics
2024/09/17 約1720億パラメータ（GPT-3級）の大規模言語モデルのフルスクラッチ学習を行い、プレビュー版「LLM-jp-3 172B beta1」を公開 ～学習データを含めすべてオープンにしたモデルとしては世界最大〜 大学共同利用機関法人 情報・システム研究機構 国立情報学研究所 (NIIエヌアイアイ、所長：黒橋くろはし 禎夫さだお、東京都千代田区) の大規模言語モデル研究開発センター（LLMC）は、主宰するLLM勉強会（LLM-jp）の成果として、これまでのデータ活用社会創成プラットフォームmdx(*1)での130億パラメータ・モデルの学習、国立研究開発法人産業技術総合研究所の第2回大規模言語モデル構築支援プログラムによるAI橋渡しクラウド（ABCI）での1750億パラメータ・モデルの学習トライアルの成果を踏まえ、パラメータ数(*2)約1720億（GPT-3級）の大規模言語
国内最大規模で商用利用な日本語コーパス ABEJA-CC-JAの公開と使い方 - ABEJA Tech Blog
ABEJAでデータサイエンティストをしている服部です。 ABEJAは経産省主催のGENIACプロジェクト1期に採択され、その中で大規模言語モデルの開発を行っていました。 その際にモデルの開発と同時に日本語用の学習コーパスを構築しました。 www.abejainc.com そして、この構築した日本語用の大規模言語コーパス、すなわち言語モデル用の学習データセット ABEJA-CC-JA を公開しました！ 商用利用も可能です。 ここでは、公開したデータセットについてご紹介します。 構築したデータセット ABEJA-CC-JAについて 元データ: Common Crawl 2019年から2023年までを対象に、計41のtimestamp データセットのサイズ : 約430Bトークン Mixtral8x7bのtokenizerでのtoken数 約407B (4070億)文字 日本語公開コーパスとして
PRESS RELEASE 2024年5月17日 富士通株式会社 論理推論を可能とする大規模言語モデルの研究開発が「GENIAC」に採択 ナレッジグラフと大規模言語モデルを融合する研究開発を強化することで、生成AIの信頼性を高め業務活用を加速 当社は、経済産業省が推進する国内の生成AIの開発力を強化するためのプロジェクト「GENIAC（Generative AI Accelerator Challenge）」のもと、国立研究開発法人新エネルギー・産業技術総合開発機構（以下、NEDO）が公募した、「ポスト5G情報通信システム基盤強化研究開発事業／ポスト5G情報通信システムの開発（助成）」に採択され（注1）、論理推論を可能とする大規模言語モデル（以下、LLM）の研究開発を開始します。 当社は、企業における生成AI活用の課題を解決する業務に特化した生成AIの提供を目指して研究開発を行っています。
ローカルLLM自由帳
言語モデルの「記憶」を管理する方法としては、１）追加学習や知識編集によってLLM自体の知識更新を試みる方法と、２）外部の記憶データから必要情報を適時検索してモデルに渡す方法、の2つの方向性があります。 この論文は後者の系統に属する研究で、人間のエピソード記憶のあり方を参照し、外部データを効果的に整理・検索することを目指した研究のようです。 タイトルは"Human-like Episodic Memory for Infinite Context LLMs"で、Huaweiの研究所とUCLの研究者らによって2024年7月に投稿されています。 arxiv.org 要旨 大規模言語モデル（LLM）は目覚ましい能力を示しているが、広範なコンテキストの処理にはまだ苦戦しており、長いシーケンスにわたって一貫性と正確さを維持する能力には限界がある。これとは対照的に、人間の脳は、生涯にわたる膨大な時間スケ
山崎竜成先生インタビュー：頻出フレーズを覚えて「英語の感覚」を手に入れる【大学入試 飛躍のフレーズ IDIOMATIC 300】 - ENGLISH JOURNAL
山崎竜成先生インタビュー：頻出フレーズを覚えて「英語の感覚」を手に入れる【大学入試 飛躍のフレーズ IDIOMATIC 300】 『大学入試 飛躍のフレーズ IDIOMATIC 300』著者の山崎竜成先生 頻出の言い回しを覚えて「英語の感覚」を磨く1冊。それがアルクから8月に刊行された『大学入試 飛躍のフレーズ IDIOMATIC 300』（以下『IDIOMATIC』）です。昨年発売の『大学入試 無敵の難単語 PINNACLE 420』（以下『PINNACLE』）に続く、大学入試対策書の第2弾。発売後すぐに重版が決まるなど、大きな反響を呼んでいます。2冊の著者である山崎竜成先生と、担当編集の中西に書籍の誕生秘話や受験生へのメッセージなどを聞きました。 英語のフレーズ本を一番書いてみたかった――難単語集の『PINNACLE』続編となる、頻出フレーズ集『IDIOMATIC』が発売となりました。
Swallow Corpusは東京工業大学情報理工学院の岡崎研究室で開発された大規模なウェブテキストコーパスです。Common Crawlから配布されているアーカイブ（2020年から2023年にかけて収集された21スナップショット分、約634億ページ）から日本語のテキストを独自に抽出・精錬し、約3,121億文字（約1.73億ページ）からなる日本語ウェブコーパスを構築しました。この規模は、CC-100 (約258億文字）、mC4（約2,397億文字）、OSCAR 23.10（約740億文字）を抜き、日本語の言語モデルの学習コーパスの中で、商用利用が可能なものとしては最大となります。 Swallow Corpusのの研究開発は、国立研究開発法人新エネルギー・産業技術総合開発機構（NEDO）の「次世代人工知能・ロボットの中核となるインテグレート技術開発」プロジェクト (JPNP18002) の「
人間の記憶特性がLLMにも存在することが明らかに！
3つの要点 ✔️ 人間の記憶特性とLLMとの類似性を調査するための様々な実験を実施 ✔️ プライマシー効果やリーセンシー効果、反復による記憶の強化といった人間特有の現象がLLMにも現れることを確認 ✔️ LLMが人間の生物学的な記憶のメカニズムを研究するために有用なツールであると証明 Aspect of human memory and Large Language Models written by Romuald A .janik (Submitted on 7 Nov 2023 (v1), last revised 8 Apr 2024 (this version, v3)) Comments: Published on arxiv. Subjects: Computation and Language (cs.CL); Artificial Intelligence(cs.AI);
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
生成AIの動向と産業影響【総合編】～生成AIは産業をどのように変えるか～（2023年12月）
論文集『構文形式と語彙情報』にル動詞の話を書きました - 誰がログ
「名画にスープをかける」は気候変動への抗議活動になるのか？ 英メディアの報道を分析
7月13日 コーパスクリスティ旅行計画 - ZigZagDog’s diary
ことばの意味を計算するしくみ 計算言語学と自然言語処理の基礎 谷中 瞳(著/文) - 講談社
Google スプレッドシートが計算ワーカーを JavaScript から WasmGC に移植した理由 | web.dev
【Swallow on mistral】日本語最強の性能を叩き出す70億パラメーター国産LLMを使ってみた | WEEL
パナソニック コネクト、生成AIで年間18.6万時間の業務削減 導入から1年を振り返る
アインシュタインはそんなこと言ったのか？——または名言にはご用心｜まつーらとしお
7月20日 LA旅行計画 - ZigZagDog’s diary
日本語に強い大規模言語モデル「Swallow」 東工大ら公開
AIで小説・文章・物語を自動作成するツール6選【無料あり】
大規模言語モデルを作ります(10-50b, 2024年3-8月頃)｜Kan Hatakeyama
中国の零一万物（01.AI）、コーディング用LLM「Yi-Coder」をオープンソースとして公開
【東大理三が図解】大学受験の英語勉強法を徹底解説-教科書レベルから東大レベルまで- | メタスキリング
AI“アート”の不気味さ――AIが“仕事を奪う”のではない | p2ptk[.]org
三菱重工とNTT、外国特許出願時に専用AI翻訳を活用する検証、人間の作業を大幅に削減 | IT Leaders
ナレッジグラフと大規模言語モデルを融合する研究開発を強化することで、生成AIの信頼性を高め業務活用を加速 : 富士通
Swallow Corpus – TokyoTech-LLM