LLMを用いたLLMの自動評価について 〜可能性と注意点〜 - NTT Communications Engineers' Blog
こんにちは、イノベーションセンターの杉本（GitHub：kaisugi）です。普段はノーコードAI開発ツール Node-AI の開発に取り組む傍ら、兼務1で大規模言語モデル（LLM:Large Language Model）について調査を行なっています。特に、日本語を中心に学習された LLM への関心があり、awesome-japanese-llm という日本語 LLM をまとめた Web サイトのメンテナンスにも取り組んでいます。 今回は、LLM に LLM の評価そのものを行わせるという新たなアプローチ（LLM-as-a-judge）についてご紹介します。 ChatGPT の登場以降、国内外で LLM の開発競争が進行しており、モデルの重みが公開されたオープンなモデルも続々と現れています。そのような中で、新しいモデルの構築だけでなく、どのモデルが優れているかを比較検討することが今後ます
完全自動運転にLLMは必要か？
この記事を3行でまとめると.. Turingでは1年以上前から完全自動運転に自然言語処理が必要と考えてきた 自動運転におけるロングテールなデータに対して、LLMの一般常識に基づく判断能力が必要 Chat-GPTをきっかけにLLMを自動運転に利用する研究が盛り上がってきている TuringのBrain Researchチームの棚橋です。Brain Researchチームでは、中長期的に自動運転においてキーとなるコア技術の開発を行っています。最近ではVision LanguageモデルのフレームワークとしてHeronをリリースしました。なぜ自動車を製造する会社が、LLMの開発を行っているのでしょうか。 Turingでは1年以上前から自動運転における複雑な文脈理解には自然言語が必要であると主張してきました。今年の7月にはLLMで実際の車を動かしてみるプロジェクトをデモとして公開しました。このデモ
今年の書初めコーディングはAITuberを創る！
はじめに あけましておめでとうございます。去年は何といってもAIの年でした。ChatGPTやStableDiffusionが2022年末に登場してから、想像を超えてAI周りが進化しましたね。今回は年の初めという事もあり、前から興味のあったAITuberを作ってみる事にしました。 「AITuberを作ってみたら生成AIプログラミングがよくわかった件」 って本も買ったし。LLM部分だけでは無く、OBSやYouTubeのコメント取得などAITuberに必要な内容が一式揃っていて非常に参考になりました。 また、私はプログラミングは多少できますが、イラストや音楽に関しては全くスキルの無い人間です。そのためそのあたりに関してはStable DiffusionやSunoAIの力を借りて作っているので、結果的にオール生成AIという感じですね。そのあたりも含めて記事にまとめたいと思います。 TL;DR 素の
時系列データのための大規模言語モデル
近年の大規模言語モデル（LLM）の出現は、自然言語処理（NLP）においてパラダイムシフトをもたらし、ChatGPTをはじめとする様々な革新的サービスを生み出している。LLMの急速な進化は、NLPの領域を超えて、より広範なデータモダリティへのLLMの適用可能性を探る研究への発展を促している。その中で今回注目したのが、時系列データへのLLMの適用である。例えば、[Gruver+, 2023] では、GPT-3やLLaMA-2などの既存のLLMが、ダウンストリームタスクで教師あり学習した時系列モデルの性能に匹敵するか上回るレベルで、zero-shotで時系列予測ができることを報告しており、大変興味深い。本ブログでは、2024年に公開されたサーベイ論文「Large Language Models for Time Series: A Survey」を参考にLLM for Time Seriesの全
LLMのRAG（外部知識検索による強化）についての調査結果が報告されています。 基本フレームワークと各構成要素の詳細、評価、そして今後の発展について言及されており網羅的です。 本記事では、その報告内容を抜粋してお届けします。 参照論文情報 タイトル：Retrieval-Augmented Generation for Large Language Models: A Survey 著者：Yunfan Gao, Yun Xiong, Xinyu Gao, Kangxiang Jia, Jinliu Pan, Yuxi Bi, Yi Dai, Jiawei Sun, Haofen Wang 所属：Tongji University, Fudan University URL：https://doi.org/10.48550/arXiv.2312.10997 本記事の関連研究：LLMにナレッジグ
要点 日本語能力に優れビジネスにも安心して活用できる大規模言語モデルを公開 継続事前学習により大規模言語モデルの日本語能力を改善 高度な日本語処理が求められる多くの場面で、生成AI技術の利活用を推進 概要 東京工業大学（以下、東工大） 情報理工学院 情報工学系の岡崎直観教授と横田理央教授らの研究チームと国立研究開発法人 産業技術総合研究所（以下、産総研）は、日本語能力に優れた生成AIの基盤である大規模言語モデル[用語1]「Swallow」を公開した[参考リンク1]。本モデルは現在公開されている日本語に対応した大規模言語モデルとしては最大規模であり、オープンで商用利用が可能であるため、ビジネスに安心して用いることができる。 東工大と産総研の研究チームは、英語の言語理解や対話で高い能力を持つ大規模言語モデル（米Meta社 Llama 2）の日本語能力を拡張することで「Swallow」を構築した
トレンドの移り変わりが激しいデジタルマーケティングについて、マーケターが押さえるべきトレンドをまとめました。デジタル変革期に欠かすことの出来ない最新情報をぜひご覧ください。 「紙」に印刷すると間違いに気づく理由とは？「あれっ！こんなところを間違えてる」―。パソコンの画面上で何回も見直して間違いはなかったはずなのに、紙に印刷すると原稿のミスを発見！こんな経験、皆さんにもあるのではないでしょうか？ 新型コロナウイルスの感染拡大に伴い、リモートワークが増えてからは、より一層それを強く感じるようになった気がします。リモートワークではプリンターが無かったり、あっても印刷作業自体が面倒だったり、会社のプリンターに比べるとスピードが遅くて印刷に手間取ったり・・・。そんなわけで、紙でのチェックが怠りがちになってミスが生じる、いつもより目を凝らして画面とにらめっこ・・・なんてこと、増えているかもしれません。
はじめに 「短いブログ」としてのTwitter 「バズる」ことによる評価 「長いTwitter」化したブログ？ ブログ（長いテキスト）の評価法 おわりに はじめに 以下、あまり専門的な裏付けや見通しはないブログの一書き手としての雑感です。 タイトルはちょっと何言いたいか分からない感じですね。どうもしっくりくるタイトルが思い浮かびませんでした。私の考えていることの概要はだいたい次の通りです。 Twitterが即時的なリアクションやとにかく注目を浴びることが評価につながる傾向を加速させた ブログはTwitterの前からあるにもかかわらず、今はその評価方法に乗せられてしまっている：「長いTwitter」化 ブログが長く書けることを強みの１つにするのなら、別の評価方法がほしい なお、「Twitter」と「X」という名称は必要に応じて使い分けますが、それほど厳密な区別はしていません。 「短いブログ」
皆さんはプログラミング言語を作ったことがあるでしょうか？ おそらく大抵の方は「ない」というのが正直なところなのではないかと思います。背景には、おそらく「プログラミング言語を作るって難しそう」という先入観があるのではと筆者は踏んでいます。 プログラミング言語とは、コンピューターに指示を与えるための特別な言語です。私たちが日常で使う言語と同じように、プログラミング言語にも文法やルールがあります。そして、この言語を理解し実行するのが「処理系」と呼ばれるプログラムです。 しかし、実はプログラミング言語の処理系（インタプリタ）を作ることは非常に簡単なことです。小さなOSを作ることに比べても、ちゃんと動くWebサービスを作ることに比べても本当に簡単です。 というわけで、この記事では「プログラミング言語」を作るための導入として「数式言語」のインタプリタを作ってみます。数式言語とは、数学の式を扱う非常にシ
フューチャーアーキテクト株式会社 シニアアーキテクト 渋川 よしき 本田技術研究所、DeNAを経て現職。技術書の執筆や翻訳も手がけ、「実用Go言語」「Real World HTTP」「Goならわかるシステムプログラミング」の執筆、エキスパートPythonプログラミングの翻訳などを行う。2023年5月に翻訳書「ソフトウェア設計のトレードオフと誤り」を、7月に「エキスパートPythonプログラミング改定4版」を上梓。 技術や業界など仕事についての情報収集の基盤として多くのエンジニアを支えていたTwitterが、以前とは異なる姿となってゆく今、必要な情報を過不足なく収集しインプットする方法に悩みを持つ人も少なくありません。 「アフターTwitter時代の情報収集」と題したこの連載では、業界をリードする方々に、Twitterの変化によって普段の情報収集の方法がどう変わったか、欲しい情報を効率よく集
濃くて黒い文字ほど記憶に残る。「最も黒いペン」で学習効果をより高める方法を探ってみた - STUDY HACKER（スタディーハッカー）｜社会人の勉強法＆英語学習
最近どうも勉強が退屈に感じてしまう。気軽に試せて気分転換にもなる勉強法はないだろうか……？ ――そんな方におすすめの、ちょっとしたアイデアがありますよ。学習効果も期待できます。実践とともに詳しくお伝えしましょう。 【ライタープロフィール】 STUDY HACKER 編集部 「STUDY HACKER」は、これからの学びを考える、勉強法のハッキングメディアです。「STUDY SMART」をコンセプトに、2014年のサイトオープン以後、効率的な勉強法 / 記憶に残るノート術 / 脳科学に基づく学習テクニック / 身になる読書術 / 文章術 / 思考法など、勉強・仕事に必要な知識やスキルをより合理的に身につけるためのヒントを、多数紹介しています。運営は、英語パーソナルジム「StudyHacker ENGLISH COMPANY」を手がける株式会社スタディーハッカー。 偶然に生まれた「対比効果」
対話型AIサービス「ChatGPT」で使われている自然言語モデルの核になっている技術が「Transformer」だ。自然言語処理を例に、Transformerの仕組みを解説する。 実は、エンコーダーとデコーダーに用いられている「RNN」（Recurrent Neural Network）には、欠点があります。それは、長い文章が苦手だということです。 なぜ苦手かというと、以下の2つのポイントからそのように言えます。 （1）RNNでは、翻訳元文章全体の特徴を記憶できるサイズが固定されている。そのため、文章が長くなり単語の数が増えるほど、エンコーダーにおいて、文章の前の方で出現した単語の意味が薄まってしまう。 （2）RNNでは、単語を1つずつニューラルネットワークで処理する。そのため、単語の数が多くなればなるほど処理時間がかかってしまう。 ですので、RNNが持つこうした欠点を解消するための仕組み
私は，あるスタートアップ企業でエンジニアリングマネージャー（の，1人）をしている。toB向けSaaSを提供している数百名規模の会社で，社名が少しずつ世の中に知られるようになってきたくらいのフェーズ。会社からはDirectorという肩書をもらっていて，トラディショナルな日本企業だといわゆる部門長の層にあたる。中間管理職の中では上のほうで，執行役員の下あたり，というと伝わりやすいだろうか。 様々な事情（会社が大きくなった，比較的社歴が長い，そこそこの業界経験値がある，自分の専門領域(*1)に社内のフォーカスがあたるようになり，チームをスケールする必要が出てきた，etc.）から，半ば必要にかられて，重い腰を上げてエンジニアリングマネージャーとして活動を始めたのがちょうど1年ほど前。 決してマネージャーとして早咲きのほうではなく，IT業界でのキャリアは15年くらいで，これまではずっとプレイヤー，ま
ChatGPTが同時多発的に奇妙なことを言い始めて「ChatGPTが発狂した」「発作を起こした」という報告が相次ぎOpenAIが慌てて修正
OpenAIが開発したChatGPTは非常に高い精度で人間とチャットをすることができますが、時には「ハルシネーション(幻覚)」と呼ばれる見当違いな回答をする場合もあります。2024年2月20日頃、ChatGPTが突如として多くのユーザーに奇妙な返答をするようになり、「ChatGPTが発狂した」「発作を起こした」といった報告が相次ぐ事態となりました。 ChatGPT goes temporarily “insane” with unexpected outputs, spooking users | Ars Technica https://arstechnica.com/information-technology/2024/02/chatgpt-alarms-users-by-spitting-out-shakespearean-nonsense-and-rambling/ ChatGP
「全ては会社の競争力を生み出すために」アーキテクチャを刷新し、ドメインモデリングも組織再編もエンジニア教育も一つ一つ丁寧に積み上げてモダナイズを進めた話｜CTOロングインタビュー - MonotaRO Tech Blog
独自のビジネスモデルを持ち、競争優位を獲得しているモノタロウ。事業拡大に合わせて、モノタロウの成長をテクノロジーで支えるTech組織も進化してきました。現在Tech組織は、より高度なビジネス価値を生み出せるようにするため、サプライチェーンの高度化、パーソナライゼーションでの商品検索に着目し、アーキテクチャの再構築とシステムのモダナイズに取り組んでいます。また、そこに向けて組織体制のアップデートやカルチャーの醸成にも力を入れています。 今回は、MonotaRO CTO 普川泰如氏のインタビューから、その実態に迫っていきます。まず第1章ではモノタロウが会社として掲げるビジョンとビジネスの特徴について説明します。それを踏まえて第2章では、そのビジョンやビジネスを実現するためのシステムとその課題、モダナイゼーションについて、第3章ではその技術的な取り組みを実行するためのTech組織の体制について紹
1. 『ヒトはなぜ笑うのか』マシュー・M. ハーレー 、レジナルド・B・アダムズJr.、ダニエル・C・デネット 著、片岡宏仁 訳 2. 『言語の本質』今井むつみ、秋田喜美 著 3. 『教養としてのAI講義』メラニー・ミッチェル 著、尼丁千津子 訳 4. 科学雑誌『Newton（ニュートン）』 2023年10月号、中野太郎 、尾崎太一 執筆、松尾 豊 監修 5. 『天然知能』郡司ペギオ幸夫 著 これは、ヘミングウェイが書いたとされる、たった6語の小説だ(※1)。この短い小説から、何が感じられるだろうか？ 売ります 赤ちゃんの靴 未使用 おそらく、悲嘆だろう。我が子のために靴を買ったのだけれど、その靴を履く前に、亡くなってしまったのだろう。靴を見るたびに喪われた子のことを思い出し、悲しみに暮れてしまう。ならばいっそ手放してしまおう―――背後にそんなストーリーを想像させる。 私が想像したこの感情
アメリカで働くことは多くの日本人にとって魅力的な選択肢である。特にシリコンバレーなどは「給与が日本の5倍」「世界中の優秀なエンジニアが集まる」といった印象を持たれており、憧れを抱く人も少なくないはず。Google、IBM Research、旧Facebookで働いた経験を持つ株式会社IVRy（アイブリー）の花木健太郎氏は、2023年12月9日に開催された「Developers CAREER Boost 2023」において、アメリカで働くことの魅力と、日本人がアメリカで働くための3つの方法について語った。 働き方が自由な海外、多くの優秀な人たちと出会える 花木氏は自然言語処理を専門とし、機械学習に10年の経験を持つ。彼はアメリカのミシガン大学で理論物理の博士号を取得した後、分野を転じてニューヨーク大学でデータサイエンスの修士号を取得した。修士課程在籍中には、ゴールドマン・サックスとFaceb
Rubyのこれからを STORES で作る。Rubyコミッター笹田さん、遠藤さんにCTOがきく「Fun」｜STORES note
Rubyのこれからを STORES で作る。Rubyコミッター笹田さん、遠藤さんにCTOがきく「Fun」 このたび STORES にRubyコミッターの笹田耕一さん、遠藤侑介さんが入社されることになりました。入社に先駆けて、CTOの藤村大介さんがお二人にたっぷりとお話を聞きます。プログラミングとの出会いから STORES を選んだ理由、これからのRubyのこと、そしておふたりの「Fun」とは。 聞き手：藤村大介（CTO） PROFILE： 笹田耕一さん 大学在学時からRuby向け仮想マシンYARVを開発し、2007年に「Ruby 1.9」に採用される。以降、Rubyコミッターとして、言語処理系の高速化に従事し、仮想マシンやガーベージコレクションの性能改善などを行なう。Rubyアソシエーション理事 （2012〜現任）。博士（情報理工学）。 遠藤侑介さん 大学院修了後、大手電機メーカーで研究開
大規模言語モデル
2023年度統計関連学会連合大会チュートリアルセッション 言語モデルと自然言語処理のフロンティア
OpenAI の GPT-4-vision-preview (VLM) を利用した商品画像のタグ付け - DROBEプロダクト開発ブログ
はじめに DROBE の課題と GPT-4-Vision-Preview を試すモチベーション ケーススタディ 入力するデータ 推論周辺部分のコード プロンプト 実験結果 おわりに 参考文献 はじめに OpenAIが Dev Day で発表したGPT-4-Vision-Previewは、画像処理と自然言語処理を組み合わせた最先端の技術です。 このモデルは、画像を理解し、その内容に基づいてテキスト情報を生成する能力を持っています。例えば、写真やイラストから物体を識別し、それに関連する説明や情報をテキストとして提供できます。この技術は、画像とテキストの間のギャップを橋渡しするものであり、多様な応用が可能です。 DROBEは、多様なファッション商品を取り扱うECサイトを運営しています。我々の挑戦の一つは、膨大な数の商品画像と説明文から、正確で有用なタグを抽出し、整理して保存しておく事です。このプ
C言語でWASMインタプリタを実装した話
概要 公式のcore testが全て(UTF8, WAT, SIMD関連のものは除く)通るWASMインタプリタをC言語でフルスクラッチで実装した。自作WASMランタイムで省略されがちなValidation Stageも実装した。この記事はWebAssembly Advent Calendar 2023の三日目の記事である。 目的 このWASMランタイムを実装するにあたり、「できるだけ仕様に従って実装する」ことを心掛けた。WASMの仕様書は以下のissueが立つほど読みにくいものとなっているが、ランタイムをどのように実装すべきかが詳しく書いてあり、一応仕様書を頑張って読めばランタイムが作れるようになっている。 この自作WASMランタイムの目的は、できるだけ仕様に従った実装を与えることで、仕様の理解を助けることである。早さや効率性よりも分かりやすさを優先しているため、実用には向かない。仕様書を
こんにちは。サービス開発室の武田です。このエントリは、2018年から毎年公開しているAWS全サービスまとめの2024年版です。 こんにちは。サービス開発室の武田です。 このエントリは、2018年から毎年公開している AWS全サービスまとめの2024年版 です。昨年までのものは次のリンクからたどってください。 AWSにはたくさんのサービスがありますが、「結局このサービスってなんなの？」という疑問を自分なりに理解するためにまとめました。 今回もマネジメントコンソールを開き、「サービス」の一覧をもとに一覧化しました。そのため、プレビュー版など一覧に載っていないサービスは含まれていません。また2023年にまとめたもののアップデート版ということで、新しくカテゴリに追加されたサービスには[New]、文章を更新したものには[Update]を付けました。ちなみにサービス数は 247個 です。 まとめるにあ
徳永拓之（LeapMind（株）） 1bit LLMの時代が来る？ 2024 年2 月，The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits¹⁾ というタイトルの論文がarXiv上で公開され，にわかに話題となりました．“1.58 Bits” という表現はあまりなじみがありませんが，log₂(3) = 1.58 . . . ということで，パラメーターを三値にした場合の情報量を示しているようです．この論文（以下b1.58 論文とする）は，同じ著者グループによる文献2）を少し拡張したもので，大規模言語モデル（LLM）の効率化についての研究です． 本稿の前半ではこれらの論文の主張を解説し，後半ではその主張の妥当性について検討します． なお，これらの2本の論文は，本稿執筆時点では，査読を経たものではありませんのでご注意くだ
前回はなぜChatGPTがもっともらしい文章を生成できるのか、ジェネレーティブAI（生成AI）の原理を説明した。ChatGPTに代表される言語生成モデルだけでなく、画像生成や動画生成、音声生成とバラエティに富んだ生成AIがあることも解説した。この手の流行りの技術は個人向けで盛り上がっても、社会実装にまで至らないことも多い。一方、飛躍的な進歩を遂げた生成AIは企業向け、さらには公共サービスまで幅広く活用され始めている。今回はビジネスでの活用法に踏み込んでいこう。「タイパ」が非常に優れた本場米国での使われ方とは何だろうか。 アクセンチュア株式会社 ビジネス コンサルティング本部 Data＆AIグループ AIセンター チーフフェロー 早稲田大学大学院理工学研究科電気工学修士課程修了。アンダーセンコンサルティング（現アクセンチュア）入社後、小売業や製造業、金融業、通信業、公共事業など業界を問わず、
講師は慶應義塾大学の安宅和人教授、統計情報研究開発センターの小西純氏、早稲田大学の西郷浩教授など、データサイエンスに携わる専門家が務める。統計学の基礎や統計データの見方など、統計データ分析の基本的な知識を学習できる同講座は、2015年の開講からのべ約19万2000人が受講したという。 受講登録は7月29日まで。 関連記事 データ分析初心者は“童心に帰る”べき── 現役データサイエンティストが説く、失敗しないための心構え コロナ禍の事業継続の姿勢から一転し、データ活用に関心を向ける企業が増えている。こ一方、ノウハウや人材不足により、思うような成果を出せない企業もある。現役のデータサイエンティストに分析初心者が持つべき心構えを聞いた。 総務省「社会人のためのデータサイエンス演習」リニューアル開講 無料で学べる 総務省の無料オンライン講座「社会人のためのデータサイエンス演習」がリニューアル開講。
GPT-4を凌駕する日本語対応チャットAIが登場。現状最強モデル「Claude 3」徹底解説｜ChatGPT研究所
2024年3月4日（アメリカ現地時間）、Anthropicは現状、最高性能モデルの「Claude 3 Opus」を含む、新たな大規模言語モデルファミリー「Claude 3」を発表しました。 Claude 3シリーズはHaiku、Sonnet、Opusの3バージョンで提供され、新たに発表されたOpusはシリーズ中で最も高性能なモデルとされています。 この記事では、Claude 3ファミリーの特徴、各モデルの性能比較、利用方法、そしてGPT-4との比較に焦点を当てて解説します。 Claude とは？Anthropicが開発した大規模言語モデル「Claude」の最新バージョンが「Claude 3」です。実はClaude 3は3つのモデルから構成されるモデルファミリーで、以下の通り段階的に高度な能力を持っています。 Claude 3 Haiku Claude 3 Sonnet Claude 3 O
この記事は NTTコムウェア AdventCalendar 2023 5日目の記事です。 自己紹介&動機 高鶴と申します。NTTコムウェア コーポレート革新本部で、プログラム設計～コーディング～ユニットテストにかかわる技術の社内標準化をやっております。 プログラムの静的な解析で早期にバグを発見・修正することで、後工程でのバグ対処コスト削減（ウォーターフォール開発の場合）や、技術的負債の早期解消（アジャイル開発の場合）を目指す、というのが私のチームの仕事の大きな一部となっています。 静的な解析で早期にバグを発見するツールには、オープンソースでも商用でも様々なものがあります。しかし、ソフトウェアの品質をより抜本的に良くしていこうと思うと、「プログラミング言語を何とかする」というところを考えたくなってきます。 Rustであれば、そのような期待に応えてくれるのではないかと期待し、調査・検証を始めま
Dify の ワークフロー の概要｜npaka
以下の記事が面白かったので、簡単にまとめました。 ・Workflow - Dify 1. ワークフロー1-1. ワークフロー「ワークフロー」は、複雑なタスクを小さな「ノード」に分割することで、LLMアプリケーションのモデル推論への依存を減らし、システムの説明可能性、安定性、耐障害性を向上させます。 「ワークフロー」の種類は、次のとおりです。 ・Chatflow : 顧客サービス、セマンティック検索など、応答作成に複数ステップのロジックを必要とする会話シナリオ用 ・Workflow : 高品質な翻訳、データ分析、コンテンツ作成、電子メールの自動化など、自動化・バッチ処理シナリオ用 1-2. Chatflow自然言語入力におけるユーザー意図認識の複雑さに対処するため、「質問分類」「質問書き換え」「サブ質問分割」などの問題理解ノードを提供します。さらに、LLMに外部環境との対話機能、すなわち「
LLMプロダクト開発者がMac Studioを買ってローカルLLMを触るべき理由という記事を書きました。 mutaguchiさんのツイートを見て、LLMプロダクトの開発とはどういうものなのかを知らない人も多いのかなと気づいたので、そこらへんを記事として書いてみます。 https://t.co/4WvjuuoGnC 「LLMプロダクト開発者がMac Studioを買ってローカルLLMを触るべき理由」の記事のはてブコメント見てたんだけど、ほとんど理解されてなかったのが興味深い。 ・プロプライエタリなLLMでは、ランニングコストが嵩み、これを利用したサービスは成立しづらい… — mutaguchi (@mutaguchi) April 24, 2024 商用LLM APIとローカルLLMって使い方が全然違う気がしてる。 商用LLM APIって、機微情報を送らないこと、規約違反テキストを送らないこ
「作りたいものをいかに早く完成させるかが正義」 まつもとゆきひろ氏が語る、ソフトウェア開発におけるベロシティの重要性 #18 動的型付け言語と大規模開発 今回のテーマは「動的型付け言語と大規模開発 まつもとゆきひろ氏：こんにちは。まつもとゆきひろです。Matzチャンネル、18回目になりますね。今日は前回の続きで、「動的型付け言語と大規模開発」について話そうと思います。 本当は前回放送リリースした次の日ぐらいに放送できるようにと思っていたんですけど、意外と忙しくてですね（笑）。 今度、フィンランドのヘルシンキで、「Euruko」というカンファレンスが開かれるんですけれども、まだ物理で海外旅行する気にならないので、キーノートを録画しましょうという話になって、そのキーノートの準備をして、スライドを書いて、英語の講演を録画するみたいな作業をしていたら、あっという間に時間が経ってしまって、「Voic
はじめに 機械学習に関する実用的な知見を知るために、「Kaggleで勝つデータ分析の技術」を読んだので、Kaggle以外の場面でも活用できる話題をまとめてみた。本書は機械学習の基本的な内容も含んでいるが、この記事では機会学習に関する一通りの知識を持ち、実問題に利用している読者を想定してまとめた。従って、勾配ブースティング木の仕組みや、回帰タスクの評価方法等、基本的な内容については解説しない。本記事では、評価の落とし穴や、モデルを改善するための特徴量の工夫、チューニングのTipsについて紹介する。 特徴量 Tips 1: 欠損値の扱い データにはしばしば欠損値が含まれている。欠損値は、そもそも値が存在していない場合の他に、ユーザが意図して入力していない場合や、観測器のエラーによって取得できていない場合等、様々な理由によって生じる。欠損がランダムに発生していない限り、欠損しているという事実が何
ChatGPTに完全統合して会話から画像を生成できるAI「DALL-E 3」をOpenAIが発表、前世代よりテキストに忠実で安全性も向上
AI企業のOpenAIが画像生成AIの「DALL-E 3」を2023年9月20日に発表しました。DALL-E 3は大規模言語モデル・GPTをベースにしたチャットボットAI・ChatGPTと統合されているのが特徴で、2023年10月にChatGPT PlusおよびEnterpriseの顧客に提供される予定です。 DALL·E 3 https://openai.com/dall-e-3 OpenAI’s new AI image generator pushes the limits in detail and prompt fidelity | Ars Technica https://arstechnica.com/information-technology/2023/09/openai-announces-dall-e-3-a-next-gen-ai-image-generator-b
はじめに この記事では、巷で「この技術によりGPUが不要になるかもしれない、NVIDIAなどの半導体関係の株価が...」と話題になっている、BitNet b1.58についての論文を丁寧に解説します。このMicrosoftが先日発表したBitNet b1.58はそのエネルギー効率の凄まじさから2024年初めの大きな技術改革となるかもしれません！！ 筆者の見解 関する論文解説に入る前に、この技術に関する私の個人的な意見を述べたいと思います。 1bitの技術を用いることで達成されたその驚異的なエネルギー効率の高さは、既存の大規模言語モデル（LLM）とは一線を画しています。この技術が今後のAI技術の発展にどのように影響を与えるかについては以降の発表がとても楽しみです。 一方で、「GPUが不要になるかもしれない」という意見に関しては、ある程度の限定的な視点からの意見と言えます。BitNet b1.5
Stabilty.AIは10月3日、ノートPCなど計算能力のあまり高くないPCでも動作するように設計されたコンパクトな大規模言語モデル（LLM）「Stable LM 3B」のリリースを発表した。ライセンスは商用利用も可能なオープンソースの「CC-By-SA 4.0」となっている。 軽量・高速にもかかわらず高度な自然言語処理が可能 2023年4月20日に最初のバージョン（3Bおよび7Bパラメーター）が発表された同社のLLM「Stable LM」シリーズだが、今回のリリースは高速な実行速度を維持しながら、テキストを生成する能力が大幅に向上しているという。 高品質なデータで複数回学習させた結果、30億パラメータ（業界で通常使用されるのは70億～700億パラメータ）にもかかわらず、一般的な自然言語処理ベンチマーク性能も向上しており、従来の30億パラメーター言語モデルはもちろん、70億パラメーター規
深層学習の技術が著しく進歩した結果、コンピュータビジョンや自然言語処理、音声信号処理などの分野では深層学習モデルの性能が古典的な手法のを大きく上回っており、すでにスタンダードなアプローチになっています。 しかし、テーブルデータを扱うタスクにおいては、深層学習の有効性は明らかになっていません。本記事ではテーブルデータにおける従来手法と深層学習の比較論文のご紹介をしていきます。 背景近年、テーブルデータを扱う深層学習モデルも登場し、一部の論文では決定木ベースのモデルと同等かそれ以上の性能を示しています。しかし、私が実務で試す中では決定木ベースのモデルの方が性能が高く、学習と推論が速く運用コストでも優れているため、深層学習モデル採用には至っていません。 より一般的なテーブルデータのタスクにおける、決定木ベースモデルと深層学習モデルとの性能比較の文献を調べたところ、NeurIPS 2022で発表さ
『沙耶の唄 AIアプリ』発表、いきなり無料公開。“AI沙耶”の言葉を自由会話で「理解」し、ハッピーエンドを目指すブラウザゲーム - AUTOMATON
株式会社プロケットは7月28日、『沙耶の唄 AIアプリ』をリリースした。PC/スマートフォンのブラウザにて無料でプレイできる。 『沙耶の唄』は2003年12月にPC向けに発売された成人向けサスペンスホラーADVゲーム。ニトロプラスが手がけ、脚本は虚淵玄氏、原画は中央東口氏が担当していた。主人公となるのは、交通事故から奇跡的に生還した医大生・匂坂郁紀。彼は事故の後遺症により、周囲のすべてがおぞましい形に見えるようになっていた。そんな彼のもとに、なぜか普通の人間に見える謎の少女・沙耶が現れ、生活を共にすることになる。しかしこれを機に、彼の狂気は次第に世界を侵食し始めるのであった。 H・P・ラブクラフトの創作に端を発する「クトゥルフ神話」からの影響も伺える特徴的な作風やシナリオが評価を受けた本作。これまでには移植やノベライズといった展開もおこなわれてきた。 このたび、そんな『沙耶の唄』を題材にし
AWS 内で大規模言語モデルを利用できる Amazon Bedrock を使って作る RAG アプリケーション - クックパッド開発者ブログ
こんにちは。機械学習グループの深澤(@fukkaa1225)です。 先日、Amazon Bedrock が一般利用できるよう(GA)になりました 。本記事ではこちらを用いて RAG(Retrieval-augmented generation) アプリケーションを作成してみた様子と、他 LLM モデルとの比較結果についてご紹介します。 Amazon Bedrock とは aws.amazon.com 公式サイトより文言を引用します。 Amazon Bedrock は、Amazon や主要な AI スタートアップ企業が提供する基盤モデル (FM) を API を通じて利用できるようにする完全マネージド型サービスです。そのため、さまざまな FM から選択して、ユースケースに最も適したモデルを見つけることができます。Amazon Bedrock のサーバーレスエクスペリエンスにより、すぐに FM
6月12日、Stability AIの画像生成AI「Stable Diffusion 3 Medium（SD3M）」が公開されました。Stability AIは安定的な収益につながるビジネスモデルの構築に課題を抱えており、最新シリーズ「Stable Diffusion 3（SD3）」をどう位置づけるかが生命線と思われます。そこで、有料APIの使用が必須という形で性能の高い「Stable Diffusion 3 Large（SD3L）」を先行リリースしていました。SD3を「オープン化する」とX上で発言していた創業者のEmad Mostaque氏が4月にCEOを退任したことで約束は守られるのか……とも危惧されてきました。結果としてStability AIは、品質を落としたSD3Mを出すという判断をしてきました。しかし、SD3Mはライティングに高い表現力を持つ一方、意図的に落とされた品質に大きな
ChatGPT商用利用時、規約上の注意点3つ｜元ITエンジニアの弁護士が徹底解説 2023年9月28日 モノリス法律事務所 代表弁護士 河瀬 季 元ITエンジニア。IT企業経営の経験を経て、東証プライム上場企業からシードステージのベンチャーまで、100社以上の顧問弁護士、監査役等を務め、IT・ベンチャー・インターネット・YouTube法務などを中心に手がける。主な著書に「ChatGPTの法律」（共著 中央経済社）・「ITエンジニアのやさしい法律Q&A」（技術評論社）・「IT弁護士さん、YouTubeの法律と規約について教えてください」（祥伝社）などがある。まんがタイムきららフォワード（芳文社）にて原作を手がける「仮想世界のテミス」連載中。 X（@tokikawase） 例えば、ChatGPTの生成する回答は、情報が不正確である危険性があり、これを利用したサービスを公開等する場合、AI生成物
LinuxカーネルがWebブラウザで動いたらどう考えても面白い んだけど、そこに至るまではなかなか難しい道のりになる。その第一歩として、Linuxカーネルのユーザーランド版であるLKL( https://github.com/lkl/linux )をWebAssemblyにコンパイルして、wasm2cでC言語に変換した上、Visual Studio 2022でコンパイルしてWindows上で実行してみた。 まだWebブラウザでは動いていないが、思ったよりは簡単にWasmに移植できた(個人の感想です) ウケが良ければMUSL libc移植編 → デバイスドライバ活用編 → Webブラウザ上動作編と続ける感じで。。 EDIT: Visual Studioのスクリーンショットを撮りなおし。 memory-control はanonymousなmapしか救えないので、ここ数年スパンではエミュレーシ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
LLMのRAG（外部知識検索による強化）をまとめた調査報告 | AIDB
日本語に強い大規模言語モデル「Swallow」を公開 英語が得意な大規模言語モデルに日本語を教える
脳科学で実証！「画面」に勝る「紙」の優位性とは？ | ダイレクトマーケティングラボ | リコー
「短いブログ」としてのTwitterから「長いTwitter」としてのブログへ、そして - 誰がログ
JavaScriptで100行で作る！数式言語のインタプリタ
「Real World HTTP」著者・渋川よしき氏が「最新情報は追わない」と断言する理由
超重要な基盤技術「Attention」、Transformerがなぜ画期的なのかを知る
エンジニアリングマネージャーになって1年がたった
【「スゴ本」中の人が薦める】AIの限界をAIが超え始めていることを実感できる5冊
給料は日本の5倍で、世界から集まる優秀な人たちと働ける──日本のエンジニアがアメリカで働くルートとは？
【2024年】AWS全サービスまとめ | DevelopersIO
1bit LLM の時代は来るのか，来ないのか，どっちなんだい？｜情報処理学会・学会誌「情報処理」
アクセンチュア流「タイパ最強」の生成AI活用術、プロンプト書き方4原則とは？
総務省、データサイエンス入門の無料オンライン講座を開催 「統計学の基礎」など解説
プログラミング言語Rustになぜ注目するのか - Qiita
LLMプロダクト開発とはどういうものなのか？｜erukiti
「作りたいものをいかに早く完成させるかが正義」 まつもとゆきひろ氏が語る、ソフトウェア開発におけるベロシティの重要性
「Kaggleで勝つデータ分析の技術」から見る実用的な機械学習の知見
【論文丁寧解説】BitNet b1.58とは一体何者なのか - Qiita
Stability AI、ノートPCでも動作する大規模言語モデル（LLM）を発表
深層学習VS決定木：テーブルデータ分析の未来｜PKSHA Delta
“革命”起こした画像生成AIに暗雲 「Stable Diffusion 3 Medium」の厳しい船出 (1/4)
ChatGPT商用利用時、規約上の注意点3つ｜元ITエンジニアの弁護士が徹底解説
WasmLinux: LinuxカーネルをWebAssemblyにする