松尾研 LLM講座 講義コンテンツ | 東京大学松尾研究室 - Matsuo Lab
松尾研究室が2023年9~10月に東京大学サマースクールで開催した LLM 大規模言語モデル講座のコンテンツを無償公開しています。 本講座は約2,000名の受講者が参加し、全7回の講義を実施しました。 最終課題としてGPUを使ったコンペティションでは約800名が参加し熱戦を繰り広げました。 現在、講義のスライドのみ公開しております。 ダウンロードは利用規約を確認の上、下記からダウンロードをお願いいたします。 最終更新: 2024年2月10日 問題・フィードバック報告フォームはこちら 第1回：Overview of Language Models LLMの概要、今後の各回の講義の概要、および日本のLLM開発状況について 第2回：Prompting and Augmented Language Model 事前学習済みLLMを追加学習せずに活用する技術（プロンプティング、⽂脈内学習、Augme
人はなぜチープな事業計画をたて、ニーズのないプロダクトを創るのか｜片山良平＠paiza代表
この記事は「paiza Advent Calendar 2023」の最終日の記事です。 最終日はpaiza株式会社で社長をやっている片山がお送りいたします。 タイトルはほぼ釣りです。 ちなみに、paizaはITエンジニア向け国内最大の転職・就職・学習プラットフォームです。（paiza.jp) 記事概要絵にかいた餅は大した価値はなく、実行し成果が出せて初めて価値がある 実行プロセスやプロダクトが良くても、市場ニーズがなければ価値はない 計画は粗くてもいいから一筆書きで描き切ることが重要 一筆書きで書いたら実際に動いてすぐ更新すべし つまり実行が出来る計画を描き、実際に実行し、発見があれば即修正しながら成果を出せ、というごく当たり前な内容です。 ただそれがとても難しいので、どのあたりでつまづきやすいのか、経験を元にまとめてみました、という記事です。 計画は荒くてもいいから一筆書きで書き、高速に
運用に携わる人全員に見てほしい！ Ops Guidesの紹介 - Qiita
PagerDuty Advent Calendarの8日目！ 今日はOps Guidesのお話です。 うちはこうだけど、他はどうやってるんだろう？ 普段から運用に関わっていると、ふとした瞬間に「そういえば他の会社ではどういう運用をやっているんだろう？」と気になること、ありませんか？ そのきっかけは「本当になんとなく」といったものから「上手くいかない運用にフラストレーションが溜まって」というどす黒いものまで色々あると思いますが、いずれにせよ「他の会社の良いところを取り入れて、自分たちの運用を改善したい」という気持ちから来ているのは間違いないでしょう。 だからこそ、いろんなミートアップに参加して発表を聞いたり、懇親会で話してみたり、Xに垂れ流されているいろんなポストを読んで事例を学ぶわけです。 ベストプラクティスを学びたい! このような取り組みはとても良いことですし、是非とも継続して情報収集し
OpenSSF ガイド - The Linux Foundation
（このページは OpenSSF Guides の日本語版です。） ソースコード管理プラットフォーム設定のベストプラクティス GitHub や GitLab などの SCM プラットフォームのセキュリティを確保し、ベスト プラクティスを実装するためのガイド。 より安全なソフトウェア開発のための簡潔なガイド すべてのソフトウェア開発者を対象とした、ソフトウェアの開発、構築、配布に関する簡潔なガイド。 オープンソース ソフトウェアを評価するための簡潔なガイド ソフトウェア開発者として、オープンソースソフトウェア（OSS）の依存関係やツールを使用する前に、候補を特定し、あなたのニーズに照らして主要なものを評価します。 セキュリティ研究者のためのオープンソース ソフトウェア プロジェクトと脆弱性の公表を調整するためのガイダンス このガイドは、セキュリティ研究者（別名「発見者」）がオープンソース ソフ
【switch-c-2048】GoogleがついにGPT-4レベルのLLMをオープンソースで公開！概要〜使い方まで | WEEL
ホーム生成AIずかんパラメーター数1兆以上【switch-c-2048】GoogleがついにGPT-4レベルのLLMをオープンソースで公開！概要〜使い方まで メディア事業部リサーチャーのいつきとメディア事業部AIエバンジェリストの藤崎です。この記事は専門的な内容を含むため、AIスペシャリストとの共同執筆となっています。 今回ご紹介するのは、Googleがオープンソース化したMOEモデルの「switch-c-2048」について。 なんと、こちらのMOEモデルは、1.6兆個のパラメーターと3.1TBサイズのデータでトレーニングされた大規模言語モデルで、あの「GPT 4」と同等のサイズだと話題になっています！ switch-c-2048を使用すれば、より高速な学習が可能になるとのことですが、新しく公開されたモデルなので使い方がわからないという方も多いでしょう。 そこで今回の記事では、switch
LLMを使ったアプリケーション開発の基本とLangChain超入門
書籍はこちら：https://www.amazon.co.jp/dp/4297138395 === ChatGPTのAPIが公開されたころから、多くの組織が大規模言語モデル（LLM）を使ったアプリケーション開発に取り組むようになりました。LLMを使ったアプリケーション開発では、「LangChain」というフレームワークも大きく注目されています。 しかし、「LLMやLangChainが話題なのは知っているが、具体的なことは分からない」「この分野に興味を持っているが、勉強するきっかけを持てずにいる」といった方も少なくありません。 そこでこの講演では、LLMを使ったアプリケーション開発がなぜ盛り上がっているのか、どのように開発するのかといった基本から始めて、LangChainの基礎知識まで概説します。 === イベントページ：https://forkwell.connpass.com/event
ChatGPTに社内文書に基づいた回答を生成させる仕組みを構築しました - コネヒト開発者ブログ
はじめに はじめまして、8月にコネヒトに入社したy.ikenoueです。 突然ですがみなさん、生成AIは使っておりますでしょうか？ ChatGPTやStable Diffusionといった代表的な生成AIの発表から約1年が経過し、そろそろブームも落ち着くかと思っていたのですが、つい先日もOpenAI DevDayにてChatGPTに関する様々なアップデートが発表されるなど、相変わらず目まぐるしい日々が続いていますね。 弊社における生成AIの活用状況はというと、以前に下記の記事にて、Slack上でChatGPTと会話できる環境を社内提供しているという取り組みをご紹介しました。 tech.connehito.com 本日は、上記の社内ツールに新たに追加した「社内文書の参照機能」についてご紹介します。 「社内文書の参照機能」の概要と開発動機 まずは「社内文書の参照機能」の概要と開発にいたった動機
総合運用管理ソフトウェア「Hinemos」における生成AIを用いた運用自動化・効率化の実証実験を開始 | NTTデータ先端技術株式会社
NTTデータ先端技術株式会社（本社：東京都中央区、代表取締役社長：藤原 遠、以下：NTTデータ先端技術）は2023年12月31日まで、統合運用管理ソフトウェア「Hinemos」の生成AIを用いた運用自動化・効率化を推進する実証実験を行います。 生成AIを使用し、過去の設計ナレッジやインシデント情報、ITシステムの稼働情報といった蓄積データを最大限に運用に活用するAIドリブン運用により、迅速性、生産性の向上が見込めます。これまでも、HinemosではITシステムから発生したイベントから対応不要なイベントをAIで判別し、その80%を削減させイベント対応業務を効率化・自動化できる検証結果を得ています。本実証実験では、さらに生成AI（ChatGPT）活用により自動化サイクルの効率化が図れる事を検証します。従来、専門知識が必要だった運用の自動化に必要な設定・ルール生成を、生成AI活用により自然言語で
社内情報検索システムで用いられるRAGの4つの実装方法
2 松本 和高 株式会社エクスプラザ リードエンジニア X: _mkazutaka Github: mkazutaka 18年にバックエンドエンジニアとしてメルカリに入社。その後、ミラ ティブ、フリーランスを得て株式会社エクスプラザに所属。フロント エンドからバックエンドまで幅広く開発しています。趣味で、FXの自 動売買Botを作成している 現在08/30に第一子が生まれ現在育休中 https://note.com/mkazutaka/n/n9f0e2c4dee96 CONFIDENTIAL INFORMATION: Not for Public Distribution - Do Not Copy 3 株式会社エクスプラザ （EXPLAZA, Inc.） 会社名 プロダクトの力で、豊かな暮らしをつくる ミッション 代表取締役CEO 高橋一生 代表者 2020年07月03日 設
FMOps/LLMOps：生成系 AI の運用と MLOps との違い | Amazon Web Services
Amazon Web Services ブログ FMOps/LLMOps：生成系 AI の運用と MLOps との違い 最近、多くのお客様は大規模言語モデル (Large Language Model: LLM) に高い期待を示しており、生成系 AI がビジネスをどのように変革できるか考えています。しかし、そのようなソリューションやモデルをビジネスの日常業務に持ち込むことは簡単な作業ではありません。この投稿では、MLOps の原則を利用して生成系 AI アプリケーションを運用化する方法について説明します。これにより、基盤モデル運用 (FMOps) の基盤が築かれます。さらに、Text to Text のアプリケーションや LLM 運用 (LLMOps) について深掘りします。LLMOps は FMOps のサブセットです。以下の図は、議論するトピックを示しています。 具体的には、MLOps
インフラエンジニアはSREではないし、SREとPlatform Engineeringも別物 - inductor's blog
インフラエンジニアの肩書きをSREに変えるタイプの組織変更は近いところから遠いところまでいろんなところで見かけてるんだけど、改めてそれって名前変えただけじゃないよね？って問いかけは個人が組織に、組織が個人にそれぞれ相互でした方がいいと思う。 インフラエンジニアって言葉もまあ定義が死ぬほど広くてどこからどこまで指すのってのは組織によって違うね大変だねって話ではあるんだけど、SRE(Site Reliability Engineering)やPE(Platform Engineering)はインフラと必ずしも対応関係にあるわけではないんだよな。 Platformってのは言ってしまえば会社のエンジニア組織の中で自分達に最適化された基盤を作る人たちの集合体とそのプロダクトそのものを指していて、Platform Engineering組織の中には当然フロントエンドエンジニアやデザイナー、プロダクトオ
Metaの「Llama 2」をベースとした商用利用可能な日本語LLM「ELYZA-japanese-Llama-2-7b」を公開しました｜ELYZA, Inc.
Metaの「Llama 2」をベースとした商用利用可能な日本語LLM「ELYZA-japanese-Llama-2-7b」を公開しました 本記事のサマリーELYZAが「Llama 2」ベースの商用利用可能な日本語LLM「ELYZA-japanese-Llama-2-7b」を一般公開 性能は「GPT-3.5 (text-davinci-003)」に匹敵、日本語の公開モデルのなかでは最高水準 Chat形式のデモや評価用データセットも合わせて公開 既に社内では、130億、700億パラメータのモデルの開発も進行中 はじめにこんにちは。ELYZAの研究開発チームの佐々木、中村、平川、堀江です。 この度ELYZAは、Metaの「Llama 2」をベースに、日本語による追加事前学習を行なった日本語言語モデル「ELYZA-japanese-Llama-2-7b」と、そこにELYZA独自の事後学習を施した「
ChatGPTを業務に組み込むためのハンズオン.pdf
ChatGPTを業務に組み込むためのハンズオン 2023/06/26 一般公開用 デジタル庁 Fact&Data Unit 大杉直也 ↑マイナンバー交付数のダッシュボードを作っているところです 「Microsoft でテストされたアイデアのうち、改善を示すメトリクスを実際に改善できたのは3分の1にすぎない」 (Microsoft社 元Vice President) 「もしあなたが実験主導のチームにいるなら、70%の仕事が捨てられることに慣れてください。それに応じてプロセスを構築しましょう」(Slack社 Director) A/Bテスト実践ガイド p14より 一方で 「アイデアの価値を見積もることは難しい。このケースでは、年間１億ドルの価値ある単純な変更が何か月も遅れていた。」(同著 p5より) こともあります 午前中のアイデアソンで出たアイデアはちゃんと検証するまで価値があるかは不明です
ChatGPTに自社の情報を組み込みたい① - 一休.com Developers Blog
はじめに こんにちは、一休.comデータサイエンス部の平田です。 みなさんChatGPT活用してますか？ 一エンジニアとして便利に使ってはいるものの、自社サービスにどのように組み込もうか模索しているところも多いかもしれません。 一番の利用先として思いつくのが、自社の情報をもとに質問に答えるチャットボットではないでしょうか。 その中では、ハイコンテキストな検索（例えば、「東京から2時間以内で子供も楽しめるアクティビティがあって、景色も良い宿」のような）にも答えられるとボットの価値が増します。 ChatGPTが事前に学習した内容では古く、正確ではないためそういった検索に応えるのはかなり厳しいです。 そのため、こちら側が持っているデータを渡してあげる必要があるのですが、今回はその自社の情報をどう組み込むのか、という部分についてご紹介します。 素のChatGPTでは？ ChatGPTに例えば「熱海
近況報告：無職になりました - IT戦記
みなさんお元気ですか？僕は少しだけ元気ではありません。じんわりとした夏の暑さを感じながらブログを書いています。 実は、数ヶ月前にスマートニュースという会社を退職しました。 しばらく無職 しばらくは就職せずに無職でいようかなと思っています。 すぐに再就職した方がいいんだろうな〜。とは思うのですが少し疲れたかも。 いい時代になったものだ 最近は AI の進化も素晴らしく、昔ソフトウェアで出来なかったことがどんどんできるようになってるなって感じます。 Rust とか、ちょうど欲しかった感じのプログラミング言語もあるし、 ChatGPT は完璧ではないけど何か新しいことを始めるときに素晴らしい洞察を与えてくれる。 時代は確実に良くなってる。そんな時代に「自分は働いていないくていいのか」と少し不安になるけれど、自由気ままにコードを書く、そんな時間が今あってのもいいのかなって思ってます。 オフトピック
東大文一原理主義者・内山と「スーパー学歴タイム」【学歴狂の詩 第3回】 | 佐川恭一「学歴狂の詩」
稀代のカルト作家として人気を集める佐川恭一さんによる、初のノンフィクション連載。 人はなぜ学歴に狂うのか──受験の深淵を覗き込む衝撃の実話です。 前回は、天才・濱慎平がつぶやいた名言を取り上げました。 今回登場する学歴狂は、恐るべき東大文一原理主義者・内山です。 また、各話のイラストは、「別冊マーガレット」で男子校コメディ『かしこい男は恋しかしない』連載中の凹沢みなみ先生によるものです！ お二人のコラボレーションもお楽しみください。 イラスト／凹沢みなみ 東大・京大・国公立医学部以外は完全に無 私の通っていた某R高校の特進コースでは多くの者が京都大学を目指していたが、当時は学校として東大合格者も増やしていこうと模索している最中だった。その時はまだ奈良の西大和学園の躍進も（京大医学部保健学科を除けば）なく、東大寺学園は母数の差で抑え込めそうで、大阪の北野高校もそこまでデカイ脅威ではなかったた
AIはどのような仕事ができるようになったのか？ChatGPTで変わる「優秀な人材」
この図はざっくりと3つの領域に分かれます。まず左下が従来のプログラミングの領域です。これは簡単に言うと「プログラムは間違ってはいけない定形な仕事を奪う」ということです。次にその上の士業が責任を取る領域です。これは「責任」を取る人がいないと成立しない仕事です。ミスが発生した際に罰則を与えるという形で、ミスの発生を防いでいます。最後に右側のホワイトカラーの仕事の領域です。ホワイトカラーの仕事は入出力が不定形であり、作業フローも非定型であったりします。そのため、多少のミスはあっても仕方ないという前提の上で仕事が行われています。 機械学習がビジネスに組み込まれるにつれ、ホワイトカラーの仕事領域はそれらによって少しずつ代替されつつあります。その図がこちらになります。 ホワイトカラーの担っていた領域は、表データの機械学習（重回帰や、Lasso回帰、SVM、RandomForest、LightGBMなど
『特殊病』それは日本の病気です | タイム・コンサルタントの日誌から
自分のプロフィールに「国内外の製造業及びエネルギー産業向けに、工場作り・生産システム構築の仕事に従事してきた」などと書いているためか、「日本の製造業は、海外に比べて特殊なのですか？」という趣旨の質問をされることが、時々ある。「なぜ日本と海外はこうも違うのでしょうか？」といった聞き方の場合もある。 こうした質問は、日本と海外で同等なはずのものが、なぜか違っていた、との事例とともに、語られることが多い。例えば、同じ企業のグループに属しながら、生産管理系のパッケージソフトを、海外工場ではノンカスタマイズでスムーズに導入できたのに、国内工場では苦労したあげく、失敗したという事例。あるいは、国際標準に従ったサプライチェーンの仕組みが、日本国内だけどうしても使えなかった事例。 さらに、国内では立派なプロジェクトマネジメントの実績を持つ会社が、海外に出て行って遂行したら、赤字や納期遅延で痛手を被ったケー
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
LangChainとフルサーバーレスですばやくセキュアなRAGアプリをつくるための実践解説/LangChain_Book
ChatGPTの10ヶ月と開発トレンドの現在地
