プログラマ視点での生成AIとの付き合い方
プログラミングについて、最近考えてることについてのポエム。 基本的に、 GPT-4 と Claude-3-Opus を使った経験を念頭に置いて話をする。機械学習エンジニアではないので、あくまで利用者に徹した視点での話。仕事で生成AIを使ったパイプラインを作ったりはしている。 生成AIの進化速度を予測しておく 今大事なことは、今AIがどの程度の性能かという定点の話ではなく、その進化の速度を認識すること。 コード生成というタスクにおいて、生成AIモデルを人間に当てはめると、こんな感じの人物像を自分は持っている。 GPT-4: プログラミング経験2年目の大学2年生 Claude-3-Opus: プログラミング経験3年目の大学3年生 ここでいうn年目は、業務経験ではなく、プログラミングの単位がある大学での、教育課程としての経験年数。今のひたすら学習量を増やす方式だと、単に1年に1年分ぐらい賢くなっ
サマースクール2023：大規模言語モデル講座 | Deep Learning JP
本講座はサマースクールの一環として大規模言語モデル（Large Language Models, LLM)に関して体系的に学べる講座を目的として開催されます。 具体的には以下のスキルを身につける事を目的としています。 LLMの原理について，事前学習からRLHFまでの一連の流れや意味合いを理解する LLMの学習や推論を支える技術について理解する 既に公開されているLLMモデルやAPIなどの活用方法を理解する 本講座では、東京大学Deep Learning基礎講座・応用講座を公開してきた松尾研究室が全面的に演習コンテンツを監修・作成しています。実践的な演習を通して、手を動かしながら技術を深く理解し、幅広いトピックを網羅します。 ※本講座はページ下部の前提条件をご確認の上、条件が当てはまる方を対象としています。 LLMのモデルのアーキテクチャーまで取り扱う実践的な講義のため、ご自身のレベルに見合
AIが「考えない」ことを考える──「生成系AIが変える世界──『作家』は（／今度こそ）どこにいくのか」イベントレポート
2023年2月10日と3月5日の2回にわたり、ゲンロンカフェにて「生成系AIが変える世界」が開催された。登壇者はプログラマー・実業家の清水亮、物語評論家のさやわか、東浩紀の三氏である。 2022年から2023年にかけて、Midjourney や ChatGPT などの生成系AIが登場し、世間の話題をさらった。清水は2022年9月にAI作画サービス「Memeplex」をいちはやく公開し、自身の note でAI画像のみを用いたマンガ作品を公開するなど、積極的な発信をおこなっている。生成系AIはどのような技術によってつくられ、わたしたちの世界をどう変えていくのか。計15時間にもわたる議論が展開された。 清水亮×さやわか×東浩紀「生成系AIが変える世界──『作家』はどこにいくのか」 URL= https://shirasu.io/t/genron/c/genron/p/20230210 清水亮×
世界に衝撃を与えた画像生成AI「Stable Diffusion」を徹底解説！ - Qiita
追記: U-Netの中間層は常にSelf-Attentionとなります。ご指摘いただきました。ありがとうございます。（コード） オミータです。ツイッターで人工知能のことや他媒体の記事など を紹介しています。 @omiita_atiimoもご覧ください！ 世界に衝撃を与えた画像生成AI「Stable Diffusion」を徹底解説！ 未来都市にたたずむサンタクロース（Stable Diffusionで生成） 2022年8月、世界に大きな衝撃が走りました。それは、Stable Diffusionの公開です。Stable Diffusionは、テキストを受け取るとそれに沿った画像を出力してくれるモデルです1。Stable Diffsuionは10億個近いパラメータ数をもち、およそ20億個の画像とテキストのペア（LAION-2B）で学習されています。これにより、Stable Diffusionは入
つくよみちゃん会話AI育成計画（会話テキストデータセット配布） | つくよみちゃん公式サイト
概要これは何？■マルチクリエイター・夢前黎（Rei Yumesaki）がプロデュースするフリー素材キャラクター「つくよみちゃん」の公式テキスト素材です。 ■つくよみちゃんに対する「話しかけ」と、つくよみちゃんらしい「お返事」のセットを大量に作成し、「会話テキストデータセット」として配布することを目指しています。 ■会話AIを作成するための機械学習用データとして作っていますが、その他の用途にもご利用いただけます。詳しくは利用規約をご確認ください。 ■個人・法人、営利・非営利を問わずご利用いただけます。例えば本データから作成した会話AIを配布・販売することも可能です。ただし、クレジット表記が必要となる場合があります。詳しくは利用規約をご確認ください。 ■品質は無保証です。このデータから会話AIが作れるという保証はありません。 著作者情報・作成方法■本データの著作権は、夢前黎（Rei Yumes
【完全保存版】GPT を特定の目的に特化させて扱う (Fine-tuning, Prompt, Index, etc.) - Qiita
【完全保存版】GPT を特定の目的に特化させて扱う (Fine-tuning, Prompt, Index, etc.)OpenAIChatGPTlangchainGPT-4LlamaIndex ChatGPT に代表される今日の AI ブームを牽引しているのは 大規模言語モデル（Large-scale Language Model, LLM） と言っても過言ではないでしょう。LLM とは大量のテキストデータを使ってトレーニングされた自然言語処理のモデルで、代表的なものに、GPT（OpenAI）、Llama（Meta）、PaLM（Google）があります。我々開発者は、事前学習されたこれらのモデルを使って簡単にアプリケーションを作ることができます。 LLM が遂行可能な言語的タスク LLM を使って行える言語的タスクには次のような種類があります： Classification: 感情やポジ
(数式を使わない) Transformer の直感的な説明 / 真面目なプログラマのためのディープラーニング入門
(数式を使わない) Transformer の直感的な説明 RNN の欠点 Transformer はこれをどう解決したか Transformer の動作原理 複数の要素間の関係を考慮する (Self-Attention、自己注意) 要素の順序を考慮する (Positional Encoding、位置エンコーディング) まとめ 概要: ChatGPT などで使われている Transformer モデルは、 ニューラルネットワークの世界にいくつかの革新的なアイデアをもたらした。 本記事では、プログラマに理解しやすい形でそれらのアイデアを解説する。 実際に使われている数学の詳細には触れない。 (技術的解説については元論文 Attention is All You Need か、 その注釈版である The Annotated Transformer を参照のこと。 日本語では この解説 がわかり
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
人工知能・深層学習を学ぶためのロードマップ | 東京大学松尾研究室 - Matsuo Lab
GitHub - Zuntan03/CharFramework: AI画像生成でキャラクターの扱いをしくみ化してフレームワークにしてみる
サシシ on Twitter: "子どもの練習用に基礎単語1000単語くらい網羅した瞬間英作文教材ほしいけど自作するの大変そうだなーどうしようかなーって考えてたけど、ChatGPTさんが一瞬で作ってくれることに気付いた。ほんと凄いねこのAI...。 https://t.co/ZEaf3WH5eQ"