ChatGPTのコア技術「GPT」をざっくり理解する - Qiita
※本記事はOracleの下記Meetup「Oracle Big Data Jam Session」で実施予定の内容です。 ※セミナー実施済の動画に関しては以下をご参照ください。 本記事の対象者 これから機械学習を利用した開発をしていきたい方 機械学習のトレンド技術を知りたい方 なるべく初歩的な内容から学習したい方 はじめに Transformerの登場以降、著しい技術革新が続くここ数年、特にOpenAI社のChatGPTのサービス開始以降、おびただしい数の技術ブログや記事がインターネット上に存在する中、本記事に目を留めていただいてありがとうございます。 この勉強会では、専門用語や難解な公式を極力排除し、初学者の方々を対象に、「そもそも自然言語の機械学習ってどういうもの？」、「言語モデルって要するに何？」というところからGPTをざっくり理解することを目的としています。従って、本記事に記載のあ
時系列予測モデルの実践論３ －昔のKaggleを事例に－ - NRI Data Science BLOG
前回の振り返り パート２では多系列・時系列予測モデルを行うための、特徴量エンジニアリングを行いました。 生成された特徴量は、外生的なものだけでなく、時系列特有の要素を表現していることが重要でした。 Iterativeモデルによる多系列・時系列予測 みなさんこんにちは、NRIのデータサイエンティスト、時系列予測プラクティスチームの鈴木です。 今回は多系列・時系列予測を行うモデル構築の第１弾として、Iterativeモデルを導入していきます。 多系列・時系列予測モデルの概観 時系列予測モデルの分類 Iterativeモデルとは 第１回でご紹介したとおり、多系列・時系列予測を行う際に「一つ一つの時系列に対してモデル適用を繰り返す (Iterative)」方法をIterativeモデルと呼びます。これは「複数の時系列全体に対して一つのモデルを適用する(Global)」とは対比的です。それぞれに優れ
ドイツの夕飯はパンとスープだけが基本と聞いて「世界中の大半の人々は食べ物の味になんか興味ないんだ」がガチと知る話
イモンヌ @immonnu ドイツだと子供は7時から7時まで寝るべしみたいな信条あると今日知りよく聞くと前提が違いすぎ ドイツでは夜ご飯が超簡単、パンとスープくらいでぱぱっと終わり入浴もシャワーだけで2分で終わるって言ってるから日本は夕食を大事にするし入浴もコミュニケーションの時間だし生活習慣全体が違いすぎ… 2023-05-30 20:25:26 イモンヌ @immonnu だからこの話に限らず「海外はこんなに凄い(或いはこんなにヤバい)」って話は基本話半分に聞いてる。多くの場合諸々の前提が違いすぎてそもそも比較不可能な事象だったりする。 そこもやはり自分がある程度海外経験があったり海外のことを知る人が周りにいないとそこに気づかないと思うけどね。 2023-05-30 20:31:32 イモンヌ @immonnu 一方で海外から来た人からは良く「日本人はみんな丁寧、電車も静か子供もお行儀
人に「センスない」って言っているやつが一番センスない - Qiita
はじめに きっかけは、以下のツイートです。 「配列のすべての要素が条件を満たすならtrueを返す」関数を定義するとき、空の配列を渡したらfalseを返すかtrueを返すかが、良いプログラマかどうかの一つの境目だ — ふみ a.k.a.DJ Monad (@fumieval) May 29, 2023 このリプライや引用リツイート欄では、Trueを返すべき、Falseかな、例外を返すべき、要件による、といった意見がありました。 建設的な議論ができるコミュニティは素晴らしいと思う反面、同じコミュニティに属するエンジニアに対して「センスがない」「プログラマを辞めてほしい」と言っている人がいて非常に残念です。 そのように敢えて煽り他人へのリスペクトが欠如している人が一番センスがないという話です。 元ネタと反応 「「配列のすべての要素が条件を満たすならtrueを返す」関数を定義するとき、空の配列を渡
LoRA のもう一つの大きなメリット、GPUメモリ共有しつつ別のタスク処理モデルへ即時に切り替える方法 - A Day in the Life
低ランク行列を追加することで、大元のモデルを維持しつつ少ないコストで学習できる LoRA(Low-Rank Adaptation of Large Language Models)。先日、日本語でも大規模パラメータモデル cyberagent/open-calm-7b や rinna/japanese-gpt-neox-3.6b 等々がリリースされたり、HuggingFaceからはtransformersでLoRAを簡単に実現できるライブラリ、peft がリリースされたことで、試したことがある方も多いと思います。 ただ、LoRAのメリットについて主に学習の話が殆どで、もう一つの大きなメリットであるLLMのベースモデルのメモリを共有しつつ、複数のタスクをこなす方法の紹介は見かけたことがなかったので、それをpeftで行う方法についてのお話です。 なお、LoRAとは何か？というお話は、輪講資料
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
