「ExcelでChatGPTを再現するシート」が想像以上に素晴らしかった (1/4)
先日本サイトで「めちゃくちゃ重いけど動くぞ！Excelで『GPT-2』を再現したスプレッドシート」というニュースを執筆したのだが、実際に触ってみたところ想像以上に素晴らしかったのでレポートする。 「Spreadsheets-are-all-you-need」とは 記事で紹介した「Spreadsheets are all you need」とは、Excelの標準的なスプレッドシート機能を使ってGPT2（ChatGPTの先祖）のフォワードパス（入力から出力までのプロセス）をExcelの中で完全に実装したものだ。 と言ってももちろんExcel内で「ChatGPT」的な会話ができるわけではない。ChatGPTの心臓である大規模言語モデル（LLM）のごくごく基本的な機能をシミュレートできるだけだ。 本シートの説明文には「開発者でない人でも本物のLLMが内部でどのように機能しているのかを、最小限の抽象
大規模言語モデルをフルスクラッチする練習 (環境構築ー前処理ー事前学習ーファインチューニングー評価まで)｜Kan Hatakeyama
はじめに以下のオープンなプロジェクトの一環で､大規模言語モデルをフルスクラッチで作る練習をします｡24年3月現在､協力者も募集中です｡ リポジトリ当該プロジェクトの標準コードが公開※されたので､それを走らせてみます｡ ※24/3/5時点で､まだレポジトリ内に､工事中の箇所が多々､あります｡ このリポ上では､事前学習ー事後学習ー評価まで､一気通貫(?)したパイプラインが提供されています※｡ 0. 環境構築プロジェクトの本番環境はクラウドですが､今回は手持ちのubuntuを使います｡ Dockerはお手軽な一方で､スパコン上で使うと､どうやら速度が落ちるらしいとの噂を聞いたので､condaで作ります(とはいえ､pipしか使わないので､pyenvでもいけると思います)｡ 必要なマシン適当なlinux: 例えばUbuntu 22.04.3 LTS GPU: 20 GBくらいは欲しいかも? ディスク
ひたすらAI絵をやってたら絵が描けるようになってた話｜賢木イオ @studiomasakaki
こんにちは、「機動戦士ガンダム 水星の魔女」が大好きなおじさんです。「水星の魔女が好きすぎて、AI絵をひたすら生成してたらいつの間にか絵が描けるようになっていた」という妙な体験をしたので、それについて記事を書いてみようと思います。具体的にどれくらい？というと、特に練習していないのにこれくらい変わっていました。 ←2023年9月 / 2024年2月→ 始めにお断りしますが、この記事は、「AI絵をやるのがお絵描き上達への近道だョ！」だとか、「お絵描きをやるにはこうしたらいいョ！」といったものではありません。「絵が描けるようになる」の定義は人によって違うでしょうが、少なくともこの程度のレベルで他人様にお絵描き指南をしようなど、完全に暴挙であることくらいは分かります。私は今の自分の絵をお世辞にも上手だとは思っていませんし、それほど絵を上手になりたいとも思っていません。 この記事は「特に絵を練習して
私が独学をして、マジ神だと思うサイトおよび他 - Qiita
初めに 私は独学でプログラミングその他について勉強をしていますが、基本的に知識を得るために金はかけません。調べれば何とかなるので。 私がプログラミングを始めるにあたって自分に投資したものは安いノートパソコンとマウスのみで合計金額は14600円（ノートパソコン14000円、マウス600円）ですね。 もちろんいいものはお金をかけなければ手に入りません。しかし、いいものというのはある程度のレベルにならなくては持っていても意味がほとんどないと思います。 実際にプログラミングの勉強を独学で始めると、なかなか教材を見つけることができず、え？こんないいサイトあったの！？もうちょっと早く見つけときゃあよかった！というものがめっちゃありましたので、これから独学でプログラミングの勉強をしたいという方に向けて、少しでもお役に立てたらと、紹介をしたいと思います。 というわけで、今回は私が感謝する神サイトおよびその
動画を真似てアプリを作る勉強してたら人生を積みかけた - Qiita
はじめに こんにちは、 Watanabe Jin (@Sicut_study)です。 今回は私が隠していた人生を積みかけていた勉強法について紹介します。 この記事を読んだ方に伝えたいのは 「この方法で勉強している人が多いが、とにかく時間を無駄にするだけなのでやめたほうがよい」 ということです。 この記事をみて、あなたの成長がより加速することを願っています。 Udemyの使い方間違えてますよ！ 伸び悩むエンジニアをみてきて、Udemyをやっている姿にある共通点をみつけたので共有します。 ハンズオン系の動画は数十時間を費やして終わらせる場合もあると思いますが、この話を意識していなと大切な時間を無駄にする可能性があります。… pic.twitter.com/Wr9nh4D3y2 — Watanabe Jin (@Sicut_study) January 6, 2024 ハンズオン系教材の罠 Ud
何故恵まれない人間は努力しないのか？｜rei
特別支援学校出身の発達障害児が3年で偏差値を65上げ筑波大学に現役合格した話私は中学まで特別支援学校に通っていた。高校から普通高校に行ったのだが当然授業はさっぱり分からない。私の通った高校は所謂名前さえ書ければ入れるクロマティ高校であり、入学時にそれまでの単元をちゃんと履修してるか？等の確認は勿論しなかった。この高校を知った時は「最高かよ！」と思ったが実際に入ってみると、それは「私に限らず生徒みんな授業の内容とか分からないので先生も教える事を諦めて淡々とマニュアル通りに物事を進める」という形で牙を私に牙をむく。つまり私に限らずあらゆる生徒が先生に分からないから教えてくれ的な事を言っても「教科書を読み返して下さい」で全てシャットアウトなのである。 勿論教科書を読み直してみても分からないモノは分からない。オマケに私は言語は理解していたものの中学3年生まで発音出来ず、高校1年の時は人より3倍遅く
中学英語レベルの純日本人理系大学生が、1ヶ月ちょいでAI駆使して卒論7割終わらせながらTOEIC 900超えた話 - Qiita
中学英語レベルの純日本人理系大学生が、1ヶ月ちょいでAI駆使して卒論7割終わらせながらTOEIC 900超えた話PythonAITOEICChatGPTclaude はじめに データサイエンティストを目指して日々勉強している、慶應大学理工学部4年生（2023.11.14時点） 取得資格、コンペ優勝経験など、リアルタイムの情報は👇👇👇をみてね X: @A7_data←こういう者です。 プロフィールページ👇👇👇 ※全て、個人の意見です。個人差もあります。 TOEICとは TOEICは、Test of English for International Communicationの略で、非英語圏の人々がビジネスシーンで英語を使う能力を測るためのテスト。 リスニングとリーディングの2つのセクションで構成されており、それぞれ495点満点、合計990点が最高得点。 TOEICスコアは、企業
「勤勉さ」は後天的に鍛えることができないと知って。
コンサルタントをやっていた時、「この人、コンサルタント向いてないよなあ」という人が何人も中途で転職してきた記憶がある。 例えば「本を1か月に10冊読む」という課題をやらない人。 いつも時間ギリギリにしか行動せず、重要な会合に遅刻する人。 自社の「目標」の達成度合いを気にせず、お客さんの成果にも無関心な人。 別の仕事や、前の会社では許されたかもしれないが、たいてい「コンサルタント」としてはうまくいかない。 私が在籍していたコンサルティング会社は、上のような「問題行動」には非常に厳しく、該当者には「コンサルタントとしての活躍は難しい」と、はっきりと告げていた。 「勤勉さ」は身につかない こうした事例を何度も見るにつけ、私は 「勤勉さ」 「時間を守る」 「目標遵守」 などの行動特性は、たとえ厳しく注意をしても、ほとんど身につかないか、改善したとしても、結局一時的なものにとどまる、という事を知った
僕たちが考える最強のNo-code AI ～行動認識AIをノーコードで実現するプラットフォーム構成例 | gihyo.jp
誰でも使えるNo-code AIを開発しよう 近頃、文章生成AIや画像生成AIが世間を賑わしています。文章生成AI「ChatGPT」は、わずか2か月でユーザー数が1億人を超え、画像生成AIサービス「DreamStudio」は、有償でありながら2か月でユーザーを150万人以上獲得しています。これらのAIサービスが爆発的なトレンドとなった背景には、「専門家が構築する」といったイメージのある従来のAIとは違い、「誰でも簡単に使える」という点が大きいと言えます。 このように、AIをもっと身近に、ふつうの人が作ったりカスタマイズしたりできるようにする動きがあります。それが「No-code AI」です。 No-code AIとは、その名の通り、コードを書かずにAIモデルを作れる手法のことを言います。No-code AIでは、ドラッグ＆ドロップやキー入力など簡単な操作でAIモデルを作ることができます
LLMがなぜ大事なのか?経営者の視点で考える波の待ち受け方｜福島良典 | LayerX
はじめにLayerXの代表をしています福島と申します。本日はLLM(Large Language Model, 大規模言語モデル)について、なぜ大事なのか?経営者の視点でどうこの波を考えればいいのかについてです。 LLMが今非常に話題になっています。ChatGPTの裏側もこのLLMからできていると言えばわかりやすいでしょうか。 私は現在、LayerXという会社を経営しております。LayerXでも多分に漏れず、LLMに対するものすごいワクワクと、この波に対応しないと会社が消えてなくなるという強い危機感を抱いています。 私自身が元機械学習エンジニア、現在現役の経営者というキャリアを歩んできました。その立場から、なるべくわかりやすく、LLMの波というものを経営者がどう捉えるべきか、どう波を乗りこなすべきかの一助となればと思い筆を取っています。(機械学習のプロの方からすると、おいおいそれは単純化し
「RVC」+「VC Client」で自分の声を任意の声にリアルタイム変換しよう！ - Eヤツのブログ
【導入】 ・この記事の最終目標は「リアルタイム変換でずんだもんボイスになってDiscordで通話する」です。 ・大まかな記事の流れは「RVCで学習モデルを作る」→「学習モデルをVC Clientに入れる」→「リアルタイムボイチェン完成！」です。 ・「RVC」という超凄い非リアルタイム音声変換ソフトが話題になったと思ったら、翌日に「VC Client」という超凄いソフトがリアルタイム音声変換に対応したのを聞いたので、急いで記事を書きました。 ・この記事ではずんだもんボイスになることを目標としていますが、学習先の音声さえあればどんな音声にもなれます。 【手順】 ①～RVCのダウンロード～ ・以下のURLを開いて、「RVC-beta.7z」をDLします。（要Hugging Faceアカウント）（Hugging Faceアカウントを持ってない人は無料なので作りましょう） https://huggi
ベトナム人が分からなかった日本語について「日本に来たらなんとか理由を理解できた」言葉の文化は地域の特徴や価値観で解釈が変わる
てりーまんⅢ @cityofBBB @vplusasia 日本語の授業ですから日本の習慣を伝えるのは当然ですが、教える側も日本語を学ぶ外国人それぞれの習慣について興味を持って、その違いを楽しむような気持ちがあると、学生も更に高い学習意欲が持てると思います。ダメと否定だけされたらやる気無くしますね。 2023-04-03 09:50:41 Tran Van Quyen(チャン・バン.クエン） @vplusasia @cityofBBB 当時は「日本人は厳しいな」と思い、「納得」しました。その後、日本に来たら何とか理由を理解できました。しっかりしていた先生でしたが、多分先生も違う部分に気づいていなかったかもしれません。言葉の裏にある文化も教えた方が覚えやすいですね。 2023-04-03 10:04:37
データの民主化とこれからのAI組織｜ばんくし
はじめにStable DiffusionだとかChatGPT、LLMみたいな「大規模モデル」って考え方が機械学習業界から出て、スケーリング則に基づいてまだまだ精度が上がるとされている昨今。 （スケーリング則はどうのこうの諸説あるが）さておき、「マルチモーダルに」「あらゆるデータを学習した」「大規模なモデル」が今後数年リードしていく事は間違いないと思う。 そんな中で、我々機械学習エンジニアやデータサイエンティスト、アナリスト、データエンジニア、MLOpsエンジニアみたいな、いわゆるAI屋として働いている人たち、皆が所属するAI組織ってどうなっていくのかな、という話を書いてみる。 データの民主化AIの民主化とデータの民主化AI業界では「AIの民主化」というワードがある。 便宜的にAIというワードが広く使われるようになった辺りで出てきたワードで、OSSやプラットフォーム、ハードの発展によって「A
「論理処理が必要と思ったことが確率処理でできるとわかった」のは AI だけだろうか - 木曜不足
2004年ごろに Google の猫で深層学習が一躍脚光を浴びたとき、画像認識は特徴抽出が難しいので深層学習で良い結果が出るが、自然言語処理は特徴量*1がリッチなので、深層学習を適用するのは難しいだろうと思っていた。 特徴量がリッチとは、例えば「ホームラン」のたった１語でその文はスポーツ、特に野球の話題である可能性が高くなる、みたいな話である。一方、ピクセルの１つが緑であることから何の画像か当てるのは不可能だ。 その後、自然言語処理でも深層学習が当たり前になったのは誰もがご存知のとおりであり、自身の不明を恥じるばかりだ。ただ言い訳をさせてもらえるなら、自然言語処理のえらい先生方も同じように言っていたのだ。 2014年ごろ、LSTM などの深層学習モデルが発展し、自然言語処理でも目覚ましい結果が出始めた。機械翻訳など多くのタスクで、人間の平均といい勝負になったのもこの頃だったと思う。すると、
ChatGPTをオープンソースで再現、わずか1.6GBのGPUメモリですぐに使用でき7.73倍高速なトレーニングが可能
OpenAIの対話型AI「ChatGPT」は史上最も急速な成長で「月間1億ユーザー」をわずか2カ月で達成するなど、大いに注目を集めています。それに伴い、GoogleがChatGPTのライバルとなる会話型AI「Bard」を発表したり、中国企業が続々とChatGPT風AIを開発していると報道されている一方で、OpenAIはChatGPTのコードを公開していないためChatGPTを効果的に複製することは難しくなっています。AIのディープラーニングトレーニングを最適化するオープンソースプラットフォームのColossal-AIが、ChatGPTトレーニングプロセスをわずか1.6ギガバイトのGPUメモリで7.73倍高速なトレーニングに再現したと告知し、オープンソースで公開しています。 Open-source replication of ChatGPT implementation process!
Sentence BERTをFine TuningしてFAQを類似文書検索してみる - Taste of Tech Topics
こんにちは。社内データサイエンスチームYAMALEXの@Ssk1029Takashiです。 最近はRTX4090のマシンを買って電気代が上がってきています。 昨今NLP界隈では事前学習モデルが出てからは、検索というのもキーワードでの検索だけではなく、文章を入力にして似たような文章を探す類似文書検索も使われるようになりました。 そんな中で、今回はFAQを対象にした類似文書検索をSentence BERTを使って試してみます。 FAQでよくある困りごと 今回やること Sentence BERTとは 検証 FAQデータセットから文章ベクトルを学習する 回答文から文章ベクトルを生成する 質問文から近しい回答を見つける 単語が揺れてもいい感じに回答を取得できるのか検証 まとめ FAQでよくある困りごと FAQはあらゆる場面で重要な情報源ですが、いまいち検索がしづらい情報でもあります。 FAQを利用し
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GPT-1→GPT-2→GPT-3→GPT-3.5→ChatGPT→GPT-4までの進化の軌跡と違いをまとめてみた｜スタビジ
コピペOK！ChatGPT×英語学習に使える「深津式プロンプト」
人工知能・深層学習を学ぶためのロードマップ | 東京大学松尾研究室 - Matsuo Lab
https://twitter.com/8co28/status/1627129867514052609
