shodaiのブックマーク - はてなブックマーク

面倒な分析はGoogle Colabにやらせよう
これはなに？ちょっとした分析の用事で久しぶりにGoogle Colaboratory (以下 Colab) を触ったら結構良くなってました。Cursorでコード書くのも快適だけど、面倒なデータ分析やるならやっぱColabの方が便利だなぁと再認識しました。そこで、最近Colabに追加されて便利になったと思う機能を簡単にまとめてみました。(見てわかる通りタイトルはもちろん話題のあの本のオマージュです😇) 最近のColab便利機能を使おう粒度まちまちですがざーっと書いていきます。「最近」の定義は曖昧なのでご容赦ください。 Github Copilot的なコード補完を使おう Github Copilotみたいなコード補完機能がついにColabに搭載されました。↓のように補完してくれます。 VS CodeでもCursorでも一緒やん、って思われるかもしれませんが、Colabのような多機能No
shodai 2024/07/26
リンク
【随時更新】主要な大規模言語モデル比較表
これはなに？自著「つくりながら学ぶ！生成AIアプリ＆エージェント開発入門」に掲載するために作ったOpenAI・Anthropic・GoogleのLLMの一覧表です。各社が新しいモデルを出すたびに本の内容が陳腐化するため、この記事に最新の情報を更新していきます。各社のモデルの主要諸元・費用に加えて、自分の印象を書いてあります。性能の目安としてChatbot Arenaのスコアを参考までに添付していますこれはあくまで参考用かつ英語での評価なので、スコアが一番高いものがいい、もしくは低いからダメというわけではありません。少なくともこの記事に掲載されているモデルは、スコアが低いものでも単純な翻訳などでは十分な性能を持っています。そして何より高性能モデルとは比較にならないほど高速です。用途や使用言語によって試してみて最適なものを選ぶのが良いでしょう [PR] 宣伝本の紹介は↓に書
shodai 2024/04/29
リンク
ChatGPT の Fine-tuning を試したけど上手くいかなかった話
これはなに？新しくリリースされた ChatGPT (GPT-3.5 Turbo) の Fine-tuning を試してみたメモ。 ChatGPTに最新の知識や専門知識を注入できるかどうかをテストしてみた。結局、自分が想定した動きにはできなかったので記事にして供養します🙏 tl;dr 一晩試してみた程度では、ChatGPTに最新の知識を教え込む目的での Fine-tuning はうまく動かなかった。 OpenAIが提示している想定のユースケースとずれている利用方法なので、もう少しトライしても上手くいかないんじゃないかなと思う。学習データに入れた質問をそのまま投げてあげると回答できることもある程度だった。(このままでは到底使えない…) 出力のトーンや言語の指示にプロンプトの文字数を大量に使っていて、それを大幅に削減したい、という時には使えそうだなという印象だった。学習データの自動生成
shodai 2023/08/25
“Pydanticで出力の型定義をしておくと、 ChatGPTがその出力を守るまでOutputFixingParserが何度かトライしてくれる (帰れまテンしてくれる)”
リンク
1