Llama 2 発表！ Metaから商用利用可能なライセンスでオープンなLLMであるLlama 2が発表されました。 こりゃすごそうだけど、しばらくは様子見かなーと思っていたら、npakaさんが一瞬で動かしているではありませんか。 こりゃやるしかないと、ローカルでDockerで動かしてみました。要は、npakaさんの記事の「(1) Pythonの仮想環境の準備」を詳しく書いたものです。 DockerでLlama 2を動かす Dockerファイルは、以下リポジトリに格納してあります。 セットアップ方法は、以下参照ください。Linux/Windows前提です。Mac(Apple Silicon)では残念ながら今のところ動きませんでした。 Macでも動きますが、時間が非常にかかるので実用的ではないです。 Dockerのイメージ作成（ビルド）まで実施したらOKです。 続いて量子化されたモデルlla

Advanced Data Analysis（旧ChatGPT Code Interpreter）の活用方法を片っ端から試していく ChatGPT Code Interpreterをとにかく触ってみる 「Code Interpreterが凄い！」と、みんなが騒いでいるのでとりあえずネットで目についた活用方法を片っ端から試していきたいと思います。 試したら追記していきます。 Code Interpreterのセットアップ 以下3ステップです。簡単ですね。よく分からなかったら別のサイトみてください。 ChatGPT Plusに課金 Setting Beta featuresでCode interpreterのトグルをオン ChatGPTのGPT4でCode Interpreterを選択 以下参考のスクリーンショットです。 Code Interpreterの活用例 ここから活用例を載せていきます

次々と発表されるオープンな日本語大規模モデル どうなっているの？？という感じですよね。 我らがnpakaさんは、さっそくGoogle Colabで動かしていらっしゃいます。 ただ、Google Colabだと毎回モデルのダウンロードが大変なので、ローカルでDocker使って手軽に動かせるといいな、ということでやってみました。 以下GitHubのリポジトリにDockerfileとサンプルプログラムをおいています。チャットっぽいことをできるようにしています。 上記で、サイバーエージェントとリンナのLLMが両方動きます。 使用環境 前提となる環境です。使用しているPCのスペックは以下です。 項目 内容

OSはLinuxです。WindowsのWSL2で動かしている人もいるので、多分動くと思います。Linux/Windows(WSL2)のセットアップに関しては、以下記事参照ください。 CPUのみでも動かせるようですが、メモリが大量にいります。メインメモリが少なければ、とりあえずキャッシュ領域をアホほど（100GBとか）増やしておけば動くようです。足りないと途中でクラッシュします。 メモリが不足気味でしたら、以下記事参考に最初に設定しておいてください。 モデルダウンロード モデルをダウンロードします。好きなものをダウンロードしてください。初心者は、最初は小さいものを試して自信をつける（？）のがよいかもしれません。 14B バカでかモデル 7B デカいモデル 7B alpacaでファインチューニングされているのでちょっと賢い 3B 小さめモデル pyenv 事前準備 pyenvを使う方法です。ま

最初に ChatGPT Bing AIチャットの気になる記事に対する個人的メモです。 活用例 サービス アプリ Open LLM 日本語LLM Code Interpreter Chrome Plugin ChatGPT Plugin Guidance ビジネス ゲームづくり 文章生成（執筆） コーディング ファインチューニング プロンプトテクニック embedding プロンプトインジェクション 特定用途のカスタムChatGPT LlamaIndex LangChain ChatGPT API AIエージェント ChatGPT API搭載AIｽﾀｯｸﾁｬﾝ ロボット制御 活用例まとめ 動画 ChatGPT解説 個人的まとめ AIの進化と日本の戦略（PDF） 企業取り組み 話題 データセット 勉強会 LLL Meetup Tokyo 論文 落合陽一さん RLHF ファインチューニング 関連

自宅で動くChatGPTと噂のFlexGenを試す shi3zさんが興奮して動かしていたFlexGen 関係する記事は以下 ツヨツヨGPUが無いと動かないと思っていたのですが、タイムラインでミクミンPさんが、RTX3060でFlexGenを動かしているツイートを発見。 「RTX3060なら自分も持っている！」ということで、試してみることにしました。 追記： 私がこの記事で動かしているのは小さいモデルです。とりあえずお試しで動かしただけで、shi3zさんが動かしているモデルとは異なります。 性能の参考にする記事ではないので、ご承知ください。より大きいサイズのモデルの使用に関しては、FlexGenの公式リポジトリを参照ください。私も今後試したら追記していきます（現状、私の環境では動かせてないです）。 FlexGenをDockerで動かす 結果的には、Dockerを使うことで簡単に動かせました。

ラズパイでAI画像認識環境構築 ひさしぶりにラズパイでディープラーニングしようと思ったら、色々変わっていたのでメモ。 追記：ラズパイ5に関しては以下記事参照ください。 前提 ハードウェアやソフトウェアの前提は以下です。 Raspberry Pi 4 Raspberry Pi OS(64-bit) with Desktop 2023-02-21(Bullseye) USBカメラ OSは64bitを使用します。32bitだとライブラリのバージョンが変わってくるのでこの記事のままだとインストールできませんので注意してください。 SDカードの書き込みやハードウェアのセッティングに関しては、以下記事参照ください。 また、上記記事では、カメラとしてRaspberry Pi カメラモジュールを使っていますが、Raspberry Pi OSがBullseyeになってから、使用するライブラリが変わった(Pi

はじめに この記事を、WindowsとLinuxのデュアルブート環境を構築してOS両方吹き飛ばしたことのある全ての人に捧げます。 人類はなぜデュアルブート環境のOSを両方ふっとばすのか 主語が大きければ「人類」を「おろかな、からあげ」に置き換えてください。 「Linux試してみよー」と雑誌やネット記事に書いてあるままに、気軽にデュアルブート環境構築した人類には以下のようなワナが待ち受けています。 Linux環境が壊れて道連れでWindowsもブートしなくなる Linuxの再インストールに失敗してWindowsが吹き飛ぶ Windowsの再インストールしたらLinuxが吹き飛ぶ Windowsの大型アップデートでLinux環境が吹き飛ぶ 多くの人は、その後「二度とLinuxなんて入れるか！」と思ったり、一部のマニアはLinux専用機を買ったりするのではないでしょうか。 古いPCで遊ぶだけなら

論文を読んでみる 趣味9割、仕事1割くらいの割合で論文を読んでいます。 学生のときは「論文なんて、何の役に立つんだろ？」とか思っていたダメ学生でしたが、最近は「論文は最先端の研究にキャッチアップするための最高の知のアーカイブの一つ」と少しだけ思えるようになりました。 機械学習・ディープラーニング(AI)の分野では、無料で読める論文がたくさんありますし、コードが公開されているものも多く、（比較的）手元で再現実験しやすいのも良いですね。 いつもTwitterに流れている論文を適当に拾うことが多いのですが、それ以外の情報源をメモがてら個人的にまとめてみます。ガチ研究者ではないので、そういう方は近くの優秀な人に聞いてくださいね（そして、コメントとかで教えてください）。 Consensus GPT ChatGPTの有料版が必要ですが、2億以上の論文からAIを使って探せるということで、良い気がします。

最初に 「ゼロからのOS自作入門」を実践するための、環境構築方法及びコマンドリストと実行結果のメモです。最短で実行したい方、うまく動かすことができない人用の記事となります。 書籍に関する感想は、以下ブログ記事に書いているので、書籍自体を買おうか迷っている人はこちらを参考にしてみてください。 本記事は「ゼロからのOS自作入門」を読んで、個人的にまとめたものとなります。内容に関して、もし問題や誤りがあった場合の文責は私にありますので、この記事に関しての疑問は私に問い合わせください。もちろん書籍自体の質問は、書籍のサポートに連絡ください。 この記事を読むと、書籍を読まなくてもOSを動かすことはできます。ただ、書籍を読みながら自分で理解したり改造したりしながら動かさないと何も身につかないと思うので、興味ある人は書籍を買いましょう。価格の何倍もの価値がある良書だと思います。 ゼロからのOS自作入門

M1 MacBook Airを購入したのでセットアップしました M1 MacBook Air買ったので、Zennのスクラップ機能を使いながらセットアップしました。Zennのスクラップ機能は作業メモ的に使うの本当に便利ですね。 一通りセットアップできたので、やったことを記事にまとめます。 完全に自分用のメモですが、対象としては、ネットサーフィンしたり、ブログ書いたり、ちょっとPythonで機械学習・ディープラーニングするぞーってくらいのファッションエンジニアあたりです。そうです私です。 特にこだわりなく、なるべく素直にセットアップしています。フロントエンドとか、インフラとか全然分からないので、その辺りの人だとあんまり参考にならないと思います。 ハードウェア関係（周辺機器）のセットアップに関しては、以下のブログ記事参照ください。 起動直後にやったこと 起動してまずは以下実施しました。 Appl