日本語画像言語モデル「Japanese InstructBLIP Alpha」をGoogle Colabで動かしてみました
日本語画像言語モデル「Japanese InstructBLIP Alpha」をGoogle Colabで動かしてみました Japanese InstructBLIP Alpha 画像生成AI「Stable Diffusion」で有名なStability AIがリリースした、日本語向け画像言語モデルが「Japanese InstructBLIP Alpha」です。 用途は研究目的に限定されているようです。 「Japanese InstructBLIP Alpha」は研究目的で作成されたモデルであり、研究目的での利用に限定した公開となります。詳細は Hugging Face Hub のページをご確認ください。 というわけで研究目的（？）で触ってみます。 デモアプリを作る 既に偉大な先人（おなじみの方々）がやってらっしゃいました。 公式＋これらの先人のコードを参考に、Google Colabで
自分のコンテンツを学習したカスタムChatBotを作る方法
カスタムChatBotを作る ChatGPT全盛の時代に、何番煎じだ？という感じですが、とりあえずやってみたので手順を残しておきます。プロンプトエンジニアリングの観点ですと、いわゆるIn-Context LearningのRetrieval-Augmented Generation（RAG）ってやつになると思います。プロンプトエンジニアリングに関しては以下記事参照ください。 具体的な手段・実装としては、基本的にnpaka大先生のやったことや書籍を大いに参考にさせていただいています。 OpenAI GPT-4/ChatGPT/LangChain 人工知能プログラミング実践入門 以前、はてなブログのデータだけでやってみてはいたのですが、イマイチ性能がよくなかったので、今回は色々と改善版という位置づけです。 大きく変えたところは以下2つです。 データを増やした（ブログデータ → ブログデータ +
プロンプトエンジニアリング テクニックまとめ
プロンプトエンジニアリング Large Language Model（以降LLM）のプロンプトエンジニアリング、色々テクニックがあるのですが、全然名前と内容が一致しないので一度自分なりにまとめてみることにしました。 そもそも、LLMOps：基盤モデルに基づくアプリケーション開発のワークフローによると、LLMの開発には以下の3つのアプローチがあるとのことです。 LLMOps：基盤モデルに基づくアプリケーション開発のワークフローより引用 本記事ではその中の、In-Context Learningについて（要は、プロンプトを工夫してなんとかしましょうというアプローチ）のみ記載します。そして、更にIn-Context Learningを、この記事の内容で分類した図を以下に示します。 ここで出てくるIn-Context Learningのテクニック、結構名前がカッコいいというか、仰々しいんですよね。
Advanced Data Analysis（旧ChatGPT Code Interpreter）の活用方法を片っ端から試していく
Advanced Data Analysis（旧ChatGPT Code Interpreter）の活用方法を片っ端から試していく ChatGPT Code Interpreterをとにかく触ってみる 「Code Interpreterが凄い！」と、みんなが騒いでいるのでとりあえずネットで目についた活用方法を片っ端から試していきたいと思います。 試したら追記していきます。 Code Interpreterのセットアップ 以下3ステップです。簡単ですね。よく分からなかったら別のサイトみてください。 ChatGPT Plusに課金 Setting Beta featuresでCode interpreterのトグルをオン ChatGPTのGPT4でCode Interpreterを選択 以下参考のスクリーンショットです。 Code Interpreterの活用例 ここから活用例を載せていきます
RWKVをローカルPCで動かす（pyenv/Docker）
OSはLinuxです。WindowsのWSL2で動かしている人もいるので、多分動くと思います。Linux/Windows(WSL2)のセットアップに関しては、以下記事参照ください。 CPUのみでも動かせるようですが、メモリが大量にいります。メインメモリが少なければ、とりあえずキャッシュ領域をアホほど（100GBとか）増やしておけば動くようです。足りないと途中でクラッシュします。 メモリが不足気味でしたら、以下記事参考に最初に設定しておいてください。 モデルダウンロード モデルをダウンロードします。好きなものをダウンロードしてください。初心者は、最初は小さいものを試して自信をつける（？）のがよいかもしれません。 14B バカでかモデル 7B デカいモデル 7B alpacaでファインチューニングされているのでちょっと賢い 3B 小さめモデル pyenv 事前準備 pyenvを使う方法です。ま
ChatGPT Bing AIチャット活用例まとめ
最初に ChatGPT Bing AIチャットの気になる記事に対する個人的メモです。 活用例 サービス アプリ Open LLM 日本語LLM Code Interpreter Chrome Plugin ChatGPT Plugin Guidance ビジネス ゲームづくり 文章生成（執筆） コーディング ファインチューニング プロンプトテクニック embedding プロンプトインジェクション 特定用途のカスタムChatGPT LlamaIndex LangChain ChatGPT API AIエージェント ChatGPT API搭載AIｽﾀｯｸﾁｬﾝ ロボット制御 活用例まとめ 動画 ChatGPT解説 個人的まとめ AIの進化と日本の戦略（PDF） 企業取り組み 話題 データセット 勉強会 LLL Meetup Tokyo 論文 落合陽一さん RLHF ファインチューニング 関連
自宅で動くChatGPTと噂のFlexGenをDockerで手軽に動かす
自宅で動くChatGPTと噂のFlexGenを試す shi3zさんが興奮して動かしていたFlexGen 関係する記事は以下 ツヨツヨGPUが無いと動かないと思っていたのですが、タイムラインでミクミンPさんが、RTX3060でFlexGenを動かしているツイートを発見。 「RTX3060なら自分も持っている！」ということで、試してみることにしました。 追記： 私がこの記事で動かしているのは小さいモデルです。とりあえずお試しで動かしただけで、shi3zさんが動かしているモデルとは異なります。 性能の参考にする記事ではないので、ご承知ください。より大きいサイズのモデルの使用に関しては、FlexGenの公式リポジトリを参照ください。私も今後試したら追記していきます（現状、私の環境では動かせてないです）。 FlexGenをDockerで動かす 結果的には、Dockerを使うことで簡単に動かせました。
画像生成AIとp5.jsを組み合わせたアプリを作ってみた
Processing Advent Calendar 2022の7日目の記事です 画像生成AIとp5.jsを組み合わせたアプリを作ってみた 今話題の画像生成AI（Stable Diffusion）とp5.jsを組み合わせてチームラボ的なアプリを作ってみました。アプリの詳細は以下記事参照ください。 簡単に構成を紹介すると以下のようになります。 Stable DiffusionのImage-to-Image（画像から画像への変換）機能を使って、Webカメラで撮影した人物画像を動物に変換します。その後、動物画像をp5.jsを使ってアニメーションします。 自分が描いたキャラクタが画面の中で動くといった、チームラボ的な演出を10倍しょぼくしたものをイメージしてもらうと分かりやすいかと思います。 p5.jsでアニメーションしている様子は以下になります。 ブラウザで以下リンクにアクセスすると、実際のアニ
「ゼロからのOS自作入門」の副読本的記事
最初に 「ゼロからのOS自作入門」を実践するための、環境構築方法及びコマンドリストと実行結果のメモです。最短で実行したい方、うまく動かすことができない人用の記事となります。 書籍に関する感想は、以下ブログ記事に書いているので、書籍自体を買おうか迷っている人はこちらを参考にしてみてください。 本記事は「ゼロからのOS自作入門」を読んで、個人的にまとめたものとなります。内容に関して、もし問題や誤りがあった場合の文責は私にありますので、この記事に関しての疑問は私に問い合わせください。もちろん書籍自体の質問は、書籍のサポートに連絡ください。 この記事を読むと、書籍を読まなくてもOSを動かすことはできます。ただ、書籍を読みながら自分で理解したり改造したりしながら動かさないと何も身につかないと思うので、興味ある人は書籍を買いましょう。価格の何倍もの価値がある良書だと思います。 ゼロからのOS自作入門
ラズパイ(Raspberry Pi)のPicamera2でカメラを使う方法
ラズパイでPythonからラズパイカメラ使うのに一苦労 Raspberry Pi用高解像度オートフォーカスカメラモジュール買ったので、久しぶりにラズパイでカメラ使ってみようと思ったら色々大変だったのでメモです。 普通のラズパイカメラモジュールのケースも記載していきます。 前提条件 Raspberry Pi 4 Raspberry Pi OS(64-bit) with Desktop 2022-01-28(Bullseye) Raspberry Piカメラモジュールv2 Raspberry Pi用高解像度オートフォーカスカメラモジュール カメラの最短の動かし方 最新のRaspberry Pi OS（Debian Bullseye）が、カメラ周り色々変わっていたのが原因でした。 通常のRaspberry Piカメラモジュールv2であれば、デフォルトの状態で、以下コマンドだけで動作確認できました
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
text-generation-webuiをDockerで動かす