ブックマーク / zenn.dev/karaage0703 (5)

  • ソースコードをリポジトリ丸ごとLLMに読んでもらう方法

    はじめに ソースコードをLLMに読んでもらうとき、単一ファイルだと楽なのですが、GitHubのリポジトリのように複数ファイルから構成されるプロジェクトだと困ってしまいますね。 リポジトリごとLLMに読んでもらえるようにいい感じにテキスト化できると良いですね。そんなソフトがありました。しかも2つ。 両方ともほとんどコンセプトは同じです。特に後者のgenerate-project-summaryは使い方も含めて、自分のやりたいことが、すでに開発者の清水れみおさんが以下の記事にまとめていました。 なので、あんまり書く必要ないのですが、せっかくなのでgpt-repository-loaderの使い方と、出力したファイルの別の活用方法について書いてみたいと思います。 gpt-repository-loaderでリポジトリをテキストに変換 使い方はREADMEに書いてあります。シンプルなソフトなので、

    ソースコードをリポジトリ丸ごとLLMに読んでもらう方法
  • Difyをローカルで動かしてRAGまで試してみる

    Difyを試してみました Difyが話題だったので、少し試してみました。一言でいうとOSS版の高機能ChatGPTのカスタムGPT(GPTs)でしょうか。より詳しくはnpaka先生の記事を参考にしてください。 ChatGPTの有料版でできること以上のことができます。機能も多機能で、少し触った感じでは完成度も高いように感じました。 クラウド版を使うこともできますし、ローカルで自前でサーバーを立てることもできます。GPTsに比べた分かりやすいメリットある使い道は、容量制限なく手軽にローカルでRAGをクラウドにデータをアップロードできる点でしょうか。 それ以外には、GPT4以外のClaude 3 OpusなどのLLMも使えたり、細かい設定を切り替えたりできるので、手軽に色々できそうです。ただ、結構できること多いので少し詳しい人向けかもしれません。 Difyのローカルセットアップ方法 クラウド版は

    Difyをローカルで動かしてRAGまで試してみる
  • Kindleの蔵書情報をKindleアプリのXMLをパースして可視化する方法

    Kindleの蔵書情報を可視化したい Kindleの蔵書、以下の方法でcsvを取得して、今年買った書籍の数を可視化したりしていました。 以下分析した例です。 「今年も同じやり方でやろう!」と思ったら何故かできない…というわけで、上記記事も書いてあったもう一つのやり方、KindleアプリのXMLをパースする方法を試してみました。 前準備(XMLファイルを取得する) Kindleアプリをインストールして、一度起動し、Amazonアカウントでログインして終了します。 するとKindleSyncMetadataCache.xmlという名前のXMLファイルが生成されます。 場所は、Windowsは以下 C:\Users\user_name\AppData\Local\Amazon\Kindle\Cache\KindleSyncMetadataCache.xml Google Colaboratory

    Kindleの蔵書情報をKindleアプリのXMLをパースして可視化する方法
  • Open InterpreterをDockerで動かす

    Open Interpreterのライセンス、バージョンアップのタイミングでMITからAGPL-3.0に変更されていますので注意ください。 Open Interpreterが凄い 凄いの出ちゃいましたね。Open Interpreterの凄さとか、可能性とかは、以下のshi3zさんのブログ記事で感じていただければと思います。こういうエモい文章はshi3zさん最高に上手ですね。 自分としては、Advanced Data Analysis(旧ChatGPT Code Interpreter)を触っていて「こりゃ凄いな」と思っていたものの、少し制約に窮屈さを感じていたところだったのでバッチリのタイミングでした。 Open InterpreterをDocker環境を動かす Open Interpreter凄いのですが、問題は凄すぎる点ですね。ガンガンコマンドを実行するので、ローカルで動かしたら凄い

    Open InterpreterをDockerで動かす
  • 自宅で動くChatGPTと噂のFlexGenをDockerで手軽に動かす

    自宅で動くChatGPTと噂のFlexGenを試す shi3zさんが興奮して動かしていたFlexGen 関係する記事は以下 ツヨツヨGPUが無いと動かないと思っていたのですが、タイムラインでミクミンPさんが、RTX3060でFlexGenを動かしているツイートを発見。 「RTX3060なら自分も持っている!」ということで、試してみることにしました。 追記: 私がこの記事で動かしているのは小さいモデルです。とりあえずお試しで動かしただけで、shi3zさんが動かしているモデルとは異なります。 性能の参考にする記事ではないので、ご承知ください。より大きいサイズのモデルの使用に関しては、FlexGenの公式リポジトリを参照ください。私も今後試したら追記していきます(現状、私の環境では動かせてないです)。 FlexGenをDockerで動かす 結果的には、Dockerを使うことで簡単に動かせました。

    自宅で動くChatGPTと噂のFlexGenをDockerで手軽に動かす
  • 1