LangChain + GPT-NEOX-Japanese-2.7b で日本語 LLM やりとり整備するメモ - Qiita
背景 何やら流行りの LangChain でいい感じに日本語扱いたい! とりあえずローカルで動かしたいので, 日本語は gpt-neox-japanese-2.7b 使います. LangChain 自体はなんかいろいろつなげるための wrapper みたいなものです. (そのうち huggingface もなんか langchain っぽいの出してきそうですネ) LLM module huggingface pipeline 使います. gpt-neox-japanese-2.7b デフォルトだと CPU 実行になってしまうので(CPU でも動くが数分くらいかかる), GPU 処理, また fp16 を使います! また, langchain の(?) デフォルトの max_new_tokens は 20 tokens で, 長い input 与える(下のずんだもんは 220 tokens
シングルファイル C/C++ ライブラリが便利すぎてやばい - Qiita
漢は黙ってシングルファイル C/C++ ライブラリですね! シングルファイル C/C++ ライブラリとは, ヘッダファイル .h ひとつだけで機能が実装されているライブラリ(もう少し条件をゆるくして .cc も含む)のことです. header-only とも言われれたりします. このあたりの元祖は nothings 先生 http://nothings.org/ ですね. 最近は github にコードをあげています. https://github.com/nothings/stb シングルファイル系のライブラリまとめ一覧もあります. シングルファイル系が便利すぎてやばいので, 自分でもいくつか作りました. TinyObjloader(Wavefront .obj loader) https://github.com/syoyo/tinyobjloader TinyEXR(OpenEXR
Python で rsocket で通信が爆速でやばい. - Qiita
漢なら RDMA でデータ送りたいですね! とりあえず手っ取り早く rsocket http://syoyo.wordpress.com/2012/12/06/rsocket-new-way-of-rdma-aware-programming/ を使い, 既存の python スクリプトで高速転送を実現してみましょう. 構成 Server と Client は InfiniBand QDR と, 1 GbE で物理的に繋がっています. InfiniBand のレイヤは IPoIB で繋がっているものとします. テストスクリプト Client から 1GB のデータを送り, Server 側はそれを受け取るだけというスクリプトです(単方向データ通信). # server.py import socket import itertools HOST = '' PORT = 8081 s = s
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
