※BitNetそのものを検証した記事ではなく，BitNetで使われているレイヤーを使った簡単なNNモデルを作成し検証しています． はじめに 今回はBitNetの紹介になります．BitNetは量子化を考慮した学習を行うアーキテクチャとなっており，他の量子化手法と比べ競争力のある性能を保ちつつ，メモリ消費量を大幅に抑えています． 今回の検証ではBitNetで使われているBitLinearレイヤーを使いLanguage Modelではなくテーブルデータのための簡単なNNモデルを作り学習を行えるか検証しています． 記事に誤り等ありましたらご指摘いただけますと幸いです。 目次 1. BitNet 2. BitLinearの検証 3. おわりに 4. 参考文献 1. BitNet ライセンス:MIT リポジトリ:https://github.com/kyegomez/BitNet (今回検証に用いた実

こんにちは@fuyu_quantです。 この記事はLLM Advent Calender 2023 17日目の記事です。 よかったらプライベートで作成したData Science wikiのGPTsも見て下さい！ はじめに 今回は敵対的なプロンプト技術についてまとめました．まとめ方は主に，Ignore This Title and HackAPrompt: Exposing Systemic Vulnerabilities of LLMs through a Global Scale Prompt Hacking Competition というLLMに対する敵対的なプロンプト技術に関してまとめた論文を参考にしています．本記事の内容が世の中のLLMを使ったサービスの機能向上の役に立てれば幸いです． ※世の中のLLMサービスが敵対的なプロンプト手法に対応できるように公開をしたものであり，利用を

現在，34個掲載(一部執筆途中) Xのアカウント@fuyu_quantでも技術系の投稿をしているのでよかったらフォローしてください！ はじめに 今回はすぐに使えそうなプロンプトの工夫やフレームワークについて有名なものをまとめました．LMの出力の精度向上に役立てられればと思います． 論文があるものについてはarXivに最初に投稿された順番で掲載しています． 論文で精度向上が確認されているのは英語での検証がほとんどであるため，日本語で改善されるかは分かりません． 全てのLLM(GPT-4,Llama2,...)で精度が改善するとは限りません． ※記事に誤り等ありましたらご指摘いただけますと幸いです． 以下の記事では敵対的プロンプト技術をまとめています！ 目次 Zero-shot prompting Few-shot prompting 2021年〜 Generated Knowledge Pr