DeepSeekがやっていると噂の蒸留というやつを、ローカルLLMで今すぐやってみる 前編
前提 この記事では、「Symbolic Knowledge Distillation: from General Language Models to Commonsense Models」という論文で提案されている 記号知識蒸留 を、ローカルLLMで日本語で実験する。 詳細 知識蒸留 (Knowledge Distillation) とは、大きなモデル (教師) から小さなモデル (生徒) に知識を転送する手法である 具体的には、LLMの蒸留と言えば、大きなモデルが出力する確率分布（ソフトターゲット）を利用して、小さいモデルを学習させる手法が用いられていた しかし、本論文では、「象徴的」な知識蒸留として、単に数値的な蒸留ではなく、 テキスト (symbolic knowledge) の形で知識を抽出し転送すること を提案している 必要な知識と開発環境 ollamaとPythonとLang
Webサービスぶっ壊れ地獄、行きやすぜ！
はじめに なあジョージさんよ……あんた、いつもこう言ってたよな？ 「便利さとシンプルさ、それがユーザーも開発者も幸せにする秘訣だ」ってよ。 あたしゃな、その言葉に乗っかっちまった。ユーザーのため？ 開発を効率化するため？ そりゃあ立派なもんだ。でもな、それが「命取り」になることがあるんだぜ。 シンプルに作ったはずのサービスが、悪意ある奴らに好き勝手利用されて、時には「あたしの知らなかった地獄」を見せてくれる。越えたらいけない一線がある。そんな話を、今日はしようじゃねえか。 さあ、これがあたしらの舞台だ。 セキュリティの教科書には載らない、バグバウンティでも指摘されない、ニュースにもならない、「 現場のWebサービスぶっ壊れ地獄 」 ……教えてやりますぜ！！ 1. サインアップし放題からのクレカ決済し放題地獄 この地獄、知ってやがるかい？ 聞いてくれよ。ユーザーを簡単にサインアップさせる……
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
