ローカルLLMの脆弱性があるんか？〜CVE-2024-50050から学ぶ「自分だけで使ってるから安全」の落とし穴〜 - Qiita
2.3 RCE（Remote Code Execution）とは 攻撃者がリモートから任意のコードを実行できる脆弱性のこと。これが成立すると、あなたのマシンで攻撃者が好き放題にコマンドを叩ける。ローカルLLMの脆弱性の多くはこのRCEに分類される。 2.4 デシリアライズ（Deserialization）とは プログラムが保存・送信用に変換（シリアライズ）したデータを、元のオブジェクトに復元する処理のこと。Pythonのpickle.loads()が代表例。この復元処理に悪意あるデータを食わせると、任意のコードが実行される——これが今回の脆弱性の多くに共通する根本原因だ。 これらの用語が押さえられたら、実際にどんな脆弱性が報告されているのか見ていこう。 3. ローカルLLM脆弱性が生まれた背景 3.1 「速度優先」で生まれたエコシステム ローカルLLMのエコシステムは、2023年のLlam
10時間かかっていた遺伝的アルゴリズムをAWS Lambdaで高速化 - Insight Edge Tech Blog
こんにちは、Insight EdgeのLead Engineerの日下です。 今回は、DEAPライブラリを利用した遺伝的アルゴリズムをAWS Lambdaで分散並列実行した話を紹介しようと思います。 目次 目次 背景と課題 並列化の方法の検討 どこを並列化するか？ どのように並列化するか？ 実装の方針 呼び出し側コード Lambda側コード その他 Lambdaを呼び出すためのDEAPへのmap実装 呼び出し側コード Lambda側コード 今回の実装の工夫ポイント 改善の評価 まとめ 前提 クラウド基盤: AWS 言語: Python ライブラリ: DEAP 背景と課題 ある案件で、遺伝的アルゴリズム (以下、GA)を用いた最適化処理により業務改善の実証実験をしていたところ、性能に課題があるということでデータサイエンティストチームから相談を受けました。 当該処理は、EC2 (r7g.4xl
はじめての自然言語処理 Fusion-In-Decoder でクイズに答えるモデルを作る | オブジェクトの広場
今回は Fusion-In-Decoder を使ってクイズに答えるモデルを作ります。以前から Wikipedia 等の外部情報を参照できるテキスト生成モデルを試してみたいと思っていました。Fusion-In-Decoder の発表は 2020 年なので少し前のモデルですが、T5 ベースで手軽に試せるサイズ感ですので、日本語で試してみましょう。 1. はじめに 今回紹介する Fusion-In-Decoder（以下、FiD ）1 は Meta AI (当時は Facebook AI Research) が発表した Open Domain question Answering タスクを解くテキスト生成モデルです。 じつは、以前から外部情報を参照できるテキスト生成モデルを試してみたくて2、 Google の RETRO3 の論文を読んでたんです。 なのですが、外部情報のサイズ感が 1000 B
Edge AI Just Got Faster
When Meta released LLaMA back in February, many of us were excited to see a high-quality Large Language Model (LLM) become available for public access. Many of us who signed up however, had difficulties getting LLaMA to run on our edge and personal computer devices. One month ago, Georgi Gerganov started the llama.cpp project to provide a solution to this, and since then his project has been one o
危険なpickleの作り方とその防ぎ方
脆弱エンジニアの Advent Calendar 2024 9日目参加記事です。 Pickleとは？ pickleとは、pythonオブジェクトをバイト列として保存(シリアライズ)しておくための形式のひとつです。 次の簡単な例を見てみましょう。 import pickle payload = {'key1': 0, 'key2': [True, (1,2)]} pkl = pickle.dumps(payload) print(pkl) # b'\x80\x03}q\x00(X\x04\x00\x00\x00key1q\x01K\x00X\x04\x00\x00\x00key2q\x02]q\x03(\x88K\x01K\x02\x86q\x04eu.' # .hex()は、バイト列を16進数の文字列として表現する print(pkl.hex()) # 80037d710028580400
機械学習を簡単に行うための有用なライブラリの一つはscikit-learnである。 この文書では、scikit-learnの学習結果をpickleしないで済ます方法について述べる。 scikit-learnの特徴 各種識別器の学習・予測・評価方法のためのインターフェースがそろえてある設計。 各種アルゴリズムを試して、比較しやすい。 ドキュメントが充実している。 前提 python scikit-learn pickle scikit-learn に欠けているもの scikit-learnで学習した結果を保持するための枠組みが不足している。 そのため、sckit-learnで作った学習済みの識別器をpickleして、それをpickl.loads(pickle済みのファイル)して使ってしまうということをしてしまいやすい。 問題点 scikit-learn のサイトでも、pickleしたものを使
A typical PyTorch training program on 8 GPUs with 4 dataloaderworkers per GPU would create at least processes.A naive use of PyTorch dataset and dataloader can easilyreplicate your dataset's RAM usage by 40 times. This issue has probably affected everyone who has done anything nontrivial with PyTorch.In this post, we will explain why it happens, and how to avoid the 40x RAM usage. All code example
pickleモジュールを使用して、Pythonのオブジェクトを直列化／復元（pickle化／非pickle化、シリアライズ／デシリアライズ）する方法と、その際の注意点を紹介する。 import pickle favs = ['beer', 'sake'] mydata = {'name': 'かわさき', 'age': 999, 'weight': 123.4, 'favs': favs} # pickle化してファイルに書き込み with open('pickled.pkl', 'wb') as f: pickle.dump(mydata, f) # 非pickle化 with open('pickled.pkl', 'rb') as f: mydata2 = pickle.load(f) favs2 = mydata['favs'] print(mydata2) # 出力結果 # {'
フルスクラッチLLM「PLaMo」の事前学習を支える技術 - Preferred Networks Tech Blog
はじめに Preferred Networks (以下PFN) 子会社のPreferred Elements (以下PFE) は1000億 (100B) パラメータ規模のLLMであるPLaMo-100Bについて、2024年2月から5月にかけて事前学習を実施しました。現在はPLaMo-100Bを元にPLaMo Prime/PLaMo Liteをリリースし、主要日本語ベンチマークで世界最高レベルの精度をAPIやChatサービスとして提供しています。また、PFNとPFEの共同で2024年10月から現在にかけて、より高性能かつ軽量なLLMであるPLaMo 2の開発を行っています。 本記事では、PLaMo-100Bや現在開発中のPLaMo 2の事前学習を支える技術について紹介します。 PLaMo-100B、PLaMo 2の開発は、経済産業省が主導する国内の生成AIの開発力を強化するためのプロジェクト
Pythonのpickleの「遅い」「デカい」「バージョン依存ツラい」を解消してくれるPyfory #こまPy｜Atsushi Shibata
Pythonでオブジェクトのシリアライズを行う時、たいていpickleを使おう、と思いますよね。cloudpickleもあるか。最近だと機械学習のタスクで大きめのnumpy行列やpandasのDataFrameをピクルス化して各所に保存したりもするんですよね。で、使っていると直面するのが「遅い」「(サイズが無駄に)デカい」、そして「バージョン依存ツラい」という問題なのです。それをマルっと解消してくれるライブラリとしてPyforyを紹介しよう、というのが今回の試みです。細かくて伝わりづらいけど、みなさんに届くといいな:-D。 Pyforyとはなにか？Apache ForyのPython実装「Pyfory」は、従来のpickleやcloudpickleの代替として動作する新しいシリアライザです。速度・サイズ・安全性のすべてを大幅に強化しているのが特徴です。NumPyやPandasの巨大データに
1. はじめに こんにちは、morioka12 です。 本稿では、CTFtime のイベントに記載されている2022年に開催された CTF のイベントで、Cloud に関する問題をピックアップして攻撃手法やセキュリティ視点での特徴について紹介します。 また、昨年の2021年版は以下で紹介していますので、良ければこちらもご覧ください。 昨年のブログでは、各サービスにセキュリティ的な視点で紹介しましたが、今回は説明が重複するため、各問題に焦点を当てて大まかに紹介します。 scgajge12.hatenablog.com 1. はじめに 1.1 調査対象 2. Cloud 環境におけるセキュリティ視点 2.1 脆弱性攻撃によるクレデンシャルの取得 Amazon EC2 AWS Lambda 2.2 設定不備やハードコーディングによるクレデンシャルの取得 Amazon S3 Amazon RDS
自称データエンジニアのaranです。 月日の流れは早いもので、去年の９月以来の再登板になります 私ごとですが 先月に健康診断があり、試しに１日１食の生活を３ヶ月ほど実施してみました。 ストイックに毎日続けるのは無理なので、以下の条件下で試しました １日１食だが、好きなだけ食べる 土日は食事制限しない ガマンできない時はチョコレート（一口分）を食べてよい。ただし3口分まで みんなと食事するときは、お昼を食べてよい 開始当初は、お腹がなりまくっていたのですが、しばらくするとお腹はならなくなります。 また、一番の体の変化は、昼以降に眠くならないことです。 (前日の睡眠時間次第のところはありますが) 友人によく、朝食べないと体にエネルギーがなく、パフォーマンスが...的なことを言われました。 ただ、私に限ったことですが、まったく問題なかったです。 むしろ、昼以降に眠くならず、集中力が続くので、作業
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
scikit-learnの学習結果をpickleしない - Qiita
Demystify RAM Usage in Multi-Process Data Loaders
［解決！Python］バイナリファイルを読み書きするには：pickle編
CTF Cloud 問題の攻撃手法まとめ(2022年版) - blog of morioka12
データベースを使わずに、有効期限付きURLを生成したい - astamuse Lab