こんにちは。電通総研コーポレート本部システム推進部の山下です。 最近はChatGPTなどのLarge Language Model(LLM)を利用したAIが話題ですね。 そのLLMを応用したRetrieval-Augmented Generation(RAG)という技術があります。 これは、LLMに文書検索などを用いて関連する情報を与えて回答させることで、 LLMが知識として持っていない内容を回答させたり誤った情報を答えてしまうハルシネーションを抑止する技術です。 今回はこのRAGをLlamaIndexというライブラリを使ってローカル環境で実装する方法について紹介します。 なぜローカル環境でLLMを利用したいのか 大変便利なツールのLLMですが、利用が難しいこともあります。 例えば、機密情報を取扱いたい、外部インターネットへの接続に制限が掛かっているといった場合です。 最終的にOpenAI
Notes by djb on using Fil-C (2025) I'm impressed with the level of compatibility of the new memory-safe C/C++ compiler Fil-C (filcc, fil++). Many libraries and applications that I've tried work under Fil-C without changes, and the exceptions haven't been hard to get working. I've accumulated miscellaneous notes on this page regarding usage of Fil-C. My selfish objective here is to protect various
Pythonを使って、インターネット回線の速度テストが可能です。 このことの意味することがわかりますか？ 実は、これの意味することは結構デカいことです。 Pythonで可能ということは、ブラウザが不要になります。 そして、あなたが回線速度測定ページにアクセスする必要もありません。 これって、プログラムで自動的に回線速度測定ができるということです。 場所や時間にとらわれずに、回線速度測定を行うプログラムは動きます。 もちろん、レンタルサーバーでも動くということです。 このデカいことを実現するために、 speedtest-cliを利用します。 本記事の内容 speedtest-cliとは？speedtest-cliのシステム要件speedtest-cliのインストールspeedtest-cliの動作確認 それでは、上記に沿って解説していきます。 speedtest-cliとは？ speedte
【目的別】コピペから始めるCython入門 ~はじめてのコンパイルから自作package化まで~ — HACK The Nikkei
データサイエンティスト(?)の青田です。これは Nikkei Advent Calendar 2021 の 25 日目の記事です。 はじめに 本記事では Cython を用いるときに発生しがちなつまずきポイントについて実用的な具体例を示す。つまずきポイントをほぼコピペで乗り越えられることを意識して執筆した。 すでに数多くのブログや公式ドキュメントがある中でこれを書いたモチベーションがある。 Cython はコンパイルしようとするだけでも 4 種類のやり方が存在し、型宣言の仕方は 3 種類の作法があり、numpy との連携方法は 2 種類存在する。 このように同じことをやろうとしたときの選択肢の多さが混乱を招いているように感じた。いろんな流派が存在するものの、ここでは自分の方法を目的別に示す。これにより、利用者の選択の時間を削減し、Cython を道具として使いやすくなるだろう。 本記事は以
1. はじめに 2021年3月に、 「Let’s EncryptによるSSLサーバー証明書の取得、自動更新設定（2021年3月版）」 という記事を書きました。 この方法では、Let’s Encryptのクライアントコマンドのcertbotをインストールするために、Snap (Snappy) というソフトウェアパッケージ管理システムを使用しました。 しかし、このSnap (Snappy) 版certbotのしくみでは、以下の点が気になっていました。 Snap環境全体で1～2GBほどディスクを使用する。 証明書更新タイミングを制御できない。 更新処理のログがわかりにくい。 snapdが常駐することで、20MBほどメモリを使用する。 1. については、ディスクサイズが大きければ問題ないのですが、例えば、IDCFクラウドのように、ルートディスクのサイズがデフォルトで15GB固定となっていると、運用
【Python】自作ライブラリのパッケージング方法
コマンドラインの作成 ライブラリを作成したら、それをechoやlsのようにコマンドラインから利用することもできます。 コマンドラインの実装は sample_lib_cli/call.py に記述するものとします。 ここでは、引数--nameに一致するクラスの呼び出し演算子 (__call__) を実行するだけのコマンドラインを作成します。 import argparse from sample_lib import ( Hoge, Fuga ) from sample_lib.submodule import Piyo def main(): parser = argparse.ArgumentParser() parser.add_argument('--name', choices=['hoge', 'fuga', 'piyo'], default='hoge') args = par
IMDSv1を使用しているか判断できるIMDSパケットアナライザーがリリースされました | DevelopersIO
IMDSv2のみ許可したいけどIMDSv1を使っているプロセスの判断がつかないな こんにちは、のんピ(@non____97)です。 皆さんはインスタンスメタデータ(以降IMDS)v2のみ許可したいけどIMDSv1を使っているプロセスの判断がつかないなと思ったことはありますか? 私はあります。 IMDSv2のみ許可することでSSRF攻撃を緩和することが可能です。 IMDSv2の詳細な動作や効果については、DevelopesIOの以下記事や徳丸先生の記事が参考になります。 EC2インスタンスのデフォルトの設定ではIMDSv2とIMDSv1どちらも有効化されていることが多いです。(デフォルトの設定はAMI次第) そのため、後からIMDSv1を無効化したい場合は、どのプロセスがIMDSv1を使っているのかを確認する必要があります。しかし、具体的にIMDSv1を使用しているプロセスを確認するメトリク
簡単に言うと、Seleniumはブラウザを操作するためのPythonライブラリです。 そして、PythonとブラウザをつなぐためにWebドライバーが必要となります。 この記事では、ブラウザはChrome前提で話を進めます。 Chromeの場合、WebドライバーはChromeDriverとなります。 以上、Seleniumについての説明でした。 次は、Seleniumのシステム要件を確認します。 Seleniumのシステム要件 現時点（2021年4月）でのSeleniumの最新バージョンは、3.141.0となります。 この最新バージョンは、2018年11月1日にリリースされています。 大前提として、実際にブラウザがインストールされている必要があります。 したがって、Chromeがインストールされていることは必須です。 それに伴って、ChromeDriverが必須となります。 ChromeDr
Python 2系と3系の両方をサポートする場合、互換性を保つ分だけコードは膨れ上がるでしょう。 セキュリティ的にも、それはよろしくないと思います。 もちろん、パフォーマンス的にも。 互換性という言葉の響きは、カッコイイです。 それにメリットもあるでしょう。 でも、同時にデメリットもあるということです。 以上、pycryptodomeのシステム要件についての説明でした。 次は、pycryptodomeをインストールしていきます。 pycryptodomeのインストール 最初に、Pythonのバージョンを確認しておきます。 >python -V Python 3.9.6 次に、現状のインストール済みパッケージを確認しておきます。 >pip list Package Version ---------- ------- pip 21.1.3 setuptools 57.0.0 次にするべきこと
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
LlamaIndexを使ってローカル環境でRAGを実行する方法 - 電通総研 テックブログ
Notes by djb on using Fil-C (2025)
回線速度測定をするためにspeedtest-cliをインストールする【Python】
Let’s EncryptによるSSLサーバー証明書の取得、自動更新設定（Snapを使用しない版）
初心者でも簡単にできるSeleniumのインストール【Python】
【Python暗号化】pycryptoではなくpycryptodomeを使う