OpenAI APIを使ってgit commitメッセージやコードレビューをAIに任せましょう！ - GMOインターネットグループ グループ研究開発本部
2024.09.27 OpenAI APIを使ってgit commitメッセージやコードレビューをAIに任せましょう！ 次世代システム研究室の Y.I です。 OpenAI API を活用してちょっと便利なコマンドを作成したのでご紹介します。作成したものは、「自動Git Commitメッセージ生成」と「コードレビュー」機能です。LangChainやVectorDBなどを利用しなくても、発想次第で便利な機能を作れますので1例としてご覧ください。 機能紹介 Pythonで以下の機能を実現しています。 Git commitメッセージの自動生成 Gitの変更履歴に基づき、適切な日本語のcommitメッセージを生成します。 コードレビューの自動化 Gitの変更履歴に基づき、コードに問題がないかやパフォーマンス改善の提案を行います。 openai apiのtokenを環境変数から取り込み 簡易的ですが
既存リソースをTerraformでimportする作業を楽にする - KAYAC Engineers' Blog
SREチームの今です。 カヤックでは、クラウドリソースの管理にはTerraformを利用することが多いです。 クラウドリソースの構成や設定をコードで管理することで、リソースの変更内容の差分をレビューできる、意図しない設定変更を発見できるなどの利点があり、SREの目的であるサービスを安定して提供する上で重要な要素の一つです。 実際の作業として、既に運用中のサービスを新たにTerraform管理下に置く場合や、多くのリソースが既にweb consoleから作成されているものをTerraform管理下に追加する場合も多いと思います。 その際にはTerraform importをする必要があります。しかし、Terraform importは単純作業とはいえ時間と手間がかかり、優先順位を下げてついつい後回しにしてしまうことも多いのではないでしょうか。 今回は、手作業でTerraform import
spaCy(+GiNZA)でPDFテキスト抽出の改行位置をいい感じにする - OPTiM TECH BLOG
R&D チームの徳田（@dakuton）です。 過去何回か、Tech Blog記事にてPDFやOCR、自然言語処理に関する手法を紹介してきましたが、今回もそちらに関連する内容です。 過去記事 tech-blog.optim.co.jp tech-blog.optim.co.jp tech-blog.optim.co.jp やりたいこと PDFからテキストを抽出する際に含まれる、中途半端な位置にある改行を除去することが目的です。 シンプルな方法としては、句点(。)の位置をもとに改行する方法ですが、今回はspaCy(とGiNZA)を併用した場合にどうなるかを試してみることにします。 テストデータ 今回は、下記記事のPDFを使用しました。 財務省「ファイナンス」令和３年2月号 の「ポストコロナ時代を形作る、コロナ禍で生まれるDX（デジタルトランスフォーメーション)」 1 メディア掲載情報: 財務
AWSチームのすずきりょうです。 2022年3月24日、AWS Lambda のアップデートで、 「/tmp」として利用可能なエフェメラルストレージを最大10GBまで拡張する事が可能になりました。 AWS Lambda now allows customers to configure up to 10 GB of ephemeral storage for Lambda functions 設定 Lambdaの基本設定としてエフェメラルストレージ容量の指定が可能になりました。 検証 Pythonのランタイムを利用して、外部コマンド「df」の実行結果を取得しました。 import subprocess def lambda_handler(event, context): out = subprocess.run('df', stdout=subprocess.PIPE) print(ou
LLM推論を支える抽象化転送ライブラリ NVIDIA Inference Xfer Library (NIXL) について - NTT docomo Business Engineers' Blog
こんにちは、イノベーションセンターの鈴ヶ嶺です。 本記事では、NVIDIA Dynamo や vLLM などの LLM 推論フレームワーク向けに設計された高速・低遅延の抽象化転送ライブラリである NVIDIA Inference Xfer Library (NIXL) について解説します。 また、NVIDIA Dynamo に関してはこちらで解説していますので参考にしていただけると幸いです。 engineers.ntt.com まず、LLM 推論高速化(KV Cache)におけるメモリ転送の背景と課題をご紹介し、それを解決する NIXL の概要を説明します。 NIXL は Plugin により任意の転送方式を実装可能なアーキテクチャとなっています。実際に Custom Plugin を実装する方法についても紹介します。 背景と課題 NVIDIA Inference Xfer Library
Bunkai(日本語文境界判定器)でPDFテキスト抽出の改行位置をいい感じにする - OPTiM TECH BLOG
R&D チームの徳田（@dakuton）です。 前回記事にてPDFの改行補正に関する記事を書いたあと、前回記事のような日本語文境界判定での利用に特化したBunkaiというライブラリが公開されたので、今回は続編として紹介します。 前回記事 tech-blog.optim.co.jp テストデータ 前回と同様、下記記事のPDFを使用しました。 財務省「ファイナンス」令和３年2月号 の「ポストコロナ時代を形作る、コロナ禍で生まれるDX（デジタルトランスフォーメーション)」 1 メディア掲載情報: 財務省が発行している広報誌「ファイナンス」の令和３年2月号に、当社代表取締役社長 菅谷 俊二の寄稿文が掲載されました。 Poppler(pdftotext)を用いた場合のテキスト抽出結果(冒頭部分のみ記載) $ wget https://www.mof.go.jp/public_relations/fi
Python 3で外部コマンドを呼ぶにはsubprocessモジュールで提供されているrun()を使うことが推奨されるのですが、毎回使い方を調べてしまっているので自分用にまとめます。順を追っていかないと引数の意味を理解しづらいところがあるので、冗長ですが簡単な例から書いていきます。なお、run()が導入されたのはPython 3.5なので、それより前のバージョンでは使えません。CygwinのPython 3.8.3で動作確認しています。 基本 呼び出される側のスクリプトとして、以下のようなhello.pyを用意します。これは標準出力に「こんにちは」、標準エラー出力に「こんばんは」と出力するだけのトイプログラムです。 import sys print("こんにちは", file=sys.stdout) print("こんばんは", file=sys.stderr) さっそくhello.pyを
ちょっとしたツールのためにPythonからGitやDockerなどのコマンドを実行してゴニョゴニョする、ということはよくあるかと思います。 OSコマンドを手軽に実行するPython標準ライブラリ subprocess で頻用する機能について使い方を整理します。 docs.python.org 環境 $ python --version Python 3.6.8 subprocess Python上から他のプログラム (コマンド) を別のプロセスで実行することができる標準ライブラリです。 使い方はシンプルで subprocess.run(["実行したいコマンド", "オプションなど", ...]) でOKです。 結果はデフォルトでは標準出力に表示されます (= printを実行したときと同じ) import subprocess subprocess.run(["touch", "hoge.
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWS Lambdaのストレージ容量が最大10GBまで拡張可能になりました | DevelopersIO
Python 3のsubprocess.run()の使い方 - minus9d's diary
Python: subprocessでOSコマンドを実行する - け日記