Python 3.8以降(~3.11)の型ヒント革命：DataclassとPydanticの徹底比較
はじめに 📘 この記事は ラクスパートナーズ Advent Calendar 2023 の1日目の記事になります！！ 本社の ラクス Advent Calendar 2023 の7日目にも参加予定なのでそちらもよろしくお願い致します🥳 長い間 Python3.7 環境のプロジェクトに携わっていましたが、この度 Python3.10~ 環境のプロジェクトに携わることになりました。 そこでこの機会に python3.8 以降の最新の型ヒントやコード品質向上のテクニックについて、改めて情報をキャッチアップしながらまとめていきたいと思います。 この記事の対象者 🎯 Python の型ヒントについて学び直したい方 Python3.8 以降の型ヒントについて理解を深めたい方 python のドメインモデルクラスについて理解を深めたい方 型ヒントを使用したことがないが、興味がある方 なぜ型ヒントを
Golangで行うポートスキャナ自作ではじめるペネトレーションテスト
はじめに オライリーでポートスキャナ自作ではじめるペネトレーションテストという本が発売されました。 2章ではScapyを利用して実際にパケットを作成して、nmapのようなポートスキャナ自作します。 パケットのカプセル化などNWの仕組みから丁寧に解説されていてとても良書だと思います。 ただ筆者はPythonよりGolang派なので2章のプログラムをGolangに書き換えてみました。 ※オリジナルはこちら gopacket入門 gopacketはGolangでパケットを読み込んだり作ったりするためのライブラリです。 プログラムを作る前に必要なパッケージをインストールしておきます。 ubuntu 22.04で動作確認をしています。
FastAPI + ChatGPTのAPIでLINE Botを作成しFly.ioで動かす
昨年12月にCloudflare Worker + D1 + Hono + OpenAIでLINE Botを作るという記事を書いた。その時はJavascriptで書いていたが、この方面はPythonで物事を進めた方が何かと便利なので、今回はFastAPI + ChatGPTのAPIを使って似たようなLINE Botを作成してみた。また、Cloudflare WorkerではPythonのアプリを動かせない(しにくい)のでFly.ioで動かすのも試してみた。以下ではそのざっくりとした流れとコードとメモみたいなものを書いている。 ※ちなみに概ね詳細はCloudflare Worker + D1 + Hono + OpenAIでLINE Botを作ると被る部分が多いので色々と省略してる。 Echo Botを作る とりあえずはまずはLINEで動くEcho Botを作るところからやってみる。何事も最
Streamlitで自分用ChatGPTを作る
自分用ChatGPTのようなものを作りたいと思いました。UIの実装は、Streamlitを使うと楽できそうです。 できたもの というでわけで、こんな感じのものがサクッと作れました（新しい発言が上に表示される仕様です）。UIには前述の通りStreamlitを、ロジック部分にはLangChainを使っています。 こんなことができます。 研究アシスタントとして振る舞う チャット風のUIで会話できる 会話履歴に基づいて会話できる 今のところは、ChatGPTのWeb版を使うのとそんなに変わりません。ソースコードは、以下のリポジトリに置いてあります。 開発する上でハマったこと チャットのロジック部分に関しては、「LangChain の チャットモデル (ChatGPTの新しい抽象化) を試す｜npaka」などを参考にすれば、簡単に実装できるでしょう。 会話履歴基づいて発言できるようにするためには、L
LangChainを使ってOSINTを自動化する
OSINTとは OSINT (Open-Source Intelligence) とは、インターネット上に公にアクセス可能な情報を収集・分析することを指します。サイバーセキュリティの分野では特に重要な役割を担い、情報収集から脅威の評価・対策までの業務をサポートします。特に、LinuxコマンドやGoogle検索を使った情報収集はOSINTにおいて重要な手法のひとつです。 LangChainとは langchainは、LLMと外部リソース（データソースや言語処理系等）を組み合わせたアプリケーションの開発支援を目的としてHarrison Chaseさんが開発したPythonライブラリです。langchainを使うことで、OSINTにおいて人間が手作業で行うタスクを自動化することができます。 例えば、サイバー脅威に関連する情報を収集したい場合、langchainを使って自然言語からLinuxコマン
ChatGPTをコマンドラインから使うためのCLIツールを作る by ChatGPT
ChatGPT を使用する Python スクリプトの作成 次に、Python スクリプトを作成して、ChatGPT を初期化し、コマンドラインから文を入力して問い合わせるための CLI ツールを作成します。 import openai import os openai.api_key = os.environ["OPENAI_SECRET_KEY"] prompt = input("Enter a prompt: ") completions = openai.Completion.create( engine="text-davinci-002", prompt=prompt, max_tokens=1024, n=1, stop=None, temperature=0.5, ) for choice in completions.choices: print(choice.text)
pytestした時にModuleNotFoundErrorが出る時の原因と対処法
背景 Pythonでは大体pytestを使うのですが、序盤でよくこけるけど、毎回原因を忘れてしまって思い出すまでに時間がかかって困る以下のpytest利用時のエラーについての備忘録を書いておきます E ModuleNotFoundError: No module named 'hogehoge' 現状 ここでは以下のディレクトリ構成のプロジェクトを想定しています。 . ├── poetry.lock ├── pyproject.toml ├── src │ └── mypkg │ └── func.py └── tests └── test_mypkg └── test_app.py [tool.poetry] name = "pytest_test" version = "0.1.0" description = "" authors = ["hogehoge"] [tool.p
Pythonに型アノテーションを自動で付与する
2021/10 追記 Pyannotate はメンテナが居なくなったため更新が途絶えました。またより表現多く typing を反映できるため、これからは Monkeytype を推奨します。 この記事は何か Python Advent Calendar 2020の 2 日目の記事です(元々 13 日目でしたが、2 日目の参加者が取りやめたので横入りしました)。「Python コードに自動で型を付与し、その型をテストで静的チェックして、保守性を高める方法」をご紹介する趣旨の記事です。 書いた理由 今回紹介するメインツールの pyannotate について、日本語で紹介している記事がほとんどなく、かつ古い情報が多かった為です(python3 サポートがない時代かつ、pytest との連携ができなかった時代)。「Python において型はいるのか？」という議論はしません。 今回紹介するツールは以
Poetryが作成した仮想環境をVSCodeに認識させる方法
前書き Zennでのはじめての投稿になります。よろしくお願いいたします。 Poetryでは何らかのパッケージをインストールする前に仮想環境が自動的に作成されるが、VSCodeがその仮想環境を見つけてくれないので、手動で認識させてあげなければいけません。 毎回忘れてググッている気がするので、今回はその方法をメモとして残していきたいと思います。 どうやるか Poetryで作成した仮想環境をVSCodeに認識させる方法は私の知る限りだと以下の3パターンがあります。 poetry shellで仮想環境に切り替えてからVSCodeを開く .vscode/setting.jsonにpoetryによって自動生成された仮想環境のパスを入力する プロジェクト直下で仮想環境を作成するようにPoetryの設定を変更する(個人的におすすめ) 以降で一つずつ具体的なやり方を記載していきます。 poetry shel
Kaggleで多くの実験を回すためにやっている簡単なこと
はじめに こんにちは。fkubota(Kaggle Expert 20201001現在)です。先日公開したKaggle日記の記事が好評だったので、調子に乗ってもう一つ。 今回は、僕が行っているとても簡単だけど効果が大きいKaggleの実験高速化の話です。おそらく当たり前すぎてこれまで記事にされなかったのかもしれませんが、これから積極的にKaggleに参加したいビギナーのために書きます。今回も、キラキラした画期的な特徴量エンジニアリングではなく、泥臭いテクニックを話します。 なぜ多くの実験を行いたいか 言うまでもないですが、多くの実験を行ったほうが勝つ確率は上がります。僕は今回の鳥コンペが初画像コンペでしたのでより多くの実験を行って勘所をつかむ必要がありました。案の定、Pytorchの癖をはじめはつかむことができず、コンペの1/3はPytorchのお勉強に使ってしまいました。 とにかく、ビギ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
