ソースコードをリポジトリ丸ごとLLMに読んでもらう方法
はじめに ソースコードをLLMに読んでもらうとき、単一ファイルだと楽なのですが、GitHubのリポジトリのように複数ファイルから構成されるプロジェクトだと困ってしまいますね。 リポジトリごとLLMに読んでもらえるようにいい感じにテキスト化できると良いですね。そんなソフトがありました。しかも2つ。 両方ともほとんどコンセプトは同じです。特に後者のgenerate-project-summaryは使い方も含めて、自分のやりたいことが、すでに開発者の清水れみおさんが以下の記事にまとめていました。 なので、あんまり書く必要ないのですが、せっかくなのでgpt-repository-loaderの使い方と、出力したファイルの別の活用方法について書いてみたいと思います。 gpt-repository-loaderでリポジトリをテキストに変換 使い方はREADMEに書いてあります。シンプルなソフトなので、
Pythonのセキュリティ関連ライブラリを試してみました。 - Qiita
今回は問題なしと判定されていますが、役に立ちそうなので常に利用し続けたいですね。 公式ページ 2. pylint PyLintはコードの品質とセキュリティを向上させるための静的解析ツール。スタイルガイドに従ったコードを書きやすくし、潜在的なバグを早期発見に役立つようです。 インストール・実行結果 # pip3 install pylint # pylint main.py ************* Module main main.py:10:0: C0301: Line too long (114/100) (line-too-long) main.py:97:0: C0305: Trailing newlines (trailing-newlines) main.py:1:0: C0114: Missing module docstring (missing-module-docst
2024年最新版：Pythonデータ解析ライブラリ総まとめ - 実践的ガイド - Qiita
はじめに Pythonのデータ解析エコシステムは日々進化を続けています。2024年現在、効率的なデータ処理、直感的な可視化、高度な機械学習の自動化など、様々な新しいツールが登場しています。本記事では、最新のPythonデータ解析ライブラリを紹介し、それぞれの特徴や使用例、実際のユースケース、そして導入方法まで詳しく解説します。 1. データ操作ライブラリ 1.1 Polars: 高速データ処理の新標準 Polarsは、Rustで実装された高速なデータ操作ライブラリです。pandasに似たAPIを持ちながら、大規模データセットでより高速に動作します。 特徴: 高速な処理速度 メモリ効率が良い pandasに似たAPI 使用例: import pandas as pd # サンプルデータを作成 data = { "age": [25, 32, 28, 35, 40, 50], "categor
ローカルLLMとRAGで自分の外部記憶を強化しよう - VA Linux エンジニアブログ
はじめに 自宅PC編 会社サーバ編 感想等 執筆者：佐藤友昭 ※ 「ディスアグリゲーテッドコンピューティングとは何か?」連載記事一覧はこちら はじめに 作業ログや検討メモ、参照した定型論文や書籍、ネット上の記事、視聴した講演やウェビナーのメモ等、日常を記録する情報は日々増えていく。これらの情報はできれば後に役立てたいと思うが、筆者の場合、なかなか上手くいかない。自分の外部記憶を紐解いてみると、記録したことすら忘れてしまっている項目が大半である。本稿では、ローカルLLMとRAGを用いて自分の外部記憶にいろいろと質問できるようにする方法を入門的に紹介する。決してベストプラクティス的な内容ではない。 自宅PC編 まずは、普段自宅で使用しているLinux PCを実験台として使えそうか試してみてから会社のサーバに適用してみることにする。 第一の要件は、ローカル環境で動作することである。情報の性質によ
Pythonの構造的パターンマッチングのさらに便利なパターン紹介 | gihyo.jp
鈴木たかのり（@takanory）です。今月の「Python Monthly Topics」では、第1回で紹介したPython 3.10の新機能「構造的パターンマッチング（Structural Pattern Matching）」の続きをお届けします。 前回は構造的パターンマッチング全体の説明、いくつかのパターンをコード例を交えて紹介しました。今回はその続きとして、前回紹介できなかった他のパターンについても紹介します。 Python 3.10の新機能：構造化パターンマッチング | gihyo.jp 構造的パターンマッチングとは 前回の繰り返しになりますが、この記事で初めて構造的パターンマッチングを知った人に向けて、簡単に紹介します。詳細は上記の記事を参照してください。 構造的パターンマッチングはPython 3.10で新しく導入された文法です。Python 3.10は2021年10月に
Pythonだけでクロスプラットフォームなアプリを作れるFletについて - Qiita
はじめに Python だけでクロスプラットフォームなアプリを作ることが出来る、Flet というフレームワークについての記事です。 Pythonだけで次のようなWeb・デスクトップに両対応したアプリを作ることが出来ます。 Flet の概要 Flet は Flutter をベースにしています。主に以下のような特徴があります。 From idea to app in minutes 「素早くGUIアプリを作成出来る」ことが、Fletの主なセールスポイントのようです。 Simple Architecture JSフロントエンドやRestAPIを書くこと無く、PythonだけでSPAを作る事が出来ます。 Batteries included Batteries Included は、Pythonの設計思想のようです。電池が付属している、つまりそのままでもすぐに動かせることを指します。 Powere
『PythonユーザのためのJupyter[実践]入門』は、Pythonでデータ分析を始める人に最初におすすめの書籍 - ビープラウド社長のブログ
PythonユーザのためのJupyter［実践］入門を拝読しました。3人の方々はビープラウドのひとたちとも親しくして頂いてる、池内 孝啓さん, 片柳 薫子さん, @drillerさんの執筆です。 本書の構成 本書の構成を下図にまとめてみました。 図に書いたとおり、本書は大きく3つのパートに分かれています。 1つ目はデータ分析ツールについての章です。1章と2章は本書のメインツールであるJupyterLabの環境構築方法と使い方の基本を紹介しています。最終章の8章は環境構築の必要がないクラウドツールのColaboratoryの紹介です。 2つ目はPythonでのデータ分析で最も使われるpandasでのデータ処理の基本を説明しています(第3章) 3つ目は、データの可視化です。標準的ツールであるmatplotlib、matplotlibをラップして使いやすさを向上したseaboanについて説明して
![『PythonユーザのためのJupyter[実践]入門』は、Pythonでデータ分析を始める人に最初におすすめの書籍 - ビープラウド社長のブログ](https://cdn-ak-scissors.b.st-hatena.com/image/square/018fe807705b0934f80566a763162c9d5f9b3130/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fh%2Fharu860%2F20210321%2F20210321124747.png)
「自走プログラマー」は中級以上のPythonプログラマーになりたい人のための豊富なレシピ集 - ビープラウド社長のブログ
ビープラウドの清水川貴之さん@shimizukawa , 清原弘貴さん@hirokiky、@tell-kさんが執筆（ビープラウド監修)した「自走プログラマー」が出版されます（大手書店は2020年2月18日から先行販売、電子書籍は2月22日販売開始、一般書店は2月27日販売開始です)。 自走プログラマー ～Pythonの先輩が教えるプロジェクト開発のベストプラクティス120 作者:清水川 貴之,清原 弘貴,tell-k出版社/メーカー: 技術評論社発売日: 2020/02/22メディア: Kindle版 自走プログラマーの前書きには「プログラミング入門者が中級者にランクアップするのに必要な知識をお伝えする本」と書かれています。 私なりに、入門、初級、中級以上のそれぞれのプログラマーのレベルをイメージしてみました。 入門プログラマー プログラミングの文法を学びながら書いている。プログラムが完成
ゴールデンウィークなのでGoogle App Engineに機械学習のモデルをdeployして遊んでみた (using TensorFlow 2.1) | DevelopersIO
こんにちは、ゴールデンウィークはしっかりステイホームしているMr.Moです。 GWに何をやろうかなーと思っていたら目の前にApp Engineと機械学習のモデルがあったので遊んでみました！ Google App Engineとは 下記に詳しい記事があるのでご参照ください！ https://docs.google.com/presentation/d/1trxz4_ksRyHdj2cAGVKiy3gtx7q1-AE06XbzLraBD44/htmlpresent https://dev.classmethod.jp/articles/gae-webapp/ なぜGAEなのか？ App Engine無しでは生きていけない体になっているからです。（笑） あとはやっぱり無料で動かせないかと思いまして... 最低限必要なもの Google Cloud Platformにログインできるアカウント 機械
AIエンジニアが気をつけたいPython実装のノウハウ・コツまとめ - Qiita
本記事では、データサイエンティスト、AIエンジニアの方がPythonでプログラムを実装する際に気をつけたいポイント、コツ、ノウハウを私なりにまとめています。 AIエンジニア向け記事シリーズの一覧 その1. AIエンジニアが気をつけたいPython実装のノウハウ・コツまとめ（本記事） その2. AIエンジニアが知っておきたいAI新ビジネス立案のノウハウ・コツまとめ 2020年4月に書籍を、出版しました。 【書籍】 AIエンジニアを目指す人のための機械学習入門 実装しながらアルゴリズムの流れを学ぶ（電通国際情報サービス 清水琢也、小川雄太郎 、技術評論社） https://www.amazon.co.jp/dp/4297112094/ 本投稿は、上記の書籍に書ききれなかった 「AIエンジニアが、Pythonでプログラムを実装する際に気をつけたいことのまとめ」 です。 本記事の内容は、あくまで筆
データ分析の前処理を行えるPythonライブラリ「pandas」、最も基本的なデータ構造「シリーズ」を解説
機械学習やデータ分析には、収集したデータを使いやすい形に整える前処理が不可欠です。その際によく利用されるのがPythonのライブラリ「pandas」。今回は『現場で使える！pandasデータ前処理入門』（翔泳社）より、pandasの最も基本的なデータ構造であるシリーズの概要と操作方法について抜粋して紹介します。 本記事は『現場で使える！pandasデータ前処理入門 機械学習・データサイエンスで役立つ前処理手法』の「CHAPTER 2 pandasのデータ構造」より「2.1 シリーズ」を抜粋したものです。掲載にあたり一部を編集しています。 2.1.1 シリーズの概要 シリーズはインデックス付けされた複数のデータ型（int、str、float等）を持つことが可能な1次元配列のオブジェクトです。 インデックスとはデータに対して付与されるラベルです。データの参照や様々な処理で使われます。インデック
【Python】再帰関数を使ったプログラミング問題の解き方を解説する - paiza times
StartupStockPhotosによるPixabayからの画像 こんにちは。倉内です。 プログラミング問題には、計算問題だけでなく配列や文字列を操作したり、図形から法則を見つけたりといろいろなものがあります。その中でも「関数を定義して処理を書くのは苦手だな…」と感じている方は多いのではないでしょうか。 私もまさにそのひとりで、基本は学んだものの使いこなせていません…。そこで今回は、さまざまな問題を集めた「レベルアップ問題集」の中から再帰関数を使って解く問題に挑戦しようと思います！ 今回はスマートな解き方や綺麗なコードを書くというよりは、プログラミング初心者でもこういう方針を立てて、こう考えてみたら解けるかもということを重視して解いていきます。 プログラミング学習を始めたばかりの初心者の方もぜひ参考にしてみてください。 レベルアップ問題集「山折り谷折り」をPythonで解く paizaで
PythonでPDFファイルのテーブルデータを読み取る - Qiita
PDFデータ 世の中の人はPDFが大好きなようで、嫌い嫌いと言っていても扱わざるを得ません。しかし、それに何時間もかけるのはちょっと・・・と思うのが人の常です。PDFの表データをしかないというケースもありますが、そのような際に便利なtabula-pyという超便利なライブラリがあったのでメモしておきます。 https://github.com/chezou/tabula-py tabulaにかんして tabulaはPDFの表を抽出するためのJavaのライブラリです。tabula-pyはそのラッパとなっております。そのため、利用するためにはJavaのインストールが必要です。 Javaをインストールした後、下のようにするとPythonのライブラリが利用できます。
Diagramsを使ってPythonでシステム構成図を描く | DevelopersIO
Pythonでシステム構成図を書ける、DiagramsというOSSが便利そうだったので試してみました。 Diagrams · Diagram as Code 対応プロバイダ 現在、Diagramsは以下の7種類のプロバイダに対応しています。各プロバイダが提供している各種サービスがノードとして対応されています。以下は対応プロバイダとそのノード一覧へのリンクです。 AWS Azure GCP Alibaba Cloud Oracle Cloud Kubernetes オンプレミス オンプレミスプロバイダには、GitHubやCircleCIといったサービス、汎用的なクライアント、各種DBなど幅広い種類のノードが含まれています。このアイコンないかなと思った場合は、オンプレミスプロバイダを調べてみるともしかしたらあるかもしれません。 試してみる AWS上のシステム構成図を書いてみて各機能を試していき
ビジネスで使えるPythonを使った統計的データ分析手法まとめ - Qiita
概要 WEB系のサービスで色々な試作を実施した後に効果を検証するのは非常に重要だと思いますが、 そのやり方として基本的な統計学が十分に使えると思っています。 今回は基本的な統計学からビジネスで使える試作の効果検証、データ分析を目的にPython+JupyterLab(Docker)を使った統計的データ分析のやり方をまとめました。 また今回使ったnotebookは以下にもありますのでご参考ください。 https://github.com/hikarut/Data-Science/tree/master/notebooks/statisticsSample 環境 以下を参考にDockerでJupyterLabが使える状態を前提とします。 Dockerで起動したJupyterLabでvimキーバインドを使う
pythonの環境構築戦争にイラストで終止符をどうやら打てない - Qiita
はじめに Pythonの環境構築は僕にとって、戦争でした。 如何せんツールが多すぎます。 インターネットで調べるとざっと挙げるだけで 元から入っているpython3 元から入っているpython3 + venv pyenv pyenv + pyenv-virtualenv pyenv + venv anaconda docker + python docker + anaconda ... 以上のような組み合わせが山程出てきます。 よく最近のゲームのキャラメイキングの 「組み合わせは無限大！」を思い出します。 この記事では、それぞれの環境構築の概念をイラスト画像でまとめようと思います。 環境構築のコマンド自体は取り扱わないためご注意下さい。 追記 2019/11/07 本記事はPython初心者による「概念のみ」に関する説明のため、ベストな環境構築や、すべて正確かつ詳細な内容は含んでないで
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
[pdf]Pythonプログラミング入門 - IPP_textbook.pdf
Pythonでほぼ日手帳形式のmarkdownメモ帳を作ろう(1年分) - Qiita
Visual Studio Python IDE - Windows 向け Python 開発ツール
数学、統計学を学ぶ上で必須となる「集合・数列」の6つの数学記号をPythonコードと図で理解する
