GitHub - google/pinject: A pythonic dependency injection library.You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Build pipelines with Pandas using "pdpipe" | Towards Data Science
We show how to build intuitive and useful pipelines with Pandas DataFrame using a wonderful little library called pdpipe. Introduction Pandas is an amazing library in the Python ecosystem for data analytics and machine learning. They form the perfect bridge between the data world, where Excel/CSV files and SQL tables live, and the modeling world where Scikit-learn or TensorFlow perform their magic
Pandasのパイプラインを作る「pdpipe」を使ってみた - u++の備忘録
Pandasのパイプラインを作る「pdpipe」というライブラリを知ったので、少し触ってみました。本記事では、簡単な使い方および良かった点・悪かった点をまとめます。 Pandas処理の「パイプライン」を作るライブラリがあるらしい Build pipelines with Pandas using ‘pdpipe’ by Tirthajyoti Sarkar in @TDataScience https://t.co/LqbcYByuZb— u++ (@upura0) July 27, 2020 使い方 インストール パイプラインの構築 前処理 パイプラインの実行 before after 良かった点 悪かった点 おわりに 使い方 KaggleのTitanicデータセットで検証しました。一連の処理はNotebookを公開しています。 import pandas as pd train = p
たった数行でpandasを高速化する2つのライブラリ(pandarallel/swifter) - フリーランチ食べたい
pandas はデータ解析やデータ加工に非常に便利なPythonライブラリですが、並列化されている処理とされていない処理があり、注意が必要です。例えば pd.Sereis.__add__ のようなAPI(つまり df['a'] + df['b'] のような処理です)は処理が numpy に移譲されているためPythonのGILの影響を受けずに並列化されますが、 padas.DataFrame.apply などのメソッドはPythonのみで実装されているので並列化されません。 処理によってはそこがボトルネックになるケースもあります。今回は「ほぼimportするだけ」で pandas の並列化されていない処理を並列化し高速化できる2つのライブラリを紹介します。同時に2つのライブラリのベンチマークをしてみて性能を確かめました。 pandarallel pandaralell はPythonの m
Google翻訳とPythonを使ってPDF論文を一発で翻訳する - Qiita
概要 Google翻訳APIをPythonで実行するでは、四苦八苦しながらも、Google翻訳APIにより、テキストファイルに書かれた英文を日本語に翻訳するPythonスクリプトを書いた。 元々の動機は論文の翻訳する際に、ちまちまGoogle翻訳にコピペするのが面倒くさいということであった。 そこで今回は、Pythonスクリプトを拡張し、PDFの論文を一気に翻訳するようにしたので共有したい。 そもそもなんで日本語に翻訳して論文を読むの？ もちろん、細かい内容は原文を精読する必要がある。そりゃそうだ。 日本語で読む理由はなんといっても、論文の内容を俯瞰的に把握できるということに尽きる。 俯瞰的に把握できることで、以下のメリットがある。 俯瞰的に把握した上で原文を読むことになるため、より早く理解することができる。 俯瞰的に把握できるため、原文を読む前に、自分にとって読む必要がある論文かどうかか
iOS用Python開発環境Pythonista 3で外部ディスク上のファイルを扱う
USB接続モードを使って連携を組む 電子ノートはPCなどとの連携のために、USBマスストレージとして動作するUSB接続モードを備えます。 Apple Lightning – USBカメラアダプタなどを使ってiPhoneとUSBケーブルで接続。 電子ノートをUSB接続モードにすると、iPhoneのファイル.appでも電子ノートの中身を見ることができます。 電子ノートからPCなどへの画像の受け渡しは一つずつに限られいささか面倒なのですが、逆を言うとUSB接続モードで受け渡しする画像は自ずと一つに決定されます。 このことを利用し、セミオートでiPhoneに持っていく方法を考えてみました。 外部ファイルを読み書きできるPythonista 3 使った道具はPythonista 3というアプリです。 Pythonista 3はiOS上で使えるPythonで、自由度の高いセルフ開発環境です。 最近のア
時系列予測で使えるpythonライブラリ一覧 - ざこぷろのメモ
本記事では、時系列予測に利用できるpythonのライブラリの使い方について説明をします。 パッとライブラリを使うことを目指すため具体的なアルゴリズムの説明は省きます。 ※説明が間違えている場合があればご指摘いただけると助かります。 目次 利用データ ライブラリ Prophet PyFlux Pyro Pytorch Lightgbm 補足:Darts まとめ ソースコード このブログで記載されているソースコードはGitHubに上げておいたのでもしよろしければ参考にしてください。 github.com 利用データ 今回用いるデータはkaggleのM5 Forecasting - Accuracyと呼ばれるコンペティションで利用されたデータを用います。 作成したランダムなデータよりも実データのほうが予測をしている感があるからです。 予測に使うデータはwalmartの売上データです。 下図はその
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - jas502n/CVE-2020-5902: CVE-2020-5902 BIG-IP
GitHub - darkoperator/dnsrecon: DNS Enumeration Script
GitHub - Zeyad-Azima/Live-Domain: Fast and simple live domain checker written in python
GitHub - drawpause/pingprobe: A small asynchronous ping probing tool written in Python for an online course
GitHub - chris408/ct-exposer: An OSINT tool that discovers sub-domains by searching Certificate Transparency logs
GitHub - tamilbotnet/qping: qping: qping is simple python tool for finding bunch of live subdomains.Generally subdomain enumeration tools (Eg. Sublister) provide a list that consists of both Live and down subdomains. Hence the user time will be wasted to
GitHub - ustayready/CredSniper: CredSniper is a phishing framework written with the Python micro-framework Flask and Jinja2 templating which supports capturing 2FA tokens.
GitHub - SAP/credential-digger: A Github scanning tool that identifies hardcoded credentials while filtering the false positive data through machine learning models :lock:
GitHub - josehelps/git-wild-hunt: A tool to hunt for credentials in github wild AKA git*hunt
GitHub - Acceis/leakScraper: LeakScraper is an efficient set of tools to process and visualize huge text files containing credentials. Theses tools are designed to help penetration testers and redteamers doing OSINT by gathering credentials belonging to t
GitHub - techgaun/github-dorks: Find leaked secrets via github search
GitHub - satylogin/awesome-python-1: A curated list of awesome Python frameworks, libraries and software.
Emacs + Python venv - @kyanny's blog
