これは何？ この記事は Kaggle Advent Calendar 2021 の7日目の記事です。 pandasはデータ分析ライブラリとして非常に便利ですが、書き方を間違えると簡単に処理が遅くなってしまうという欠点があります。そこで、この記事では遅くならない書き方をするために気をつけたいポイントをいくつかご紹介したいと思います。 この Colab Notebookの実行結果をエクスポートした上で、不要な部分を一部削って記事にしています。colab notebook をコピーして実行してもらえれば再現することが可能なはずです。(colabにコメント等をいただいても返すことはできないと思います、すみません。) 前提条件 この記事ではあくまで「遅くない(なりづらい)書き方を紹介する」ことに努めます。よって、以下のような改善点はあるが一旦考慮の外におくものとして話を進めます。 並列化ライブラリ
# ----------------------------- # 2nd Screening V1 # ----------------------------- import time global_start_time = time.time() from google.colab import drive drive.mount('/content/drive') import pandas as pd import numpy as np import os from tqdm.notebook import tqdm import yfinance as yf from curl_cffi import requests # -------------------------------------------------- # ヘルパー関数定義セクション # --------
Parsing SQL - Strumenta
The code for this tutorial is on GitHub: parsing-sql SQL is a language to handle data in a relational database. If you worked with data you have probably worked with SQL. In this article we will talk about parsing SQL. It is in the same league of HTML: maybe you never learned it formally but you kind of know how to use it. That is great because if you know SQL, you know how to handle data. However
This post is an account of why I prefer using the attrs library over Pydantic. I'm writing it since I am often asked this question and I want to have something concrete to link to. This is not meant to be an objective comparison of attrs and Pydantic; I'm not interested in comparing bullet points of features, nor can I be unbiased since I'm a major contributor to attrs (at time of writing, second
python_modules.pdf
Python3 OpenCV / Pillow / pygame / Eel / PyDub / NumPy / matplotlib / SciPy / SymPy / gmpy2 / hashlib, passlib / Cython / Numba / ctypes / PyInstaller / curses / tqdm / JupyterLab / json / psutil / urllib / zenhan / jaconv Copyright © 2017-2025, Katsunori Nakamura 2025 8 19 Python ‘ .py’ Python Python Windows PSF Python py .py Enter macOS Linux PSF Python python3 .py Enter Anaconda Prompt Python p
By Jun He, Natallia Dzenisenka, Praneeth Yenugutala, Yingyi Zhang, and Anjali Norwood TL;DRWe are thrilled to announce that the Maestro source code is now open to the public! Please visit the Maestro GitHub repository to get started. If you find it useful, please give us a star. What is MaestroMaestro is a horizontally scalable workflow orchestrator designed to manage large-scale Data/ML workflows
[AWS IoT Core] 1秒間に17,000件のMQTTメッセージをpublishするテスト用のクライアントを作成してみました | DevelopersIO
[AWS IoT Core] 1秒間に17,000件のMQTTメッセージをpublishするテスト用のクライアントを作成してみました 1 はじめに CX事業本部の平内（SIN）です。 AWS IoT CoreでMQTTのメッセージブローカーを利用したシステムを構築する際に、大量のメッセージに対応できているかどうかの確認が必要になる場合があると思います。 今回は、１秒間に17,000件のメッセージをPublishする、テスト用のクライアントを作成してみました。 ちなみに、17,000という数字は、使用したインスタンスで、1秒間に処理できる最大量で決まりました。もっと強いインスタンスを使用すれば、もしかすると、これ以上の数字も出せるのかも知れませんが、すいません、試していません。 2 構成 テスト用のクライアントは、Pythonで作成されており、EC2上で動作させています。 沢山のメッセージを
![[AWS IoT Core] 1秒間に17,000件のMQTTメッセージをpublishするテスト用のクライアントを作成してみました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/d9fdf277e5e3da9b9ad5eb3751b2220bf7849aa7/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Faws-iot-core.png)
I’m excited to announce the project I’ve been working on for the last year and a half: Game Bub, an open-source FPGA based retro emulation handheld, with support for Game Boy, Game Boy Color, and Game Boy Advance games. Play Video: Game Bub can play physical cartridges, as well as emulated cartridges using ROM files loaded from a microSD card. Game Bub also supports the Game Link Cable in both GB
Try Mastering Emacs for free! Are you struggling with the basics? Have you mastered movement and editing yet? When you have read Mastering Emacs you will understand Emacs. It’s that time again: there’s a new major version of Emacs and, with it, a treasure trove of new features and changes. Notable features include the formal inclusion of native compilation, a technique that will greatly speed up y
vim9script4pythondevelopers.md Vim9 script for Python Developers Vim9 script�Vim script��������������������������������������������������系��� def������義����������Vim script��vim9script�����使����������(vim9script���
import PySimpleGUI as sg import datetime import time import os import numpy as np import cv2 import glob from time import sleep mport schedule import mojimoji import sys # class def cam_2(create_directory1,create_directory2): # global create_directory1 cap1 = cv2.VideoCapture(1,cv2.CAP_DSHOW) time.sleep(1) cap1.set(cv2.CAP_PROP_EXPOSURE,-6) ret1, frame1 = cap1.read() print(ret1) if ret1 == False:
Concurrency is not very intuitive. You need to train your brain to consider what happens when multiple processes execute a certain code block at the same time. There are several issues I often encounter: Failing to recognize potential concurrency issues: It's not uncommon for both beginner and seasoned developers to completely miss a potential concurrency problem. When this happens, and the concur
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 突然ですが、皆さんは歌川国芳という浮世絵師をご存じでしょうか? 「国芳? 広重ではなくて?」と思われる方もいらっしゃるかも知れません。 歌川広重は「東海道五十三次」などの作品で名が知られた、歌川派を代表する江戸時代の浮世絵師です。 『東海道五十三次』より「日本橋」(本画像を含め、浮世絵は全てwikiより拝借しました。) 一方の歌川国芳は、あまり世間に知られた名前ではないかも知れません。 国芳は、寛政9年(1797)に江戸日本橋で生まれ、文久元年(1861)に没した浮世絵師で、広重とはほぼ同時代に活躍しました。歌川派の初代、歌川
Introduction: These Aren’t the JSONs You’re Looking For JSON (JavaScript Object Notation) was designed as a simple, lightweight, and human-readable data interchange format, often positioned as a more accessible alternative to XML. It has become the de facto standard for web APIs and system integration. However, while the specification itself is straightforward, different programming languages and
Temporal Python SDK: A Durable, Distributed Asyncio Event Loop We are excited about the GA release of the Temporal Python SDK. Python is now a fully-supported workflow language in Temporal, and our use of native asyncio constructs makes it a perfect fit for Python developers looking to write durable workflows. Here are some links to read more about Temporal Python: Repository Application Developme
GitHub - ComfyUI-Workflow/awesome-comfyui: A collection of awesome custom nodes for ComfyUI
ComfyUI-Gemini_Flash_2.0_Exp (⭐+172): A ComfyUI custom node that integrates Google's Gemini Flash 2.0 Experimental model, enabling multimodal analysis of text, images, video frames, and audio directly within ComfyUI workflows. ComfyUI-ACE_Plus (⭐+115): Custom nodes for various visual generation and editing tasks using ACE_Plus FFT Model. ComfyUI-Manager (⭐+113): ComfyUI-Manager itself is also a cu
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
遅くないpandasの書き方 - ML_BearのKaggleな日常
Python×株式投資：従来の100倍！銘柄選抜のバックテストを高速化した話 - Qiita
Why I use attrs instead of pydantic
Maestro: Netflix’s Workflow Orchestrator
Game Bub: open-source FPGA retro emulation handheld
What's New in Emacs 28.1?
Vim9 script for Python Developers · GitHub
同時タイムラプスのGUIをpythonでつくってみた - Qiita
Handling Concurrency Without Locks
AHC001で奇想の浮世絵師「歌川国芳」の絵を再現する - Qiita
JSON is not JSON Across Languages | Dochia CLI Blog
Temporal Python SDK | Durable Asyncio Event Loop