Ascender: Accelerator of Scientific Development and Research
"With an enthusiastic team you can achieve almost anything." - Tahir Shah TL;DRPython を用いた研究プロジェクト向け GitHub リポジトリテンプレート Ascender を公開しました.チームでの研究・開発が想定されるプロジェクトにおいて有用な機能が実装されています. Table of Contents Backgroundこんにちは, @gatheluck です. この投稿は「研究コミュニティ cvpaper.challenge 〜CV 分野の今を映し,トレンドを創り出す〜 Advent Calendar 2022」 の 6 日目の投稿でもあります. 私の所属している cvpaper.challnege ではグループで研究活動を行っているため, グループメンバーがそれぞれの環境で 1 つのプロジェクト
Pythonのログ出力にlogzeroを使う - kumilog.net
Python その2 Advent Calendar 2018 10日目の記事です。 はじめに インストール 使い方 基本 ログレベルの設定 ファイルに出力 ログローテーション フォーマット変更 まとめて設定 おわりに はじめに Pythonでログ出力する際に何を使っていますか、printでしょうか。それともloggingでしょうか。ロギングは奥が深いようで、以下の記事ではloggingの使い方を詳説されています。 ログ出力のための print と import logging はやめてほしい - Qiita logging入門 - Qiita 標準ライブラリのloggingでも良いのですが、今回はより簡単にログ出力が可能なlogzeroというライブラリを紹介したいと思います。 インストール インストールは他のライブラリと同じくpipでできます。 $ pip install logzero
Pythonの型を完全に理解するためのtypingモジュール全解説(3.10対応) - Qiita
はじめに Pythonでキチンと型アノテーションを書くのであれば一度は読んでおきたいのがtypingライブラリの公式ドキュメントです。 前回の記事でも読んでくださいと(偉そうに)書いたわけですが、実のところこれは型アノテーションを解釈する側1に向けたドキュメントだったりもするのでアノテを書く側にとっては情報がごちゃごちゃしてるんですよね。加えて未翻訳の箇所もそれなりにあってま～～～～読みにくい。実際に読んでいただいた方々からの評判もすこぶる悪かったです。また 機能は分かったけど結局どんな時に使えばいいのか分からない という致命的なコメントも聞きました。 そこで今回はこれらの不満を解消すべく、公式ドキュメントを一般ユーザー向けに再編し具体的なユースケースを盛り込んだ非公式ドキュメントをご用意しました。 なおPython 3.10は2021年10月04日リリース予定ですが、先駆けてドキュメント
【2021】モダンなPython開発環境の紹介 - Qiita
📌 はじめに Pythonで開発を行うにあたり、リンタやフォーマッタ、パッケージマネージャ等のツールの選定は非常に重要な問題です。一方で歴史的な経緯もあり、沢山の選択肢から何を選ぶべきか情報がまとまっていないように感じました。この記事では2021年9月時点でモダンと言えるであろう開発環境を紹介します。基本的にはシェアが高いこと、著名なパッケージで使用されていることを主な選定理由としており、また特定のエディタに依存しないことを前提とします。 本記事で紹介する内容は一つのテンプレートに近く、必要に応じてカスタマイズするもよし、そのまま使ってもよし、として参考になればと思います。(CI/CDについてはPythonとは独立した問題なので触れません。またドキュメント生成はSphinxを推しますが、必須ではないので今回は割愛します。) 📄 要約 "モダン"な開発環境を箇条で列挙すると下記の通りです
StreamlitとFastAPIで非同期推論MLアプリを作る
StreamlitはPythonだけでwebアプリを作ることができるツール（ライブラリ）です。フロントに関する知識がほとんど不要なため、簡単なダッシュボードやデモアプリを作るのに適しています。公式のページでは様々なサンプルアプリが公開されています。 ところで機械学習（特に深層学習）モデルでは、例えば画像1枚あたり数秒の推論時間がかかることもあります。Streamlitは機械学習のデモアプリ用途としても適していると思いますが、推論に時間がかかる場合にいちいち推論完了を待つのは退屈かもしれません。ここではPythonのwebフレームワークであるFastAPIを組み合わせることで、推論を非同期で行う画像認識アプリケーションを作ります。 コードはこちらに配置しました。 アプリ内容 StreamlitによるGUIは以下のようになります。画像をアップロードし、「Submit」ボタンを押すことで画像認識
Pythonの可視化ライブラリDashを使う 1 - Qiita
口上 データを扱う際に大事なのはそのデータをよく見ることです。 データを見て、そのデータをどう扱うか考える。そのデータを深く理解すれば、これまで以上にデータが活かせます。 可視化のライブラリはたくさんあり、どれを使ってよいかが難しいですが、私の最近のおすすめはDashです。 このライブラリは、Flask、React、Plotlyが組み合わされて作られており、ウェブアプリケーションに簡単にできます。また、下のように動きのあるグラフが簡単に作れるところも良いところです。 また、タブでページを分けられるので、プレゼンテーションのような利用の仕方も出来ます。これまで、データを扱うプレゼンテーションって退屈なことが多かったと思います（私だけかもｗ）。その理由は、多くのデータを扱っている割に、発表時はそこから切り抜かれたものしか扱えないという制約が大きかったと思います。 しかしこのライブラリを使えば、
Advanced usage of Python requests - timeouts, retries, hooks
Advanced usage of Python requests - timeouts, retries, hooks The Python HTTP library requests is probably my favourite HTTP utility in all the languages I program in. It's simple, intuitive and ubiquitous in the Python community. Most of the programs that interface with HTTP use either requests or urllib3 from the standard library. While it's easy to immediately be productive with requests because
Python入門
第1回 Pythonってどんな言語なの？（2023/09/11） Pythonとは シンプルで覚えることが少ない構文 1行で多くの処理を記述可能 豊富な標準ライブラリと外部ライブラリ Pythonの外部ライブラリを使えば、単回帰分析を行うコードも数行に Pythonを学ぶための環境 ［Jupyter Notebook］リンクを使ったPython環境 第2回 Hello Python：一番簡単なプログラムを作ってみよう（2023/09/11） 一番簡単なHello Worldプログラム ここまでのまとめ：関数と文字列 もう少し難しいHello Worldプログラム 1行目：変数、代入演算子、input関数 2行目：文字列の結合 3行目：実行の流れ（制御フロー） ここまでのまとめ：変数、演算子 より複雑なHello Worldプログラム 関数定義 ここまでのまとめ：関数定義 第3回 数値と算術
2019年に向けてPythonのモダンな開発環境について考える - 朝日ネット 技術者ブログ
はじめに 開発部の tasaki です。 6 月の記事（「Pythonのパッケージングのベストプラクティスについて考える2018」）では setuptools, pip, venv を使ったパッケージングのフローについて考えました。 techblog.asahi-net.co.jp 今回はモダンな開発用ツールチェーンを持つ他の言語（具体的には JavaScript (Node.js), Go, Rust あたりを意識）と似たような開発フローを Python において構築するにはどうすればよいかということを考えていきます。 はじめに 対象バージョン 備考 TL;DR （結論） pip と virtualenv の統合 (Pipenv) 概要 使い方 インストール Pipenv プロジェクトの新規作成 setup.py との併用 静的な型の検査 (mypy) 概要 設定例 使い方 Lintin
Welcome to icrawler — icrawler 0.6.6 documentation
Introduction¶ Documentation: http://icrawler.readthedocs.io/ Try it with pip install icrawler or conda install -c hellock icrawler. This package is a mini framework of web crawlers. With modularization design, it is easy to use and extend. It supports media data like images and videos very well, and can also be applied to texts and other type of files. Scrapy is heavy and powerful, while icrawler
Pythonを書き始める前に見るべきTips - Qiita
Pythonを使ってこの方さまざまな点につまずいたが、ここではそんなトラップを回避して快適なPython Lifeを送っていただくべく、書き始める前に知っておけばよかったというTipsをまとめておく。 Python2系と3系について Pythonには2系と3系があり、3系では後方互換性に影響のある変更が入れられている。つまり、Python3のコードはPython2では動かないことがある(逆もしかり)。 Python3ではPython2における様々な点が改善されており、今から使うなら最新版のPython3で行うのが基本だ(下記でも、Python3で改善されるものは明記するようにした)。何より、Python2は2020年1月1日をもってサポートが終了した。よって今からPython2を使う理由はない。未だにPython2を使う者は、小学生にもディスられる。 しかし、世の中にはまだPython3に
Cheat Sheet: Writing Python 2-3 compatible code — Python-Future documentation
Cheat Sheet: Writing Python 2-3 compatible code¶ Copyright (c): 2013-2024 Python Charmers, Australia. Author: Ed Schofield. Licence: Creative Commons Attribution. A PDF version is here: https://python-future.org/compatible_idioms.pdf This notebook shows you idioms for writing future-proof code that is compatible with both versions of Python: 2 and 3. It accompanies Ed Schofield’s talk at PyCon AU
Scrapy | A Fast and Powerful Scraping and Web Crawling Framework
pip install scrapy cat > myspider.py <<EOF import scrapy class BlogSpider(scrapy.Spider): name = 'blogspider' start_urls = ['https://www.zyte.com/blog/'] def parse(self, response): for title in response.css('.oxy-post-title'): yield {'title': title.css('::text').get()} for next_page in response.css('a.next'): yield response.follow(next_page, self.parse)EOF scrapy runspider myspider.py
PythonでCSVを高速＆省メモリに読みたい - tkm2261's blog
今日はPython (Pandas)で高速にCSVを読むことに挑戦したいと思います。 Kaggleに参加するたびに、イライラしていたので各実装の白黒はっきりさせようと思います。 R使いが羨ましいなぁと思う第一位がCSV読込が簡単に並列出来て速いことなので、 なんとかGILのあるPythonでも高速に読み込みたいと思います。 ただ、この検証ではコーディング量が多いものは検証しません。 CSV読込は頻出するので、フットワークの軽さが重要です。（オレオレライブラリ嫌い） Pickleは早いけど。。。 結論はDask使おう！ 検証環境 データ 速度検証 pandas.read_csv() pandas.read_csv() (dtype指定) pandas.read_csv() (gzip圧縮) numpy.genfromtxt() pandas.read_csv() (chunksize指定 +
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Pythonにおけるデザインパターン - Pythonにおけるデザインパターン
Streamlit • A faster way to build and share data apps
さよならFlask ようこそFastAPI / goodbye Flask, welcome FastAPI
[Python] importの躓きどころ - Qiita![[Python] importの躓きどころ - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/8633f29dbb464599a795fe3e08db7607be2e5d87/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCUHl0aG9uJTVEJTIwaW1wb3J0JUUzJTgxJUFFJUU4JUJBJTkzJUUzJTgxJThEJUUzJTgxJUE5JUUzJTgxJTkzJUUzJTgyJThEJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz1hOGZjZjBmM2ZjMWJmM2I1YjUyY2QxMzRhOTZjOTI0OQ%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDB5c2syNG9rJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz01YzA1ZjFjMTNlZTY0ZmRjMTU2NTNlZGI0NzE5YmQ5YQ%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D8032982df1cb3dda46cd31a04976b7a6)
Google Colab
PyCharm: the Python IDE for data science and web development
