Poetryがとてもいいという話
Poetryの使用感がとてもよく、Pythonでコードを書く際はPoetryが必須の体になってしまいました。 そこでPoetryはいいぞ！という話と、Poetryの簡単な利用方法をまとめたいと思い本記事を書き始めました。 Poetryに出会うまでのライブラリ管理 私は4年くらい前からPythonのコードを書くようになりました。 いろいろ試行錯誤した結果Poetryに行き着きましたが、それまでの経緯を軽くまとめます。 pip + requirements.txt requirements.txt は例として以下のような内容を記述したテキストファイルになります。 ファイル名は特に指定はありませんが requirements.txt としているプロジェクトをよく見ます。 # requirements.txt click==8.0.3 requests==2.27.1 使い方としては通常の pip
Pythonで自分だけのクソライブラリを作る方法
Pythonでライブラリを作る この記事は、Pythonの基礎が分かり、pipでライブラリをインストールしたことあるくらいのレベルの人を想定しています。初心者向けの記事です。 前提知識として、Pythonのライブラリ・パッケージ・モジュール・クラス・関数の定義や違いに関しては、以下記事あたりを参考にしてください。 この記事では、Pythonで自作ライブラリを作ります。pip install hogehogeでインストールできるあれですね。 初心者の方（何を隠そう私も初心者です）だとpip installでインストールできるライブラリって、GoogleとかFacebookのような選ばれたエリート組織だけが作れるものと思っていませんか？私もつい最近までそう思っていました。実はあれ、個人でも簡単に作れてしまいます。 pip install hogehogeで、世界中の誰でもインストールできるライ
Python: Streamlit を使って手早く WebUI 付きのプロトタイプを作る - CUBE SUGAR CONTAINER
Streamlit は、ざっくり言うと主にデータサイエンス領域において WebUI 付きのアプリケーションを手早く作るためのソフトウェア。 使い所としては、ひとまず動くものを見せたかったり、少人数で試しに使うレベルのプロトタイプを作るフェーズに適していると思う。 たとえば、Jupyter で提供すると複数人で使うのに難があるし、かといって Flask や Django を使って真面目に作るほどではない、くらいのとき。 使った環境は次のとおり。 $ sw_vers ProductName: macOS ProductVersion: 11.3.1 BuildVersion: 20E241 $ python -V Python 3.8.9 もくじ もくじ 下準備 基本的な使い方 基本的な書式 プレースホルダー プログレスバーを使った処理の進捗の可視化 基本的な可視化 組み込みのグラフ描画機能
thinkpython.dvi
Think Python 2 Think Python: How to Think Like a Computer Scientist Allen B. Downey Copyright c �2013 ThinkPython: by is licensed under a Creative Commons 3.0 License 3 11 1 13 1.1 Python . . . . . . . . . . . . . . . . . . . . . . 13 1.2 . . . . . . . . . . . . . . . . . . . . . . . . . . 15 1.3 . . . . . . . . . . . . . . . . . . . . . . . . 16 1.3.1 . . . . . . . . . . . . . . . . . . . . . . .
自然言語処理の前処理・素性いろいろ - Debug me
ちゃお・・・† 舞い降り・・・† 先日、前処理大全という本を読んで自分なりに何か書きたいなと思ったので、今回は自然言語処理の前処理とそのついでに素性の作り方をPythonコードとともに列挙したいと思います。必ずしも全部やる必要はないので目的に合わせて適宜使ってください。 前処理大全[データ分析のためのSQL/R/Python実践テクニック] 作者:本橋 智光技術評論社Amazon 前処理 余分な改行やスペースなどを除去 with open(path) as fd: for line in fd: line = line.rstrip() アルファベットの小文字化 text = text.lower() 正規化 (半角/全角変換などなど) import neologdn neologdn.normalize('ﾊﾝｶｸｶﾅ') # => 'ハンカクカナ' neologdn.normalize
文字列の正規化の話 漢数字編
漢数字を数字に直したい。例えば "三十五" は 35 になってほしい In [1]: import re tt_ksuji = str.maketrans('一二三四五六七八九〇壱弐参', '1234567890123') re_suji = re.compile(r'[十拾百千万億兆\d]+') re_kunit = re.compile(r'[十拾百千]|\d+') re_manshin = re.compile(r'[万億兆]|[^万億兆]+') TRANSUNIT = {'十': 10, '拾': 10, '百': 100, '千': 1000} TRANSMANS = {'万': 10000, '億': 100000000, '兆': 1000000000000} def kansuji2arabic(kstring: str, sep=False): """漢数字をアラビア数字
Python で漢数字をアラビア数字に変換 - Qiita
ググってみるとあまりサンプルがないし古い (Python2版) のばかりなので作ってみました。 (バグってたので修正) import re tt_ksuji = str.maketrans('一二三四五六七八九〇壱弐参', '1234567890123') re_suji = re.compile(r'[十拾百千万億兆\d]+') re_kunit = re.compile(r'[十拾百千]|\d+') re_manshin = re.compile(r'[万億兆]|[^万億兆]+') TRANSUNIT = {'十': 10, '拾': 10, '百': 100, '千': 1000} TRANSMANS = {'万': 10000, '億': 100000000, '兆': 1000000000000} def kansuji2arabic(kstring: str, sep=Fals
【2021】モダンなPython開発環境の紹介 - Qiita
📌 はじめに Pythonで開発を行うにあたり、リンタやフォーマッタ、パッケージマネージャ等のツールの選定は非常に重要な問題です。一方で歴史的な経緯もあり、沢山の選択肢から何を選ぶべきか情報がまとまっていないように感じました。この記事では2021年9月時点でモダンと言えるであろう開発環境を紹介します。基本的にはシェアが高いこと、著名なパッケージで使用されていることを主な選定理由としており、また特定のエディタに依存しないことを前提とします。 本記事で紹介する内容は一つのテンプレートに近く、必要に応じてカスタマイズするもよし、そのまま使ってもよし、として参考になればと思います。(CI/CDについてはPythonとは独立した問題なので触れません。またドキュメント生成はSphinxを推しますが、必須ではないので今回は割愛します。) 📄 要約 "モダン"な開発環境を箇条で列挙すると下記の通りです
MeCab(+IPADIC) + Python3.8 を AWS Lambda 上で利用する - Qiita
2020年10月13日 Python3.8 に対応しました はじめに 形態素解析を行うライブラリ MeCab を用いたアプリケーションをサーバーレスな環境に乗せる機会があり、今後も増えてきそうなので自分用のメモの意味も含めその手順を記載しました。 MeCabをLambda上で実行するためには、Lambdaの実行環境と全く同じ環境でMeCabをビルドし、関数パッケージに含めてデプロイする必要があります。 今回は、DockerとLambdaビルド用のイメージを使って、簡単にMeCabをビルドする方法を紹介します。 ※下記のリポジトリよりクローンし、READMEの手順を実行すれば簡単に利用できます。 [GitHub] noyoikw/mecab-python3-lambda 各ファイルの解説 手順の前に、最終的なディレクトリの構成と各ファイルの役割について説明します。 ディレクトリ構成 このサン
中学・高校数学で学ぶ、数学×Pythonプログラミングの第一歩
中学・高校数学で学ぶ、数学×Pythonプログラミングの第一歩：数学×Pythonプログラミング入門 「Pythonの文法は分かったけど、自分では数学や数式をプログラミングコードに起こせない」という人に向けて、中学や高校で学んだ数学を題材に「数学的な考え方×Pythonプログラミング」を習得するための新連載がスタート。連載コンセプトから、前提知識、目標、本格的に始めるための準備までを説明する。 連載目次 この連載では、中学や高校で学んだ数学を題材にして、Pythonによるプログラミングを学びます。といっても、数学の教科書に載っている定理や公式だけに限らず、興味深い数式の例やAI／機械学習の基本となる例を取り上げながら、数学的な考え方を背景としてプログラミングを学ぶお話にしていこうと思います。 今回は、それに先だって、プログラミングを学ぶ上で数学を使うことのメリットや、Pythonでどのよう
Pythonスクリプトのパフォーマンス計測ガイド | Yakst
Pythonスクリプトの速度を計測し、そのボトルネックを探る。さらに、メモリ使用量、メモリリークの原因特定までの調査方法を解説する。 あなたが書いたすべてのPythonプログラムで厳密なパフォーマンス計測が必要になるというわけではないにせよ、その時が来たら、役に立ってくれる様々な種類のツールがPythonのエコシステムにはあるのだということを知っておけば安心できるだろう。 プログラムのパフォーマンスを計測することは、すなわち以下の4つの基本的な質問に答えることだと要約できる。 どのくらい高速に実行できるか？ スピードのボトルネックはどこか？ どのくらいのメモリを使うか？ メモリリークしているのはどこか？ これから、いくつかの素晴らしいツールを使ってこれらの質問に答えていくための詳細を見ていこう。 大ざっぱな実行時間 素早くざっくりとコードの実行時間を計るのに、古き良きUNIXのユーティリテ
サーバーアプリ開発環境(Python／FastAPI) | フューチャー技術ブログ
Pythonでお仕事する前提で、現在のところで自分が最適と考えるチーム開発のための環境整備についてまとめてみました。今までももろもろ散発的に記事に書いたりしていたのですが、Poetryで環境を作ってみたのと、過去のもろもろの情報がまとまったものが個人的にも欲しかったのでまとめました。前提としては次の通りです。 パッケージ管理や開発環境整備でPoetryを使う 今時はコードフォーマッター、静的チェックは当たり前ですよね？ コマンドでテスト実行、コードチェックとか実行とかができる（CI/CD等を考えて） VSCodeでもコマンドで実行しているのと同じコードチェックが可能(ここコンフリクトすると困る） デプロイはDockerイメージ コンテナのデプロイ環境でコンテナに割り当てられたCPU能力を比較的引き出せて、スケールさせたら線形にパフォーマンスアップできるようなasyncioを前提とした環境構
Flaskへようこそ — Flask Documentation (2.2.x)
Flaskへようこそ Welcome to Flask¶ Flaskのドキュメントへようこそ。インストールから始めて、それからクイックスタートで概要をつかみましょう。より詳細なチュートリアルでは、小さいけれども完成しているFlaskアプリケーションをどのように作成するか示しています。Flaskのパターンセクションでは一般的なパターンを記述しています。この文書のその他の部分ではFlaskの各コンポーネントについて詳細を記述しており、その完全なリファレンスはAPIセクションにあります。 Welcome to Flask's documentation. Get started with :doc:`installation` and then get an overview with the :doc:`quickstart`. There is also a more detailed :d
東大が無料公開している超良質なPython/Data Science/Cloud教材まとめ (*随時更新) - Digital, digital and digital
東京大学がちょっとびっくりするくらいの超良質な教材を無料公開していたので、まとめました Python入門講座 東大のPython入門が無料公開されています。scikit-learnといった機械学習関連についても説明されています。ホントいいです Pythonプログラミング入門 東京大学 数理・情報教育研究センター: utokyo-ipp.github.io 東大のPython本も非常にオススメです Pythonによるプログラミング入門 東京大学教養学部テキスト: アルゴリズムと情報科学の基礎を学ぶ https://amzn.to/2oSw4ws Pythonプログラミング入門 - 東京大学 数理・情報教育研究センター Google Colabで学習出来るようになっています。練習問題も豊富です https://colab.research.google.com/github/utokyo-ip
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Streamlit を用いたデータ分析アプリ制作 - Qiita
GitHub - streamlit/streamlit: Streamlit — A faster way to build and share data apps.
GitHub - Kensuke-Mitsuzawa/JapaneseTokenizers: aim to use JapaneseTokenizer as easy as possible
Python3からC++の関数を呼び出す - Qiita
Pythonで始める ドキュメント・インテリジェンス入門 / Introduction to Document Intelligence with Python
無料で読める、東大／京大の「Python教科書」電子書籍
