Poetry: Python の依存関係管理とパッケージングを支援するツール
Python には依存関係を管理するツールがたくさんあります。 Python も歴史あるプログラミング言語なので仕方ないですが、情報が多すぎて特に初心者は混乱してしまいます。 結局の所、pip、virtualenv (venv) を使えば十分な場合が多いので、まずはこれらの使い方を学習しましょう。 近頃は Pipenv という依存関係管理ツールが登場して人気です。 日本語でも Pipenv の情報をよく見かけるようになりました。 さらに、最近になって Poetry という依存関係管理とパッケージングを支援するツールが登場しました。 意外と Poetry に関する日本語の情報がないようなので、簡単に紹介してみようと思います。 各ツールの機能をまとめた表 が公開されていたので参考にしてください。 Pipenv 2017 年 1 月に Pipenv というツールが登場しました。 Pipenv に
[Python]機械学習などでテキストデータを特徴量にする際のソースコード集 – かものはしの分析ブログ
都内の事業会社で分析やWebマーケティングの仕事をしています。大学・大学院では経済学を通じて統計解析を行うなどしておりました。企業に勤めてからは、機械学習やテキストマイニング、クローリング技術などに関心を持っています。 Twitterアカウント Mr_Sakaue( SKUE ) GitHub 読書メーター ほしいものリスト テキストデータの特徴量化について 仕事ではテキストデータを多用するので、機械学習などで扱うためにテキストデータを特徴量にするためのアプローチを色々と整理してソースコードを残しておきたいと思います。今回はあくまでも私の知っているものだけなので、網羅性はないかもしれませんが悪しからず。 （2019/08/18 追記）Stackingをカジュアルに行えるvecstackというモジュールを用いた予測も試してみました。下の方の追記をご覧ください。 アプローチ テキストデータを特
![[Python]機械学習などでテキストデータを特徴量にする際のソースコード集 – かものはしの分析ブログ](https://cdn-ak-scissors.b.st-hatena.com/image/square/135f5c7a606a9365d8d2105e81e1d6cf49e0f645/backend=imagemagick;height=288;version=1;width=512/http%3A%2F%2Fkamonohashiperry.com%2Fwordpress%2Fwp-content%2Fuploads%2F2018%2F08%2Fanimal_kamonohashi.png)
PyCharm の便利な使い方
本ページでは、Python の IDE (統合開発環境である) PyCharm (パイチャーム) の応用的な使い方についてご紹介します。 まだ PyCharm をインストールしていない方、基本的な使い方に関する記事をお探しの方は PyCharm のインストール方法、PyCharm の基本的な使い方 もご参照ください。 矩形選択 矩形選択モード (くけいせんたく, Column Selection Mode) といって、四角形のように文字列を選択するには、 「Edit」 ⇒ 「Column Selection Mode」、もしくは、Shift + Alt + Insert キーを押して矩形選択モードに入ります。その後で、Shift キーを押しながら上下左右キー、もしくはマウスのドラッグ操作で、以下のように選択することができます。 以下のように、矩形で選択できていることがわかります。 コードの
Pythonのcopyとdeepcopyについて - Qiita
Pythonをはじめてちょっとハマった部分。 似た記事がQiitaにも山ほどあるのですが・・・微妙にこの辺が書いてない感じがしたので。 Pythonはつい最近使いはじめたばかりのビギナーなので、どこかの点や、最後のまとめなどには、間違っている部分があるかもしれません。間違いがあったら、ぜひ指摘して教 えていただけると嬉しいです。 1/13 さっそくコメントで指摘をいただき、記事を大幅に修正しました。shiracamusさん、ありがとうございます。 前説 変数とオブジェクト、ミュータブルとイミュータブルについて 変数とオブジェクト Pythonにおいて、変数とは、オブジェクトを指し示す識別子（名前）です。オブジェクトとは我々が扱いたいデータそのものです。
ゼロから作るRAW現像 - その１ - Moiz's journal
追記 このブログ記事「ゼロから作るRAW現像」を大きく再構成してより読みやすくした書籍「PythonとColabでできる-ゼロから作るRAW現像」を【技術書典6】にて頒布しました。 現在はBOOTHにて入手可能です。書籍+PDF版は2200円プラス送料、PDF版は1200円です。 moiz.booth.pm 追記 はじめに RAWファイルおよびRAWデータについて カメラ画像処理 準備 RAW画像読み込み 画像データ変換 ブラックレベル補正 簡易デモザイク ホワイトバランス補正 カラーマトリクス補正 ガンマ補正 まとめ 最後に 次の記事 改定履歴 はじめに 会社の同僚にrawpyというPython用のライブラリの存在を教えてもらいました。 これを使うと各種デジカメのRAWファイルから、BayerのRAWデータを抽出できます。以前はDCRAWのソースコードを改造してrawデータのダンプなどし
EC2にnginx+uwsgi+python でHello World - Qiita
Hello World!とうhtmlを返すのに加え、S3に何か書き出せることも確認するコードにしました。 環境 EC2(Amazon Linux) 準備 EC2インスタンス サンプルコードにS3への書きだしがあるので、S3にput_object可能なロールを割り当てておく。 インストール nginx $ sudo yum install nginx uwsgi $ sudo pip install uwsgi you need a C compiler to build uWSGI とでた場合はCのコンパイラを入れてください。 Installing uWSGI では以下で入れていました。 $ sudo yum groupinstall "Development Tools" 設定 参考：Quickstart for Python/WSGI applications nginx /etc/n
Python+PuLPによるタダで仕事に使える数理最適化（ → Python-MIPがお勧め → SCIPソルバーが利用できるのでやっぱりPuLPがお勧め → 現状はSCIP専用のPySCIPOptを使おう） - Qiita
追記（2023/06/05） 数理最適化ソルバー SCIP 専用の Python インターフェース PySCIPOpt の記事を書きました。 本追記時点で Python から SCIP を使用する方法としては、この PySCIPOpt がいちばんよいと思います。 追記（2022/11/08） 数理最適化ソルバーSCIP ですが、 Since November 4, SCIP is licensed under the Apache 2.0 License. となりました。SCIPは無償のソルバーの中では速いので、それが商用利用可能になったということは大きいです。Apache 2.0 Licenseなので、少なくともSCIPの内部コードを変更せず呼び出して使う場合は、作ったコードの開示義務（昔のことばでいうGPL汚染）はないはずです。 追記日時点では、PuLPからはSCIPが利用可能、Pyt
numpy・scipyでマルチスレッドBLAS・LAPACKを使う - Qiita
前に書いた記事 で，python・numpy・scipyをrootを取らずにソースからインストールする方法について述べた． しかし，上記の方法は以下の問題点がある． 遅い． すごく遅い． とてつもなく遅い． BLASやLAPACKがマルチスレッド対応になっていないのがその原因．Intel MKLを買うほどお金もないので，OpenBLASを使うことにする． 参考記事は以下の2つ． Building Numpy and Scipy with OpenBLAS2 （日本語） https://lucidfrontier45.wordpress.com/2012/02/26/building-numpy-and-scipy-with-gotoblas2/ Numpy/Scipy with OpenBLAS for Ubuntu 12.04 （英語） http://osdf.github.io/blo
PandasのMultiIndexについて理解する
MultiIndexとは MultiIndexでの階層 階層名を指定する 階層の数を指定する MultiIndexの使い方 MultiIndexを作成する MultiIndexのあるDataFrameの要素指定 MultiIndexでのlocを使った要素指定 xs関数を使った途中の階層までの指定 まとめ 参考 PandasのMultiIndexは特異的で見慣れない人も多く、初めてPandasを触る人にとってはかなり戸惑う部分の1つだと思います。 MultiIndexを使いこなせるようになることで、より高度なデータ分析をすることが可能となり、分析対象のデータを柔軟に整形することができるようになります。 本記事ではMultiIndexを使いこなせるようにするために、概要と使い方を解説します。 MultiIndexとは 公式ドキュメントでは階層的インデックス(Hierarchical index
pandasで1000万件のデータの前処理を高速にするTips集 - Qiita
はじめに 当社にアルバイトに来ていた人（来春に新卒入社の予定）に「pandasを高速化するための情報は無いですか？」と尋ねられました。 このパッケージの使い方は多数の書籍やWebで体系立った記事で書かれています。 しかし、高速化に関しては体系的な情報源が思いつかなかったので、「実際に書いてみて、1つ1つチューニングするしかないです」としか答えられませんでした。 そこで、この方を始め、来春（2019年4月）にデータアナリストまたはデータサイエンティストになる新卒へ向けて、pandasの高速化に関する私の経験をTips集にしてお伝えしたいと思います。 この記事は今後も内容を充実させるために、Tipsを追加していきます。 この記事を読んだ後にできるようになること pandasでレコード数1000万件のデータでも1分以内で完了する前処理が書けるようになります。 その結果、1日中実行し続けなければな
人間のためのイケてるPython WebFramework「responder」、そして作者のKenneth Reitzについて - フリーランチ食べたい
この記事は Python その2 Advent Calendar 2018 - Qiita の1日目です。 responderとは GitHub - kennethreitz/responder: a familiar HTTP Service Framework for Python 2018年10月に公開された イケてるPython WebFramework です。 requestsやpipenvなどの開発者である Kenneth Reitz が(おそらく)今年のHacktoberfest 2018 - DigitalOcean 用に開発したものだと思われます。 GitHubのタグを見ると(Topic: hacktoberfest2018 · GitHub )、hacktoberfestで2位 今年10月に公開されたのに関わらず既にStarが2000以上付いており、かなり勢いがあります
なぜPythonはこんなにも遅いのか？ | POSTD
(編注：2020/08/18、いただいたフィードバックをもとに記事を修正いたしました。) Pythonは高い人気を誇り、DevOps、データサイエンス、Web開発、セキュリティの分野で使われています。 しかし、速度に関しては高い評価が全くありません。 JavaとC、C++、C#、Pythonの速度を比べるには、どうしたらいいのでしょう？ 答えは、実行するアプリケーションのタイプに大きく左右されます。完璧なベンチマークはありませんが、[手始めに比べる手段](https://algs4.cs.princeton.edu/faq/)としてはThe Computer Language Benchmarks Gameが適しています。 私は10年ほどthe Computer Language Benchmarks Gameを参照していますが、Java、C#、Go、JavaScript、C++などの他言
決定木の可視化ライブラリ「dtreeviz」が凄かったのでまとめる - St_Hakky’s blog
こんにちは。 決定木の可視化といえば、正直scikit-learnとgraphvizを使うやつしかやったことがなかったのですが、先日以下の記事をみて衝撃を受けました。そこで今回は、以下の解説記事中で紹介されていたライブラリ「dtreeviz」についてまとめます。 explained.ai dtreevizの概要 dtreevizとは より良い決定木の可視化を目指して作られたライブラリです。 解説記事 : How to visualize decision trees Github : GitHub - parrt/dtreeviz: A python machine learning library for structured data. Sample Imagesdtreeviz/testing/samples at master · parrt/dtreeviz · GitHub 多
iPhone XのFace IDを、Pythonとディープラーニングで再現する方法 | POSTD
iPhone Xの新しいロック解除メカニズムのリバースエンジニアリング 全Pythonコードはこちら。 新しい iPhone X で議論の的になった機能と言えば、新規ロック解除方式で、Touch IDの後継である Face ID でしょう。 ベゼルレスのスマートフォンを実現してきたAppleは、端末を簡単かつ素早くロック解除できる新たな方式を開発する必要がありました。競合他社が指紋認証を採用し続ける中、Appleは別のポジションのメーカーとしてスマートフォンのロック解除方式を刷新し、変革を起こす決断をしました。それは、単に見るだけで認証されるという機能です。進化した（そして驚くほど小さい） 深度センサ付きカメラ が前面に埋め込まれているおかげで、iPhone Xにはユーザの顔面の3Dマップを生成する能力があります。さらに、ユーザの顔写真を 赤外線カメラ でキャプチャするため、環境の光や色彩
Extracting Super Mario Bros levels with Python - Matt's Ramblings
Extracting Super Mario Bros levels with Python Created by Matthew Earl on June 28, 2018. Discuss on reddit! (??? points / ??? comments) Introduction For an upcoming project, I need to extract level data from the classic 1985 video game Super Mario Bros (SMB). More precisely, I want to extract the background imagery for each stage of the game, excluding HUD elements and moving sprites, etc. Of cour
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Python による日本語自然言語処理 〜系列ラベリングによる実世界テキスト分析〜 / PyCon JP 2019
Pythonのf文字列（フォーマット済み文字列リテラル）の使い方 | note.nkmk.me
Pythonの辞書のgetメソッドでキーから値を取得（存在しないキーでもOK） | note.nkmk.me
TwitterのAccount Activity APIを使うためにしたこと - Qiita
Pythonで機械学習やデータ解析やってる人はバグを無くすためにassert文を使うべき - Qiita
