お前らのpandasの使い方は間違っている - Qiita
この記事は株式会社Nuco Advent Calendar 2022の9日目の記事です。 はじめに いきなりお馴染みの「キャッチーでウィットでセンセーショナルな」タイトルで失礼します。 私自身、業務の中でpandasに大変お世話になっており、自戒も込めてpandasの「アンチパターン」をまとめてみました。 この記事を読んで、より快適なpandasライフを送っていただけると嬉しいです。 対象読者 Pythonを使ったデータ分析や機械学習に携わる方 この記事はpandasの基本的な使い方を解説するものではないので注意してください。 表形式ファイルを加工する必要がある方 pandasの強みはリレーショナルなデータ全般です。必ずしもデータ分析や機械学習だけが守備範囲ではありません。 pandasとは pandasの公式ドキュメントの概要には、以下のように記載してあります。 pandas is a
[Python] JSONをXPath風に操作するJSONPath
最近ではすっかり、XMLよりJSON形式のAPIが多いですね。 そこで、JSONでもXPATHのように、クエリ形式で要素を検索したいと思い、 jsonpath-ngというよさげなライブラリを見つけたので、それを紹介したいと思います。 スポンサーリンク インストール $ pip install --upgrade jsonpath-ng さっそく試してみる リストの下の要素を検索する例です。 from jsonpath_ng import jsonpath, parse # 実験用のJSONデータ(dict) json = { 'foo': [ {'baz': 1}, {'baz': 2} ] } # fooリスト以下のbaz要素を検索 jsonpath_expr = parse('foo[*].baz') matches = jsonpath_expr.find(json) # 結果を表示
![[Python] JSONをXPath風に操作するJSONPath](https://cdn-ak-scissors.b.st-hatena.com/image/square/a11e866e8a380f978d1fc5ddf317ce074a919390/height=288;version=1;width=512/https%3A%2F%2Flh3.googleusercontent.com%2F3lfoWl2BCATu5BVJBB28PlRnBWSVwitsQ1VQoQwexZR6assNktuwSQWBrxcbd_eoG0FXh8vWV8uv%3Dw1200-h630-p-k-no-nu)
Python 製 Web フレームワークを Flask から FastAPI に変えた話｜NAVITIME_Tech
こんにちは、けんにぃです。ナビタイムジャパンで公共交通の時刻表を使ったサービス開発やリリースフローの改善を担当しています。 今回は Python 製の Web フレームワークとして FastAPI を導入した話をしようと思います。 Python 製の Web フレームワークPython には代表的な Web フレームワークが 2 つあります。 ・Django: フルスタックフレームワーク ・Flask: マイクロフレームワーク Django は大規模開発向け、Flask は小中規模開発向けと言われますが、今回開発したサーバは小規模なサーバだったため、以前は Flask で開発していました。 しかし、どちらのフレームワークを使う場合でも下記のような機能を使おうとするとプラグインやサードパーティの助けを借りる必要があります。 ・OpenAPI ・JSON Schema ・GraphQL ・We
Anaconda パッケージリポジトリが「大規模な」商用利用では有償になっていた - Qiita
概要 Pythonを利用した機械学習の環境構築に有用なAnacondaというソフトがあります。このソフトはリポジトリに含まれるバイナリが高速（環境によっては2倍以上）、インタプリタの切り替え、パッケージ管理が楽などの利点を持っています。 このソフトについて2020年4月30日に発表があり、リポジトリ商用利用時の費用の条件が変更され、環境によっては有償となっていましたので内容をまとめます。 正確な情報は公式サイト（利用規約、2020年4月30日の発表）参照 Miniconda + conda forge の運用であれば公式リポジトリに関する商用利用規約変更の影響は受けないようです（公式記事ではなくRedditでのAnaconda CEO によるコメント）。 conda-forge が既定の miniforge というパッケージが作成中のようです（安定性等は不明）。 記載間違いなどご指摘いただ
csvkit 1.0.4 — csvkit 1.0.4 documentation
csvkit 2.0.0¶ About¶ csvkit is a suite of command-line tools for converting to and working with CSV, the king of tabular file formats. It is inspired by pdftk, GDAL and the original csvcut tool by Joe Germuska and Aaron Bycoffe. Important links: Documentation: https://csvkit.rtfd.org/ Repository: https://github.com/wireservice/csvkit Issues: https://github.com/wireservice/csvkit/issues Schemas: ht
Visual Studio CodeがPython対応強化。Jupyter Notebooksネイティブ編集、Pythonファイルの直接実行など
Visual Studio CodeがPython対応強化。Jupyter Notebooksネイティブ編集、Pythonファイルの直接実行など オープンソースのコードエディタ「Visual Studio Code」が10月のアップデートでPython関連機能の強化などを行いました。機能強化はおもにPython拡張機能を通じて提供されます。 The October release of the #Python extension for @code is here! Try out native editing of #JupyterNotebook files , a button to run Python files in the terminal ▶, and improvements to the Python Language Server. Learn more on our
condaとpip：混ぜるな危険 - onoz000’s blog
Anaconda環境下でpipを使う場合のリスクについて、日本語で書かれたページがほとんど見つからなかったので覚え書き。 追記 その２(2020-10-24) １年越しですが補足記事書きました。以下の内容には2020年には当てはまらないものもいくつかあるので、ご注意ください。 追記 (2019-09-27) 予想以上にたくさんの方にこのエントリーを読んでいただけているようでありがとうございます。細かい表現を推敲したほか、Anacondaのドキュメントが全部リンク切れしていたので修正しました。また、SNS等での反応を見ていて一部誤解や認識違いがあるようなので後日補足エントリーを書こうと計画しています。 余談なのですが、個人ブログの記事って結構怪しい情報が多いです。ググると個人ブログ（とか各国のQ&Aサイト）が上位に出てくることが多く、それを見て満足してしまうことも多いかと思いますが、（私の記
Speaker slides - JupyterCon in New York 2018
Speaker slides & video Presentation slides will be made available after the session has concluded and the speaker has given us the files. Check back if you don't see the file you're looking for—it might be available later! (However, please note some speakers choose not to share their presentations.)
Apache Toree
Apache Toree Toree is an Scala kernel for the Jupyter Notebook platform providing interactive access to Apache Spark. Get Toree 0.4.0-incubating Apache Toree Apache Toree is a kernel for the Jupyter Notebook platform providing interactive access to Apache Spark. It has been developed using the IPython messaging protocol and 0MQ, and despite the protocol’s name, Apache Toree currently exposes the S
Theano 入門
Theano 入門¶ 本文書ではPython用の数値計算ライブラリTheanoの使い方を説明します. 応用例としてRestricted Boltzmann Machineを実装します. はじめに¶ Theano はPython用の数値計算ライブラリです. PythonではNumpyが数値計算ライブラリの事実上の標準となっていますが, TheanoではNumpyのように計算手続きを記述するのではなく, 数式そのものを記述します. このことによって, 計算対象となる行列等の実体のプログラム内での引き回しを考える事なく, 最適化やGPUによる高速化の恩恵が受けられます. また, Theanoでは数式そのものを記述するので, 微分を (数値的ではなく) 解析的に実行する事が出来ます. TheanoはLinux, Mac OSX, Windows上で動作します. Theanoはモントリオール大学のB
Pythonの機械学習ライブラリ「scikit-learn」で実践する「教師あり学習」「教師なし学習」
プログラミング言語「Python」は機械学習の分野で広く使われており、最近の機械学習／Deep Learningの流行により使う人が増えているかと思います。一方で、「機械学習に興味を持ったので自分でも試してみたいけど、どこから手を付けていいのか」という話もよく聞きます。本連載「Pythonで始める機械学習入門」では、そのような人をターゲットに、Pythonを使った機械学習について主要なライブラリ／ツールの使い方を中心に解説しています。 連載第1回の「Pythonで機械学習／Deep Learningを始めるなら知っておきたいライブラリ／ツール7選」では、ライブラリ／ツール群の概要を説明しました。前回は、その中でもJupyter Notebookの基本操作と設定について説明しました。 連載第3回から第1回で紹介した各種ライブラリを使う具体的なコードを例示していますが、Jupyter Note
開発者がビッグデータ分析にPythonを使う時によくやる間違い | POSTD
システムの構築、新しい技術の習得、PythonやDevOpsなどに情熱を注ぐソフトウェア開発者です。現在はチューリッヒを拠点とするビッグデータのスタートアップで働いており、データ分析およびデータ管理ソリューションのためのPythonの技術を磨いています。 1 はじめに Python は開発時間を短縮できるという点で一般的に評価の高い言語です。しかし、Pythonを使って効率よくデータ分析をするには、思わぬ落とし穴があります。動的かつオープンソースのシステムであるという特徴は、初めは開発を容易にしてくれますが、大規模システムの破綻の原因になり得ます。ライブラリが複雑で実行時間が遅く、データの完全性を考慮した設計になっていないので、開発時間の短縮どころか、すぐに時間を使い果たしてしまう可能性があるのです。 この記事ではPythonやビッグデータで作業をする時に、最も時間を無駄にしがちな事柄につ
A Practical Introduction to Blockchain with Python // Adil Moujahid // Bridging Tech and Art
// tags python blockchain Blockchain is arguably one of the most significant and disruptive technologies that came into existence since the inception of the Internet. It's the core technology behind Bitcoin and other crypto-currencies that drew a lot of attention in the last few years. As its core, a blockchain is a distributed database that allows direct transactions between two parties without t
microsoft-considers-adding-python-as-an-official-scripting-language-to-excel
HomeNewsMicrosoftMicrosoft Considers Adding Python as an Official Scripting Language to Excel Microsoft is considering adding Python as one of the official Excel scripting languages, according to a topic on Excel's feedback hub opened last month. Since it was opened, the topic has become the most voted feature request, double the votes of the second-ranked proposition. "Let us do scripting with Py
Copy-on-write friendly Python garbage collection
At Instagram, we have the world’s largest deployment of the Django web framework, which is written entirely in Python. We began using Python early on because of its simplicity, but we’ve had to do many hacks over the years to keep it simple as we’ve scaled. Last year we tried dismissing the Python garbage collection (GC) mechanism (which reclaims memory by collecting and freeing unused data), and
Google Python スタイルガイド
概要¶ これは Google Python Style Guide Revision 2.29 を日本語に訳したものです。 本家ガイドは CC-By 3.0 ライセンス の基で公開されています。また、本ガイドも同ライセンスを継承します。 本家ガイドの著者は以下の通りです。 Amit Patel Antoine Picard Eugene Jhong Jeremy Hylton Matt Smart Mike Shields また、本ガイドの翻訳者は以下の通りです。 Kosei Kitahara 本ガイドに誤植、誤訳があった場合は issue で教えてください。 その他本ガイドに関する問い合わせは、サイト最下部に記載のメールアドレスか @Surgo にお願いします。 はじめに¶ Python は Google で使われている主要なスクリプト言語です。 このスタイルガイドは Python によ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Comparison of top data science libraries for Python, R and Scala [Infographic]
ねこあん on Twitter: "昔はC++のスピードへの絶対の信頼感があったが、2010年くらいにGPGPUというものを教えてもらい、OpenGLを駆使して自分でも色々変な計算をやってみたりしてるうちに「要はCUDA」になったし、今は適当なPythonのラッパーに全部任せるのが最善であることがわかった"
Charming Python: Functional programming in Python, Part 3