相関係数は外れ値の影響をうけやすい？Pythonで確認してみた。 | NHN テコラス Tech Blog | AWS、Google Cloudなどのインフラ技術ブログ
こんにちは。データサイエンスチーム tmtkです。 この記事では、外れ値が相関係数に与える影響を観察します。 以前の記事で簡単に説明したように、相関係数（ピアソンの積率相関係数）は2つの変数の間にある線形関係の強弱を測る指標です。 諸説ありますが、相関係数の絶対値がおおむね0.7以上あれば強い相関があると判断されることが多いようです。 相関係数と外れ値 相関係数は外れ値の影響を強く受けます。これを確認します。 まず、Pythonで無相関のデータを作り出します。IPythonを起動し、数値計算ライブラリnumpyによって乱数を発生させます。 import numpy as np # numpyのimport np.set_printoptions(suppress=True) # 指数表示を禁止 np.random.rand(0) # 乱数のseedを固定 x = np.random.ran
超高速…だけじゃない！Pandasに代えてPolarsを使いたい理由 - Qiita
PolarsというPandasを100倍くらい高性能にしたライブラリがとても良いので布教します1。PolarsはRustベースのDataFrameライブラリですが、本記事ではPythonでのそれについて語ります。 ちなみにpolarsは白熊の意です。そりゃあまあ、白熊と大熊猫比べたら白熊のほうが速いし強いよねってことです2。 何がいいの？ 推しポイントは３つあります 高速！ お手軽！ 書きやすい！ 1. 高速 画像はTPCHのBenchmark（紫がPolars）3。 日本語でも色々記事があるので割愛しますが、RustやApach Arrowなどにお世話になっており、非常に速いです。MemoryErrorに悩まされる問題も解決されます。開発者のRitchieがしゃれおつなツイートをしてるので、そちらも参考にどうぞ ↓ 4。 抄訳： （ひとつ目）Pandasは黄色くした部分でDataFram
2022年度版Python環境構築徹底解説 - Qiita
各機能とツールについて、説明していきます。 エディタ Visual Studio Code エディタやIDE(統合開発環境)は好きに選んでいただければ良いとは思いますが、特に希望がないならば、Visual Studio Codeを選んでおけば間違いないでしょう。 Pythonを含む幅広い言語に対応し、豊富な拡張機能を備えている非常にリッチなエディタです。とりわけPythonプロジェクトについては、これさえ有れば、特にIDEなどは必要ないと思います。 インストールは↓から。 バージョン管理ソフト Python3系は日夜アップデートされていて、2022年12月現在の最新verは、3.11.1が提供されています。 とはいえ、プロジェクトによっては、3.7.1までしか動作が担保されていないもの、3.9.0で現在開発中のもの...などがあります。最新のPythonが常に必要、というわけでは決してなく
日本のウェブデザインの特異な事例
sabrinas.spaceより。 8週間もかからなかったはずのプロジェクト 日本のウェブデザインはどう違うのか? 2013年のRandomwireのブログ投稿で、著者(David)は、日本のデザインの興味深い相違点を強調しました。日本人はミニマリストのライフスタイルで海外に知られていますが、ウェブサイトは奇妙なほどマキシマリストです。ページには様々な明るい色(3色デザイン原則を破っている)、小さな画像、そして多くのテキストが使われています。2022年11月に撮影されたこれらのスクリーンショットで、自分の目で確かめて下さい。 ブログ投稿には、文化的専門家、デザイナー仲間、そして不満を抱く市民によって支持されている、考えられる理由がいくつか挙げられていました。 この理論が今でも正しいのか、また、もっと定量的なアプローチが可能なのか気になったのでやってみました。 私が見つけたもの 各国の最も人
numbaでざっくりPython高速化 - Qiita
numbaというライブラリを使うと、Pythonのコードを比較的簡単に高速化できます。 うまくいけば、from numba import jitを書いて、高速化したい関数の前の行に@jitを書くだけで高速化できます。 仕組みとしては、numbaはPythonの仮想マシンコードを取得し、LLVM IRにコンパイルし、LLVMを使ってネイティブコードにするようです。 初回実行時は、コンパイル処理が走るので、若干遅くなりますが、重い処理だと、コンパイル時間を考えてもnumbaの方が速いこともあります。 利点と欠点 先に述べておきます。 利点 場合によっては、コード自体は改造せずに手軽に高速化できる コードの改造があったとしても、軽微な改造で済むことも多い 別ファイルに分けてビルドする、みたいな手間なことが必要なく、手軽に.pyファイルの中で使える 欠点 すべてのPython機能がサポートされてい
Python 3.10の新機能(その10） Dataclassでslotsが利用可能に - python.jp
dataclass は、Pythonで主にデータを格納するためのクラスで、C言語などでは構造体に相当するようなデータ構造を、かんたんに定義できるようになっています。 たとえば、次の Person は、名前と年齢を格納するdataclassです。 from dataclasses import dataclass @dataclass class Person: name: str age: int person1 = Person(name="パーソン太郎", age=20) person2 = Person(name="パーソン次郎", age=30) Python 3.10では、dataclass に slots 引数が追加され、スロット を使ったクラスを定義できるようになりました(bpo-42269)。 スロットとは？¶通常、クラスのインスタンスは、メンバー変数の名前と値を __di
Diagram as Code
Diagram as Code6 different ways to turn code into beautiful architecture diagrams
notify.run
You may have noticed frequent outages over the last two weeks. There was an uptick in usage which stressed the small but mighty infrastructure that powers notify.run. To keep pace with usage, I've overhauled the server: I completely rewrote the server in Rust. I moved it from a single self-managed server to Google Cloud Run, which autoscales. It now uses Firestore rather than DynamoDB, which had b
GitHub - astral-sh/ruff: An extremely fast Python linter and code formatter, written in Rust.
Docs | Playground An extremely fast Python linter and code formatter, written in Rust. Linting the CPython codebase from scratch. ⚡️ 10-100x faster than existing linters (like Flake8) and formatters (like Black) 🐍 Installable via pip 🛠️ pyproject.toml support 🤝 Python 3.13 compatibility ⚖️ Drop-in parity with Flake8, isort, and Black 📦 Built-in caching, to avoid re-analyzing unchanged files 🔧
GitHub - lark-parser/lark: Lark is a parsing toolkit for Python, built with a focus on ergonomics, performance and modularity.
Lark is a parsing toolkit for Python, built with a focus on ergonomics, performance and modularity. Lark can parse all context-free languages. To put it simply, it means that it is capable of parsing almost any programming language out there, and to some degree most natural languages too. Who is it for? Beginners: Lark is very friendly for experimentation. It can parse any grammar you throw at it,
Choose the Right Python Concurrency API - Super Fast Python
How to Choose the Right Python Concurrency API Python standard library offers 3 concurrency APIs. How do you know which API to use in your project? In this tutorial, you will discover a helpful step-by-step procedure and helpful questions to guide you to the most appropriate concurrency API. After reading this guide, you will also know how to choose the right Python concurrency API for current and
Python in Visual Studio Code – August 2022 Release - Microsoft for Python Developers Blog
We’re excited to announce that the August 2022 release of the Python and Jupyter extensions for Visual Studio Code are now available! This release includes the following improvements: Automatic debug configurations for web apps Improvements to the Getting Started Experience Setting to configure the display of the interpreter information on the status bar A new Python Tools extension template Remov
Windows での Python の使用に関する FAQ
インストールが失敗する理由は多数あります。多くの場合、パッケージ開発者に連絡することが適切な解決策です。 問題のよくある原因は、変更のアクセス許可がない場所にインストールしようとしていることです。 たとえば、既定のインストール場所に管理者特権が要求される場合がありますが、既定では Python にその特権がありません。 最適な解決策は、仮想環境を作成してそこにインストールすることです。 一部のパッケージには、インストールするために C または C++ コンパイラが必要なネイティブ コードが含まれています。 一般的には、パッケージ開発者はプリコンパイル済みのバージョンを公開するべきですが、そのようにしない場合も多々あります。 これらのパッケージの一部については、Visual Studio 用のビルド ツールをインストールして C++ オプションを選択するとうまくいく場合がありますが、ほとんど
VSCodeでPython書いてる人はとりあえずこれやっとけ〜 - Qiita
はじめに Pythonはコードが汚くなりがち（個人的にそう思う） そんなPythonくんを快適に書くための設定を紹介します。 拡張機能編 ここでは Pythonを書きやすくするため の拡張機能を紹介していきます。 1. Error Lens before 「コード書いたけど、なんか波線出てるよ💦」 記述に問題があった場合、デフォルトでは波線が表示されるだけ。。。 after Error Lensくんを入れることによって 波線だけでなくエディタに直接表示される。 はい、有能〜 2. indent-rainbow before Pythonくんは インデントでスコープを認識している。 for の f から下に線が伸びてるけど、ちょっと見にくいなぁ after 色が付いてちょっと見やすくなった！ 3. Trailing Space before 一見、普通に見えるコード after 末尾にある
4 Pandas Anti-Patterns to Avoid and How to Fix Them
pandas is a powerful data analysis library with a rich API that offers multiple ways to perform any given data manipulation task. Some of these approaches are better than others, and pandas users often learn suboptimal coding practices that become their default workflows. This post highlights four common pandas anti-patterns and outlines a complementary set of techniques that you should use instea
pandas.DataFrame のforループをゆるふわ△改良して300倍高速化する - くないらぼ
主張：高速化は最後のおたのしみにしましょう。 無駄にいじいじして高速化させて満足し、結局その後はほとんど使わなかったなあ、、、が私の日常です。 えらい人も言っていますが、高速化なんてホント最後でいいんです・・・。 今まで何十回後悔したことか。。。（これからもまたやりますが。） pythonであれば numba,cython,swig など、コンパイルしちゃう系の力（パワー）を借りることで、 全く同じアルゴリズムでもざっくり100倍単位で簡単に高速化できます。 しかし、このやり方ではpythonのインタープリターなゆるふわ△言語の良さを（該当コード部分において）捨ててしまいます。結局C/C++に魂を売っているだけです。 私は魂を売ることそれ自体が好きなので良いですが、この行為はpythonの持つ別の面での高速性、つまり "生産性の高さ" を犠牲にしています。 コードの実行スピードが速くなって
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
kenkenさんはTwitterを使っています: 「完全初心者の状態で、Pythonの独学を始めて約2年🤔 約60冊の書籍を写経・消化してきたので、結構、実力がついたのかな🤔 2年間の棚卸として、僕が、写経・独学してきた書籍とKaggleの取り組みを紹介したいと思います☺️ 全て真剣に取り組んできたので、気になる書籍があれば、気軽に質問ください☺️ https://t.co/QL57lAy2pH」 / Twitter
GitHub - google/latexify_py: A library to generate LaTeX expression from Python code.
Datetimes and timedeltas — Getting started with Dfs files in Python using MIKE IO
WindowsのPythonでデスクトップ通知(トースト)作ってみた【WinRT】 - Qiita
