PythonデバッグTips - QiitaDeleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?
How could I use requests in asyncio?
I want to do parallel http request tasks in asyncio, but I find that python-requests would block the event loop of asyncio. I've found aiohttp but it couldn't provide the service of http request using a http proxy. So I want to know if there's a way to do asynchronous http requests with the help of asyncio.
Python 3.6 の（個人的に）注目の変更点 - methaneのブログ
Python 3.6b1 がリリースされましたね。（フライング） beta1 ということで、 3.6 に向けた新機能の追加は (provisional package を除いて) 終了です。ただし、仕様が確定したと言うわけではなくて、beta版に対するフィードバックを元に新機能を修正したり、最悪 revert して 3.7 に持ち越しにされる可能性もあります。 なお、 3.6b1 が出る前の1週間が core dev sprint があり、そこでめちゃくちゃ大量に大きめの変更が入りました。なので、常用環境には全くオススメできませんが、OSS開発者だったら .travis.yml に python: "nightly" を追加してリグレッションの発見に貢献したり（←これめっちゃ有り難いです）、それ以外の人も 3.6 を試してみて早めにフィードバックをしてもらえると、年末の 3.6 がより完成
scikit-optimize: Sequential model-based optimization in Python — scikit-optimize 0.7.3 documentation
SQLite Web - さくっと使えるWebベースのSQLite管理
MOONGIFTはオープンソース・ソフトウェアを紹介するブログです。2021年07月16日で更新停止しました SQLiteはプロトタイプ開発であったり、小さなWebサービスなどを開発するのに非常に役立ちます。単一ファイルで動きますがちゃんとSQLも使えますし、本格的な作りです。 そんなSQLiteを使った開発時に用意しておきたいのがSQLite Webです。Python製で簡単に使えるSQLite管理です。 SQLite Webの使い方 SQLite Webをインストールしたら、後は sqlite-web コマンドの引数としてSQLiteファイルのパスを渡すだけです。 こちらはトップページです。 構造やインデックスが確認できます。 内容も見られます。 さらに任意のクエリも実行できます。 新しいテーブルを作ることもできます。 SQLite Webは任意のパスにあるSQLiteを指定できるので
PyQ - 本気でプログラミングを学びたいあなたへ
必要なのはブラウザだけプログラミングを始める時に、最初につまづくのが環境構築です。 PyQでは環境構築なしで、ブラウザをひらけば10秒でプログラミングを始められます。 読む・書く・動かすサイクルで定着PyQのエディター画面では、実際にブラウザの後ろでPythonが動いています。これにより、教材を読む→コードを書く→実際に動かすという流れを画面内で完結できます。もちろん、自分で内容を変更して、動かして試してみることもできます。 あなたの興味に寄り添う、1500問以上から選べるコンテンツPyQでの学習は、数個の問題からなる「クエスト」という単位で進みます。 600クエスト・1500問以上存在するすべてのクエストは、好きな順に学び放題。 関連の深いクエストはパート・コースにまとめられており、 直感的に様々なクエストを組み合わせて、自分の興味のある分野を学べます。
[Python] assert文で超お手軽テスト - Qiita
assert文とは 条件式がTrueではない時に、例外を投げます。 これを仕込んでおくと、それまでちゃんと動いていたコードが、いじっているうちにいつの間にか想定と異なる振る舞いをするようになった時に、いち早く気づくことが出来ます。「とにかく想定と違ったら止める」というだけで良いなら、別途テストを書かなくていいので便利です。 機械学習やデータ分析 では、仕様が決まっておらず試行錯誤しなければいけない部分が多くあるし、アドホックな対応も結構あり、テストを書くことが必ずしもなじまない場合が多いと思います。このような領域では、特におすすめしたいです。 pytestなどのちゃんとしたテスト用途以外では、asset文はJupyter Notebookで使うのが一番効果的だと個人的には思います。関数のセルの下に、assert文でちょっとしたテストを書いておくと便利です。また、データを読み込んだ直後にデー
![[Python] assert文で超お手軽テスト - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/0dd8ca6f75cb62a506d9b38817c95327327bc36b/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCUHl0aG9uJTVEJTIwYXNzZXJ0JUU2JTk2JTg3JUUzJTgxJUE3JUU4JUI2JTg1JUUzJTgxJThBJUU2JTg5JThCJUU4JUJCJUJEJUUzJTgzJTg2JUUzJTgyJUI5JUUzJTgzJTg4JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmcz0xODY0NDlkMTRlMDBlMzcyMzc3YjU3YjQxZDVmYzkxZA%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBuYW5ub2tpJnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz01MTAxMDJjNzY5YzIzNTYyZDQxNGE1OTI4M2MzMjcxNA%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D78374578689604081088bdae0ddfd767)
PythonでCSVを高速＆省メモリに読みたい - tkm2261's blog
今日はPython (Pandas)で高速にCSVを読むことに挑戦したいと思います。 Kaggleに参加するたびに、イライラしていたので各実装の白黒はっきりさせようと思います。 R使いが羨ましいなぁと思う第一位がCSV読込が簡単に並列出来て速いことなので、 なんとかGILのあるPythonでも高速に読み込みたいと思います。 ただ、この検証ではコーディング量が多いものは検証しません。 CSV読込は頻出するので、フットワークの軽さが重要です。（オレオレライブラリ嫌い） Pickleは早いけど。。。 結論はDask使おう！ 検証環境 データ 速度検証 pandas.read_csv() pandas.read_csv() (dtype指定) pandas.read_csv() (gzip圧縮) numpy.genfromtxt() pandas.read_csv() (chunksize指定 +
IPython Documentation — IPython 9.5.0 documentation
Important This documentation covers IPython versions 6.0 and higher. Beginning with version 6.0, IPython stopped supporting compatibility with Python versions lower than 3.3 including all versions of Python 2.7. If you are looking for an IPython version compatible with Python 2.7, please use the IPython 5.x LTS release and refer to its documentation (LTS is the long term support release). IPython
SEO対策！自分のブログの内部リンクを自動で可視化する - プロクラシスト
こんにちは！ほけきよです。 今日は自動化第三弾！！ SEO対策ってしてますか？ ブログの検索流入をあげるために、Googleには媚を売っていかなければいけないじゃないですか～。 そんなわけで、前回は表示スピード向上にむけた画像圧縮のために、全画像をぶっこ抜いてくる方法を紹介しました。 www.procrasist.com 今日は、SEO対策で大事だと言われる。内部リンクのネットワーク化についてです。 内部リンクのネットワーク化 SEO ブログ とかで調べるとわんさか出て来るわけですよ。内部リンクの密度、数、アンカーテキスト*1などが大事って。 なので、記事をほったらかしにするわけじゃなくて、過去記事にもリンクをはりながら、蜘蛛の巣のような構造にしていかなければいけないってわけです。 めんどい というわけで、最適化しようと思うじゃないですか～。 めんどい、めんどうがすぎる。 まず、どの記事に
Pythonで機械学習：scikit-learnで学ぶ識別入門
このコースでは，機械学習における識別（分類・認識）の基礎をPythonを用いて学びます．このコースの目標は，機械学習でデータを識別するための一連の流れ（データの準備・前処理・識別器・評価など）を理解することです．Pythonの機械学習ライブラリscikit-learnとインタラクティブなプログラミング環境jupyter notebook (ipython notebook)を使って，実際にpythonコードを実行しながら学びます． レクチャーでは，notebook上で実行するpythonコードとその内容を説明します．pythonコードのnotebookはダウンロードできますので，レクチャーを見ながら・見た後で実際に実行することをおすすめします．自分なりに改変・修正すると，さらに理解が高まるでしょう． 機械学習を理解するためには数学が必要になるのですが，このレクチャーでは（ほとんど）数式を使
PythonでWebスクレイピングする時の知見をまとめておく - Stimulator
- はじめに - 最近はWebスクレイピングにお熱である。 趣味の機械学習のデータセット集めに利用したり、自身のカードの情報や各アカウントの支払い状況をスクレイピングしてスプレッドシートで管理したりしている。 最近この手の記事は多くあるものの「～してみた」から抜けた記事が見当たらないので、大規模に処理する場合も含めた大きめの記事として知見をまとめておく。 追記 2018/03/05： 大きな内容なのでここに追記します。 github.com phantomJSについての記載が記事内でありますが、phantomJSのメンテナが止めたニュースが記憶に新しいですが、上記issueにて正式にこれ以上バージョンアップされないとの通達。 記事内でも推奨していますがheadless Chrome等を使う方が良さそうです。 - アジェンダ - 主に以下のような話をします。 - はじめに - - アジェンダ
Python 3’s Killer Feature: asyncio – Paxos – Medium
Financial technology company delivering pioneering blockchain solutions for financial institutions. Follow us to read our latest blockchain thought leadership. Python 3’s Killer Feature: asyncioA massive debate in the python community about python2/3 has been raging for years. The main reason for python3 to diverge was to provide unambiguous types to handle unicode, strings and bytes (more here),
Using your laptop to compute PageRank for millions of webpages – Michael Nielsen
The PageRank algorithm is a great way of using collective intelligence to determine the importance of a webpage. There’s a big problem, though, which is that PageRank is difficult to apply to the web as a whole, simply because the web contains so many webpages. While just a few lines of code can be used to implement PageRank on collections of a few thousand webpages, it’s trickier to compute PageR
word2vecの学習済み日本語モデルを公開します | カメリオ開発者ブログ
こんにちわ。白ヤギコーポレーションでエンジニアをしている谷田です。 自然言語処理では、テキストに含まれる単語をベクトルとして表現するというタスクが頻繁に発生します。最近ではそのために、日本語テキストが来たらMeCabに渡してword2vecに投入する、というのが定番パターンのひとつかと思います。word2vecは単語を分散表現と呼ばれる低次のベクトルに変換するモデルですが、単語をベクトルに変換するためには事前に学習を走らせておく必要があります。word2vecモデルの学習にはよくWikipedia日本語版をコーパスとして使ったりするのですが、全記事で学習を走らせると結構時間がかかります。 そこで、白ヤギが作った日本語word2vecモデルを公開します! http://public.shiroyagi.s3.amazonaws.com/latest-ja-word2vec-gensim-mo
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Pythonの可視化ツールはHoloViewsが標準になるかもしれない - Qiita
Luigi vs Airflow vs Pinball
Top 50 ggplot2 Visualizations in Python - Part 1
NumPy User Guide — NumPy v1.12 Manual
Pythonのジェネレーターってなんのためにあるのかをなるべく分かりやすく説明しようと試みた - Qiita
