pandasで1000万件のデータの前処理を高速にするTips集 - Qiita
はじめに 当社にアルバイトに来ていた人（来春に新卒入社の予定）に「pandasを高速化するための情報は無いですか？」と尋ねられました。 このパッケージの使い方は多数の書籍やWebで体系立った記事で書かれています。 しかし、高速化に関しては体系的な情報源が思いつかなかったので、「実際に書いてみて、1つ1つチューニングするしかないです」としか答えられませんでした。 そこで、この方を始め、来春（2019年4月）にデータアナリストまたはデータサイエンティストになる新卒へ向けて、pandasの高速化に関する私の経験をTips集にしてお伝えしたいと思います。 この記事は今後も内容を充実させるために、Tipsを追加していきます。 この記事を読んだ後にできるようになること pandasでレコード数1000万件のデータでも1分以内で完了する前処理が書けるようになります。 その結果、1日中実行し続けなければな
Jupyterで広がるPythonの可能性 - Jupyter Notebook Viewer
%%HTML <link rel="stylesheet" type="text/css" href="./static/css/custom.css"> <link rel="stylesheet" type="text/css" href="./static/css/highlight.css"> %matplotlib inline %load_ext tsumiki import datetime import this import time from io import StringIO import matplotlib.pyplot as plt import numpy as np import pandas as pd from IPython import display from ipywidgets import FloatSlider, IntSlider, i
Pythonの処理が遅いときにプロファイラを使って原因を調べる方法 - paiza times
Photo by William Warby 秋山です。Pythonエンジニアです。 Pythonは動作がすっごく速い言語というわけではないので、大きめのデータを処理したりしようとすると「なんか遅いよな」と感じることがあると思います。 Pythonの処理を「もうちょっと速くしたい…」というときは、どうすればいいと思いますか？ 処理を単純化したり、for文をリスト内包表記にしたり、アルゴリズムを変えたり、単純にPCをスペックを高いものに変えるとか……まぁいろいろ対処法はあるわけですが、そもそも処理が遅いなら、「どこがどう遅いのか」を特定したほうがいいですよね。プログラミングをしていると、意外な処理に結構な時間がかかっていることに全然気付いてなかった…ということもありますから。 というわけで今回は、Pythonで処理が遅い部分を特定する方法についてやっていきたいと思います。 ■Pythonプロ
TensorFlowのseq2seqでチャットボットが作りたい - Qiita
パソコンを新調したので、この機会にQiitaデビューしました。 手始めに以前から作りたいと思っていたニューラルチャットボット(の基本の基本)を実装したので、アウトプットの練習に綴っていこうと思います。 TensorFlowによるseq2seq modelのチュートリアルを基に実装してあります。 実装手順についてはほぼこちら（TensorFlowのSeq2Seqモデルでチャットボットっぽいものを作ってみた）を参考にさせていただきました。感謝です!! 近日中にGithubにソースコードを公開できればと思っています。 Githubに公開しました。(こちら) この記事の続き TensorFlowのseq2seqでチャットボットが作りたい (Slack Bot化編) 今回やったこと TensorFlowのチュートリアルにあるseq2seqモデルを利用して日本語雑談コーパスを学習 学習したモデルと雑談
自然言語処理の前処理・素性いろいろ - Debug me
ちゃお・・・† 舞い降り・・・† 先日、前処理大全という本を読んで自分なりに何か書きたいなと思ったので、今回は自然言語処理の前処理とそのついでに素性の作り方をPythonコードとともに列挙したいと思います。必ずしも全部やる必要はないので目的に合わせて適宜使ってください。 前処理大全[データ分析のためのSQL/R/Python実践テクニック] 作者:本橋 智光技術評論社Amazon 前処理 余分な改行やスペースなどを除去 with open(path) as fd: for line in fd: line = line.rstrip() アルファベットの小文字化 text = text.lower() 正規化 (半角/全角変換などなど) import neologdn neologdn.normalize('ﾊﾝｶｸｶﾅ') # => 'ハンカクカナ' neologdn.normalize
Pythonで競プロやるときによく書くコードをまとめてみた - Qiita
はじめに 最近，よくPythonを使って競技プログラミングに参加しています．そこで競プロの問題を解くときに書くことの多い単純な処理について，Python3のコードを基本的なところからまとめてみます．文字列操作やデータ操作に慣れると，本質的なアルゴリズムに専念できてより楽しくなると思います．競プロやってみたいなと思っている人の参考になればうれしいです．（もちろん競プロ以外でも参考になると思います） まずは基本 まずは基本的な入出力からです．ここで躓くと面白くないのでしっかりと押さえておきたいところです． 基本的な入出力 最近自分がはじめたAtCoderや2018年のGoogle Code Jamは入力データを標準入力で受け取り，回答を標準出力に出して結果を判定してもらいます．Pythonでは入力はstdin.readline()，出力はprint()を使うとうまくいきます． 入力データの末尾
ライトニングpytorch入門 - Qiita
pytorch自分で学ぼうとしたけど色々躓いたのでまとめました。具体的にはpytorch tutorialの一部をGW中に翻訳・若干改良しました。この通りになめて行けば短時間で基本的なことはできるようになると思います。躓いた人、自分で書きながら勉強したい人向けに各章末にまとめのコードのリンクがあるのでよしなにご活用ください。 pytorchの特徴 chainerに近い構文構造 defined by run： コードを走らせた際に順伝播に合わせて逆伝播のグラフが作成される 比較的自由に書いても怒られない(主観) 動的に構造が変化するネットワークを書きやすい バッチ処理前提(DataLoaderの概念) 実行速度が早い (cf deepPoseのpytorch実装) importモジュール群 import torch #基本モジュール from torch.autograd import Va
Natural Language Processing with Python – Analyzing Text with the Natural Language Toolkit
Natural Language Processing with Python – Analyzing Text with the Natural Language Toolkit Steven Bird, Ewan Klein, and Edward Loper This version of the NLTK book is updated for Python 3 and NLTK 3. The first edition of the book, published by O'Reilly, is available at http://nltk.org/book_1ed/. (There are currently no plans for a second edition of the book.) 0. Preface 1. Language Processing and P
Kivy: Cross-platform Python Framework for NUI
Kivy has been built to be easy to use, cross-platform and fast. With a single codebase, you will be able to deploy apps on Windows, Linux, macOS, iOS and Android. Business Friendly Kivy is released under the MIT License, is 100% free to use, and is professionally developed, backed and maintained. Companies and individuals are using Kivy for their projects every day.
PyPIデビュー — Python Hack-a-thon 4: ハンズオン v1.0 documentation
PyPIデビュー¶ PyPIの目的¶ PyPI (http://pypi.python.org/pypi) はだれでもPythonパッケージを 登録したりダウンロードしたりできるPython版CPANと言えるものです。 easy_install が登場してから一気に使い勝手がよくなり知名度が あがりました。 PyPIへの登録¶ 先ほど作成したfooのseutp.pyを使って登録してみましょう: ここで初めて行う人はユーザーアカウントを聞かれると思います。 ちなみに、 foo というアプリケーションは既に登録されているため、 (http://pypi.python.org/pypi/foo) このまま進めても登録は失敗するので、 そのまま進めちゃってください。 アカウント登録は以下のように進みます: $ python setup.py register running register ..
Tokyo.SciPyに参加しました - nokunoの日記
Numpy/Scipyの勉強会であるTokyo.SciPyに参加しました．場所は渋谷マークシティのIBMイノベーションセンターです．Tokyo.SciPy #1 - [PARTAKE]Numpy/Scipyという実装の勉強会でありながら，本職の研究者の方も多く来ていて理論的な背景のしっかりした発表が多く，勉強になりました．昨日のPyConでも会った人や，TokyoRのほうに出ていた方もいて面白かったです．また運営がしっかりしていて見習いたいところ． NumPy/SciPy体験セッション by @lucidfrontier45資料・コード：lucidfrontier45/TokyoScipy - GitHub NumPy, SciPyの機能紹介 Pythonで数値計算 数値計算 = ループ ループ内部はCで実装してアルゴリズムはPythonで Numpy: Cで実装されたndarrayクラス
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
機械学習ライブラリ scikit-learnの便利機能の紹介 - Qiita
python/stakk/trie.py at master from nokuno's nokuno - GitHub