pathlibとかいう優秀すぎる標準ライブラリ(python) - 備忘録とか日常とか
自分は今までpythonでファイル操作を行うときはos.pathとかglobとかを使っていたが、pathlibという優秀なものがあると聞いて使ってみた。 python3.4以降なら使わない手はない。 以下優れている点 os, glob の組み合わせで行ってきた操作が大体pathlib一つでできるようになる メソッドチェーン的に記述でき、可読性が上がる open()などのファイル読み込み系の操作と親和性が高い windowsだとファイルパスにエスケープ二つ\\入れる必要があるが、/区切りで解釈してくれる 以下もうひとつな点 一部ライブラリではPathオブジェクトを受け付けず、str()でキャストする必要がある copyなど一部未対応のメソッドがある 公式ドキュメントはこちら 主な使用方法 import, インスタンス生成 基本はPath オブジェクトを生成して操作することになる。 インスタン
PyCon JP 2018: Webアプリケーションの仕組み - 清水川のScrapbox
Python 3.6.6 (v3.6.6:4cf1f54eb7, Jun 26 2018, 19:50:54)
頒布します！『ほぼPythonだけでサーバーレスアプリをつくろう』 #技術書典 ５ - ウラガミ・ライフ
来たる10月8日（祝）池袋サンシャインシティ2F展示ホールDにて開催される「技術書典５」にて、私たちThunder Clawは『ほぼPythonだけでサーバーレスアプリを作ろう』を頒布いたします。 本日サークルサイトもオープンし、いよいよ近づいてきたなーというところですね。 techbookfest.org 先日、もう一人のメンバーであるちぃといつさん(@7pairs)のブログでも紹介させていただきました。 技術書典5で『ほぼPythonだけでサーバーレスアプリをつくろう』を頒布します - ねことくまとへび 私たちの本の大きな特徴は2つ。 一つはタイトルどおり、ほぼPythonだけで作られているという点。 画面のコーディングやツールなどを一部を除いて、実装からテストに至るまで全てがPythonです。もともと可読性の高い特徴がある言語ですので、これからawsを触ろうとしている方にも踏み込みや
論文のためのMatplotlibを利用した図の作り方 - Qiita
最近では、材料工学などの分野でもビッグデータ解析や機械学習をする機会が増えてきています。その際、Pythonなどを利用する機会もあるかと思います。解析した結果を図として論文やパワポ、ポスターなどに載せたいとき、普段ならOriginやNgraphなどのグラフ作成ソフトを使用しますが、せっかくならPythonのMatplotlibで綺麗に描きたいという気持ちになるはずです。そんな気持ちで色々調べた結果をまとめました。 以下に示す例は、完全に'私の主観'で綺麗と言っているので、違うと思ったら変更してください。 ライブラリの読み込み まずは最低限必要なライブラリを読み込んでおきます。 import numpy as np import pandas as pd import matplotlib import matplotlib.pyplot as plt from sklearn.prepro
O'Reilly Japan - 問題解決のPythonプログラミング
MITで20年にわたり教鞭を執る著者が、1、2年生を対象としたプログラミングの授業で実際に使っている教材をもとに執筆したものです。「楽しみながらアルゴリズム的思考とプログラミングスキルを鍛える」という意図に基づき、著者が選んだ21の数学パズルを解くことを通じて、論理的な思考と柔軟な発想力を身に付けることができます。掲載されているコードはすべてダウンロード可能。また、章末の練習問題で習熟度を確認できます。「閃きの瞬間」が訪れたときの喜びを体感し、プログラミング本来の楽しみを知ることができる一冊です。 日本語版まえがき 謝辞 1章 帽子を全員で揃える 同じ考えの人のシーケンスを求める 文字列、リスト、タプル アルゴリズムからコードへ コードの最適化 リストの作成と変更 スコープ制御 アルゴリズムの最適化 1パスアルゴリズム 応用分野 練習問題 2章 パーティーに行くタイミング 時間をもう一度チ
python pandasの使い方メモ | おいしいブログ
統計だデータサイエンスだ機械学習だディープラーニングだと色々言われてもう結構経つわけですが、これまでそれなりに興味がありつつ都度調べたり本を読んだりしていました。ですがまぁ実際に仕事などで必要に迫られるわけでもなく、なんだかんだ目の前に積まれているやらなければいけない事に押し潰されてしまい、重要緊急の4象限でいう「重要だが緊急でない」ところに追いやられてしまっているうちに忘却の彼方に飛んでいくというやつを繰り返していました。この先、いきなり必要に迫られて慌てたり、表面的な事だけさらってやり過ごすなんてことにならないように、この「重要だが緊急でない」事にちゃんと時間を使わないといけないな〜ということで、今更ながらにこの手の事を残していこうかなと。大丈夫。まだ慌てるような時間じゃぁ〜ない。 ということで、データをこねるにしてもそのこねるツールが手に馴染んでいないとこねるにこねられないので、まず
Pythonの知っておくと良い細かい処理速度の違い8個 - kumilog.net
はじめに 標準入力 input と sys.stdin.readline ソート sort と sorted ソートの key ループ for と while リスト リストの初期化 二次元配列の場合 リストの値参照 リストへの値追加 それぞれの処理速度 まとめ はじめに 最近、PythonでAtCoderなどの競技プログラミングに挑戦しています。これまであまりに気にしなかったけど、ちょっとした書き方で処理速度が変わってくることに気づいたので、これを気に少し調べてみました。 目次にあるように、標準入力、ソート、ループ、リストについて、計8個の処理の速度比較を行いました。処理速度の計測方法は、Mac Book Pro*1を使い、timeitでそれぞれ100回計測*2し、平均と標準偏差を求めています。 結果だけ知りたい方は、まとめへどうぞ。 計測に用いたコードは以下にあります。 github.
Python Boot Camp in 沖縄 (2018/09/29 13:00〜)
イベント中止のお知らせ 台風24号が接近し、悪天候が予想されるため、 9/29 (土) に予定していた 「Python Boot Camp in 沖縄」は、中止とさせていただきます。 楽しみにされていた皆様には、ご迷惑をおかけいたしますが、ご了承下さい。 沖縄県初開催! Python Boot Camp 沖縄県にてPython Boot Campの開催が決定しました！ Python Boot CampをきっかけにPythonをはじめてみませんか？ Python Boot Campとは PyCon JPではこれまでも年に1回東京で開催されるPyCon JPイベントでPythonを学べるチュートリアル講座を開催してきました。 今回は、以下のような人たちにPythonを知ってもらえる機会を提供できたらという思いで、Python Boot Camp（略してPyCamp）を企画しました。 遠方に住ん
[作業効率化] Jupyterの拡張機能を全部調べてみた - Qiita
今までも、いくつか拡張機能は使っていたものの、大部分は使わずに過ごしていたため、食わず嫌いはいけないな・・と思いドキュメント読みながら使ってみてまとめます。 まえおき 拡張機能（nbextensions）自体や、過去の記事で触れたHinterlandやTable of Contents (2)などはそちらの記事（Jupyter 知っておくと少し便利なTIPS集）をご確認ください。 結構抄訳などしています。（浅く広く。詳細はドキュメントに任せるとして、こんな拡張機能あるのか、程度にご使用ください） nbextensionsを入れたときに最初から入っている拡張機能を対象とします。 全部といっても、nbextensionsの設定画面を表示するための拡張機能だったり、基本的にデフォルトで有効で、且つ変えることがほぼなさそうなものは割愛します。 環境は「Python 3.6.5 :: Anacond
![[作業効率化] Jupyterの拡張機能を全部調べてみた - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/7051e96f1fa538cee9c1c13ba575a4782ce132ba/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCJUU0JUJEJTlDJUU2JUE1JUFEJUU1JThBJUI5JUU3JThFJTg3JUU1JThDJTk2JTVEJTIwSnVweXRlciVFMyU4MSVBRSVFNiU4QiVBMSVFNSVCQyVCNSVFNiVBOSU5RiVFOCU4MyVCRCVFMyU4MiU5MiVFNSU4NSVBOCVFOSU4MyVBOCVFOCVBQSVCRiVFMyU4MSVCOSVFMyU4MSVBNiVFMyU4MSVCRiVFMyU4MSU5RiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnM9NTI5OTM5NDhiNWRjMTg0YmVkOGIxMzY2ZTVkYjE5Nzk%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBzaW1vbnJpdGNoaWUmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTAzNTFhOWFiMzVlNjQwNDIxNzY0MDEzZTMzZTZhNmZk%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D8ccfc5b5c5eac000afcf931f941d7e75)
Python製シェルxonshを半年使った所感や環境設定のまとめ - Stimulator
- はじめに - Pythonにおけるpython-prompt-toolkit(以下ptk)を使って作られたシェルである「xonsh」を同僚にオススメされて、大体半年くらい使ったので設定とかxontribとか所感を晒していく。 前半でxonshのメリット、デメリットの概要を記載し、後半に自身が利用する設定やxontribについて記載する。 この記事は、xonsh導入に至る人もしくは、環境設定について広く知りxonshを扱える人を増やす事が目的である。 追記：2018/07/18 xonsh 0.7.0が出ていますが、現在prompt-toolkit2.0の各機能対応中という感じです。 これは、ptk1.x -> 2.xにおいて結構な破壊的変更があるためです。 現状はpip install xonshする時に pip install prompt_toolkit==1.0.15 pip i
自然言語処理における前処理の種類とその威力 - Qiita
自然言語処理に前処理は不可欠です。テキストは文字の羅列であり構造化されていないため、そのままでは処理するのが難しいです。特にWebテキストの中には HTMLタグ や JavaScript のコードといったノイズが含まれています。このようなノイズは前処理して取り除かなければ期待する結果は得られないでしょう。 出典: Deep learning for computational biology 本記事では自然言語処理における前処理の種類とその威力について説明します。説明順序としては、はじめに前処理の種類を説明します。各前処理については、1.どんな処理なのか、2.なぜその処理をするのか、3.実装方法(なるべく) という観点から説明します。種類について説明した後、前処理の威力を測るために前処理をした場合としなかった場合での文書分類の結果を比較します。 前処理の種類と実装 この節では以下に示す5つ
Python3×日本語：自然言語処理の前処理まとめ - Qiita
初めに 方針 ・pandasは、CSVや、Mysql、SQLiteなど様々なデータベースから、取り扱いやすい自身のDataFrameに変換することができる。 ・pandasのDataFrameはscikit-learnとの連携も容易である。 ・自然言語処理を日本語で行う場合、適切に前処理を行わなければ、良い結果をだすことはできない。 今回は自然言語処理における前処理の種類とその威力を参考にさせていただき、 具体的にpandasのDataFrameの形で存在する日本語データの前処理について考えていきます。 ※引用文は記載が無い場合、上記の記事からのものです。 準備と想定 sqlite3からpandasのデータフレームへ変換しています。 import pandas as pd import sqlite3 con = sqlite3.connect("db/development.sqlite
「Pythonプロフェッショナルプログラミング 第3版」は、10年の取り組みの集大成 - ビープラウド社長のブログ
2018年6月12日にビープラウドのメンバーで執筆した「Pythonプロフェッショナルプログラミング 第3版」が出版されます。 Pythonプロフェッショナルプログラミング第3版 作者:株式会社ビープラウド出版社/メーカー: 秀和システム発売日: 2018/06/13メディア: Kindle版 第1版が2012年3月26日、第2版が2015年2月27日、第3版が2018年6月12日の発売で、約3年おきに版を重ねてきました。 最新技術に合わせてバージョンアップ IT技術は日々バージョンアップされ、数年もすれば技術の構成やベストプラクティスも変わってきます。 技術の進歩に合わせて、書籍も第3版としてバージョンアップしました。 主な改訂内容は以下のとおりです。 Python2.7.6→Python3.6.4 Ubuntu14.04 LTS→Ubuntu16.04 LTS Webアプリケーション(
かっこいいグラフを作るPythonモジュールPyCoolPlotを作った - MyEnigma
外資系コンサルが実践する 資料作成の基本 パワーポイント、ワード、エクセルを使い分けて「伝える」→「動かす」王道70posted with カエレバ吉澤 準特 日本能率協会マネジメントセンター 2014-08-20 Amazonで最安値を探す楽天市場で最安値を探すYahooショッピングで最安値を探す 目次 目次 はじめに PyCoolPlot 必要なもの ダウンロードの仕方 使い方 Horizontal bar plot Line graph Time bar chart 参考資料 MyEnigma Supporters はじめに いつもグラフを書く時にデザインに迷うのですが、 下記の記事を見て、すぐにmaplotlibで実装したくなりました。 note.mu しかし、 もたもたしているうちに先を越されてしまったのですが、 「データ視覚化のデザイン #1」をmatplotlibで実装する
Kaggleで使えるpandasテクニック集 - 天色グラフィティ
PythonでKaggleなどのデータ分析を行う際、pandasでゴリゴリ作業をすることが多いかと思います。 最近知って「めっちゃ便利やん！」ってなったものをまとめておきたいと思います。 全部の関数にドキュメントへのリンクを付けたので参考にしてください。 今回も検証にはTitanicのデータセットを用います。また、文中でのdf.hoge()はpandasのDataFrameのメソッドであることを、pd.hoge()はpandasの関数であることを表します。 df = read_csv('input/train.csv', index_col=0) print(df.shape) df.head() 最低限押さえておきたいやつら まずはここから。 10 Minutes to pandas よく使うやつら。詳しい解説は省略するので、ドキュメントのリンク先を見てください。 関数 内容 リンク d
自然言語処理の前処理・素性いろいろ - Debug me
ちゃお・・・† 舞い降り・・・† 先日、前処理大全という本を読んで自分なりに何か書きたいなと思ったので、今回は自然言語処理の前処理とそのついでに素性の作り方をPythonコードとともに列挙したいと思います。必ずしも全部やる必要はないので目的に合わせて適宜使ってください。 前処理大全[データ分析のためのSQL/R/Python実践テクニック] 作者:本橋 智光技術評論社Amazon 前処理 余分な改行やスペースなどを除去 with open(path) as fd: for line in fd: line = line.rstrip() アルファベットの小文字化 text = text.lower() 正規化 (半角/全角変換などなど) import neologdn neologdn.normalize('ﾊﾝｶｸｶﾅ') # => 'ハンカクカナ' neologdn.normalize
Python Data Science Handbook | Python Data Science Handbook
This website contains the full text of the Python Data Science Handbook by Jake VanderPlas; the content is available on GitHub in the form of Jupyter notebooks. The text is released under the CC-BY-NC-ND license, and code is released under the MIT license. If you find this content useful, please consider supporting the work by buying the book!
Pythonで競プロやるときによく書くコードをまとめてみた - Qiita
はじめに 最近，よくPythonを使って競技プログラミングに参加しています．そこで競プロの問題を解くときに書くことの多い単純な処理について，Python3のコードを基本的なところからまとめてみます．文字列操作やデータ操作に慣れると，本質的なアルゴリズムに専念できてより楽しくなると思います．競プロやってみたいなと思っている人の参考になればうれしいです．（もちろん競プロ以外でも参考になると思います） まずは基本 まずは基本的な入出力からです．ここで躓くと面白くないのでしっかりと押さえておきたいところです． 基本的な入出力 最近自分がはじめたAtCoderや2018年のGoogle Code Jamは入力データを標準入力で受け取り，回答を標準出力に出して結果を判定してもらいます．Pythonでは入力はstdin.readline()，出力はprint()を使うとうまくいきます． 入力データの末尾
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Tableau Community Forums
Pythonで分かりやすいグラフを簡単に描く方法の紹介｜からあげ(karaage0703)
