Pythonを書き始める前に見るべきTips - Qiita
Pythonを使ってこの方さまざまな点につまずいたが、ここではそんなトラップを回避して快適なPython Lifeを送っていただくべく、書き始める前に知っておけばよかったというTipsをまとめておく。 Python2系と3系について Pythonには2系と3系があり、3系では後方互換性に影響のある変更が入れられている。つまり、Python3のコードはPython2では動かないことがある(逆もしかり)。 Python3ではPython2における様々な点が改善されており、今から使うなら最新版のPython3で行うのが基本だ(下記でも、Python3で改善されるものは明記するようにした)。何より、Python2は2020年1月1日をもってサポートが終了した。よって今からPython2を使う理由はない。未だにPython2を使う者は、小学生にもディスられる。 しかし、世の中にはまだPython3に
データサイエンティストを目指して半年で学んだことまとめ - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 本記事では、データサイエンティストを目指して勉強した半年間で学んだこと、気付いたことをまとめます。これからデータサイエンティストを目指して勉強する人の参考になればと思います。 最初の一手 個人的にではありますが、最初はアプローチの理解から始めると思いますが、数式とプログラミングの両方を勉強する方が良いと思います。**数式→プログラミング or プログラミング→数式の順序はどちらでも良いと思いますが、プログラミング（フレームワーク）のみ**はやめた方が良いと思います。出力結果の解釈で苦労することになるので、理論、数式はしっかり理
pythonで小さなツールを作る時のtips - Qiita
自分で小さいツールを作る時に心に留めているtipsです． 書き始めたときは「どうせ書捨てだし」と思って書き始めると意外と長い間，もしくはいろんなところで使うことになったりするので，気をつけておくと後から楽になるというような小技です．大規模なソフトウェアの開発ではまた違った流儀があると思います． メインルーチンを関数にする 関数名はなんでもいいのですが，自分は趣味で main() という名前の関数を用意し，メインルーチンは全てそこに書くようにしています． pythonの小さなサンプルコードを見たりすると関数外の部分にベタで実行コードが書かれていたりします．もちろんそれでも動くのですが，以下の2点で後々面倒になることがあります． グローバル変数だらけになり管理が追いつかなくなる：「どうせ小さなスクリプトだし」ではじめると最初は見通しが良くてもだんだんどこでどの変数名を使っているか分からなくなっ
Python の依存パッケージ管理/環境切り分けツール pipenv の紹介 - 私が歌川です
この記事は 2017/9 に書かれたものであり、2019/11/26 現在とは状況が変わっています。公式ドキュメント(日本語訳)を参照してください。 時代は pipenv や— うたがわきき🔰💊 (@utgwkk) September 5, 2017 もう誰も，requirements.txt や，source ENV/bin/activate に頭を悩まされる時代は終わった！ というわけで virtualenv の時代は終わり*1，pipenv の時代になりました． この記事は Python を書く人間が全員 pipenv を使うべきだという思いを込めて書きました．日本語で書かれた記事がまだぜんぜんないという事情もあります． pipenv とは Python のパッケージ管理ツールの pip と，環境切り分けツールの virtualenv を融合させたツールです．Ruby でいうとこ
RasPiとディープラーニングで我が家のトイレ問題を解決する - Qiita
おしっこセンサーできました ウチの小学生の息子が家のトイレでたびたびおしっこをこぼしてしまう。俺がくどくど注意してもあんまり効果ない。そこで、代わりにAIに怒ってもらうことにした。こんな感じである。 おしっこセンサーのデモ（[動画](https://www.youtube.com/watch?v=ktSukhHdogM)）。水を数滴床にたらすとブザーが鳴り、床を拭くと止まる。 ディープラーニングの画像認識を使い、床の上に落ちた水滴をカメラで検出してブザーが鳴る仕組みだ。夏休みの自由工作に過ぎないので精度は期待していなかったけど、意外にきちんと動いてくれて、カメラに映る範囲に水滴を数滴たらすとピッピと鳴り、床を拭くとブザーも止まる。「お父さんだってAIくらい作れるぞ」と息子に自慢したいがための工作なのだ。 でも、これ作るのはそんなに難しくなくて、休み中の3日くらいで完成した。かかったお金は、
機械学習を勉強するときはDockerを使うと便利 - あさのひとりごと
いまお仕事の関係で、機械学習の教科書的な書籍を読んだりオンライン講座を受講したりしながらサンプルやチュートリアルを動かして勉強しています。 機械学習を勉強するときは、Pythonの環境を構築し、JupyterNotebookを使って、実際に手と頭を動かしながら行うのが効率的です。が、アルゴリズムの理論そのものの理解がすでにしんどい上、過学習対策のための正則化、汎化性能の評価、クロスバリデーション、不均衡データや少ないデータはどうすればいいか、などなどいちいち難しいことを数多く勉強しなければなりません。 その上、、、、機械学習での学習は、1度やれば終わり！ではなく、パラメータチューニングしたり、データを増やしたり加工したりしながら、繰り返しなんども行う必要があります。一見ビジネス寄り＆アカデミックな雰囲気を醸し出していますが、実際のところは、非常に泥臭い作業のオンパレードです。 が、、、、、
少ない画像から画像分類を学習させる方法（kerasで転移学習：fine tuning）
※サンプル・コード掲載 あらすじ「フルーツの画像を判別するモデルを作ってくれませんか？」 と言われた時に、どのようにモデルを作りますか？ ディープラーニングで画像分類を行う場合、通常畳み込みニューラルネットワークという学習手法を使いますが、画像の枚数によっては数週間程度がかかってしまいます。 また、学習に使用する画像の枚数も大量に用意しないといけません。 では、短時間・少ない画像から画像を分類するモデルを作るにはどうすればよいでしょうか。 その解決策として、画像分類でよく使われているfine tuningという手法をご紹介します。 今回はkeras2.0を使ってサンプルコードを書いて行きます。 *keras = Pythonで書かれたニューラルネットワークライブラリ。裏側でtheanoやtensorflowが使用可能。 fine tuning（転移学習）とは？既に学習済みのモデルを転用して
pythonによる画像処理入門 - webエンジニアの日常
はじめに 今回はpythonによる画像処理のお話です。 普段仕事ではRubyメインなのですが、最近趣味でpythonを勉強しはじめ、画像を加工するのが意外と簡単だと分かったので、簡単な画像処理について書いてみました。 pythonについてはまだまだ勉強中なので、python的にはこうは書かない、これだと処理が遅い、コードが汚いなどなどありましたら、コメントで教えていただけると幸いです。 また、以下のコードではpythonのライブラリ、numpy, pillowを使用しています。 著者の環境ではwindows10上でAnaconda3を使用しているため別途インストールは不要でしたが、実行する際は必要に応じてインストールをお願いします。 画像処理の概要 画像の加工は単純に各ピクセルの色を画像の端から端まで順番に変更することで実現しています。 そこで、まずは画像ファイルを読み込み、操作しやすいよ
心臓が止まったらSNSに「死にました」と投稿する - Qiita
概要 fitbit(alta HR)で心拍数をモニタリングして、心拍数が0になったらSNSに「死にました」と投稿するスクリプトを書きました。 リポジトリ 僕はほぼ24時間fitbitを付けっぱなしにしているので、fitbitごと壊れる死に方でない限り大体カバーできるはずです。 fitbit alta HRとは リストバンド型ウェアラブル端末の1つで、常時心拍数などを測れます Pure Pulseという技術で従来のデバイスより正確に測れるらしいです APIが充実しています Fitbit APIで心拍数を監視する Fitbitアプリを登録する こちらから登録できます 心拍数データを取るためには「OAuth 2.0 Application Type」を「Personal」にする必要があります 心拍数を取得する python-fitbitを使わせてもらいました。使い方は他に多くの解説記事があるので
Pythonのライブラリとかをちょっと試したい時にtryってツールが便利 - Blank File
GitHubの Trending を眺めていたりすると時たま気になるpython製のツールやライブラリがあって試したくなったりします。 でもよく知らないし試したらすぐ消すようなものを普段の環境に入れるのも抵抗があって、その都度仮想環境を作ったりしていました。 try はそんな時に手軽に仮想環境を作って使い終わったらさくっと廃棄してくれる便利ツールです。 インストール tryで作る環境は2.7などでもいいようですが、try自体はPython3.4以上の対応のようです。 python3 -m pip install trypackage これ（またはpip3など）でインストールでき、コマンドラインからtryコマンドが使えるようになります。 使い方 try [試したいライブラリ名] [[ライブラリ2] [ライブラリ3] ...] これで新しい仮想環境が作られてライブラリがインストール＆impor
builderscon tokyo 2017 で横山三国志の「うむ」の数を伝えに行ったハナシ | Heruheru3
2017/8/3〜8/5 に開催の builderscon tokyo 2017 に行ってきました。 ついでに色々あってスピーカーとして登壇してきました。 詳細はこちら。 横山三国志に「うむ」は何コマある？〜マンガ全文検索システムの構築 ウムの数を数えるに至るまで そもそもこの話がどこから始まったかというと、十数年前に 二次裏(虹裏)という掲示板で突如「ウム！」 というコマが貼られだした辺りだと思います。 当時広島で大学生しててCREATIVEという部の部長だったんですけど(今でもあるのかな？)、大学祭のときに何故か皆でウムの人を書き続けるという遊びをしていました。 そこから、それまでは読んだことあるなー程度だった横山三国志に深くハマることになります。 なお、大学では「マルコフ確率場を用いた自動作曲」という、今のDeepLearningが出る前のAIで生成系の研究をしていました。これ
PythonでCSVを高速＆省メモリに読みたい - tkm2261's blog
今日はPython (Pandas)で高速にCSVを読むことに挑戦したいと思います。 Kaggleに参加するたびに、イライラしていたので各実装の白黒はっきりさせようと思います。 R使いが羨ましいなぁと思う第一位がCSV読込が簡単に並列出来て速いことなので、 なんとかGILのあるPythonでも高速に読み込みたいと思います。 ただ、この検証ではコーディング量が多いものは検証しません。 CSV読込は頻出するので、フットワークの軽さが重要です。（オレオレライブラリ嫌い） Pickleは早いけど。。。 結論はDask使おう！ 検証環境 データ 速度検証 pandas.read_csv() pandas.read_csv() (dtype指定) pandas.read_csv() (gzip圧縮) numpy.genfromtxt() pandas.read_csv() (chunksize指定 +
Pandasを使ったデータ操作の基本 - ぴよぴよ.py
データ分析の会社に転職してから3ヶ月。 最初の1ヶ月はPandasの扱いに本当に困ったので、 昔メモしてたことを簡単にブログに記録しておく(o ･ω･)ﾉ 【追記】2017/07/31 0:36 データが一部間違ってたので修正しました Pandasとは pandasでよく使う型 テストデータについて 余談 Pandasでのデータ操作入門 pandasのload データ(csv)のロード データのサイズ データのカラム 行列から必要な列(カラム)を取り出す 条件にマッチするデータを取り出す 1. DataFrame.queryで取り出す True/FalseのSeries型を指定し、Trueの行だけを取り出す 追記(2017/12/14) 行列から必要な行番号を指定してを取り出す グループ分けと集計 新たな列を追加する 固有値を追加する 他の列を加工して新たな列を作る 他の複数列を加工して新
Problem Solving with Algorithms and Data Structures using Python — Problem Solving with Algorithms and Data Structures
Problem Solving with Algorithms and Data Structures using Python¶ By Brad Miller and David Ranum, Luther College Assignments There is a wonderful collection of YouTube videos recorded by Gerry Jenkins to support all of the chapters in this text. Acknowledgements¶ We are very grateful to Franklin Beedle Publishers for allowing us to make this interactive textbook freely available. This online versi
AWS Lambdaを使ってサーバレスにWebサイトを監視してSlackに通知する - drilldripper’s blog
Webサイトの状況を監視するためのスクリプトを動かしたいというシチュエーションが発生することがあります。典型的な例としてECサイトの在庫監視などがあると思います。この文章を読んでいる人の中には、Nintendo Switchの在庫状況を監視して通知するスクリプトを動かしている人もいるもいるのではないでしょうか。*1 在庫確認のようなシチュエーションでは常時起動しているPC、すなわちサーバに相当するものを用意しなければなりません。VPSを借りる人も多いと思いますが、スクリプトを動かすだけに使用するには少々オーバースペックです。 そこで今回はAWS Lamdaを使って安価にサーバレスでサイトの在庫状況を監視するシステムを構築します。例としてNintendo Switchの在庫状況を通知するシステムを作ります。 おそらく無料枠内で収まると思いますが、無料枠を超えたとしてもAWS Lambda自体
100万倍速いプログラムを書く - Qiita
この記事はなんなの プログラミングを始めたばかりで高速化の大枠が全くわからず意味不明なことをしていた在学時、こんな資料があったら良かったのになあ、と思って書いたもの。 書いて、在学時研究室に押し付けた後紛失したと思われていたものが発掘されたもの。 要約 ライブラリがあるならそれを使う。 ライブラリが無ければ、ボトルネック部分を探してそこだけ高速な言語で書きなおすか、可能なら事前コンパイルする。 最初から全てを Low-Level な言語で書くと大変、でも結果のプログラムは速い。 以下の時間の計測ではインポートにかかる時間は除いています。 使用するもの Python（3系） Numba Scipy Line Profiler Fortran（gfortran） QUADPACK QUADPACK以外の導入方法の説明は色んな所にあるので各自でお願いします。上3つに関しては、個人的にはAnaco
Pythonのrequestsモジュールを使ってSlackにポストする - Happy & Quick
Pythonを使ってSlackに投稿する際は、requestsモジュールを使うと便利だ。requestsはPythonでHTTPリクエストやレスポンスを処理するためのモジュールで、標準モジュールではないが多くのPythonユーザーに使われている（GitHubのスター数はこの記事を書いている2月7日14時時点で17,440件）。 Slackはメッセージやグループチャットを綺麗なUIで使えることに加え、Google DriveやDropbox、GitHub等の様々なサードパーティとのサービス連携が豊富であることから、利用事例にもある通り主に北米で多数の利用者を獲得している。また、Slackではbotと呼ばれる「プログラムで行動を決められるユーザー」を追加することで、特定の条件下で自動的にメッセージを飛ばしたりファイルをアップロードしたりすることができる。botについて詳しくはSlackのWeb
【AWS】Lambdaでpipしたいと思ったときにすべきこと - Qiita
はじめに Lambda関数を Python で書いていると、Lambda関数内でサードパーティのライブラリを使いたくなるときがあります。しかし、Lambda では pip を使ってライブラリをインストールすることはできません。今回はそんな状況で役に立つ方法を紹介します。 具体的には Lambda に用意されているファイルアップロード機能を使います。つまりファイルをアップロードするときにサードパーティのライブラリをアップロードすることで、Lambda関数内からライブラリを使えるようにします。 今回は Python の HTTPライブラリである requestsを使ってみようと思います。 関連記事 Lambda関数の基本的な作成方法は以下の記事を参考にしてください。 AWSのAPI GatewayとLambdaを使ってRest APIを書いてみた 手順 ローカルで作業用ディレクトリを作成する
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://www.tech-tech.xyz/archives/3067595.html
2017/07/18 インタビュー: "独学プログラマー" コーリー・アルソフ 【PyCharm Blog 翻訳】 — 清水川Web
