まず第一に 今の段階で自分の開発環境は Python3.5.1 Anaconda TensorFlowが入っているものとする。 この3つの入れかたは 前回のサイト からいけるものと仮定して 他に必要になった場合 追加追加でライブラリを入れて行く。 自分の現状の知識 機械学習って何???→ちんぷんかんぷん 全くなにもわからない。→アルゴリズムの書き方や進め方すら意味が不明 →数学的な要素もしらない →そもそもPythonってどうやって書くの?という段階 →目標としてはそんな何一つ現状がわからない人間が簡単な機械学習をできるようにすることを目指す 役に立ちそうなスライド or サイト 初心者御用達機械学習スライド →機械学習のイメージがつかみやすい アルゴリズム的観点はない。 Pythonチュートリアルのリンク集 Python入門 Pythonチュートリアル Python-izm →コードを作
How to Set Up a Python Project For Automation and Collaboration [ engineering production python productivity 🔥 ] · 20 min read As your Python project gets larger in scope, it can become difficult to manage. How can we automate checks (e.g., unit testing, type-checking, linting)? How can we minimise collaboration overhead (e.g., code reviews, consistency)? How can we maximise developer experience
Plotly Dash User Guide & Documentation
Djangoを使っていて、イケてないSQLがありました。 そもそも、僕はDjangoのprefetch_relatedとselect_relatedがよくわかっていませんでした。 今回は、それを調べたので説明を書きます。 prefetch_relatedとselect_relatedって? 準備 モデルを用意する。 データを用意する SQLをログに出力する。 試行 select_related prefetch_related select_relatedとprefetch_related Prefetchオブジェクト 終わり prefetch_relatedとselect_relatedって? 両方ともDjagnoのForeignKeyに関係するORMのメソッド。 とりあえず使ってみます。 ちなみにDjangoのバージョンは 1.11 です。 Pythonのバージョンは 3.6 です。
Fellow core developer and Canadian, Mariatta, asked on Twitter about python -m pip and who told her about that idiom along with asking for a reference explaining it: I learned sometime ago that we should be doing `python -m pip install ...` instead of simply `pip install ...` but now I can't remember the source of this information. Likely from @brettsky or @zooba, any of you have a talk/blog post
新しい言語に移行するのは常に大きな決断です。その言語をよく知る人がチームメンバーに1人しかいない時などは特にそうです。今年の初め、我々は Stream の主要言語を Python から Go に切り替えました。この記事では、なぜ私達が Python から Go に移行しようと決断したのか、その理由を説明します。 Go を使う理由 理由1 - パフォーマンス Go は速いです! Go は極端に速い。そのパフォーマンスは Java もしくは C++ に匹敵します。私達のユースケースでは、Go は Python より30倍速いです。Go と Java を比較したベンチマークはこちらです。 理由2 - 言語パフォーマンスの問題 多くのアプリケーションにとって、プログラミング言語は、単にアプリとデータベースを繋ぐものにすぎません。言語そのもののパフォーマンスは通常あまり重要ではありません。 しかしな
今回は ERAlchemy という ER 図を描くツールを使ってみる。 このツールは erd という Haskell で書かれた同様のツールにインスパイアされて作られたものらしい。 ただ、機能的にできることは ERAlchemy の方が多いみたいだ。 ERAlchemy が提供する基本的な機能は次の通り。 ER フォーマットのテキストファイルから ER 図を生成する SQLAlchemy 経由で既存のデータベースから ER 図を生成する 後者の既存データベースから ER 図を生成するところなんかは、これまでだと MySQL Workbench を使ったりしてた。 ただ、このやり方だと文字通り MySQL でしか使えないのに対して ERAlchemy はそれ以外のデータベースにも対応している。 今回も試しに SQLite3 のデータベースから ER 図を生成してみている。 ただ、この機能が出
Published on 16 November 2012, updated on 16 November 2012, Comments Mock is a Python mocking and testing library. It has become a de facto standard and is now included in the Python standard library. Lately I’ve had the chance to work on a fairly large code base built upon a service-oriented architecture. In order to test each service in isolation, we make extensive use of Mock to simulate servic
追記: この記事の内容はかなり古くなっています。翔泳社さんからDjangoの書籍を出版するこちらを読んで頂くのがおすすめです。 実践Django Pythonによる本格Webアプリケーション開発 作者:芝田 将翔泳社Amazon Django Advent Calendar 2016 - Qiita 18日目の記事です。 Django REST Frameworkは、DjangoでRESTfulなAPIを提供するときに非常に人気のあるフレームワークです。 既に使ってるよという方も多くいらっしゃるのではないでしょうか。 日経電子版さんも業務でも活用しているようです。 この記事では、REST Framework自体の使い方とかはあまり話しません。 REST Framnworkの作者である @_tomcriestie さんが策定・開発しているCore APIの概要と使い方について、これまでの経緯
Things to know (best practices and “issues”) READ IT !!!¶ Obviously, never expose a socket speaking the uwsgi protocol to the public network unless you know what you are doing. That channel allows for dynamic loading of applications (read: arbitrary execution of code). The protocol is meant to be sanitized/validated by a proxy like nginx, apache, the uWSGI routers, etc. For example, if uwsgi uses
The Problem We wrote some new code in the form of celery tasks that we expected to run for up to five minutes, and use a few hundred megabytes of memory. Rinse and repeat for a thousand different data sets. We ran through a few data sets successfully, but once we started running though ALL of them, we noticed that the memory of the celery process was continuing to grow. In celery, each task runs i
発端 Django + Redis(時に ElastiCashe)+ Celery の組み合わせは、よく使います。 非同期処理は Python スレッドは禁止(結果として重い物を流すと gunicorn/uWSGI の反応がなくなるので)。Celery workerを使う。 cron ジョブ的なバッチ処理も、Celery beat で書く。 という感じでやってます。 簡単に書けるのですが、流れたかどうか知りたい場合、Celery worker が1台だけならログファイルを見ればいいとして、複数台になってくると、どこで流れたんだ、という所から調べるのが大変。 何を依頼して、何が失敗したか知りたい ということで、依頼 -> 成功時/失敗時の実行ログを RDB のモデルに出して、adminサイトで確認できるようにします。 もちろん、Celery worker が1台だけの場合でも、ログファイルを
How to Run Unit Tests in Python Without Testing Your Patience More often than not, the software we write directly interacts with what we would label as “dirty” services. In layman’s terms: services that are crucial to our application, but whose interactions have intended but undesired side-effects—that is, undesired in the context of an autonomous test run. For example: perhaps we’re writing a soc
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く