CPU律速なRuby/Pythonコードはデフォルト設定のdocker上で遅くなる - まめめも
English version 要約 dockerはデフォルトでセキュリティ機構（Spectre脆弱性の対策）を有効にします。この影響で、RubyやPythonのようなインタプリタは速度が劣化します。特にCPU律速なプログラムで顕著に遅くなります（実行時間が倍くらいになることがあります）。 現象 Rubyで1億回ループするコードを、直接ホスト上で実行する場合と、docker上で実行する場合で実行時間を比較してみます。 直接ホスト上で実行した場合： $ ruby -ve 't = Time.now; i=0;while i<100_000_000;i+=1;end; puts "#{ Time.now - t } sec"' ruby 2.7.1p83 (2020-03-31 revision a0c7c23c9c) [x86_64-linux] 1.321703922 sec docker
"pip list" 実行時に AssertionError - 元RX-7乗りの適当な日々
※ このエントリは、はてなグループ終了に伴う、サブブログからの引越エントリ(2013/12)です。 ※ 情報が古い可能性もありますので、ご留意ください。 Exception: Traceback (most recent call last): File "/usr/lib/python2.7/dist-packages/pip/basecommand.py", line 134, in main status = self.run(options, args) File "/usr/lib/python2.7/dist-packages/pip/commands/list.py", line 80, in run self.run_listing(options) File "/usr/lib/python2.7/dist-packages/pip/commands/list.py",
Model定義の変更時にDBへ簡単に反映させるDjango Evolution - 元RX-7乗りの適当な日々
※ このエントリは、はてなグループ終了に伴う、サブブログからの引越エントリ(2010/09)です。 ※ 情報が古い可能性もありますので、ご留意ください。 Python / Djangoで、Model (モデル) の定義を変更した時に、DB定義も簡単に変更・反映(マイグレーション)してほしいところだが、Django には標準でそういう機構がない、と。 そこで、それを実現する「django-evolution」を使ってみた。 インストール Ubuntu でやってみた。 $ sudo apt-get install python-django-evolution 設定とか settings.py を編集し、"INSTALLED_APPS" に以下のような感じで追記。 INSTALLED_APPS = ( ・・・省略・・・ 'django_evolution', )次に、本題の models.py
Pythonで100万ドキュメントオーダーのサーチエンジンを作る(PageRank, tfidf, 転置インデックスとか) - にほんごのれんしゅう
検索エンジンを何故作ってみたかったか もともとこのブログのコンセプトのNLP的なことで、情報を整理してなにか便利にしたかった(Googleと同じモチベーションの世界の情報を整理する) 4年前にほぼ同じシステムを作ろうとしたとき、500万を超える大量のインデックスを検索するシステムは、数学的な理解度が十分でない＋エンジニアリング力が伴わないなどでギブアップした背景があり、今回再チャレンジしたくなった ほぼすべての機能をpure python(+いくつかの例外はある)で実装して、世の中の ソフトウェアを使うだけ の検索エンジンをやってみたなどではなく、実際に理解して組んでみることを目的としたかった 依存パッケージと依存ソフトウェア GitHubのコードを参照してください 様々なサイトを巡回する必要があり、requestsが文字コードの推論を高確率で失敗するので、nkf をlinux環境で入れて
汎用言語表現モデルBERTを日本語で動かす(PyTorch) - Qiita
今DL for NLP界で、BERTというモデルが話題です。PyTorchによる実装が公開されていたので、日本語Wikipediaコーパスに適用してみました。 コードはこちらに公開しております。 2018/11/27 作成したBERTのモデルを使って内部動作の観察とその考察を行いました。単語の潜在表現獲得の部分で感動的な結果を見せてくれました。ご興味あればご覧ください↓ https://qiita.com/Kosuke-Szk/items/d49e2127bf95a1a8e19f この記事ではBERTのポイントの解説と、ポイントごとの実装を紹介します。 尚、記事の執筆にあたってこちらのリポジトリを参考にさせていただきました。 https://github.com/codertimo/BERT-pytorch 本記事は以下の4つで構成されています。 ・BERTとは ・BERTのキモ ・BER
Effective Pythonを読んで心に響いたこと - MyEnigma
Effective Python ―Pythonプログラムを改良する59項目posted with カエレバBrett Slatkin オライリージャパン 2016-01-23 Amazonで探す楽天市場で探すYahooショッピングで探す 目次 目次 はじめに Pythonのランタイムの種類 プライベート属性はアンダーバーを２つ先頭におく リストや文字列の空判定にlenなどは使わない mapやfilterよりもリスト内包表記を使う rangeよりはenumarateを使う オプションのキーワード引数は、位置ではなくキーワードで与えるとコードが読みやすい どんなクラスオブジェクトでも__dict__ですべてのフィールド辞書にアクセスできる Pythonコードのプロファイルを取るにはcProfileを使うと便利 参考資料 MyEnigma Supporters はじめに 以前、C++の名著Ef
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
yum 実行時に「Error performing checksum」エラー - miauのブログ
CentOS に etckeeper をインストール - miauの避難所 この中で kernel.org の yum リポジトリから git を入れるくだりがありましたが、いつからかこんなエラーになってました。 [root@localhost ~]# yum install git-1.5.6.1-1 --enablerepo=rpmforge Loaded plugins: fastestmirror Loading mirror speeds from cached hostfile * addons: ftp.yz.yamagata-u.ac.jp * base: ftp.yz.yamagata-u.ac.jp * extras: ftp.yz.yamagata-u.ac.jp * rpmforge: apt.sw.be * updates: ftp.yz.yamagata-u.a
GitHub - sebastien/cuisine: Chef-like functionality for Fabric
Cuisine is a task automation tool written in Python that provides a platform neutral abstraction over your operating system. It is designed as a simple flat API to interact with one or more servers, making it easy to do remote scripting piloted by Python. FAQ Why should I use Cuisine? Here are a few reasons why you would use Cuisine: You prefer to use Python rather than shell scripts for automatio
pipで管理しているパッケージを一括でアップデートする - 元RX-7乗りの適当な日々
StackOverflowのウケウリです。これ。 python - Upgrading all packages with pip - Stack Overflow やり方を大きく分けると、以下の2通り。 pip-toolsを使う ワンライナーを書いて実行 個人的には、動作保障的な意味で、全パッケージのバージョンを一括でアップデートすることはそうないのですがｗそれぞれ、メモがてらやり方を書いておきます。 pip-toolsを使う (追記有り) まず、pipを使ってサクっとインストールします。 $ sudo pip install pip-tools 2015/11/30 追記 下記の pip-review コマンドは、既に pip-tools から削除された機能となっています。 https://github.com/nvie/pip-tools/issues/185 現在は、そこから派生・
RubyとPythonの違いからガベージコレクタを理解する - ワザノバ | wazanova.jp
http://patshaughnessy.net/2013/10/24/visualizing-garbage-collection-in-ruby-and-python Pat Shaughnessyが、ブタペストで開催されたRUPY2013でのプレゼンの前半を自らのブログで紹介しています。 ガベージコレクタは、「ゴミを集める」という行為だけでなく、「新しいオブジェクトのためにメモリをあてがう。」「不要なオブジェクトを見つける」「不要なオブジェクトからメモリを取り戻す。」という、人間の心臓が血液を浄化するような働きをしている。 この簡単なコードサンプルを見ると、RubyとPythonの記述はよく似ているが、それぞれの言語の内部でのインプリの仕組みは違う。 1) Rubyのメモリ Rubyは、コードが実行される前に、数千のオブジェクトを先につくり、それをリンクされたfree listに置
Google Python スタイルガイド
概要¶ これは Google Python Style Guide Revision 2.29 を日本語に訳したものです。 本家ガイドは CC-By 3.0 ライセンス の基で公開されています。また、本ガイドも同ライセンスを継承します。 本家ガイドの著者は以下の通りです。 Amit Patel Antoine Picard Eugene Jhong Jeremy Hylton Matt Smart Mike Shields また、本ガイドの翻訳者は以下の通りです。 Kosei Kitahara 本ガイドに誤植、誤訳があった場合は issue で教えてください。 その他本ガイドに関する問い合わせは、サイト最下部に記載のメールアドレスか @Surgo にお願いします。 はじめに¶ Python は Google で使われている主要なスクリプト言語です。 このスタイルガイドは Python によ
RESTfulなAPIを構成するのに特化したウェブフレームワークとか(Python編) - laiso
こんばんは、Python界のひきこもりです。 モバイルアプリケーションのバックエンド開発などでRESTful APIを先ず設計する必要があるといったケースなんかで便利に利用できそうな、既存のウェブアプリケーションフレームワークの仕組みからRESTfulなAPI構成に特化してパッケージングされたサブフレームワークがいろいろ出てきているので調べました。 フレームワークに必要な機能そもそもフレームワークにどんな機能が必要なのかというのをChoosing an API framework for Django から抜粋。 ページネーション(アイテムの先頭から10件が1ページ目→11から20が2ページ目など) データの投稿とバリデーション メタデータの生成(result, count, next みたいな要素をレスポンスに含める為のしくみのことかな?) レスポンスのハンドリング キャッシュ データの
boto: A Python interface to Amazon Web Services — boto v2.49.0
Note You are viewing the documentation for an older version of boto (boto2). Boto3, the next version of Boto, is now stable and recommended for general use. It can be used side-by-side with Boto in the same project, so it is easy to start using Boto3 in your existing projects as well as new projects. Going forward, API updates and all new feature work will be focused on Boto3. For more information
Dropboxは全部Pythonで信頼性の高いソフトウェアを作った（後編）～PyCon APAC 2013
Pythonユーザーが集まり、情報交換し、交流するためのカンファレンス「PyCon APAC 2013」が9月13日、14日に都内で開催されました。PyCon APACはこれまでシンガポールで開催されており、今回初めて日本で開催されました。 （本記事は「Dropboxは全部Pythonで信頼性の高いソフトウェアを作った（前編）～PyCon APAC 2013」の続きです） Pythonは遅いのか？ でもたぶん、あなたのアプリはCPUによって制約されているわけではないでしょう。ごく限られた分野、例えばゲームとか科学計算ではないのならば、多くの制約はハードディスクやネットワーク、もしくはメモリから来ているのではないでしょうか。 それにもしも本当にCPUによって制約されているのであれば、そういうアプリはだいたいCやC++で書かれているとは思うけれど、Pythonにも選択肢はあって、それはCyth
Dropboxは全部Pythonで信頼性の高いソフトウェアを作った（前編）～PyCon APAC 2013
Pythonユーザーが集まり、情報交換し、交流するためのカンファレンス「PyCon APAC 2013」が9月13日、14日に都内で開催されました。PyCon APACはこれまでシンガポールで開催されており、今回初めて日本で開催されました。 Pythonは日本ではあまり利用事例が多くありませんが、海外ではGoogleやDropboxなどで使われていることが知られ、人気のあるスクリプティング言語の1つです。Pycon APAC 2013の2日目の基調講演には、そのDropboxの3番目の社員であるRian Hunter氏が登壇、Dropboxの社内事例も交えてPythonの大規模開発について紹介しています。 基調講演の内容をダイジェストで紹介しましょう。 One Million Lines of Python このカンファレンスに呼んでいただけて大変光栄です。日本には初めて来ました。 僕が初
Pythonを高速化するCythonを使ってみた - Kesinの知見置き場
突然ですが私はPythonが好きです。でもPythonは遅いです。 何が遅いかというと、致命的なことに四則演算が遅いです。でも他の動的型付け言語でスクリプト言語と呼ばれるPerl, Ruby, Javascript も C, Javaのようなコンパイルを行う静的型付け言語に比べれば圧倒的に遅いです（近年ではJavascriptのように著しく進歩した言語もあるので必ずしもそうだとは言えませんが）。 スクリプト言語が遅い原因の一つは、変数の型が指定されていないので型のチェックを毎回行う必要があるからです。この特性があるおかげ自動的に型を変換してオーバーフローを防いでくれるというメリットもあるのですが、どうしても静的型付け言語よりは速度を出すことができません。 ならPythonのコードに型指定を加えてコンパイルしちゃえばいいじゃん！というのがCythonです。正確にはPythonライクな文法で書
PythonのWebフレームワーク６種をかんたんに紹介 - モジログ
１月に「Pythonを始めるなら、１ファイルの軽量Webフレームワーク「Bottle」がおすすめ」というのを書いたところ、なかなか反響が大きかった。そこで今回は、私がいくらか使ったことがあるPythonのWebフレームワーク６種について、かんたんに紹介するというのをやってみたい。コメントは、私のごく主観的な印象に基づいている。 Bottle（ボトル） http://bottlepy.org/ 「bottle.py」という１ファイルだけでできている。環境構築が不要なので、Python入門に最適。１ファイルに全部入っているので、組み込むのも容易だし、依存リスクもないので、実用にもいいと思う。これだけシンプルなのは、生存戦略としても強い。 CherryPy（チェリーパイ） http://cherrypy.org/ Bottleより大きいが、外部依存がないので、これも環境構築不要で、Python入
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Ubuntu の Python で easy_install や pip を使いたい場合 - 元RX-7乗りの適当な日々
http://kwatch.houkagoteatime.net/blog/2014/08/24/python-pitfalls/