タグ

Pythonとcacheに関するraimon49のブックマーク (7)

  • 2024年版のDockerfileの考え方&書き方 | フューチャー技術ブログ

    最近はお客さんとの勉強会でDockerのドキュメントをつまみいして読むというのをやっていますが、改めて最新版を読んでみて、いろいろ思考が整理されました。2020年の20.10のマルチステージビルドの導入で大きく変わったのですが、それ以前の資料もweb上には多数あり「マルチステージビルドがよくわからない」という人も見かけるので過去の情報のアンラーニングに使っていただけるように改めて整理していきます。 仕事Pythonコンテナをデプロイする人向けのDockerfile (1): オールマイティ編で触れた内容もありますが改めてそちらに含む内容も含めて書き直しています。 エントリーの執筆には@tk0miya氏から多大なフィードバックをいただきました。ありがとうございます。 基的なメンタルモデル現代的な使い方を見ていくために「Dockerを使ってビルドする」というのはどのようなものか考えを整

    2024年版のDockerfileの考え方&書き方 | フューチャー技術ブログ
  • Github actionでvenv環境をキャッシュする - Atsuo Ishimoto's blog

    Github actionでvenv環境をキャッシュする¶これまで、PythonプロジェクトGithub Actionを使うとき、こんな感じで仮想環境ごとキャッシュしていました。 # 仮想環境を作成 - name: Create venv run: | python3 -m venv .venv # 仮想環境をキャッシュから復元 - name: Cache venv dependencies uses: actions/cache@v1 with: path: .venv key: venv-${{ runner.os }}-${{ hashFiles('requirements.txt') }} restore-keys: | ${{ runner.os }}-venv-

    Github actionでvenv環境をキャッシュする - Atsuo Ishimoto's blog
  • Github Profileの設定 - Atsuo Ishimoto's blog

    Github Profileの設定 GithubのProfile画面 に自分の好きなREADME.mdファイルを表示できる、という話を見かけて、試してしました。ちょっと前に試したときには、自分のアカウントではこの機能を使えなかったようですが、いつの間にか使えるようになっていました。 Githubで自分のアカウント名と同じ名前のリポジトリ(私の場合なら atsuoishimoto) を作成し、つぎのように表示されれば機能が有効になっているようです。 README.txtの生成 作成したリポジトリに README.md という名前のマークダウンでプロファイルを作成すれば、そのまま自分のプロファイル画面に表示されます。 単に README.md を書いておくのも芸がない話なので、定期的にこのブログのRSSを取得し、プロファイルに表示するようにしてみました。 生成には、SSGにこのサイトや pyt

    Github Profileの設定 - Atsuo Ishimoto's blog
  • 機械学習なdockerfileを書くときに気をつけとくと良いこと - nykergoto’s blog

    みなさん機械学習系の環境構築はどうやってますか? 僕は最近は Docker を使った管理を行っています。 特に師匠も居なかったので、ぐぐったり人のイメージを見たり手探りで docker をつかいつかいしている中で、最初からやっとけばよかったなーということがいくつかあるのでメモとして残しておきます。 大きく2つです。 キャッシュは消す テストを書く キャッシュは消す ライブラリをいろいろと install すると大抵の場合ダウンロードしたファイルを保存されている場合が多いです。何かのタイミングで再びそのライブラリをインストールする際にはダウンロードしたファイルを使って、素早くインストールすることができます (この仕組みがキャッシュです)。 キャッシュがあると容量が重くなるという欠点があります。重たいイメージは pull に単に時間がかかりますから、システムとしてデプロイする時にトラフィックが

    機械学習なdockerfileを書くときに気をつけとくと良いこと - nykergoto’s blog
  • .pycファイルを作成させない方法メモ - かせきのうさぎさん

    Python に Bオプションを付けるか、環境変数 PYTHONDONTWRITEBYTECODE を作ると .pycファイルが作成されなくなる。 具体的には python -B foo.py のように実行するか、 :: Windows cmd の場合 set PYTHONDONTWRITEBYTECODE=1 foo.py # Linux bash の場合 export PYTHONDONTWRITEBYTECODE=1 ./foo.py のように事前に環境変数を設定しておく。 そもそも .pyc ファイルとは? Python で書かれたモジュールを import すると自動的に .pycファイルが作成される。 例えば import bar とやると bar.py と同じディレクトリに bar.pyc というファイルができる。 このファイルは bar.py をコンパイルして得られたバイト

    .pycファイルを作成させない方法メモ - かせきのうさぎさん
    raimon49
    raimon49 2016/02/22
    >Python 3.2 から .pycファイルは __pycache__ というディレクトリに、バージョン番号付きで保存されるようになったので、キャッシュが衝突したり、フォルダーがごちゃごちゃになったりすることはなくなった。
  • どうすればPythonをJuliaと同じくらい速く動かせるのか? : 様々なやり方で計算の高速化を図る | POSTD

    どうすればPythonJuliaと同じくらい速く動かせるのか? : 様々なやり方で計算の高速化を図る JuliaPython 科学技術計算には、Pythonなどの言語よりもJuliaを使った方がいいのでしょうか? http://julialang.org/ に載っているベンチマークを見ると、どうしてもそんな風に思ってしまいます。というのも、Pythonなどの高水準言語は、スピード面で大幅に劣っているのです。けれども、これは私が最初に感じた疑問ではありません。私が気になったのは、「Juliaのチームが書いたPythonのベンチマークは、Pythonに最適なものだったのか?」ということです。 こういった多言語の比較について、私の考えを述べましょう。まずベンチマークというのは、実行するタスクによって定義されるものです。よって、そのタスクを実行するための最適なコードを、各言語に精通した人々が最

    どうすればPythonをJuliaと同じくらい速く動かせるのか? : 様々なやり方で計算の高速化を図る | POSTD
    raimon49
    raimon49 2016/02/12
    Cython以外の解法 NumbaやNumpy
  • MapProxy

    WMS sources (1.0.0–1.3.0)WMTS/TMS sourcesMapserver and Mapnik configurationsany TileCache, Google Maps or Bing compatible sourceArcGIS REST servers and compact cache file cache tiles in the filesystem, MBTiles/SQLite, ArcGIS Compact Cache, S3, Redis, Riak, or CouchDBreproject WMS and tile sources to other SRSstores identical tiles just once (e.g. ocean tiles)embed watermark in tilesmerge multiple

    raimon49
    raimon49 2014/03/23
    >MapProxy is also a full compliant WMS server and supports any WMS client (desktop and web).
  • 1