機械学習なdockerfileを書くときに気をつけとくと良いこと - nykergoto’s blog
みなさん機械学習系の環境構築はどうやってますか? 僕は最近は Docker を使った管理を行っています。 特に師匠も居なかったので、ぐぐったり人のイメージを見たり手探りで docker をつかいつかいしている中で、最初からやっとけばよかったなーということがいくつかあるのでメモとして残しておきます。 大きく2つです。 キャッシュは消す テストを書く キャッシュは消す ライブラリをいろいろと install すると大抵の場合ダウンロードしたファイルを保存されている場合が多いです。何かのタイミングで再びそのライブラリをインストールする際にはダウンロードしたファイルを使って、素早くインストールすることができます (この仕組みがキャッシュです)。 キャッシュがあると容量が重くなるという欠点があります。重たいイメージは pull に単に時間がかかりますから、システムとしてデプロイする時にトラフィックが
Calendar Versioning — CalVer
Timely Project Versioning About Users 中文 pt-BR GitHub CalVer is a versioning convention based on your project's release calendar, instead of arbitrary numbers. Versioning gets better with time. For maintainers, versioning allows us to specify precise dependencies within an ever-expanding ecosystem. For sellers and promoters, a project's version is a dynamic part of a brand. For all of us, versioni
「Ubuntu 18.04 LTS」リリース | OSDN Magazine
英Canonicalは4月26日（英国時間）、Linuxディストリビューション「Ubuntu 18.04 LTS（Bionic Beaver）」を公開した。デフォルトのディスプレイサーバーはWaylandからX.orgに戻っている。 Ubuntu 18.04は2017年10月公開の「Ubuntu 17.10（Artful Aardvark）」に続くもの。 Canonicalは5年間セキュリティアップデートを提供する長期サポート版（Long Term Support、LTS）を2年おきにリリースしており、2016年4月に公開された「Ubuntu 16.04 LTS（Xenial Xerus）」以来のLTS版リリースとなる。Ubuntu 18.04のサポート期間は2023年4月まで。 Linuxカーネルは4.15を採用した。CPUの脆弱性であるSpectre、Meltdown向けの対策を行った
pip install --upgrade pip (10.0.0) 後の奇妙な挙動について - 雑記
TL;DR pipを10.0.0に更新した後に ~$ pip Traceback (most recent call last): File "/usr/bin/pip", line 9, in <module> from pip import main ImportError: cannot import name main というエラーが出た場合の対処方法をこちらにまとめた。 こちらの記事で言及したが、pipの挙動がちょっとおかしい。少し調べてみたところ原因がわかったので共有する。一応概要も載せておく。 概要 debian9でaptでpipを導入したあとに pip install --upgrade pip を行った場合、pipが使えなくなる。具体的には ~$ pip Traceback (most recent call last): File "/usr/bin/pip", lin
RHEL 7.5 で Python 2.7 が deprecated になりました - methaneのブログ
Red Hat Enterprise Linux 7.5 がリリースされ、そのリリースノートで "Python 2 has been deprecated" とアナウンスされました。 Chapter 54. Deprecated Functionality - Red Hat Customer Portal Python 2 has been deprecated Python 2 will be replaced with Python 3 in the next Red Hat Enterprise Linux (RHEL) major release. 次のメジャーバージョンでは Python 2 が Python 3 に置き換えられるから、 RHEL 7.5 から Python 2.7 が deprecated 扱いになるということです。 Ubuntu 18.04 LTS では m
Pythonの環境構築を自分なりに整理してみる
機械学習ブームなどにより、 Python を触り始める Rubyist が増えてきたと思います。その際に問題になりやすいのが環境構築です。Rubyだと rbenv がデファクトスタンダードになっているのに、なぜか Python に… 私の立ち位置もともとは、数年前まで 年に一回Python3でNLTKやらscikit-learnやら機械学習や自然言語処理の環境を作ろうと試みては失敗してPython使うものかと思っていた人でした。それが、Anacondaで環境導入すると、面倒なことは何も考えずに済むということを知り、CookpadではAnacondaを前提に環境構築を勧めていました。 今は、ymotongpooに「郷に入っては郷に従え」と言われたため、pip+virtualenv/venvで全てをこなしていますが、これで困ったことは特にありません。macOS, Windows, Linuxそ
Ubuntu 16.04 LTSにシステムワイドでNeovimとPythonパッケージneovimをインストール - Steel Dragon 14106
$ cat /etc/lsb-release DISTRIB_ID=Ubuntu DISTRIB_RELEASE=16.04 DISTRIB_CODENAME=xenial DISTRIB_DESCRIPTION="Ubuntu 16.04.2 LTS" PPAリポジトリからNeovimの開発版をインストール Ubuntu向けのビルドバイナリパッケージでは stable か unstable かをユーザーが選択して導入できる。ここでは開発中の最新版である unstable をインストールした。 また、後述するPythonクライアントを導入するために、Python 3関連のaptパッケージも一緒に入れておく。 $ sudo apt-get install software-properties-common python3-dev python3-pip $ sudo add-apt-rep
Deciphering Glyph :: Python Packaging Is Good Now
setup.py is your friend. It’s real sorry about what happened last time. Okay folks. Time’s up. It’s too late to say that Python’s packaging ecosystem terrible any more. I’m calling it. Python packaging is not bad any more. If you’re a developer, and you’re trying to create or consume Python libraries, it can be a tractable, even pleasant experience. I need to say this, because for a long time, Pyt
python の site-packagesとdist-packages
mzmttks's blog for my memorandum の略で mzrandum. Topics are: python, book review, and my hobbies. Python のインストールパスは、バージョンごと、モジュールごとで異なる。 Python 2.5 以前 public モジュール を python-support でインストール (apt-get) /usr/lib/python2.X/site-packages public モジュールを ローカルでインストール (easy_install) /usr/local/lib/python2.X/site-packages 独自モジュールをローカルでインストール /usr/local/lib/python2.X/site-packages Python 2.6, 2.7 public モジュール を
TrustyTahr/ReleaseNotes - Ubuntu Wiki
Introduction These release notes for Ubuntu 14.04.6 (Trusty Tahr) provide an overview of the release and document the known issues with Ubuntu 14.04.6 and its flavors. For details of the changes applied since 14.04.5, please see the 14.04.6 change summary. The release notes for 14.04, 14.04.1, 14.04.2, 14.04.3, 14.04.4, and 14.04.5 are available as well. Support lifespan Ubuntu 14.04 LTS will be s
ubuntuでpyvenvしたときの落とし穴
dockerでアプリケーションテスト用の環境を作ろうとしたときにはまったので、誰得メモ。 python3.3のwebアプリケーションのテストをpostgresqlとかredisとかを簡単にリセットできる環境がほしいと思ったので、dockerで試していました。 で、なんかsaucyのイメージって公式っぽい base リポジトリにはなかったので、とりあえずppa:deadsnakesで各種バージョンのPythonが完備されているshimizukawa/python-allを使ってみました。 そして、dockerの中で環境作るためにpyvenvしてからのget-pip.pyをしたところ、pipが $VIRTUAL_ENV/bin じゃなくて、 $VIRTUAL_ENV/local/bin にインストールされてしまう問題に気づきました。 これだとPATHに含まれてないので、最初はpipのインストー
第288回 デプロイツール「Juju」を使って大魔導師を目指そう | gihyo.jp
やれ仮想化だ、やれクラウドだと、様々な単語が流行っていく中で、管理者が構築・運用しなければいけないサーバの数はどんどん増えています。今回はUbuntu Serverを「スケール」させるうえでとても便利なデプロイツールである「Juju」を紹介します。 Jujuとは 「Juju」はCanonicalが開発している「サービスオーケストレーションツール」です。公式サイトやホワイトペーパーでは抽象的な表現が多すぎて「お前は何を言っているんだ」状態なJujuですが、簡単に言うと「Amazon EC2やOpenStack、Azure、LXC、MAASといったサービス上にUbuntu Serverを用意し、そこに既存の各種サービスをデプロイするための自動化ツール」です。 Ubuntuにはもともと強力なパッケージ管理システムであるAPTが存在します。APTシステムを使えば多種多様なソフトウェアの依存関係の解
VimとPythonのバージョン — KaoriYa
Sublime Textが2から3に上がるのに際しプラグインを書くのに利用可能なPythonバージョンが2から3にあがり、既存のプラグインが利用できなくなる可能性がある問題がここ数日テキストエディタ業界を賑わしております。本記事では同様の問題がVimにあるのかを検証します。 最初に言っておきますが、VimはPython2とPython3に両対応しています。つまりPython2とPython3を同時に利用できるのです。特に+kaoriya版ではその機能を有効化してコンパイル&配布していますので、まずはやってみましょう。あ、もちろん別途Pythonがインストールされている必要はあります。 :py print(sys.version) 2.7.3 (default, ... :py3 print(sys.version) 3.2.3 (default, ... 1つのVimからPython 2.
Jenkinsでtox経由のpytestの結果を受け取るように設定する - YAMAGUCHI::weblog
はじめに こんにちは、Python界の情弱です。前回はJenkinsを導入するところまで。今回はPythonで書かれたプロジェクトのテストを走らせて結果を表示するまで。pytestを使った場合の結果の取得方法を調べたのでメモ。 前回のエントリはこちら。 参考 Using Tox with the Jenkins Integration Server — tox 1.4-1 documentation ここに全部書いてあるので特に困ることはなかった 準備 まずテストを走らせるためにCIが実行するスクリプトが必要。Jenkinsはユーザjenkinsで動いているためそいつにPythonとかGitの設定をしてやらないといけない。 Gitの設定 GitHubにアクセスするときはempty identだとエラーになるので設定しておく。Gitのユーザ名とメールアドレスをJenkinsの管理画面で設定し
Instagram のスケール正攻法 -- Kosei Kitahara's Blog
Instagram がどこに買収されたとかは他のニュースサイトにお任せして、Django アプリケーションを正攻法でスケールして "成功" してるのがとても興味深いです。現時点で Instagram Engineering で紹介されていることと TechCrunch にも掲載されたスライドから個人的なメモとしてまとめてみました。 Instagram の哲学は シンプルであること オペレーション負荷を最小化すること すべて装備 とのこと。 Instagram は以下の OSS, サービスで構築されているようです。 >>> OS / ホスティング Ubuntu Linux 11.04 を Amazon EC2 にホスティング。以前のバージョンは高トラフィックになると固まる問題があったようです。運用は 3 人。EC2 にホスティングしている理由は、調査結果によるものではなく、"まだ進化途中だか
Python-dev ML watch: 文字列リテラルに u プリフィックスがつきました。 - methaneのブログ
更新が滞っているので、 Python-dev の ML の内容を伝える記事を気が向いた時に書くことにします。 Python 3.3a1 がリリースされましたが、その直後にコミットされたのが、文字列リテラルのu プリフィックスです。 この prefix は、 Python 2 と 3 に同一のコードで対応したい場合に利用します。文字列リテラルを書くときに、Python 2 でも 3 でも バイト列にするには b プリフィックスをつけ、 2 ではバイト列、 3 では unicode にする(PEP 333 では native string と呼ばれてる)場合はプリフィックスを付けなければ良いのですが、2 でも 3 でも unicode 文字列にできる文字列リテラルの書き方が存在していませんでした。 Python 2 と 3 の両方に対応しようとする場合、ひとつのソースコードで対応する方法、片方
Build your own OpenStreetMap Server - Ubuntu 10.04 Lucid Lynx | Weait.com
Where's that awesome tutorial?!?!? The articles on how to install and test your own OpenStreetMap tile server are some of the most popular articles on weait.com. I have retrieved these articles from the archives. While dated in places, you might find them helpful. Comments are welcome but the articles are essentially unmaintained at this time. The two versions of the tutorial can be found here. Bu
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Loading...
Home
Bazel
