実験の再現性を高めるデータバージョン管理（DVC）の紹介 - techtekt
データバージョンの管理とは？ データバージョンの管理とは、バイナリデータのバージョンを管理することを指します。データバージョンの管理は、Git 等でのコードのバージョン管理をバイナリデータに拡張しています。実験の再現性を高められるメリットがあります。 DVC とは？ データのバージョンを管理する機能をもつオープンソースソフトウェアです。データのハッシュをテキストファイルで保持し git でバージョン管理します。また、yaml ファイルで実行パイプラインを定義して監視対象データが更新された際にハッシュを更新することで、新しいハッシュ値を含んだデータをバージョン管理します。更新されたデータファイルはキャッシュディレクトリに保存され、必要なタイミングで自動的に復元されます。 データのリモートリポジトリを定義することで、データ一式を簡単なコマンド操作で S3 等へ push / pull すること
リレーショナルデータベースシステムを趣味で開発している者です。 現在、開発中のシステムを並行トランザクションへ対応させることを検討しており、どのような手法があるのか調べたところ、SS2PLもしくはS2PLという手法が私と同じように自作をされている方々の中では多く採用されているようだと分かりました。 一方で、PostgreSQLやMySQLなどのプロダクションレベルで利用されているシステムではMVCCと呼ばれる手法が採用されているということも分かりました。 きっと後者の方が多くの場合で高いスループットが得ら
リレーショナルデータベースシステムを趣味で開発している者です。 現在、開発中のシステムを並行トランザクションへ対応させることを検討しており、どのような手法があるのか調べたところ、SS2PLもしくはS2PLという手法が私と同じように自作をされている方々の中では多く採用されているようだと分かりました。 一方で、PostgreSQLやMySQLなどのプロダクションレベルで利用されているシステムではMVCCと呼ばれる手法が採用されているということも分かりました。 きっと後者の方が多くの場合で高いスループットが得られるということなのだと思うので、可能であればMVCCを採用したいのですが、あまり初学者向けの実装例も見当たらず、どうしたものかと悩んでおります。 SS2PL/S2PLとMVCCの実装の難易度・工数はどの程度違うものなのでしょうか？ また、初めてリレーショナルデータベースシステムを開発する者
Data Science Version Control System
DVC Studio Track experiments and share insights from ML projects
バージョニングの見直しとタグ・リリース作成の自動化 - LIVESENSE ENGINEER BLOG
データプラットフォームグループ Livesense Brain チームの富士谷です。 機械学習基盤 Livesense Brain の開発・運用を行っています。 ここでは、Livesense Brain で開発するシステムのバージョニングの見直しと、 GitHub Actions を使ったタグ・リリース作成の自動化について紹介したいと思います。 はじめに Livesense Brain では、開発するシステムのほとんどをコンテナ化しており、大きく「アプリケーション」と「コンポーネント」の2つに分けて開発しています。 「アプリケーション」は、例えば「マッハバイト向けのレコメンド」といった、特定の事業部向けにデータやサービスを提供するコンテナイメージを指します。 また、全社向けのA/Bテスト基盤（Brain Optimizer）も「アプリケーション」に位置づけています。 一方、「コンポーネント
複数バージョンのGoをインストールする - CLOVER🍀
これは、なにをしたくて書いたもの？ Goはapt（＋PPA）でインストールしているのですが、他のバージョンが使いたくなる時もあったりします。 Ubuntu · golang/go Wiki · GitHub こういう時はどうしたらいいのかな？と思ったのですが、Go自体が複数バージョンのGoをインストールする方法をドキュメントに 書いていますね。 Managing Go installations - The Go Programming Language 調べている過程でgvmやgoenvというのも見つけましたが、こちらはあまり更新されていなさそう。 GitHub - moovweb/gvm: Go Version Manager GitHub - syndbg/goenv: Like pyenv and rbenv, but for Go. gvmは、SDKMANが名前を変えた理由だった
Semantic Versioningの闇 - knqyf263's blog
今回も誰も興味ないシリーズなので今まで書いてこなかったのですが、Semantic Versioningに関して幻想を抱いている人がいる可能性があり、そういう方にどうしても現実を知っておいて欲しかったので書きました。3行要約（と可能なら余談）だけでも読んでいただけると幸いです。 3行要約 Semantic Versioning 2.0.0にはバージョン"比較"の定義はあるが、バージョン"制約"（>= 2.1.3みたいなやつ）の定義がない その結果、同じsemver準拠ライブラリでも制約の解釈が異なり結果が真逆になる というかそもそもsemver使ってるエコシステムが少なすぎる 背景 セキュリティアドバイザリでは特定のバージョンが脆弱であることを示すためにバージョン制約が使われることが多いです。例えば >=1.2.0 <1.2.6みたいなやつです。この場合、1.2.5は脆弱だが1.2.6は修正
Goで書いたツールの依存管理をdepからGo Modulesに移行した - $shibayu36->blog;
昔作った notify-issues-to-slackの依存モジュールはdepのままで管理していたが、勉強がてらGo Modulesに移行することにした。 参考にした資料 Go 1.13 に向けて知っておきたい Go Modules とそれを取り巻くエコシステム - blog.syfm Go Modulesについてざっくり知ることができてよかった Modules · golang/go Wiki · GitHub ざっくり知った上でちゃんと理解するために公式ドキュメントを読む depからgo modulesへの移行と、移行時にTravis CI & GoReleaserでハマる（かもしれない）ポイント · horizoon 移行手順で参考にした Goモジュールでツールもバージョン管理する - Plan 9とGo言語のブログ ツールも含めてgo.modに入れていく手順で参考にした やったこと
複数バージョンの kubectl や他の CLI ツールを管理するには asdf-vm を使う
asdf がそれっぽいツールですね。私はこれで kubectl を管理してます。 — すぱぶら (Kazuki Suda) (@superbrothers) May 13, 2020kubectl などの CLI ツールを複数のバージョンを切り替えながら使いたいことがあります。例えば本番のクラスタのバージョンは 1.16 だけど検証で 1.18 のクラスタを使うといったケースです。毎回どこからインストールするのかドキュメントを探したり、コマンドのヒストリを検索してみたり、kubectl118 のような別名で管理したりと何かと面倒です。 asdf-vm は、Node.js や Ruby、Python、Go といった言語で複数のバージョンを管理できる anyenv に似たツールで、言語に留まらず kubectl や istioctl といった CLI ツールもいい感じにインストールからバージョ
Kubernetes/OpenShiftのバージョンアップとクラスタをどのように分けるか問題 - nekop's blog
Kubernetes/OpenShiftのバージョンアップをどのようにするか、およびクラスタをどのように分けるかという問題はk8s関連のmeetupでよく出る話題です。昨日のレッドハット on Cloud Dayでも出たので、現時点での自分が知っている情報や考えを書いておきます。 現時点で自分が一番しっくりくるそれなりな規模の構成はdev, testing, staging, prodの4種類を2クラスタずつ用意、8クラスタの構成です。規模によってはtesting, stagingは一つにしてしまってもいいと思います。 各ステージのクラスタ、たとえばprod1, prod2はBlue-green deploymentのような形で利用します。たとえばprod1はk8s 1.7, prod2は一つ新しいk8s 1.8となっていて、新規のデプロイは全てバージョンの新しいほうであるprod2に行い
Google App EngineでGoのバージョンアップを行う #golang #gae - Qiita
はじめに メルペイ エキスパートチームの@tenntennです。 この記事は技術書典4で頒布した"こうして僕らは、書籍を売るアプリを作った 2.0.1"の一部を少し改定したものです。 Google App Engine for Go （GAE/Go）で開発する上で付き合っていかないといけない問題として、GAEのSDKのバージョンやそこで使用されるGo自体のバージョンアップが挙げられます。 GAE/Goはクラウドサービスであるため、SDKや言語のバージョンアップは必ず追従して行く必要のある問題です。 バージョンアップしなくても、一定期間はそのまま使えることが多いでしょう。 しかし、場合によっては非推奨になり、その後使えなくなる可能性もあり得ます。 そのため、特に大きな問題がない場合は積極的にバージョンアップをしていくとよいでしょう。 Goのバージョンを上げることによって、次のような恩恵を受け
Packerで作ったイメージを世代管理 - Qiita
この記事は Livesense - 自 Advent Calendar 2017 4日目の記事です。 本日はインフラストラクチャーグループの@nashioxがお送りします。 インフラストラクチャーグループの「自」といえばもちろん「自動化」ですね。 Packerでイメージ作成を自動化する リブセンスではPackerを使って「AMI」「OpenStackイメージ」などを作っています。 イメージの作成そのものはCIツールを利用してGitリポジトリのPush/Margeをフックしてpacker buildを実行すれば良いわけですが、気をつけなければいけないのがイメージの削除です。 Packer only builds images. It does not attempt to manage them in any way. Packerの公式ドキュメントにも書いてありますが、Packerはイメー
モノリシックなバージョン管理の利点 | POSTD
以下は、私がよく交わす会話の一例です。 人物A：FacebookやGoogleは、巨大なモノリシックリポジトリ（モノレポ）を使っているんだってよ。 私：みたいだね。あれは本当に便利だと思う。 人物A：僕に言わせれば最悪の愚行さ。全てのコードを単一のリポジトリに入れるのがヒドイ考えだと、FacebookやGoogleはなぜ思わないんだろうか。 私：FacebookやGoogleのエンジニアたちも小さなリポジトリには精通しているだろうけど（ 濱野純（Junio Hamano） 氏はGoogle勤務だし）、単一の大きなリポジトリの方が、きっと”ある理由”で好みなんだよ。 人物A：なるほどね。僕としては、まだちょっと違和感はあるけど、モノレポが使われる理由は分かったような気がするよ。 “ある理由”はかなり長いので、同じ会話を何度も繰り返さなくていいように、ここに書き留めておこうと思います。 シンプ
Ansibleでバージョンアップ作業を自動化する - RAKUS Developers Blog | ラクス エンジニアブログ
デベロッパーのkyosimotoです。 Ansibleをバージョンアップ作業の自動化ツールとして導入するための手順、おすすめ構成などについて紹介させていただきます。 目次 目次 なぜAnsible どんな感じ？ Ansibleの基本 実行方法 実行イメージ マシン要件 ファイル構成 ディレクトリ構成（サンプル） playbook（サンプル） ファイル構成のポイント 検証環境の準備 検証環境の説明 検証用仮想マシンの構築手順 仮想サーバにSSH接続する Ansible実行環境の構築 Ansibleのインストール SSH接続設定 検証用仮想マシンのミドルウェアセットアップ WEBサーバの構築 (Apache2.2 + PHP7.1) DBサーバの構築(PostgreSQL9.6) WEB／DBサーバの連携チェック プロジェクトディレクトリ作成 バージョンアッププロジェクト用のディレクトリ作成
multi-versionの基礎 - 急がば回れ、選ぶなら近道
multiversionの基礎 自分用のMulti Version Concurrency Controlのまとめ MVCCの基礎理論をまとめておく。今後はここを参照する。 基本的にTX本とCC本から必要な部分をまとめている。 （一回まとめてるけど、Multi-version Conflict Serializability - 急がば回れ、選ぶなら近道 前回はそもそもCSRとの混線を防ぐという意味だったので、今回はもっと基本的なところからさらに。今回はCSRとの関係はガン無視。） 前置き：自分の考えを記録的に 基本的にMulti Version Concurrency Control （以下MVCC）は理論先行だった。これはMVCCのオーバへードがsingle-versionのパフォーマンスを凌駕できなかったことによる。以下の理由によりMVCCが今後は伸張すると考えている。 1.メモリー
バージョンの充足可能性問題 | POSTD
(注：2017/02/06、いただいたフィードバックを元に翻訳を修正いたしました。修正内容については、 こちら を参照ください。) Dependency HellはNP完全ですが、この状況から脱却できるかもしれません。 パッケージにおけるバージョン選択の問題とは、完全である（全ての依存関係を満たしている）かつ互換性のある（互換性のない2つのパッケージが選択されていない）トップレベルパッケージPをビルドするために使われる依存関係の集合を見つけることです。ただし、菱形依存問題があるので、このようなセットは存在しない可能性があります。菱形依存問題とは、AはBとCが必要、BはDのバージョン2ではなくバージョン1が必要、CはDのバージョン1ではなくバージョン2が必要といったような問題のことです。この場合、Dの両方のバージョンを選択することはできないため、Aをビルドすることができないわけです。 パッケ
SIerが実践する分散開発とバージョンコントロール - Qiita
オフショアA、Bとしましたが、同じ会社の別部署など、 とにかく別ロケーションで開発する場合を想定しています。 ソースの構成 おそらく、以下のように１つのJavaプロジェクト内にすべて書くのではないでしょうか？ デメリット バッチを書いている人が、オレオレライブラリやWEBのソースを改変する可能性がある。（オレオレライブラリ、WEBも然り） プロジェクトが太って行った時に、コンパイルなどに時間がものすごくかかる。（5000以上のJavaファイルが配置されているものを見たことがある） それぞれのソースでプロジェクトを分けているものも書こうかと思いましたが、 その場合は、システムでスタックをちゃんと組んでるかな、と思ったので省略。 リポジトリのモデル 従来型の場合は、以下のパターンのどちらかではないでしょうか？ リポジトリは分けている 最終的に社内のSVNリポジトリにオフショアA、Bのソースをマ
go vet で panic - tocsatoの備忘録
Panic これまで普通に使えてた go vet コマンドが突然 panic を起こしてしまいました。 panic: inconsistent import: var database/sql.ErrTxDone error golangのバージョンアップが原因 最近 Go1.7 にバージョンアップをしたことが原因だった模様です。 試しにプロジェクトの pkg ディレクトリを削除したら、何のpanicもなく動作しました。 pkgディレクトリは消そう golang をバージョンアップしたら pkg ディレクトリは消しましょう。 どうせ go install すれば自動的にできるので、何の心配もありません。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - renovatebot/renovate: Home of the Renovate CLI: Cross-platform Dependency Automation by Mend.io
https://renovate.whitesourcesoftware.com/
Introduction to API Versioning Best Practices | Nordic APIs |