mapk0yのブックマーク - はてなブックマーク

Tips: 実行中のシェルスクリプトを書きかえるときには - Qiita

実行中のシェルスクリプトを編集すると実行している途中から動作を変えることができることはよく知られている。例: http://d.hatena.ne.jp/sleepy_yoshi/20090917/p1 「変えることができる」というよりも現実のケースでは、実行中に意図せず内容を変えてしまうことで予想しない挙動をさせてしまうことがありうる。これを防ぐにはどうするか。例次のようなスクリプトを実行中に書き換えてみる

mapk0y 2021/12/29

bash
shell

リンク

(Docker で) ローカルに APT のパッケージリポジトリキャッシュサーバ (apt-cacher-ng) を建てたら幸せになった。 - Qiita

(Docker で) ローカルに APT のパッケージリポジトリキャッシュサーバ (apt-cacher-ng) を建てたら幸せになった。aptDockerapt-cacher-ng 経緯 Dockerfile を何度も編集して apt-get install していると、パッケージのダウンロードに大きく時間を喰ってると体感することが多かった。特に既存のイメージを継承しない新しいイメージを作るときは、 git のような基本的なパッケージまで再取得する。ミラーかキャッシュかかといって apt-mirror を使ったフルミラーを建てるのもなかなか手軽ではないと感じたので、 apt-cacher-ng でキャッシュ用のプロキシサーバを建てることにした。 apt-cacher-ng では取得したパッケージのみをキャッシュするので、 apt-mirror のように導入初期に大量にパッケージを

mapk0y 2017/01/30

docker

リンク

Docker で PostgreSQL の FDW を使って MySQL や Redis と JOIN してみた - Qiita

経緯最近、私はデータウェアハウスの構築や選定について色々と調査している。時間を経て成長してきた組織では、年月を経て様々なデータベースが存在することが普通である。それらのデータベースには特性や得手不得手や所在の差異 (OLAP, OLTP, KVS, ドキュメントストア, クラウド, オンプレミス...) があり、それぞれの差異には合理的な意味がある。一方で、データ分析者にとっては、それら各データベースに存在するデータをあたかも 1 つのデータベースとみなして分析できるほうが都合が良い。異なるデータベースを 1 つのデータベースとして扱う方法 Embulk を活用して、データウェアハウスとなる DB にデータを定期的にインポートする。 Presto を活用して、複数のデータベースに分散クエリを走らせ Presto Server 上で結合処理する PostgreSQL の FDW を

mapk0y 2016/11/01

リンク

未解決: Docker を aufs ではなく Device-mapper で使うとどうなるかディスクフルにしてみた - Qiita

なぜこれをやろうと思ったか Docker を aufs ではなく Device-mapper で使っていて、なんだか「おかしいな」と思うことがあった。 https://docs.docker.com/engine/installation/linux/ubuntulinux/ Docker の Ubuntu でのインストール方法によると、 Prerequisites by Ubuntu Version の項に For Ubuntu Trusty, Wily, and Xenial, it’s recommended to install the linux-image-extra-* kernel packages. The linux-image-extra-* packages allows you use the aufs storage driver. とある。 aufs を使うこ

mapk0y 2016/09/12

いまなら overlay(fs)も選択肢に...

docker
aufs

リンク

「Docker のいらないイメージを削除する」 Docker イメージがあるって - Qiita

面倒毎度これを打っていたので、次第に面倒になって、ホストの cron に仕掛けようかと思った。しかし「ホストマシンの cron に仕掛ければいいじゃん」みたいなのは、なんだか Docker らしくない解決方法に感じる。なので、この削除の処理をさらに Docker コンテナとして実行したいと思った。誰しも同じようなことを考えるもので、既にそれを spotify が作っていたらしい。 spotify/docker-gc これを実行するだけ。やばい。楽。自分は Jenkins 経由でこれを各 Docker Host で実行している。 sock をマウントしてるけど？ UNIX Socket 経由でホストの Docker と通信できるので、いろいろ応用ができそうだ。自分が知らなかっただけで、どうやら Docker で Docker を管理したり、 Docker ホスト内全体の文脈に