Docker のログを columnify で Athena (Presto) に特化した Parquet にする
先日 columnify という、入力データを Parquet フォーマットに変換するツールがリリースされました。 cf. 軽量な Go 製カラムナフォーマット変換ツール columnify を作った話 - Repro Tech Blog また、fluent-plugin-s3 で compressor として columnify をサポートする話が出ています。1 cf. Add parquet compressor using columnify by okkez · Pull Request #338 · fluent/fluent-plugin-s3 個人的に前々から Docker のログを Parquet フォーマットで S3 に put して Athena で検索できると素敵だなと思っていたので喜ばしいことですね！そんなわけで、Docker のログを fluentd log dr
Docker環境でのログ確認がめんどくさいのでkibanaでみれるようにしてみた - Qiita
docker環境で開発を行っていると、いろんなログをコンテナに入って閲覧したりするのがめんどくさいし、見ずらいので、どこか一箇所で見れるようにしたいと思い、docker作ってみました。 一式をGitHubに公開してますので、是非。 https://github.com/yuya-sega/log-viewer/ 構成 apache 2.4 postgres 12 fluentd 1.6.2-1.0 elasticsearch 7.3.2 kibana 7.3.2 まずは起動してみる $ git clone https://github.com/yuya-sega/log-viewer.git $ cd log-viewer/ $ docker-compose build && docker-compose up ~~ 略 ~~ kibana_1 | {"type":"log","@time
Enterprise Container Platform | Docker
Products Docker DesktopContainerize your applicationsDocker HubDiscover and share container imagesDocker ScoutSimplify the software supply chainDocker Build Cloud Speed up your image buildsTestcontainers Desktop Local testing with real dependenciesTestcontainers Cloud Test without limits in the cloud See our product roadmapMORE resources for developers
initのお仕事〜tiniのコードを読んでみた - ローファイ日記
急にinitが何をしているのか、何をすべきなのかが気になったので調べてみた。一緒に600行強のinit実装であるtiniのソースコードをざっくり読んだ。この場を借りてメモしていく。 the PID 1 problem RubyコミュニティなどではPassengerで有名なPhusion社のブログに、Docker and the PID 1 zombie reaping problemという記事が掲載されている。 blog.phusion.nl ゾンビプロセスをreapしてくれないと困る SIGTERMなどでPID=1が先に死んだらその子プロセスを処理してくれないと困る みたいな内容が書いてある。詳細は読んでみてほしい。 システムコンテナ（参考）と呼ばれる種類のコンテナを作る場合、任意のプログラムをコンテナ内部のPID=1とするのではなく、上記のような振る舞いをする軽量なinitプログラムを
Dockerのネットワーク構成 - 映画は中劇
Dockerのネットワーク構成について整理する。 図1: Dockerネットワーク全体図 物理NICが1個ついたDockerホストに2つのコンテナを立てると、図1のようになる。コンテナは172.17.X.Xのネットワーク内にいて、ホスト側には172.17.0.1のIPアドレスが付く。この構成自体は、VirtualBoxで言うところのホストオンリーネットワークと同じようなもの。異なる点として、Dockerネットワークは、ハードウェア仮想化ではなく、Linuxカーネルの機能であるvethペアとブリッジを組み合わせて実現される。 図2: vethペア veth (virtual Ethernet) は、図2のように、仮想NICのペアと、それをつなぐ仮想ケーブルを作る機能。ふたつの仮想NICはイーサネットで直接通信できる。 図3: ブリッジ ブリッジとは、LinuxマシンがL2スイッチ（スイッチン
Docker上のEmacsのビルドでハマった話 - eshamster’s diary
Docker上でEmacsをビルドしようとしてハマったので対処方法と、ついでに簡単に調査したメモです。 現象 環境は次のような感じでした。 ホスト: CentOS 7.2 (Conoha VPSのデフォルトイメージ利用） Docker 1.10.3 まず、確認用に次のDockerfileを用意します。なお、centos:7としても現象は同じでした（ただし、yumのインストール対象にmakeを追加する必要があります）。 FROM centos:6 ARG emacs=emacs-24.5 RUN yum install -y gcc lcurses-devel wget ncurses-devel ARG work_dir=/tmp/setup RUN mkdir ${work_dir} RUN cd ${work_dir} && \ wget http://mirror.jre655.co
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
