はてなブックマーク

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

概要 GitLab Runner 1.1 with Autoscalingによると、gitlab-runner自身もスケールできるよ、と。 runnerの環境にいろいろ入れるのは嫌だし、runnnerの環境にDockerを入れてそこで動かすにしても、 メモリやCPUも常時そんなに必要なわけじゃないから、runnner自体は安いインスタンスにしたい。 そう思うのは人情です。 そこで、今回はgitlab-runnerはt2.microの小さいインスタンスで動かし、 実際のビルドは、そこからdocker-machineで作成された先のインスタンス内でやろうと考えたのです。 AmazonLinuxで１からgitlab-runnerを入れ、ビルドできるところまでをステップごとに紹介します。 公式ドキュメントをコピペしていると気づかないつまづきポイントつき！ やってみた結果、思ったこと メリット gi

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

概要 elastic社のブログに「Little Logstash Lessons: Handling Duplicates」という内容があがっています。 Google翻訳のお力を頂戴して、日本語で内容を確認したその結果です。 結論 elasticsearchにoutputするとき、IDが明示的に指定されていないと、elasticsearch側でIDが採番される。 これが重複して登録する元になっている。 なので、fingerprint filterを使って以下のようにアプローチすると良い。 ともにfingerprintを使うのは同じ。 同一の中身のものは、同一のものとして扱いたいとき 同じ内容のものは同じIDになるようにし、その値をDocumentのIDとする １回のイベントで送信したものは再送されたとしても、同一のものとして扱いたいとき イベントごとにUUIDを生成し、その値をDocume

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

概要 filebeat5.3.0では、moduleというものが入っていて、用意されているもの（nginxやapache2、mysqlなど）であれば Elasticsearchでのmapping設定やkibanaのダッシュボード設定を一切しなくても、 filebeatがよしなに初期値やダッシュボードを作成してくれます。 Logstashでログの種類ごとに設定ファイルを書いたり、あるいはgrokフィルターを頑張って書くことをしていた人からすると、 moduleの設定でonにすれば、そのログがすぐに取り込めるようになる、というのは大変ありがたいのではないでしょうか。 また、filebaetはすごく軽量でしかも、実行ファイルで提供されていて、 やれ.NETFrameworkの3.5が必要とか、VCランタイムの何とかいうバージョンが必要、などの制約なしに動作するため、 分散した環境においてログの集約

version: '2' services: elasticsearch: image: docker.elastic.co/elasticsearch/elasticsearch:5.3.0 container_name: elasticsearch ports: - 9200:9200 - 9300:9300 kibana: image: docker.elastic.co/kibana/kibana:5.3.0 container_name: kibana links: - elasticsearch:elasticsearch ports: - 5601:5601 Timepicker improvements これまで、時間の幅を指定するところは、QuickだったりRelativeだったり、Absoluteだったり、条件を変えるときは、 時計マークのアイコンから選んでいました。