ZEROICHI
Kafkaによるリアルタイム処理
This document discusses Kafka, a distributed messaging system originally created by LinkedIn and now an Apache project. It provides an overview of how Kafka works and how various companies use it, including for log processing (LinkedIn), analytics (Facebook, Twitter, Google), and integrating with other technologies like Hadoop, Zookeeper, HBase and Storm. It also covers Kafka's scalability, perfor
Go言語のツールが最新バージョンであるかをユーザに伝えるためのgo-latestというパッケージをつくった
Go言語のツールが最新バージョンであるかをユーザに伝えるためのgo-latestというパッケージをつくった tcnksm/go-latest Webアプリケーションとは異なり，コマンドラインツールやモバイルアプリはバージョンアップがユーザに委ねられる．そのため一度リリースしてしまうとバージョンアップをしてもらうのが難しくなる（バグを含めてしまった場合にロールバックもできない cf. “Mobile First Development at COOKPAD #deploygate”）．とにかくしっかりテストをしてそもそもバクを含めないというのも大切だが，完璧なソフトウェアは存在しないので，アップデートは常に必要になる． モバイルアプリとは異なり，Go言語でツールを書いきバイナリとして配布した場合は，最新のバージョンがすでに存在していることをユーザに伝える仕組みはそもそもない．ので，最新のバー
gRPC-JSON proxy - 世界線航跡蔵
grpc-gateway という gRPC からJSON APIへの変換プロキシ生成機を書いた。 これを使えばシステム内部ののmicroservicesはgRPCで通信しつつ公開APIはJSON APIで提供する、みたいなことが簡単になる。 なお、gRPCそのものについては mattnさんの記事 が参考になる。 背景 gRPCの良い点はいくつもある。 データはデフォルトでprotocol buffersで直列化される。ベストではないにせよ十分にコンパクト且つ高速だし、サイズで言えばJSONとは比べるべくもない。 簡単に複数の言語でサーバーのテンプレートやクライアントを生成できる。通信の詳細はgRPCにまかせて開発者はサーバーロジックの実装に注力できる。 design by Googleという安心感。 gRPCの素晴らしさは認めるものの、一方では欠点もある。まず、クライアントライブラリの多く
Treasure Agent 2.2.0のリリース - Qiita
すでにアナウンス済みですが，Treasure Agent(td-agent) 2.2.0を出しました td-agent 2.2.0 - Google Groups パッケージ内の更新は以下の通りです． fluentd v0.12.7 fluent-plugin-s3 v0.5.7 fluent-plugin-mongo v0.7.8 td v0.11.8.2 fluentd-ui v0.3.18 ruby 2.1.5 json 1.8.2 cool.io 1.3.0 Amazon Linux support fluentd v0.12 このバージョンから，fluentdがv0.10ではなくv0.12系が使われるようになりました．その結果，Filter/Label，forwardプラグインでのat-least-onceなどが使えるようになります． これらの機能に関しては，v0.12のリリース
社内の GitHub Enterprise を OpenStack に移行した, α7s Ver 1.21 にアップグレードした - HsbtDiary(2015-04-06)
■ 社内の GitHub Enterprise を OpenStack に移行した 勤務先のペパボでは GitHub Enterprise(GHE) を全社員使っていて、コードやアイデアや作業記録をすべて集約するようにしているのだけど、全社員となると導入した当初に用意したリソースではどうしても厳しくなってきた。さらに使用していた VirtualBox は GHE 2.x シリーズはサポート対象外となってしまい、未来に向けてなんとかしなくてはいけないということでなんとかした。 取りうる選択肢としては、AWS にのせるとか ESXi をインストールしてその上にのせるなどがあったのだけど、弊グループでは大規模な OpenStack 基盤の運用ノウハウがあるということと、ペパボでもアプリケーション・サーバーは積極的に OpenStack の上に載せていくという動きがある(と言っても動きを作っている
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
