tjun月１日記
今年はいろいろあったので、書いておく。 仕事 2019年の前半はかなり頑張ったと思う。2018年4月にメルペイに入社してからSREとしていろいろ準備してきて、今年2月にメルペイをリリースできた。この1年、SREのエンジニアTech Leadとしての仕事とEMとしての仕事を両方やっていたので、それぞれ書いてみる。 SRE リリースが近づく前は設計したインフラをコード化して仕組みを作る作業と、リリースまでに必要なことをいろいろ整理してつぶしていくということをひたすらやっていた。Microservices Platform teamと協力してやることもあった。技術的な部分だけでなく、マイクロサービスの運用のための組織的な仕組みづくり、会社としての情報統制などいろいろなことをやってた。このときにいろいろ仕組みを作っておいてよかったと思う。 2018の年末から2月のリリースまではいろいろあってめちゃ
Storm
Storm is an open source distributed real-time computation system. It provides guarantees of processing data reliably in real-time. Storm allows for building real-time streaming data pipelines that process unbounded streams of data reliably. Key features include being distributed, fault-tolerant, guaranteeing message processing, and providing a high level abstraction over message passing.Read less
tjun月１日記
今年はいろいろあったので、書いておく。 仕事 2019年の前半はかなり頑張ったと思う。2018年4月にメルペイに入社してからSREとしていろいろ準備してきて、今年2月にメルペイをリリースできた。この1年、SREのエンジニアTech Leadとしての仕事とEMとしての仕事を両方やっていたので、それぞれ書いてみる。 SRE リリースが近づく前は設計したインフラをコード化して仕組みを作る作業と、リリースまでに必要なことをいろいろ整理してつぶしていくということをひたすらやっていた。Microservices Platform teamと協力してやることもあった。技術的な部分だけでなく、マイクロサービスの運用のための組織的な仕組みづくり、会社としての情報統制などいろいろなことをやってた。このときにいろいろ仕組みを作っておいてよかったと思う。 2018の年末から2月のリリースまではいろいろあってめちゃ
システム間連携 その5：ApacheのMina - Tech-Sketch
1.はじめに 前回はソケット通信(Berkeley sockets)を簡単に使用する為のフレームワークZeroMQ(http://www.zeromq.org/)を紹介しました。今回は、もう少し実アプリケーションを作成する事を意識したフレームワークApacheのMina(Multipurpose Infrastructure for Network Applications、http://mina.apache.org/)を紹介します。 2.Minaの狙いZeroMQはBerkeley socketsに欠けていた耐障害性などを向上させるフレームワークでしたが、Minaはそれに加え、送受信されるメッセージの中身を参照・加工する機能を持ちます。Minaの構成を示します(ZeroMQに相当する通信機能は割愛し、特徴的な機能のみ示しています)。この中で、IoFilterの集まりであるIoFilt
ITシステムの性能に取り組む基礎知識 （その1: 性能問題を理解するために） - Tech-Sketch
ITシステムの性能問題は昔からあるテーマで，その基礎はほとんど変わっていないにも関わらず，多くのITエンジニアに理解されているとは言い難いものです． 現代のITシステムは多数の構成要素から成り立っており，性能問題の解決は相当にやっかいな難問になってきているのが実状です． その様な状況であるからこそ，基礎をしっかりと理解して臨むことが必要であると感じています． 私たち先端技術センターでは， この高度化したITシステムの性能問題を解決すべく， 高負荷テスト， 性能データ分析， シミュレーション技法による性能事前評価などに取り組んできていますが， それらの高度な技術を有効に活用してもらうためにも， まず， 多くのITエンジニア達に性能問題の基礎を理解していただきたいと考えています． 勘に頼ると失敗する 高負荷になったときの性能は， 直感に反することがあります． 100÷50＝2 の様な
Zabbix APIを利用してアプリケーションを作ってみよう(1) - Tech-Sketch
前回まで3回( 第1回 , 第2回 , 第3回 )に渡って紹介してきたOSSの統合監視ツール「Zabbix」は、 監視したデータを取得したり、監視設定を行ったりするためのAPIの機能が備わっています。 APIを活用することで、Zabbixの管理画面とは違う別のアプリケーション上でZabbixで監視したデータを利用することができます。 今回は、このZabbix APIの使い方の基礎をご紹介します。 はじめに Zabbix APIはZabbixのバージョン1.8以降で導入された機能です。 Zabbix1.8のマイナーバージョンの違いによって、一部対応していないAPIもあるので利用する場合は注意が必要です。 今回は、2012/1/27時点での最新安定版である1.8.10を元に紹介します。 Zabbix APIに関する公式ドキュメントはこちらのページで掲載されています。 ZabbixAPIド
zabbixでhadoopクラスタのJVMを監視したい - Tech-Sketch
なぜzabbix？ Hadoop監視ツールとしてはAmazon Elastic MapReduceでの利用や、NTTデータが公表した 検証資料 で採用された Ganglia の方が有名ですが、日本ではユーザ会の活動も活発なzabbix を使って監視したい！という方のためのアプローチです。zabbixに強いTISの某I氏が作成したものを引き取ってJVM監視用に拡張しました。 zabbix-server-1.8.5に含まれているzabbix-templateにはjmxを使った定義も格納されているのですが、portの特定等少々面倒なようなので、新たに定義しなおしています。 監視のためにやったこと 基本的にはawkでJVMやリソース情報を取るスクリプト書き、zabbix-agentから呼び出しています。 こんな感じです。 ps auxww で取れる情報から、指定のプロセスを実行クラス名でgre
ネットワーク管理を大きく変えるOpenFlowとは (1) - Tech-Sketch
ここ1年ほどで、ネットワークの分野において「OpenFlow」というキーワードを目にする機会が急激に増えてきました。 昨年4月に世界初のOpenFlow対応製品の販売が開始されて以来、様々なネットワーク機器ベンダがネットワークスイッチのOpenFlow対応を発表しています。また日経コミュニケーションや日経NETWORKといった雑誌においても、昨年から何度も特集が組まれるようになりました。ネットワークに携わる方であれば、OpenFlowとは何なのか、どのような変化をもたらすのか気になっている方も多いでしょう。 本記事では、OpenFlowの概要について簡単に整理した内容を紹介します。 OpenFlowとは OpenFlowとは一言で言うと、ネットワーク機器を制御するための標準化された手続きを定めたプロトコルです。 従来のネットワーク機器は、ベンダごとに機器の仕様や設定方法が大きく異なり
リアルタイム分散処理Stormの耐障害性は？ - Tech-Sketch
リアルタイム分散処理とは 「ビッグデータ」処理のためにHadoopを用いますと、「複数のマシンに大量データ処理を分散して飛躍的に性能を向上する」ことが容易に可能となります。 ところがHadoopの弱点としまして、ビッグデータをいったん蓄積し、バッチで一括処理する形態で処理が行われますので、処理データが発生してからそれに対する処理結果が得られるまで必ずタイムラグが発生します。このため、クレジットカードの不正アクセス検知、センサーデータなどでの異常値検出のようなリアルタイムなレスポンス(低レイテンシー)が要求されるビッグデータ分野へのHadoopの適用は向いておりません。 このような随時発生する大量データ（ストリーミングデータ）を、蓄積せずにリアルタイムに処理する「リアルタイム分散処理」が求められています。 今回は、リアルタイム分散処理のソリューションとしてTwitter社より公開された
OSS統合監視ツール「Zabbix」を利用して大規模環境監視(3) - Tech-Sketch
第1回目 はZabbixの「テンプレート機能」、 第2回目 は「ディスカバリ機能」「自動登録機能」を紹介しました。 これらの機能だけでもかなりZabbixの監視環境構築にかかるコストが下げられたのではないかと思います。 第3回目の今回は、監視環境構築のコストを下げるための機能ではなく、 大量機器の監視を実現するために有用な機能である 「分散モニタリング機能(Zabbix Proxy)」 を紹介します。 Zabbix proxyの機能はZabbixのバージョン1.6以降で利用可能です。 (ただし、利用するバージョンによって、Zabbix Proxyにおいて利用できるモードが異なるため注意が必要です。モードの種類に関しては本文中で紹介します。) Zabbix Proxyの役割 Zabbix Proxyとは、Zabbix Serverの代わりに対象機器の監視を行い、 監視結果をZabbi
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
