こんにちは。ハートビーツの管理部門を担当してます前川です 席が窓際なので気温の低下が更に身に沁みます（近況） ハートビーツは5名のメンバーでスタートした会社で、 何度も組織やいろんな壁にぶつかりながらなんとか70名規模までやってきました 今回は組織が大きくなるために行った研修内容とその失敗例について 以下、スライドに書ききれなかったポイントを書いてきます ・研修制度導入タイミング ・トレーナーの注意点 ・失敗例 ・今後の研修 研修制度導入タイミング 事業やサービスにおいてメンバーのやることが一通り決まってきたタイミングが良かったです （それまではOJTくらいしかできない） ハートビーツにおいては業務の形がほぼ決まり、それを横展開するタイミングで研修が導入しました それまでは探り探り業務を決めていきながら、OJTでその時点の正解を叩き上げで覚えてもらってました その後さまざまな研修を入れてト

こんにちはCTOの馬場です。 弊社では業種柄、サーバごとのCPU利用率などたくさんの時系列メトリックデータを持っています。 以前はこの収集・閲覧にcactiを利用していましたが、最近はgrafana + graphiteを利用しています。 (ちなみにこれらは全て自社製OSS監視エージェントのhappo経由で収集されます) 今回はこのデータの活用例として弊社で実装している解析・レポーティングについて簡単に紹介します。 できること 全体としては月次レポートを作るしくみです。 月次レポートを自動生成 月次レポートに、前月の実績値が閾値超過しているグラフを掲載 月次レポートに、前月の実績値からの予測値が1ヶ月以内に閾値超過するグラフを掲載 下2つは今回作ったgraphdというアプリケーションで実現しています。 ※オレンジが閾値、赤が予測 動作概要 ハートビーツでは HTTPS(HTTP)+JSON

こんにちはCTOの馬場です。 ハートビーツではPythonとGolangを推奨プログラミング言語としています。 インフラがメインの会社っぽいでしょう？ 社内チャットツールとしてSlackを使っているので、 chatbotを作って便利に使っています。 今回はGolangで自作したリソースロックのためのchatbotである 「locket」を紹介します。 lock-it => locket という感じの命名です。 いまのところOSSにしていませんが、 弊社のお客さまであればバイナリは提供できると思うのでご相談ください。 locketでできること システム運用上、作業Aと作業Bを並走させてはいけない、というシーンはよくありますよね。BINDの設定変更とか。 どちらもソフトウェアで完結できる処理であればキューイングして自動処理できますが、片方が手作業の場合はそうもいきません。なんだかんだで声掛けし

StreamモジュールとMailモジュールについては、nginxバイナリに静的にビルドされて組み込まれています。 なお、nginxバイナリと動的モジュールの両方とも、後述するconfigure時のオプション「--with-compat」付きでビルドされています。 nginxバイナリとモジュールのsignatureが異なると動作しない 動的モジュールが実装された当初から「nginxバイナリとモジュールのsignatureが異なると動作しない」という制約があります。 このことについては昨年の記事「nginx-1.9.11で動的モジュールをサポート」において次のように説明しました。 nginxバイナリと異なる環境でビルドされた動的モジュールを組み合わせて動かすことはできません。 これにより困ることの例としては、公式サイトやディストリビューションからnginxのRPMパッケージをインストールした環

こんにちは、滝澤です。 みなさん、提供しているサービスの外形監視を行っていますか。 DNSレコードの変更ミスやドメイン名の失効などを起因とする障害に早く気づけるようになっていますか。 ということで、今回は外形監視におけるフルリゾルバー（キャッシュDNSサーバー）のキャッシュ保持期間について考えてみます。 外形監視とフルリゾルバーについて 外形監視とは何かを一言でまとめると、「システムの外部から、システムが提供していサービスが正常に動作しているかを監視する」ことです。 このとき、「ユーザーと同じような方法でアクセスする」ことが重要となります。 アプリケーションのサービスへのアクセス方法 ウェブブラウザーのようなユーザー側のアプリケーションがサービスに接続するときには、次の図のようにサービスのドメイン名の名前解決を行い、取得したIPアドレスに対して接続を行います。 このとき、名前の解決は次のよ

その昔hbstudyで @kazuho さんは言いました 「監視は継続的なテストである」 というわけでこんにちはCTOの馬場です。 今回は弊社で実際に適用しているテストケースを紹介します。 ハートビーツと監視システム ハートビーツでは永らくNagiosを使って2拠点から同内容の監視をしています。 最適な監視を実現するためにはNagiosの監視の実体である Nagiosプラグインを自作する必要があり、 ハートビーツでは特に別途費用をいただかず必要なNagiosプラグインを実装しています。 ソースコードは社のGitLabで管理していて、 hb-nagios-plugins グループ配下には100近いリポジトリがあり、 さらにこの他にも案件固有の監視項目用に個別のリポジトリがあります。 要するにたくさんですね。 さきほどざっと hb-nagios-plugins グループ配下のファイル数を確認し

こんにちは。CTOの馬場です。 負荷テストツール Tsung の話です。 HTTP負荷テストツールだと JMeter や ab 、httperfあたりが有名ですね。 新しいところだとTsungやGatlingでしょうか。 私は去年くらいからTsungをよく使っているので紹介します。 このエントリは第1回です。 Tsungで負荷テストしよう(1) - 基礎知識 Tsungで負荷テストしよう(2) - 実践Tips Tsungで負荷テストしよう(3) - リアルな負荷のためのTips Tsung のお勧めポイント まずはTsungのお勧めポイントから。 負荷をかける側に必要なマシンスペックが低い 負荷をかけるとき、JMeterよりTsungのほうが同じサーバでより大きな負荷を生成することができます。 もちろん必要な負荷が1台で生成しきれない場合は複数台で連動して負荷を生成することができます。

こんにちは。CTOの馬場です。 みなさん、クリティカルシンキングしてますか？ クリティカルシンキングというとどうにも意識高い感じがしますが、 実のところエンジニアが現場で使える超実践的スキルなのです。 弊社では会社のお金でグロービスのクリティカルシンキング講座を単科受講してもらうことが多いです。 経営層だけでなく、エンジニアチームや24/365チームのリーダークラスも受講しています。 クリティカルシンキングの効果 普段からクリティカルシンキングが実践できるようになると仕事の手戻りが圧倒的に少なくなります。 作業にせよコミュニケーションにせよ、 何かにつけて考慮漏れが減り検討が深くなるので効果絶大です。 クリティカルシンキングを身につけるということ 講座では経営層に向いたネタ(売上がどうだとか利益がこうだとか)がほとんどなのですが、 「クリティカルシンキングという方法論を身につける」 ことを

運用監視も エンジニアが対応 これまでの経験を元に、お客様の業務を全面的にサポート。運用監視もエンジニアによる24時間体制で状況変化・障害発生を早期に検知し、対応します。 幅広い対応力 技術担当者が不在、または別の業務に専念したい場合も、ハートビーツのエンジニアがインフラ管理〜コンサルティングまで対応、ご要望にお応えします。

こんにちは。みうらです。 普段はエンジニアによる技術ネタがメインのインフラエンジニアWayですが、今日はいつもと少し趣向を変えて、人材とか採用という観点からハートビーツエンジニアをハックしてみようと思います。 実際ハートビーツのエンジニアってどうなの？どんな感じで働いているの？みたいなところに切り込むことで、少しでもエンジニアとしての働き方の参考になればうれしいです。 なんで今、中途採用がんばるの？ つい先日6/27にwantedlyで中途採用の募集を新しくオープンしました。 ありがたいことにオープン直後からさっそく何人かの方に応募をいただいています。 中途採用に特化しているかのようなぺージになっていますが、実際のところはハートビーツでは1年を通して、いつでも積極的に採用活動をしています。 今回は、ターゲットを絞って採用チームの力をつぎ込んでみよう！という試み、というだけだったりします。

株式会社ハートビーツのITインフラエンジニアがお届けするnginx連載の6回目。今回はnginxのTLS/SSLについての設定を確認していきます。以降、"TLS/SSL"のことを単に"SSL"と書きます。 nginx.orgのパッケージからインストールしたnginxが提供している設定ファイルexample_ssl.confをサンプルとして説明します。なお、一部修正をしております。 server { listen 443; server_name example.jp; ssl on; ssl_certificate /etc/nginx/cert.pem; ssl_certificate_key /etc/nginx/cert.key; ssl_protocols SSLv3 TLSv1; ssl_ciphers HIGH:!aNULL:!MD5; ssl_prefer_server_ci

こんにちは。吉川 ( @rrreeeyyy ) です。今期オススメのアニメはリゼロです。 Nginx は設定ファイルの記述力も高い、大変便利な Web サーバです。 便利な反面、設定ファイルの複雑化や、設定に依っては意図しない挙動を引き起こしてしまうこともあります。 そこで本稿では docker 並びに infrataster を使用し、 Nginx の挙動をテストすることによって、安全に Nginx の設定を記述する方法について紹介します。 テスト対象の Nginx の仕様 今回は例として、次のような仕様の Nginx のテストについて考えます。 ネットワーク帯は 10.0.0.0/16 を使用している Nginx の前段として L7 ロードバランサが存在している L7 ロードバランサが https を終端している Nginx 自体は 80 番ポートと 8080 番ポートにて待ち受けてい

こんにちは。斎藤です。 前回につづき、当社で実践しているITインフラ構築・運用の自動化やコード化のお話になります。今回は、hb-acns(あくねす、といいます)といって、当社の監視・メトリック取得設定の自動化を行う内製のシステムについてご紹介します。 ※最後にお知らせがあります TL;DR データセンタ・IaaS事業者が入り乱れている中で、既存ツールで自動化するのが難しかった。また、既存業務をできる限り維持したい。そこで内製した。 hb-acns は軽量なエージェントとサーバで構成される。そのうえで、既存の監視システムに設定を自動登録できるシステムとなっている。 監視設定時間が1/10に短縮されるなど、大きな導入効果が得られた。 Issue, PRベースで開発を進めることで、利用者が自分のツールとして理解し、利用するようになり、そして改善に協力してもらえた。 動機 幾多にもある案件をどうこ