近年の KVS では割と Redis が覇権を取っていることもあり(当社比), 社内の多くのプロジェクトで Redis を使用するようになりました. ということでノウハウ的なのも溜まってきたのでまとめたいと思います. (大量のユーザーデータを扱うソシャゲにしか当てはまらない部分もあるかと思います) 単純にパフォーマンスを RDB < Redis と思い込んでとりあえずでキャッシュしない 「Redis は速い」と言われますが, インデックスをちゃんと貼った RDB のクエリも そこまで遅いわけではありません. 結局通信コストの方が遥かに大きいので内部の 取得時間差はトータルで考えると多くの場合誤差です. 特に RDB の主キーのみで取得できるようなデータを Redis にキャッシュすることに メリットはありません. キャッシュするコードを書くコストの方が高くつきます. キャッシュするのは R

Chrome 59からChromeをヘッドレス環境で実行するHeadless Chromeが搭載されました。 自動テスト等でこの機能を使えると便利そうな気がしたので、DockerでHeadless Chrome が使える環境を整えてみます。 Docker Imageの作成 alpine linuxにはgoogle chromeのパッケージはありません。chromeの元となるオープンソース実装のchromiumのpackageを検索してみると、最新版のchromiumが59.0.3071.86-r0と なっています。 これを利用すればHeadlessで動かすことが出来そうなので、今回はこのパッケージを 利用してみました。Branchがedgeとなっていますので、alpine linuxのイメージを edgeのものを使用しました。 $ docker build -t chromium_head

オープンソースのスパムフィルタリングシステムRspamdプロジェクトは6月12日、最新版「Rspamd 1.6」をリリースした。Milterプロトコルのサポート、ARC署名対応などの新機能が加わっている。 Rspamdは高度な機能を提供するスパムフィルタリングツール。正規表現、統計分析、URLブロックリストなどのサービスを利用してメッセージを評価する。単一のCPUコアで最大で毎秒100通のメールを処理できるなど高速さも特徴で、Webインターフェイスの提供、Postfix/Exim/Sendmailといったメール転送システムとの統合性、Lua APIによる拡張性なども備える。 Rspamd 1.6は、3月に公開されたバージョン1.5に続く最新版。本バージョンではSendmail、Postfixなどでよく利用されるプラグインMilterプロトコルをプロキシワーカーでサポートした。大規模システム

はじめに Trend Micro Deep Securityの侵入防御機能を使って、SQLインジェクションをブロックしてみました。 検証には以前作成した脆弱性をもつサイトを使いました。 ユーザーIDとパスワードを入力すると、そのユーザーのメールアドレスを表示するWebサイトです。 Webサイトの動作を紹介します。 正しい動きの例 ユーザIDとパスワードを指定の上、送信ボタンを選択すると、指定したユーザのメールアドレスが表示されます。 SQLインジェクションの例 パスワード欄に'OR 'A' = 'Aを指定すると、全てのユーザのメールアドレスが表示されます。 ユーザ情報が漏れてしまった状況を再現しています。 この動作をDeep Securityでブロックしてみました。 侵入防御ルールを追加 EC2にDeep Security Agentをインストールします。 手順はこちらをご覧ください。 S

Amazon Web Services ブログ AWS CodeBuild と HashiCorp Packer を用いた AMI ビルダーの構築方法 独自の アマゾン マシン イメージ を作成し維持することは、運用とセキュリティにおけるベストプラクティスです。インフラストラクチャをコードとして維持することもまたベストプラクティスの1つです。そのため、Amazon EC2 インスタンスを素早く起動するために AMI を作成し設定する、といったことをスクリプト化するための自動化ツールを利用することには価値があります。 公開する2つの記事の最初にあたるこの記事では、AWS においてプログラマブルに AMI を作成するために AWS CodeBuild を使用します。AMI 生成の一部として、OS のパッチを適用し、バナーステートメントを設定し、よく使うソフトのいくつかをインストールし、将来的な

何するの？ 2年の時を経て、Debian9 "Stretch" のリリースがやってきます。そして、世界各地でそのお祝いのパーティが開かれます。東京でもケーキを食べつつ、一緒にリリースを祝いませんか？ :-) 6/18 (日) スケジュール 10:00 開場 10:30 東京エリアDebian勉強会：セミナー/hack time 13:00 パーティ開始 17:00 パーティ終了・撤収 Debian勉強会内容 「Debian Continuous Integration」(発表者：Charles Plessyさん） 「Debian Policyドキュメント改良の試み」（発表者：やまねひでき） 希望者によるGPG キーサイン（フィンガープリント＆パスポート持参のこと） Hack time 飲食物 予算が許す限り以下を準備予定（ケーキは外しません） ケーキ コーヒー・紅茶・お茶のたぐい 飲み物（

こんにちは、アメブロのフロントエンドエンジニアのときです。 アメブロでは2017年4月に、PC/SPブラウザの閲覧面のhttps化対応を行いました。 今回は、大規模サービスにおけるhttps化のフロントエンドの対応についてお話しさせていただきます。 ※現在は、https、httpどちらからでもアクセスができる状態で、徐々にhttps一本に移行し、「常時https化」を目標としています。 https化って何がいいの？ まず、既存のサービスをhttps化することで、サービスやユーザにはどういった影響があるのでしょうか。 メリットとデメリットをかいつまんでご説明します。 メリット セキュリティ強化、信頼性アピール SEO向上 最新の技術を取り入れることができるようになる セキュリティ強化、信頼性アピール 直接的なメリットとしてはやはり、HTTPS通信のみでサイトを配信することによる、セキュリティ

大栗です。 Amazon Auroraでデータベースのクローンを作成できる機能がリリースされました! Amazon Aurora Introduces Database Cloning Capabilities Release: Amazon RDS on 2017-06-12 データベース・クローン データベースのクローンはre:Invent 2016でアナウンスされていたのですが、既存のAuroraクラスタを素早くコスト効率よく複製する機能です。データベースのクローンではCopy-on-Writeプロトコルを使用しており、ソースデータベースかクローンデータベースで書き換えが発生した時にデータがコピーされます。 Copy-on-Writeプロトコル Copy-on-WriteはOSのメモリ管理などでよく使用されますが、データの複製を行う時に実際にはコピーせずに同じデータを共有して複製時か

2017年5月2日に Windows 10 S と Surface Laptop が発表されました。 当初は日本語の FAQ のストア アプリの説明に「Desktop Bridge 対応のアプリも含む」と記載されていました。この記述は、英語版の FAQ に記載がなっかたことが理由かどうかは知りませんが、現在は「Windows ストア アプリ」とだけ記載されています。また、Build 2017 では、現在の Linux SubSystem を使った SUSE や Fedora なども Windows ストアから配信されると発表がありました。Winodws 10 S でコマンドラインの扱いがどうなるかについては、コマンドライン チームが Windows 10 S では動作しないと明言しています。具体的には、以下のようなものは動作しないことが確認できています。 コマンド ライン(cmd.exe)

こんにちはCTOの馬場です。 ハートビーツではPythonとGolangを推奨プログラミング言語としています。 インフラがメインの会社っぽいでしょう？ 社内チャットツールとしてSlackを使っているので、 chatbotを作って便利に使っています。 今回はGolangで自作したリソースロックのためのchatbotである 「locket」を紹介します。 lock-it => locket という感じの命名です。 いまのところOSSにしていませんが、 弊社のお客さまであればバイナリは提供できると思うのでご相談ください。 locketでできること システム運用上、作業Aと作業Bを並走させてはいけない、というシーンはよくありますよね。BINDの設定変更とか。 どちらもソフトウェアで完結できる処理であればキューイングして自動処理できますが、片方が手作業の場合はそうもいきません。なんだかんだで声掛けし

Dockerで開発、ステージ、本番へのリリースから運用までを一通り行った結果、どのようなことに注意して開発すべきか、どのような構成をとるべきか、どうやって本番リリースするのかについてまとめます。Laravel, Lumenを使っていたため、PHPで開発を行っている方たちにとっても、本番導入を検討するにあたって良い目安になるかと思います。

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

Apacheのロードバランシングモジュールである mod_proxy_balancer の振り分けアルゴリズムの bybusyness について調べた内容です。 byrequestsとbybusyness bybusynessの使いどころ 検証による動きの比較 シナリオ① 特定のサーバが遅くなる時を再現 シナリオ①　検証環境 シナリオ①　結果(byrequests) シナリオ①　結果(bybusyness) シナリオ② リクエスト毎の処理時間にバラつきがある時 シナリオ②　検証環境 シナリオ②　結果(byrequests) シナリオ②　結果(bybusyness) 振り分けロジック byrequestsのロジック bybusynessのロジック 参考 byrequestsとbybusyness 語弊を恐れずに1行で書けばいかのような感じかと思います。 メソッド 1行説明 byrequest

Nagiosの監視しようとRedisプラグイン探してみたら以下が見つかりました。 check_redis.pl - Nagios Exchange ただ、PerlやPHPが必要だったので、バイナリファイルを置くだけで動くGoでプラグインを作ってみました。 コマンドのオプション オプション 説明 -h|-host Redisサーバのホスト名 or IP(default 127.0.0.1) -p|-port Redisのポート番号(default 6379) -password Redisのパスワード(設定している場合のみ) -timeout タイムアウト(ミリ秒) -metrics ※以下詳細 ※ metric オプションは少し複雑ですが、以下のような設定をします。 メトリクス名1:[警告閾値]:[異常閾値]:[gt|lt],メトリクス名2:[警告閾値]:... gt = 閾値以上の場合に

re:Invent 2016 で発表されたけど，オンプレ関連だと勝手に思い込んでいて，今まで試していなかった Amazon EC2 Systems Manager の中に「パラメータストア」というサービスがあり，試してみたらこれが非常に便利だった．簡単に言うと，任意のパラメータをパラメータストアに格納することができて，アプリケーションと環境変数を完全に切り離すことができてしまうというもの．The Twelve-Factor App を実現できるぞ！ Amazon EC2 Systems Manager (Amazon EC2 とオンプレミスシステムの設定と管理) | AWS パラメータストアとは？ 任意のパラメータをパラメータストアに格納することができる データタイプは3種類ある String String List Secure String (パラメータを KMS で暗号化して格納する

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert