はてなブックマーク

Travis CIからGitLab CIに移行した Tweet デジカでは長らくCIサービスとして Travis CI を使用してきましたが、数カ月前に Komoju 開発に使用する CI を GitLab CI に（ほぼ）移行しました。この記事では移行を決めた理由と現在使用している構成を解説します。 詳細は以下に書きますが、CIにかかる時間が大幅に短縮、CI環境にかかる費用も半分近くに改善、そしてよりよいデプロイ管理機構を獲得し、今回の移行は成功だったと現在のところ判断しています。 デジカとTravis CI 4年くらい前からデジカではCIサービスとして Travis CI を使用してきました。現在でも多くのプロジェクトで利用されています。 しかし最近になり、特に Komoju の規模が大きくなるにつれて様々な問題が顕在化してきました。主なものは 並列度を高めると金額が高くなる ジョブの

portwarpで ssm-session-manager を活用する Tweet はじめに AWSで最近リリースされた、ssm-session-manager と言う機能は、「IAMで権限管理ができるssh」なのだと思って、「これは便利なものができた」と喜んだのですが、実際に使ってみたらいろいろ制限がありました。 一つの問題は、/bin/shを決め打ちで起動してしまうことですが、他にも、ssh の代替にしようと思うと、以下のような機能が欲しくなります。 port forwarding scp/rsync などのファイル転送 特に、テスト中などは、本来、プライベートなサーバを一時的に外から見たいということがよくあります。「プライベート」とは、AWS内にある別のサーバにAPIなどのサービスするのが目的で、ネットワーク的に外部に公開されていないものです。 そのネットワーク内に、sshができるサ

Keybaseの暗号化 git を理解するためのポイント Tweet はじめに Keybase という会社が、最近、連続して興味深いサービスをリリースしました。 ひとつは、Keybase Teams という Slack もどきのグループチャットです。もうひとつは、encrypted git という暗号化された git です。 どちらも、end to end で暗号化されていて、サーバがクラックされても内容を読まれることがないということがウリになっています。 Crypto spec: the Keybase filesystem (KBFS) Keybase promises secrecy and integrity of file system data and metadata even in the case of total server compromise. 完全にサーバがやら

AWS Inspectorで定期セキュリティスキャンを実行して結果をSlackに通知する Tweet デジカでは多数の AWS の機能を利用して自動化を進めていますが、今回はそのうちのひとつ、AWS Inspector の定期実行と実行結果の Slack への通知をどのようにして実現したかを説明します。 AWS Inspector あまり広くは知られていなようですが、AWS には Inspector というセキュリティスキャンのサービスがあります。 EC2 インスタンスにエージェントをインストールしておくと、AWS の Web コンソールや API からインスタンスのセキュリティスキャンを実行することができます。 スキャンする内容はいくつかルールがあって、実行するルールを選択できます。例えば CVEルール (CVE に登録されている脆弱性が存在するパッケージを使用していないか) や、Sec

Ruby のモジュラリティの再発見(翻訳記事) Tweet これは、弊社のクリス・サルツバーグによる Rediscovering Modularity in Ruby — Commerce Hack という記事の翻訳です。 デジカの開発チームは、広島で開催された、Ruby開発者の世界で一番大規模な集まりである RubyKaigi 2017 に参加しました。これに参加するのは初めてではないですが、チーム全体で用意をして臨むのは初めてでした。CEOと4人の開発者が現地に行きました。私たちはかわいいステッカーを持ち込み、ちょっとシャレた配布物を印刷して、小さなブースで展示しました。さらにはテキストアドベンチャーゲームまで作りました。 RubyKaigi での発表内容 私が一番力を入れたのは、二日目に行なったThe Ruby Module Builder Patternという発表です。これは私が最

Rediscovering Modularity in Ruby Tweet Our dev team at Degica headed down to Hiroshima last week to join the world’s largest gathering of Ruby developers at RubyKaigi 2017. It wasn’t the first time we attended the conference, but it was the first time we really put a coordinated effort into planning and preparing for the event. In all five of us were there, four developers and our CEO. We brought

Macbook Pro から Razer Blade + Ubuntu に移行した Tweet 今年初めくらいに、今まで使っていた Macbook Pro (13インチ 2014年モデル) に別れを告げ、全面的に Linux (Ubuntu GNOME 16.10) に移行しました。 会社から支給されている Razer Blade 2016 GTX 1060 を使用しているのですが、結論から申し上げるとハードウェア問題もなく、これまでないくらいに快適で、完璧に動作しています。（後述しますが、僕の使う範囲のハードウェアに問題がないだけで、一部のデバイスは動作に難があります。 主として Rails や go を使用したWebサービス開発とインフラ開発が中心である一個人の感想ですが、なぜ今まで Macbook 使ってたのだろうと自分を責める程度に現状に満足しています。 さて、本記事では Raze

Amazon ECS でスケーラブルな Mastodon インスタンスを立ち上げる Tweet はじめに 今回は、Barcelona を使って、Amazon ECS 上に Mastodon のインスタンスを立ち上げる方法を紹介したいと思います。 単に Mastodon のサーバを起動するだけなら、VPSなどを使って一台のサーバで全部動かす方が簡単です。しかし、それではスケーラビリティの面で限界があり、ユーザが増えてきた時にいろいろ困ると思います。 ECSとさまざまな AWSのマネージドサービスを組み合せて構築することで、以下のようなメリットがあります。 ユーザが増えてきた時に負荷に応じてさまざまな方向に拡張できる 一つのクラスタ内に複数のインスタンスを立ち上げ、1インスタンスあたりの費用と運用面の負荷を抑えることができる バックアップの取得やレプリカの運用が簡単で、データを確実に守ることが

定額プロバイダ併用で転送量破産に備える Tweet はじめに 今回は、転送量課金が定額制のプロバイダを利用してコスト削減に成功した事例を紹介します。この事例そのものは当社特有のケースになりますが、似たような考え方が適用できるケースは多いと思います。 当社はインフラをほぼ全面的にAWSに移行していますが、コストの内訳を見るとおよそ三分の一が転送量課金でこの割合が増える傾向にあります。また、月々の変動が激しいのも転送量課金です。 従って、コストを考える上で転送量課金の管理が重要になるのですが、これはなかなか難しい課題です。その理由は、AWSにおいては、転送量課金を削減するオプションがあまりないことです。これは、長くAWSを使っていると、多くのユーザが悩まされる問題ではないかと思います。 インスタンスの料金であれば、リザーブドインスタンスとかスポットインスタンスとか、いろいろなオプションがあって

ActionMailer::Base.register_observer を使って注文に紐づくメールの送信ログを作成する Tweet RailsのTipsです。バージョンは Rails 4.2.0 + Ruby 2.2.0p0 になります。 ECストアの開発・運営しているとお客様へ送信したメールの履歴を確認したい時があります。 そういったメールの送信ログを作成する時 ActionMailer::Base.register_observer メソッドを使うと綺麗にクラスを分離できて便利です。 class Order < ActiveRecord::Base def after_complete OrderMailer.register_observer(EmailLogObserver.new(self)) OrderMailer.confirmation_email(self).deliv

Railsアプリケーション開発を完全にDocker化する Tweet Degica のすべてのサービスは Rails で開発しており、そのうちの一部は Docker を使用した本番環境にデプロイしています。しかし開発者個人の開発環境にはいまだに Docker を導入できていません。最も大きな障害は spring を docker コンテナ内で上手く扱う方法が確立されていなかったことですが、この問題は docker-compose を工夫して利用することで解決可能であることがわかりました。 ということで、今回は rails アプリケーションの開発環境を完全に docker 化する方法を紹介します。 完全に、というところがポイントです。この方法を使えば docker 以外のツールを一切ホストマシンにインストールせずに rails アプリの開発を行うことができます。 (ちなみに、弊社の本番環境は

安全なVPC設計 Tweet VPCの構築はAWS を使って Web サービスを構築する上で避けて通れないものですが、デフォルトで作成済みの VPC はセキュアとは言い難いものです。 しかしながら、正しい VPC を構築するためにはネットワークに関する知識に加えて AWS 特有の事情も関わってくるため、Web アプリケーション開発者にとって容易なものではない場合が多いでしょう。 この記事では、私のおすすめする VPC の設定の紹介と、なぜそのような設定がよいのか、他の設定と比較します。 public と private サブネット public サブネットとは、インターネットにアクセス可能なサブネット、つまり、そのサブネットのルートテーブルに Internet Gateway が設定されているサブネットのことです。 一方で private サブネットとは、直接のインターネットアクセスのでき

Amazon KMS を利用した 秘密情報管理 ruby ライブラリ Voynich Tweet 先日、秘密情報暗号化を管理する ruby ライブラリ Voynich を公開しました。 本記事では、Voynich の使い方と開発に至った背景を紹介します。 Voynich とは Voynich は 鍵管理に Amazon KMS (Key Management Service) を利用した秘密情報管理 ruby ライブラリです。ActiveRecord をデータの保存先として利用するため、基本的には Rails アプリケーションでのデータ暗号化に用いることを想定しています。データの暗号化には AES-GCM-256 を用いており、データの認証にも対応しています。 なぜ Voynich を開発したのか Web アプリケーションは常にセキュリティ的な脅威に直面しているので、DB に保存されている

決済API Komojuを使ってSpreeでコンビニ決済を楽に使える方法 Tweet この記事は Payment Advent Calendar 2015 の 18 日目です。 日本で決済をECプラットフォームで実装しようとすると、独特な日本の国内決済の特徴が壁になってしまい、なかなか難しいことになるケースが多くあります。 今回の記事ではその代表的な決済方法としてコンビニ決済を取り上げて、SpreeというRuby on Rails用のECプラットフォームと以前に紹介された決済API Komojuのコンビニ決済を合わせて、この問題を簡単に解決する方法を紹介したいと思います。 Ruby on Railsのアップリケーションを製作 まず最新のRailsをインストールして（gem install rails)、新しいアップリケーションを作ります。 rails _4.2.5_ new mystore

決済 API Komoju を使って決済してみる Tweet この記事は Payment Advent Calendar 2015 の 17 日目です。 今日は弊社 Degica で開発している Komoju という決済 API とその使い方を紹介します。 Komoju とは Komoju は複数の支払い方法に対応している決済ゲートウェイサービスです。 現時点で対応している支払い方法は全部で 5 種類です。 クレジットカード コンビニ支払い 銀行振込 PayEasy WebMoney 使い方にもいくつかの方法がありますが、この記事では REST API を使った決済を試してみます。 API ドキュメント この記事では紹介しきれない機能もあるので、知りたい方はAPIドキュメントを参照してください。 アカウント作成 まず、サインアップのページでテスト用のアカウントを作りましょう。 準備 API

ActionCable と react-rails でサンプル作ってみた Tweet はじめに Rails5 の新機能である ActionCable を試してみて、ついでに、react-rails を使って、WebUI付きの開発用DNSサーバを作ってみました。 作ったのは、オレオレDNSという開発用DNSサーバです。 最初にそのアプリの機能や目的から説明しますが、ActionCableに興味がある方は、後半の「実装について」のところまで飛ばして読んでください。 ActionCableとreact-railsを使うことで、従来の静的なページ中心のアプリのノウハウを活用しながら、SPA的な動的なアプリに段階的に移行していくことができます。それがどんな感じになるのか確かめるのにちょうどいいサイズのアプリだと思います。 オレオレDNS とは オレオレDNS とは、複数の設定を内部に持ち、次のような

Blue Green Deployment Tweet はじめに デジカでは、2015年4月から Blue Green Deployment を実践しています。それについて、良かった点と課題を含めて紹介したいと思います。 Blue Green Deployment とは Blue Green Deployment という言葉は、マーチン・ファウラー氏の同名の記事 (日本語訳) から広まったものだと思います。簡単に言うと、本番用のサーバを２セット用意して、別のサーバで新しいバージョンを動かしてから切り替える形でリリースする手法です。 以下のような利点があります。 graceful restart などの複雑な機能を使わずに、ダウンタイム無しで瞬時に切り替えができる ユーザに公開する前に、本番環境そのもので最終的な動作確認テストができる 万が一、新バージョンに問題があった時、すぐに前のバージョ

Shell Programing のすすめ Tweet はじめに 最近は一人のプログラマーに求められる仕事の範囲が広がっています。決まった工程の中で決まった仕事だけやっていればOKということは少なくなっていると思います。 そうすると、その場限りの単発の作業が増えてきますが、「単発」と言っても、本当に一回限りなのかそれをこれから何度も行うことになるのか、なかなか見えないことも多いでしょう。 shell によるワンライナーやスクリプトを使えると、こういう作業をこなす上で、大きな武器になります。 ここでは、問題を ワンライナーで解決して、最終的にそれをスクリプトとしてまとめた事例をひとつ紹介します。 問題と背景 当社は、Eコマースサイトを運営していますが、一つのプラットフォームで多くのサイトを運営しており、また、CMS、カート、バックヤードなどの多彩な機能をサポートしています。そのため、単一機能

Automating your API with JSON Schema Tweet Maintaining API documentation and client libraries can be a pain. Its time-consuming and everyone seems to forget to update them over time. Because of this we’ve been looking for new ways of automating our API toolchain here at Degica. One of the really cool technologies we have been working with lately is JSON Schema. Since we’ve had a lot of success wor

Spree is Dead Tweet 10月末に 長らく、Rails 製の EC フレームワークとして人気を誇ってきた Spree の OSS としての開発が概ね終了するという内容の記事「Spree OSS の未来」が発表されました。少し前に Spree Commerce が First Data 社によって買収されたことによって、Spree をメインで開発してきた Spree Commerce のリソースをこれ以上投資できないという判断による決定のようです。Spree Commerce のサイトで提供されていた Sandbox でのデモは既に停止しているようです。 記事にもありますが、2007 年に開始され、これまで、15,000 以上のコミット、700 名以上のコントリビューターによって、8 年以上も第一線で開発、使い続けられている Rails のライブラリもそうないのではないでしょ

JSON SchemaでAPI開発を自動化する Tweet このエントリは弊社の英語ブログのAutomating your API with JSON Schema — Commerce Hack の翻訳です。 APIのドキュメントとクライアントライブラリの保守には苦労します。時間もかかるし、ドキュメントの更新をついつい忘れてしまうこともよくあります。私たちは、こういう作業をするのにいいツールはないものか、ずっと探していました。 そして見つけたのが JSON Schema です。これは本当にクールな技術で、私たちはこれを、APIのドキュメント生成、クライアントライブラリ内のロジック、そして自動化テストの中で活用しています。ここではその活用法を紹介したいと思います。 JSON Schema とは何か? JSON Schema とは、JSON object の記述と検証のための標準で、概略はこ

AWS Key Management Service を使ってデータの暗号化をする Tweet 3/11に開催されたKichijoji.rb #1で AWS Key Management Service を使ってデータ暗号化について発表しました。 今回はこの発表内容を解説します。 クレジットカードデータは非常に慎重に取り扱う必要があります。 データの取扱いについての指針となる資料がPCI DSSです。 https://www.pcisecuritystandards.org/documents/PCI_DSS_v3.pdf このドキュメントはクレジットカードを取り扱う事業者が守るべき技術面及び運用面での最低限の要件を定めたものです。 PCI DSS が定める要件は多岐に渡ります。詳細はドキュメントに譲るとして、ここではクレジットカードの保存に関わる部分について、PCI DSSの要件を満たす

ES6で Promise, co, ramda, FRP(bacon.js)を試す Tweet 先日、Javascriptでちょっとしたツールを書いたのですが、いい機会なので、これを題材に ES6 について勉強してみました。 最初にES5で書いたロジックを、次のようにいろいろなスタイルで書き直してみました。 元のES5バージョン そのままES6にしたバージョン Promise を使ったバージョン coというライブラリとgenerator というES6の新機能を使って逐次処理するバージョン ramda.jsを使って関数型プログラミングのスタイルで書いたバージョン bacon.jsを使ってFRPのスタイルで書いたバージョン ソースは、ここ です。 まだ、私自身勉強中なのですが、これをもとに ES6 の機能や新しいパラダイムについて簡単に紹介してみたいと思います。 例題 書いたツールは、誰かがA

安全で便利な Webhook を作る Tweet Webhook をご存知でしょうか。GitHub やその他のサービスで提供されているあの機能です。 今回は弊社の Komoju API で Webhook を提供する際に気づいた、webhook 実装上の注意点について書きます。 内部のサーバーへのアクセスを禁止する 一般的な Webhook はユーザーが送信先となる任意のURLを指定して、サービスはそこに対してPOSTリクエストを送信します。 このときに気をつけないといけないのは「そのURLがサービス内部のホストかどうか」を識別しなければならないということです。 たとえば localhost とか、内部 DNS のドメインとかです。このような宛先への Webhook 送信を許可してしまうと、本来は外部から隔離されてアクセスできないはずのサーバーに Webhook送信サーバー経由でアクセスで