AWS Chatbot を使って AWS Personal Health Dashboardの通知をいい感じにSlackに通知する - クラウドワークス エンジニアブログ
みなさんこんにちは。SREチームの @kangaechu です。 8月23日に発生したAWSの障害は大丈夫でしたでしょうか？弊社のサービス crowdworks.jp は障害が発生したAZを使用していたものの、幸いにもサービス停止などの大きな被害を受けることなく乗り切ることができました。でも心臓にはよくないですね。 そんな障害時にも活躍するのがPersonal Health Dashboardです。 Personal Health Dashboardは自分のAWSアカウント上のリソースに影響する障害や、ハードウェアメンテナンスなどの対応が必要なイベントをお知らせしてくれる機能です。 AWSマネジメントコンソールの上部に表示されている🔔のアイコンですね。 AWS Personal Health Dashboard Personal Health Dashboardは便利なのですが、AWSマ
AWS Organizationsによるマルチアカウント戦略とその実装 - クラウドワークス エンジニアブログ
SREチームの @tmknom です。ジョジョ5部のアニメ化に興奮を隠せない今日このごろです。 みなさん、AWS Organizationsは使ってますか？ クラウドワークスでも最近使い始めました。AWS Organizations、超絶便利です。こんなに便利なのに、意外と公開されてる事例が少なくて、ぐぬぬってなります。というわけで、使い始めたばかりですが、サクッと公開してみます。他の会社さんも、公開してくれ！！ AWS Organizations マルチアカウント戦略 先行事例の調査 コンセプト策定 Terraform戦略 Terraformモジュールによる共通化 インフラテンプレート VPCのIPアドレス空間 メールアドレスの管理ポリシー OU（Organizational Unit）の責務 管理用AWSアカウントの責務 Masterアカウントによるアカウント管理 組織 OU（Orga
Herokuで本番サービスを運用する際にやっておきたいこと & 構成の事例 - クラウドワークス エンジニアブログ
こんにちは、最近アルコールが入っていたらなんでもいいと思うようになってきた @yo-iida です。🍻 今回はみんな大好きHerokuのお話です。 サービス立ち上げ期に大活躍するHerokuですが、CrowdWorks内でもいくつかのプロダクトで本番までHerokuで運用しているサービスがあります。 今回は私が携わっている社内プロダクトでのtipsを紹介します。 やっておきたいこと Heroku PipelineとReview appを使いこなす 本番とデータ同期できるpreview環境を追加する Heroku上のアプリケーションはすべてRAILS_ENV=productionで動かす DBのバックアップ設定をしておく Production Checkを行う アプリケーションのビルドの仕組みを知っておく 構成の事例 Standard以上のdynoを使用する ミドルウェアはHeroku公式
HerokuのDataclipsを使って簡単にリアルタイムでデータを見える化した話 - クラウドワークス エンジニアブログ
開発の山本です。最近いきなり寒くなってきて焼酎のお湯割りが飲みたくなる季節になりましたね！ 今、私が携わっているプロダクトはHerokuで運用しており、サービスが稼働してから３ヶ月程立ちました。 実運用が始まりリリース直後のバタバタが落ち着いてくると、次のステップとして分析用にデータが欲しいという要望が当然でてきますね。 しかしながら、新規のプロダクトでは抽出のやり方も一から考えないといけず、正直アプリケーション開発に時間をかけたいので、あまり手間暇かけて仕組みを作りたくもないのが本音です。単純にCSVで落として渡すだけだと何度も依頼が来て(ノ｀Д´)ノ彡┻━┻ってなることは目に見えてるのでそれも避けたいですね。 ということで今回はDataclipを使ってデータ抽出を簡単にやったよという話です。 ちなみに、Herokuでのサービス運用に興味がある方は @yo-iida のこちらのエントリを
Terraformプロバイダから動的に型定義情報を取得するtfschemaというツールを作った - クラウドワークス エンジニアブログ
Terraform職人の @minamijoyo です。 クラウドワークスではAWSのインフラ構成管理にHashiCorpの Terraform を利用しており、 日々Terraformの設定ファイルを書いてるわけですが、 コード書いてると、リソースタイプの名前がうろ覚えとか、属性値の名前のスペルに自信がないとか、この属性値って必須項目だっけ？ とか、なんだかんだで公式ドキュメントを見ながらコードを書いてることが多いです。 Vimのプラグインで補完してくれるやつがあるのは知ってるんだけど、 あらかじめリストファイルを持っているアプローチだと、バージョンに合わせてリストファイルの更新しないといけなくて、仕組み上の限界があるし、サポートされてない自作プロバイダとかだとそもそも使えない。 なんかもっといいかんじにできないかなぁと思って、趣味でTerraformのソースコードを読んでたら、最近入っ
定期的にSQLを実行した結果をDatadogに送信するcyqldogというツールを作った - クラウドワークス エンジニアブログ
日々Datadogのダッシュボードを眺めながらニヤニヤしている @minamijoyo です。 定期的にSQLを実行した結果をDatadog送信するcyqldogというツールを作ったので紹介します。 はじめに クラウドワークスでは日々のデータ分析にAWSのRedshiftを利用しています。 Redshiftはサービスの主要なKPI集計から、ちょっとしたアドホックな分析まで、 利用者はエンジニアだけにとどまらず、プロダクトオーナーやマーケティングのメンバーも含め広く利用されており、 ひとたびシステム障害などでRedshiftが利用できないと業務に大きな影響が出ます。 そんなRedshiftを安定稼働させるためには、日々の監視が大切です。 AWSで監視といえば、まずはCloudWatchが思い浮かびますが、RedshiftのCPU使用率やディスク使用率などの基本的なメトリクスであれば取得できる
AWSで動いているサービスをHerokuに移行した話 - クラウドワークス エンジニアブログ
こんにちは。好きなオーラバトラーはレプラカーンの那須（@nasum）です。ハイパー化には衝撃を受けました。 今回はAWS上で動いたサービスをHerokuに移した話を書きます。 背景 問題 移行作戦 現状の把握 Herokuのアドオンの調査 HerokuでStaging環境を作って手動テスト 移行の手順書の作成 リハーサル 移行 MySQLはAWSのバージニアリージョンのRDSを利用 移行時のトラブル 起きた問題 原因と対策 まとめ We’re Hiring! 背景 Webアプリケーションを動かす環境として、Amazon Web Services（AWS）やGoogle Cloud Platform（GCP）といったクラウド環境を利用するケースが多いと思われます。クラウドワークスでもAWSを活用しており、EC2でインスタンスを立ち上げRDSでデータベースを構築し、ELBでロードバランシングす
AWS ECSのサービスをslack botでデプロイする - クラウドワークス エンジニアブログ
みなさんさようなら．インフラ部の@h3_potetoです． CrowdWorksは大きなRailsアプリケーションですが，最近ではこの大きさで管理していくのもう無理な気がしてきて，マイクロサービスっぽくしていこうという動きがあります（が，まだ全然マイクロサービスではないです）． それでも一部を切り出すことには成功していて，多少なりともマイクロサービスの運用っぽいことも必要になってきました． で，今回は僕の趣味のデプロイの話です． サービスはDockerに載せたいよ CrowdWorks本体は，Docker化まで程遠い感じがしているんですが，切り出したマイクロサービスなら，最初からDocker前提で作ることが出来ます． これなら楽にDockerで本番運用まで行けそうな気がしていました． 他のサービスを色々AWS上に構築していることから，Dockerでアプリケーションを動かすのもAWSでなんと
CircleCI 2.0に移行して新機能を活用したらCIの実行時間が半分になった話 - クラウドワークス エンジニアブログ
⠀人 / ⁰⊖⁰ \ オカメインコエンジニアの五十嵐(@ganta0087)です。 CrowdWorksでは、サービスのCI環境としてCirlceCIを利用しています。 今回、CircleCI 1.0から2.0に移行すると同時に、新機能のキャッシュをフル活用したことで、コストを増加させることなくCI実行時間を半分にすることができました。 今回の記事では、CirlceCI 2.0のメリットや、どのようなチューニングを行ったのかをご紹介します。 CircleCI 2.0について CircleCI 2.0は現在ベータ版となっており、「CircleCI 2.0: Beta Access - CircleCI」から申し込むことができます。(試してみたところ個人のリポジトリではすぐに利用できるようです。) 申請したOrganizationのすべてのプロジェクトで突然バージョンが切り替わるわけではなく、
CrowdWorksデプロイ物語 - クラウドワークス エンジニアブログ
みなさんさようなら，最近デプロイが趣味の@h3_potetoです． この記事は，僕が趣味で改善していたCrowdWorksのデプロイ周りの大改造の歴史を振り返ります．基本的には，デプロイが趣味の方向けの記事です．とても長いです． 手動構築の時代 その昔，CrowdWorksのサーバは手動で構築されていました． 手動でRuby等の設定をいれたサーバを複数台用意し，そこにcapistranoデプロイをしていました． インフラは手動構築だった割に，なぜかBlue/Greenデプロイを実現していました． Blue/Greenの実現方法 まずはじめに， Blueが稼働系 Greenが待機系 です． Blue/Greenデプロイをする際には，Green系にデプロイをして，Blue系と挿げ替え，旧Blue系をそのまま廃棄します． この動作をどこで実現しているかというと，なんとCrowdWorksのアプリ
マネージャーでもできる！Google スプレッドシートのグラフを Slack に定期ポストする手軽な方法 - クラウドワークス エンジニアブログ
クラウドソーシングで最大手のクラウドワークスでマネージャーをしてます。@ouraです。 みなさん毎日グラフをみてますでしょうか？ エクセルや Google スプレッドシート直接開いてみるのも良いですが、せっかくチャットを使っているのなら活用しましょう！ということでこのエントリです。 定期的にグラフをチャットで見えるようにすることで、こんなメリットがあります。 目標へ向かう意識の強化 現在位置の見える化 関わるメンバーの一体感醸成 前提条件 かなり限定的ですが、私の観測範囲では割りと同じ環境の会社さんが多いかと思われます。 Slack を利用している Google スプレッドシートでグラフをみている セキュリティ上の理由で Google スプレッドシートの公開範囲が組織内に制限されている 手順 GAS(Google Apps Script) を利用してポストします。 そして利用する Slac
まだエンジニアに文言修正なんか頼んでるの？ - クラウドワークス エンジニアブログ
プロダクト開発の中になぜか置いてもらっている非技術職の小林（週末は主夫、たまに会社でプロダクトオーナー）です。 日々、エンジニア OR デザイナー OR コピーライター に囲まれながら、プロダクトの成長を見守ってまっす。 ところで、プロダクトが成長していく過程で、新サービス・新機能のリリースに伴い LPや各種画面のちょっとした修正が増えていったりしませんか？ 事業戦略上で重要な機能・サービスを開発をしているチームに、飛び込みでキャンペーンLPのテキストの修正依頼が・・・。 仲間としては施策担当者がなんとかしたいと思う気持ちもわかる、でも、エンハンスに集中していて細かい修正をする時間が取りづらい。 そんな時に、同じチームメンバーとして非エンジニアでも手伝えることがあるかもしれません。 クラウドワークスでは、簡単な修正であれば施策担当者（非エンジニア）が行ってしまうこともあります。 我々と同様
Terraformingで既存のIAMユーザをTerraform管理下に入れる - クラウドワークス エンジニアブログ
クラウドワークスの缶コーヒーエンジニアの森田(@minamijoyo)です。 だいたい毎日缶コーヒーを飲みながら主にインフラ周りの仕事をしてるので、クラウドワークスのインフラの一部は缶コーヒーでできていると言っても過言ではないんじゃなかろうかと思う今日この頃。ちなみに最近のマイブームはFIREのハワイアン微糖です。 これまでのあらすじ クラウドワークスではAWS(Amazon Web Services)でサーバを運用しており、AWSでのIAM(Identity and Access Management)ユーザのグループポリシーの管理について、以前こんな記事を書きました。 TerraformでAWSのIAMユーザのグループポリシーを管理する - Qiita Terraform+Atlas+GitHubでAWSのIAMユーザのグループポリシーをいいかんじに管理する - クラウドワークス エン
エラーモニタリングサービス Rollbar と GitHub Issue を利用したエラー対応フロー - クラウドワークス エンジニアブログ
*1 開発の所(@ctokoro_me)です。 インド音楽の演奏が趣味の一つなのですが、興味のある人が全然いない（そもそもインド音楽自体がほぼ知られてない）のが隠れた悩みです。 さて、みなさんが運用中のアプリケーションでは、エラーモニタリングはどのように行っているでしょうか？ ログを tail / grep している感じですか？？ それとも、エラーが起きたらメールが飛んで来るようになっているのでしょうか？ どちらにしても、ユーザーが増えてくると管理が大変になってきてしまいますよね 😵 「一行のログの向こうには、一人のユーザがいる」 *2 という格言(!)もある通り、エラーが起きたということはそのユーザーがサービスを正常に使えていないということです。 しっかりと対応していきたいですね。 エラーモニタリングサービス クラウドワークスではエラーモニタリングサービスとして Rollbar を採用
SQLとの付き合い方 - クラウドワークス エンジニアブログ
こんにちは、HuluよりNetflix派の田中です（ロゴがお洒落）。 みなさん、SQL書いてますか？ 私自身は未だに使う機会が多いことからもなかなか枯れない技術の1つだなと感じながら、日々愛着を持って書かせてもらってます。 ただ、触り始めた頃はわかってないことが多く、プログラミング言語とは勝手が大きく違うことからも、ある程度書けるようになるまでは時間を要した記憶があります。 正直それまでは、あまり好きにもなれませんでした。 今回はそんな経験から、今では好きと言えるレベルになっている「SQLとの付き合い方」をまとめてみました。 クラウドワークス開発におけるSQLとの関わり方 始めに、普段の開発でのSQLとの関わり方を簡単に紹介しておきます。 クラウドワークスの開発ではO/Rマッパー（Ruby on RailsのActiveRecord）に任せることが多く、素のSQLはさほど出てきません。 た
→↓↘+パンチ - クラウドワークス エンジニアブログ
みなさんさようなら、インフラ部の @h3_poteto です。 今日は昇竜拳の話をします。 ↑昇竜拳 クラウドワークス本体のアプリはRailsで作られているのですが、その中にちょいちょい非同期処理が載せられています。 メール送ったり、Elasticsearchとの同期処理だったり、重いスカウト処理だったり。 DelayedJobだと限界が見えてきた その非同期処理として、今までは、DelayedJobを使っていたんですが、ジョブが多くなり、キューが多くなり、ワーカーが多くなるにつれて、どんどん重くなってきました。 ActiveRecordを介してDBにキューを貯めるという方式がどうにもキツイ。 DelayedJobは本当に気軽に非同期処理が出来て良いのですが、キューにRDBを使うところがすごくイケてないです（だから気軽にできるんですけど）。 エンキューが多くなればそれだけ書き込みも、また処
KPI に寄与できない開発課題を、組織全体で取り組むということ - クラウドワークス エンジニアブログ
はじめに クラウドワークスエンジニアの八木です。 先般の記事でも触れられていた通り、クラウドワークスではシステムのフレームワークとして採用している Ruby on Rails を 3 系から 4 系に移行しました。 残念ながら、「こことそことあそこを直して、さあリリース！！！」とはいかず、それなりの時間を投入して行いました。 今回は、Rails のバージョンアップをスムーズに行えないという技術的課題は一旦脇に置いておいて、フレームワークのバージョンアップという「事業の KPI に直接寄与できない開発課題」に対して、クラウドワークスの開発チームがどのように取り組んだか、組織体制の話を書いてみたいと思います。 チーム体制の変遷 まず、クラウドワークスで Rails4 対応するために組んだ組織構成について、時系列に沿って簡単にご紹介します。簡単にご紹介と言いつつ先に要約すると、最初は Rails
安全にRailsを更新するためにモンキーパッチをたくさん作った話 - クラウドワークス エンジニアブログ
クラウドワークスの弓山 (@akiray03)です。 前回のブログに引き続き、Rails3からRails4にアップグレードした際に行った工夫をご紹介したいと思います。前回の記事を未読の方は、合わせてどうぞ。 engineer.crowdworks.jp 今回は、「モンキーパッチ」に焦点をあてて、取り組みを紹介します。安全な並行稼動を実現するために、いくつかのモンキーパッチを作成しました。作成したモンキーパッチを振り返ってみると、以下のように分類することができます。 Rails3/4並行稼動時に、双方を分離するためのモンキーパッチ Rails3/4並行稼動時に、双方の振る舞いを揃えるためのモンキーパッチ Rails3の振る舞いをRails4と揃えるためのモンキーパッチ (Rails3側にパッチを当てた) Rails4の振る舞いをRails3と揃えるためのモンキーパッチ (Rails4側にパッ
Rails3/4並行稼働の仕組みと実際にやってみて良かったこと悪かったこと - クラウドワークス エンジニアブログ
クラウドワークスのエンジニアの森田（@minamijoyo）です。 ついにRails5がリリースされましたね。今日はRails5じゃないですけど、Rails3/4並行稼働させた話をしようと思います。Railsバージョンアップを検討している方々の参考になれば幸いです。 はじめに 去る2016/03/28 「Rails Upgrade Casual Talks」というイベントでRails3/4並行稼働させる仕組みを作ってる話をしました。 イベントの模様はエンジニアブログにきびたん(@ctokoro_me)がまとめてくれてるのでこちらを参照して下さい。 engineer.crowdworks.jp 上記のイベントで発表した内容はこちらです↓ Railsバージョンアップを段階的に行うためにRails3/4並行稼動させる仕組みを作ってる話 from Masayuki Morita www.slide
なぜエンジニアはマネージャーをやりたがらないのか - クラウドワークス エンジニアブログ
最近ベイスターズが強くて毎日が楽しいクラウドワークスの安西です。マネージャー的なお仕事をやらせていただいております。やっていることはこんな感じです。 社内もそうなのですが、社外の各社さんに聞いても、エンジニアがマネージャーをやりたがらないという事案が発生しているようで、空前のエンジニアリングマネージャー不足であると勝手に認識しています（当社比）。 ということで、メンバーの力も借りつつ、なぜエンジニアはマネージャーをやりたがらないのかを考えてみました。 マネジメントとは？ そもそもマネジメントとは何なのでしょうか？検索すると様々な解釈が出てきます。それぞれ微妙に違ったりしますね。 d.hatena.ne.jp 【management】経営、管理。 目標、目的を達成するために必要な要素を分析し、成功するために手を打つこと。 ビジネスにおけるマネージメントに必要な要素 1.目標、目的を明確化する
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
