AtlantisでTerraformのドリフト検出 - クラウドワークス エンジニアブログ
こんにちは。crowdworks.jp SREチームの@kangaechuです。 先日開催されたイベント HashiTalks: Japanを見ていましたが、Terraformのドリフト検出に関する発表が多く、Terraform運用において重要なポイントなんだなと感じました。 流行りに乗ったわけではないですが、今回はTerraformのドリフト検出をAtlantisで行った方法をご紹介します。 この記事は以下環境で検証しています。 Atlantis: 0.19.8 Terraform: 1.2.8 ドリフト検出 Terraformはインフラストラクチャを安全かつ期待通りに構築するために使用する、Infrastructure as Codeのソフトウェアです。 crowdworks.jpではAWS、GitHub、GCPの管理をTerraformで行っていますが、今回はAWSに絞って話します。
「HTML解体新書」HTMLのこれからと向き合うための本 - クラウドワークス エンジニアブログ
「HTMLの前提についてはざっと知った、ステップアップできるHTMLの勉強がしたい」「人に勧められるHTMLにまつわる書籍はあるだろうか」「令和でHTMLを学ぶならこの1冊、というものがほしい」―――そうした人々のニーズを叶えてくれる書籍が販売された。 その名も「HTML解体新書」だ。 本ブログ記事は、レビュアーとして関わり本書を読んだ＠okuto_oyamaによる感想と、HTMLのこれからについて考えていることをまとめたものである。 本の内容については、著者によるブログ記事にまとまってあるのでそちらを参考にしてもらいたい。 creators.bengo4.com まだまだHTMLについて知らないことがあった 私がHTMLについて始めて触れたのは、とあるブログサービスのHTML編集機能からだ。その頃は HTMLの仕様というものを知る由もなく、どういったタグを使うと画面上にどのように表示され
MySQLの約30億レコードをRedshiftにDMSでニアリアルタイム同期した - クラウドワークス エンジニアブログ
概要 こんにちは。クラウドワークス SREチームの@kangaechuです。最近好きなラジオ番組は空気階段の踊り場です。 企業にとってデータは非常に重要です。さまざまなデータを組み合わせて分析を行うことにより、ユーザをより深く知ることができ、それによりサービスやビジネスモデルを継続的に変革することが可能になります。 クラウドワークスでも同様に、施策やマーケティング、新サービスの開発など、さまざまな取り組みの源泉としてデータを活用しています。 crowdworks.jpではマスタデータベースにAWS RDSで稼働するMySQLを使用し、分析系のデータベースにはAmazon Redshiftを使用しています。Redshiftに同期されたテーブルは約270テーブル、レコードにして約30億件あり、1か月に1.5億件のレコードが同期されています。 今回はMySQLからRedshiftへの同期の仕組み
SREチームに入ってからの2年間にチームでやってきたこと - クラウドワークス エンジニアブログ
この記事はクラウドワークス アドベントカレンダー6日目の記事です。 前日の記事は@bugfireのgithub-script は便利でした。GitHub Actionsでのちょっとした作業が捗りますね！ SREチームの@kangaechuです。 気がつくと入社から2年が経ちました。2年前のAdvent Calendarでは ぴよぴよSREという記事を書くくらい何もわかっていませんでしたが、ようやく自分なりに動けるようになってきました。 この記事ではcrowdworks.jpのSREチームで、この2年間でどのようなことをやっていたのかを振り返ります。 SREチームの範囲は幅広く、いろいろなことをやっていました。今回はDocker化とTerraformの2つの取り組みについてご紹介します。 なんで1年じゃなく2年かって？去年はaws-vault についてのあれこれを書いたからだよ。 Docke
【Vue.js】負債を返却しながら機能追加しなければならない状況で実践したフロントエンドのコンポーネント設計 - クラウドワークス エンジニアブログ
はじめに こんにちは！ 社会人2年目を頑張っております、エンジニアの@b0ntenmaruです。 今年2月までリファクタリング専門チームにてcrowdworks.jpの技術的負債を返却するために奮闘しておりましたが、そこから現在まではユーザーの皆様に安心安全なサービスを提供するためにクラウドワークス 安心安全宣言のための施策を行っています。 リファクタリング専門チームについては以下をご覧ください。 engineer.crowdworks.jp qiita.com 施策による機能開発を行う際に直面した課題 施策では主にフロントエンドの機能追加をすることになったのですが、技術的負債によりスピードを維持しながら開発を続けることは困難な状態でした。 crowdworks.jpを取り巻くフロントエンドの技術スタックはざっくり書くと下記3つに分類できます。それぞれで発生している問題を簡潔にまとめます。
リファクタリングチームに入ってから学んだ理解しやすいコードを書くための基本的なこと - クラウドワークス エンジニアブログ
こんにちは！ 去年の４月に新卒入社してからお酒ばかり飲んでいるエンジニアのd4teです。 4月から11月まではUX改善チームにてお仕事検索画面のフロントエンド開発を担当しておりましたが、11月からはリファクタリングチームにてcrowdworks.jpのリファクタリングをしています。 現在のcrowdworks.jpの状況 過去の記事にもあるように、crowdworks.jpはサービスインから約8年が経過し、30万行を超えるモノリシックなRailsアプリケーションになってきていて、コード行数の増加量やファイル変更数の推移は年々鈍化してきています。 内部には開発生産性を低下させる技術的負債が溜まってきており、技術的な投資がしづらくなってきているという課題があります。 自分が所属しているチームは、外部から見た動作を変えずに内部のコードを整理するリファクタリングで技術的負債を解消し、開発生産性の向
コンテナフレンドリーではなかったRailsアプリケーションをDocker(ECS)に移行するまでの戦い - クラウドワークス エンジニアブログ
はじめに SREチームの @minamijoyo です。 先日 CrowdWorks (crowdworks.jp) の本番環境のRailsアプリケーションを Docker (AWS ECS: Elastic Container Service) に移行しました。 CrowdWorksは2012年にサービスを開始し、2019年10月現在、ユーザ数は300万人、月間で数億円規模のお仕事がやりとりされる、国内最大級のクラウドソーシングプラットフォームにまで成長しました。 サービスの規模拡大に合わせて、ソースコードも数十万行規模に成長し、 決して小さくはない規模のRailsアプリケーションに成長しました。 CrowdWorksの開発環境にDockerが導入されたのはもうかれこれ3年半前の2016年の4月頃、2017年1月頃にはCrowdWorks本体から切り出された一部の機能で本番環境に投入され
スクラムチーム内で1on1を実施した話 - クラウドワークス エンジニアブログ
はじめに こんにちは、玉露チームの @t0yohei です。 CrowdWorksに入社して5ヶ月と日は浅いですが、5万行に及ぶJavaScriptの大改修や仕事検索の表示順位改善をなどを行っています。 上記の大改修についてまとめられている記事がありますので、よろしければ合わせてお読みください。 混沌を極める jQuery のコードをいかにして Vue.js に頼らずに整理したか CrowdWorksでは、毎年12月にアドベントカレンダーを作成しています。アドベントカレンダー明けの一発目の記事ということで、ネタがねーよ頑張って書いていきたいと思います。 自分が現在所属する玉露チームは、クラウドワーカーの、お仕事とのマッチング体験を良くすることがミッションのチームで、エンジニア3人・プロダクトオーナー1人・デザイナー1人で開発を行なっています。この玉露チームではチームビルディングの一環として
次に来るタスク管理ツールはこれだーーー！ - クラウドワークス エンジニアブログ
ご挨拶💁🏻 はじめまして。 9月中途入社 88 と10月中途入社の みーた です。 CW初の専属フロントエンドチームとして活動を始めました！ 名付けて「Team Rebuild Frontend 」TRF 爆誕 🎉🎉 (勿論はてブの勝手なリンクに紐付けられてる組織とは関係ございません。) タスク管理ツールのお話 さてさて。皆様、タスク管理ツールは何を使ってますか？ 近年種類が多くなってきて、選定に結構悩んでる方も多いのではないでしょうか。 そこで今回ご提案したいのがこちら！ ＼\ ClickUp /／ clickup.com TRFは フロントエンドエンジニア 2人(+サポートしてくれる強い味方 1人) デザイナー2人 で構成されており、発足したてで、まだ施策が模索しながら動くことが多いため、それぞれのタスクがかなり細かく、 今まで使っていたツールだと痒いところに手が届かない😣と
WebエンジニアのチームがReactNativeでアプリをリリースした話 - クラウドワークス エンジニアブログ
@kinakobo です。 先日フィークルという新規サービスのiOS, AndroidアプリをReactNativeで開発し、リリースしました。 アプリ: iOS | Android feecle.works すでに国内でもいくつか採用事例があるReactNativeですが、まだまだ事例が少ないと感じます。 今回自分たちもReactNativeを採用したので、まずはその検討段階から紹介したいと思います。 また、開発チームはWebエンジニアのみで構成されていたため、特にWebエンジニアの方向けの内容になります。参考までに、開発チームの人数は4人でAPI側も同じメンバーが担当していました。 はじめに、ネイティブアプリを何で作るか検討した際に出た選択肢は以下の3つでした。 iOSとAndroidそれぞれネイティブのコードで書く ReactNativeを使用する Flutterを使用する 1は全く
Terraformプロバイダから動的に型定義情報を取得するtfschemaというツールを作った - クラウドワークス エンジニアブログ
Terraform職人の @minamijoyo です。 クラウドワークスではAWSのインフラ構成管理にHashiCorpの Terraform を利用しており、 日々Terraformの設定ファイルを書いてるわけですが、 コード書いてると、リソースタイプの名前がうろ覚えとか、属性値の名前のスペルに自信がないとか、この属性値って必須項目だっけ？ とか、なんだかんだで公式ドキュメントを見ながらコードを書いてることが多いです。 Vimのプラグインで補完してくれるやつがあるのは知ってるんだけど、 あらかじめリストファイルを持っているアプローチだと、バージョンに合わせてリストファイルの更新しないといけなくて、仕組み上の限界があるし、サポートされてない自作プロバイダとかだとそもそも使えない。 なんかもっといいかんじにできないかなぁと思って、趣味でTerraformのソースコードを読んでたら、最近入っ
grpc-gatewayを使用したマイクロサービスの管理画面 - クラウドワークス エンジニアブログ
SREチームの那須です。 3/7に開催されたピクスタさんの 大規模プラットフォームを支えるエンジニアの技術と工夫〜Web現場Meetup #3〜 で登壇させていただきました。そのときにお話ししたgrpc-gatewayを使った管理画面の構築について改めてまとめてみます CrowdWorksのマイクロサービス化の試み CrowdWorksでは現在マイクロサービス化を進めています。 CrowdWorksはモノリシックなアプリケーションです。様々な機能が一つのアプリケーションに同居し、サービスを提供しています。 モノリシックなアプリケーションの問題点としては一つの問題が全体に波及してしまうということがあります。メッセージの機能を改修したところ問題が発生しアプリケーション全体が不安定になるということもありえます。 そこでCrowdWorksでは最初の試みとして、新しく作るサービスをCrowdWor
CircleCI 2.0に移行して新機能を活用したらCIの実行時間が半分になった話 - クラウドワークス エンジニアブログ
⠀人 / ⁰⊖⁰ \ オカメインコエンジニアの五十嵐(@ganta0087)です。 CrowdWorksでは、サービスのCI環境としてCirlceCIを利用しています。 今回、CircleCI 1.0から2.0に移行すると同時に、新機能のキャッシュをフル活用したことで、コストを増加させることなくCI実行時間を半分にすることができました。 今回の記事では、CirlceCI 2.0のメリットや、どのようなチューニングを行ったのかをご紹介します。 CircleCI 2.0について CircleCI 2.0は現在ベータ版となっており、「CircleCI 2.0: Beta Access - CircleCI」から申し込むことができます。(試してみたところ個人のリポジトリではすぐに利用できるようです。) 申請したOrganizationのすべてのプロジェクトで突然バージョンが切り替わるわけではなく、
まだエンジニアに文言修正なんか頼んでるの？ - クラウドワークス エンジニアブログ
プロダクト開発の中になぜか置いてもらっている非技術職の小林（週末は主夫、たまに会社でプロダクトオーナー）です。 日々、エンジニア OR デザイナー OR コピーライター に囲まれながら、プロダクトの成長を見守ってまっす。 ところで、プロダクトが成長していく過程で、新サービス・新機能のリリースに伴い LPや各種画面のちょっとした修正が増えていったりしませんか？ 事業戦略上で重要な機能・サービスを開発をしているチームに、飛び込みでキャンペーンLPのテキストの修正依頼が・・・。 仲間としては施策担当者がなんとかしたいと思う気持ちもわかる、でも、エンハンスに集中していて細かい修正をする時間が取りづらい。 そんな時に、同じチームメンバーとして非エンジニアでも手伝えることがあるかもしれません。 クラウドワークスでは、簡単な修正であれば施策担当者（非エンジニア）が行ってしまうこともあります。 我々と同様
Lambda + CloudWatch Events + KMS で AWS コンソールへの不正アクセスを秒速で検知して「平穏な生活」を手に入れる - クラウドワークス エンジニアブログ
ペルソナ5にドハマリし、先日100時間以上かけてクリアした @tmknom です。 主人公の名前は吉良吉影。怪盗団の名前はキラークイーンです。ちなみに二周目に突入しました。 さて、みなさんもご存知の通り、 AWS ユーザは常にある不安を抱いています。 AWS アカウントを乗っ取られたらどうしよう。バイツァ・ダストよろしく、すべてを吹っ飛ばされたらどうしよう。という不安です。 しかし、我々は AWS を使わずにはいられないという『サガ』を背負ってはいますが『幸福に生きてみせるぞ！』という強い意思を持たねばならないのです。 そんなわけで、意思を現実のものへと体現すべく AWS コンソールへ、いつ誰がサインインしたのかSlackに通知して、 不正アクセスを簡単に検知できる仕組みを構築してみましょう。 はじめに 事前準備 バージニア北部へリージョンを切り替え Lambda の初期セットアップ Cl
SQLとの付き合い方 - クラウドワークス エンジニアブログ
こんにちは、HuluよりNetflix派の田中です（ロゴがお洒落）。 みなさん、SQL書いてますか？ 私自身は未だに使う機会が多いことからもなかなか枯れない技術の1つだなと感じながら、日々愛着を持って書かせてもらってます。 ただ、触り始めた頃はわかってないことが多く、プログラミング言語とは勝手が大きく違うことからも、ある程度書けるようになるまでは時間を要した記憶があります。 正直それまでは、あまり好きにもなれませんでした。 今回はそんな経験から、今では好きと言えるレベルになっている「SQLとの付き合い方」をまとめてみました。 クラウドワークス開発におけるSQLとの関わり方 始めに、普段の開発でのSQLとの関わり方を簡単に紹介しておきます。 クラウドワークスの開発ではO/Rマッパー（Ruby on RailsのActiveRecord）に任せることが多く、素のSQLはさほど出てきません。 た
KPI に寄与できない開発課題を、組織全体で取り組むということ - クラウドワークス エンジニアブログ
はじめに クラウドワークスエンジニアの八木です。 先般の記事でも触れられていた通り、クラウドワークスではシステムのフレームワークとして採用している Ruby on Rails を 3 系から 4 系に移行しました。 残念ながら、「こことそことあそこを直して、さあリリース！！！」とはいかず、それなりの時間を投入して行いました。 今回は、Rails のバージョンアップをスムーズに行えないという技術的課題は一旦脇に置いておいて、フレームワークのバージョンアップという「事業の KPI に直接寄与できない開発課題」に対して、クラウドワークスの開発チームがどのように取り組んだか、組織体制の話を書いてみたいと思います。 チーム体制の変遷 まず、クラウドワークスで Rails4 対応するために組んだ組織構成について、時系列に沿って簡単にご紹介します。簡単にご紹介と言いつつ先に要約すると、最初は Rails
webpackで作るSprockets無しのフロントエンド開発 - クラウドワークス エンジニアブログ
こんにちは！12月に子供が生まれたばかりの鈴木( @suzan2go ) です。現在は週2~3日リモートで子供の成長を片目にみつつコードを書いています。うちの子はガラピコぷ〜がお気に入りです。 さて今回はRailsでのフロントエンド開発についてです。 昨今のフロントエンドの進化はめまぐるしく、Rails標準のSprocketsというgemでJavaScriptやCSSをコンパイルする仕組みでは以下のような要望に答えられなくなってきています。*1 ECMAScript6で書きたい！ フロントエンドのライブラリ管理にnpmを使いたい！ で、上記に対応するにはおおまかに分類すると以下のような方法があります。 browserify-rails を使う github.com これが一番導入が簡単ですし、既存のRailsアプリに突っ込むならこれが選択肢としては手堅いと思います。 ただ開発中のビルドがめ
これだけはやっておきたい〜マイクロサービスのデプロイメント - クラウドワークス エンジニアブログ
Scala大好きインフラエンジニアの九岡(@mumoshu)です。マイブームはConcourse CIですが、今日はマイクロサービスの話をさせていただきます。 TL;DR; 「サービスの負荷上がってきたし、マイクロサービス化しよう。マイクロサービス化って、Railsアプリ分割して、それぞれCapistranoでデプロイしておけばいいんでしょ？」*1 マイクロサービス化をするためには、アプリケーションだけでなくインフラや運用のことも考える必要があります。 この記事では、クラウドソーシングのクラウドワークスが来るマイクロサービス化に向けて認識しているデプロイメント上の問題とその対策を紹介します*2。 テストからデプロイまでがめんどくさいよ問題 →Dev/Prod Parity、Infrastructure as Code、CI、ビルドパイプライン リリースに1時間かかるよ問題 →ビルドキャッシ
社内サービス開発のススメ - クラウドワークス エンジニアブログ
最近機動戦士ガンダム0083スターダストメモリーを一気見したエンジニアの那須（@nasum）です。好きなガンダムはExSガンダムです。リフレクターインコムかっこいいですよね（アイスブレーク）。 普段働いているとPCを使う以上様々なソフトウェアやサービスを使うと思います。DropboxやEvernote、Google Driveにスプレッドシート、エクセルからパワーポイントまで様々です。 そんなとき、「社内で使われているこのサービス、目的を果たすにはちょっと面倒だな」なんて思ったことはないでしょうか？ 自分が目的を果たすために、フラストレーションを感じてしまうのであればなんとかしたいものです。そういうとき無料のサービスを利用することや、オープンソースのソフトウェアを導入することをまず考えると思います。しかしなかなか自分の要件にフィットするサービスは意外にもなかったりします。 そういうときは勢
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
