GitHub Actions + CircleCI + AWS CodeDeployによるCI/CD環境にインフラを移行した話 - SMARTCAMP Engineer Blog
スマートキャンプ、エンジニアの入山です。 前回のブログで、弊社プロダクトのインフラをEC2基盤からECS/Fargate基盤へ移行した話を紹介しました。 tech.smartcamp.co.jp 上記プロジェクトは大規模なインフラの刷新だったこともあり、CI/CDについても従来の仕組みからECS/Fargateの構成に合わせて変更しています。 CI/CDは、安定したプロダクト開発には必須且つ長期に渡って継続的に利用するものなので、いかにストレス少なく効率的に出来るかが重要だと考えています。 また、CI/CDは一度構築してしまうと放置されがちですが、日々の開発チーム全体の生産性にも大きな影響を与えるため、こういった数少ない再構築のタイミングではコストを掛ける価値があるのではないでしょうか。 今回は、弊社のインフラ移行時に実施したCI/CDの改善について紹介したいと思います。 従来のCI/CD
CircleCI 2.0アップグレードをあきらめてCodePipelineでGitHub→S3静的ホスティングのCD環境を作った話 | DevelopersIO
ベルリンのしがひです。クラスメソッドヨーロッパのウェブサイトはS3のスタティックホスティングとCloudFrontを使ったサーバーレス・超低コストな構成になっているのですが、サイトの編集管理ワークフローとして、GitHubとCircleCIを使っていました。 CircleCIはパフォーマンスが大幅に強化されたバージョン2.0が現行で、1.0は2018年8月31日でディスコンされるというアナウンスが昨年のはじめにありました。1.0 --> 2.0のアップグレードは何かボタンを押せばできるというたぐいのものではなく、yamlの書き換えとソース配置の再検討が必要になる大仕事で、見なかったことにしていたら9月になっていました。 早くアップグレードしなさいという圧を感じます。しかしこう言われると、動いているものを変えろというわりには成果が少なく、もっとなんかできるんじゃないか、と、このメッセージを書
CircleCI Orbs 入門 | tsub's blog
とうとう待望の CircleCI Orbs がリリースされたので一通り触ってみました。 Announcing CircleCI Orbs and our new Technology Partner Program 今回作ったサンプルは以下のリポジトリにありますので手っ取り早く知りたい人は以下のコードを見ると良いかと思います。 tsub/circleci-orbs-sandbox CircleCI Orbs とは CircleCI の commands や jobs, executors をパッケージとして使い回すことのできる仕組みです。 公開されている Orb は Orbs Registry にあります。 CircleCI Orb Registry 公開されている Orb を使うには例えば以下のように書くことで自分の CircleCI のビルドで使うことができます。 version: 2
Git(Hub)+CircleCI+Slack で実現する静的コンテンツ配信システム - BASE開発チームブログ
BASEでエンジニアリングマネージャーを担当している加賀谷です。普段は採用に携わったり、1on1での経験学習の促進などを通じて、個人と組織のアウトプットが大きくなるようにサポートする仕事をしています。また、サービス開発に関わる体験を良くしていくこともしています。その中で今回は、静的コンテンツのCI/CDでしていることを紹介したいと思います。 静的コンテンツのホスティング 静的コンテンツは、サーバサイドでリクエストに応じてレスポンスする内容を作成しないデータです。主に、サイト内で使う画像、CSS、JS、ランディングページなどのHTMLファイルになります。これらのファイルはよく、AWSのS3に置いてホスティングして前段にはCDNを配置し、Webブラウザの同時接続数を考慮してサービスとは別のホストに分散したりしますが、BASEでもそうしています。 静的コンテンツ用のGitリポジトリを用意 CSS
WEB+DB PRESS Vol.107にCircleCI特集を寄稿しました。 - 日々、とんは語る。
今月24日発売のWEB+DB PRESS Vol.107に実践CircleCIという特集を寄稿しました。WEB+DBへの寄稿は、Vol.58のEmacs、Vol.86のAtomに続いて3回目となりますが、初めてエディタ以外の内容で記事を書かせてもらいました。 なぜCircleCI特集を書いたのか。 今回、WEB+DBにCircleCI特集を書いた一番理由は、WEB+DBの献本者リストから外れてしまったため、何か寄稿しなければWEB+BDが貰えなくなってしまったからというのが大きな理由です。 WEB+BDでは、原稿を書くと献本者リストにリストアップされ、しばらくの間、献本が行われるという素晴しい仕組みがあるのですが、献本者リストには定員があり、古い人から順番に卒業してしまう制度となっています。前回、寄稿したのが2015年だったのですが、それから約3年が経ち、ついに2010年の寄稿から初めて献
定期的にyarn updateするには - おもしろwebサービス開発日記
ライブラリは定期的かつこまめにアップデートすることで辛さを減らしていく、というのは最近の開発現場では定説ではないかと思います。Railsプロジェクトの場合、Gemfileの定期更新を実施している現場も多いのではないでしょうか*1。 最近のRailsアプリケーションはjsライブラリの管理にyarnを使っているところが多いかと思いますが、これもGemfileと同じように定期的にアップデートしたいところです。 商用のものもいくつかありますが、僕は普段使っているCiecleCIを活用して定期的にyarn updateしています。 使っているツールはこちら。CiecleCIに限定されているわけではないので、定期実行できる環境さえあればどこでも活用できると思います。 taichi/ci-yarn-upgrade: Keep NPM dependencies up-to-date with CI, pr
CircleCI 2.0 の resource_class で CPU と RAM のリソースを変更してみる - GameWith Developer Blog
メリークリスマス！ @serima です。 いかがお過ごしでしょうか。皆さまのサンタクロースは価値をデリバリしてくれましたでしょうか？ さて、GameWith では CI のツールとして CircleCI を使用しています。 2017 年 7 月頃に CircleCI 2.0 が正式にリリースされ、GameWith でも 2.0 への移行を既に済ませています。（移行作業についてはまた別途記事を書くつもりです。） 移行作業時にドキュメントを読んでいると、resource_class という設定が新たに増えていることに気付きました。 今回は、 resource_class を利用するまでの流れと、参考までに行なったベンチマーク結果をお届けします。 2018/08/14 追記 以前は、サポートチケットを切ると暫定的に resource_class が有効になると書きましたが、2018 年 8 月
論文執筆を支える継続的インテグレーション: Git から Amazon S3 まで
この記事は CAMPHOR- Advent Calendar 2017 8日目の記事です． 学位論文を書く季節になってきました．論文を書く際にはきちんとバックアップを取っておかなければならないなど，実際の執筆以外でも気を遣わなければならないことが多くあります．この記事では，ソフトウェア開発における継続的インテグレーション (CI) や継続的デリバリー (CD) の考え方を取り入れ，様々なツールを活用することで，論文の執筆に集中できる環境を整備する方法を紹介します． 対象読者 基本的に TeX を使って論文を書く人を想定しています．(Word などで論文を書かざるを得ない環境にいる方には申し訳ない) 目標 この記事では以下のようなものを作っていく方法について説明します． Git と GitHub でバージョン管理 CircleCI でコンパイルやスペルチェックを実行 生成された PDF ファ
CircleCI2.0 に移行してビルド実行速度を向上 | MEDLEY Developer Portal
2017-10-24CircleCI2.0 に移行してビルド実行速度を向上こんにちは。開発本部の稲本です。医療介護の求人サイト「ジョブメドレー」の開発を担当しているエンジニアです。 最近ジョブメドレーでは CircleCI2.0 への移行を行いました。移行の方法はもちろん、その際に調べたこと、CircleCI の新機能を利用してどうだったかなどを書いていきたいと思います。 課題感弊社では、全プロダクト(CLINICS、MEDLEY 、介護のほんね、ジョブメドレー)で CircleCI を利用しています。 ジョブメドレーでは CI によるテスト実行に 37 分前後掛かっていました(コンテナを 2 つ利用した実行時間です)。 さらに、開発メンバーが増えて来たこともあり、CI のリソースが足りなくなり開発効率が落ちかねない状況でした。 まぁよくある話ですよね。 コンテナを増やすというのも解決策の
CircleCI 2.0でElasticsearchを起動しつつテストする - その手の平は尻もつかめるさ
例えばElasticsearchを使ったプロジェクトがあったとして，それをCircleCIで継続的にテストしたいとする．CircleCI 2.0はコンテナベースのCI環境なので，そのプロジェクトが採用している言語のコンテナの上でElasticsearchを動かす必要がある．どうするか． circleci.com CircleCIのドキュメントに記されている通り，docker imageは複数起動することができる．一番目に指定したdocker imageはprimary containerとして取り扱われ，stepsに書く手続きは全てそのコンテナ上で実行される．それ以降にdocker imageを指定した場合はそのimageがprimary containerと共通のネットワーク上で立ち上がり，そのコンテナ上で公開されているポートについてはprimary containerのlocalhos
git challengeの自動採点高速化に向けたインフラのハナシ - mixi engineer blog
git challengeのインフラを担当している2016年度新卒エンジニアの轟 (@tdrk18) と、2017年度新卒エンジニアでSREの見習いをやっております佐藤 (@jtwp470) です。今回は、git challengeという技術競技イベントの自動採点の高速化に向けたインフラのお話です。 git challengeとは git challengeとは、gitを使う上で起こり得る問題を、ふたり一組のチームで解いていく競技形式のイベントです。 各チームに設問ごとのリポジトリが与えられ、問題点を解消した差分をコミットし、それをリモートリポジトリにpushして解き進めていきます。 git challenge についてはこちらをご覧ください。 また、git challengeの運営に関するインタビュー記事も用意していますので、あわせてご覧ください。 git challengeのインフラに
TDD of Infrastructure as Code on CircleCI 2.0
概要Docker + Ansible + ServerSpec + CircleCI 2.0でTDDなCIビルドを行う話です。 今僕が在籍している企業では、プロビジョニング周りはAWS OpsWorksで管理されており、Chefのカスタマイズレシピが適用されて、ポンっと環境が構築されます。 個人的にはChefとItamaeの運用はしたことがありますが、OpsWorksを除けばAnsibleの方がStar数も多く活発に使われていそうなのと、どうせならDockerとServerSpecを使ってポータブルなテスト環境を作ってみよう、それをCircleCI2.0で効率的に回そう、と思い立って、やってみました。 ディレクトリ構成. ├── Dockerfile ├── README.md ├── ansible │ ├── ansible.cfg │ ├── ci.yml │ ├── circlec
E2E テストを CircleCI 2.0 (Beta) で完結させてみた話 | feedforce Engineers' blog
こんにちは、あっという間に社内勉強会の順番がやってきそうでフルえているコシゴエです。気がついたら二年近く会社ブログを書いていませんでした…。 最近、ようやく重い腰を上げて Docker と CircleCI 2.0 を使い始めたので、E2E テストでの活用を試みている話をしたいと思います。 はじめに 突然ですが、弊社プロダクト dfplus.io では、TestCafe を使用して E2E テストを自動化しています。 dfplus.io は、異なるリポジトリで管理しているフロントエンド(JS)とバックエンド(Ruby)から構成され、E2E テストはフロントエンドのリポジトリで管理しています。E2E テストはリポジトリへの push をトリガーに CircleCI で実行し、このときのバックエンドは E2E 用に用意した共用環境(Heroku 環境)を利用しています。 E2E テストをしばら
CircleCI 2.0に移行して新機能を活用したらCIの実行時間が半分になった話 - クラウドワークス エンジニアブログ
⠀人 / ⁰⊖⁰ \ オカメインコエンジニアの五十嵐(@ganta0087)です。 CrowdWorksでは、サービスのCI環境としてCirlceCIを利用しています。 今回、CircleCI 1.0から2.0に移行すると同時に、新機能のキャッシュをフル活用したことで、コストを増加させることなくCI実行時間を半分にすることができました。 今回の記事では、CirlceCI 2.0のメリットや、どのようなチューニングを行ったのかをご紹介します。 CircleCI 2.0について CircleCI 2.0は現在ベータ版となっており、「CircleCI 2.0: Beta Access - CircleCI」から申し込むことができます。(試してみたところ個人のリポジトリではすぐに利用できるようです。) 申請したOrganizationのすべてのプロジェクトで突然バージョンが切り替わるわけではなく、
docker基盤としてECSを採用しました② - インティメート・マージャー エンジニアブログ
こんにちはmatsです。 今回はdocker環境への全面移行について、運用環境や全体構成について書こうかと思います。 全体構成 デプロイフロー GitHubとCircleCIの連動を軸に自動化しています。流れ的には [GitHub] PRをmasterブランチにマージ [CircleCI] 自動テスト [CircleCI] docker build でイメージ作成 [CircleCI] ECRに対してdocker push [CircleCI] API経由でECS Task Definitionを更新 [CircleCI] API経由でECS Serviceを更新 [ECS] Sevice設定を元にコンテナが展開される masterブランチが勝手にデプロイされるので、デプロイという作業は行っていないような感じです。 また、ECSのコンテナの入れ替えはELBのヘルスチェックが通るまで古いコン
CircleCI x SchemaSpyでER図を新しくし続ける - hatappi.blog
こんにちは @hatappi です 今回はCircleCIネタです 以前CircleCIを使って下記のようなものを作っていました qiita.com 何かとCircleCIにはお世話になってます 業務などでER図やテーブル定義書などを書く機会あると思います Excel? Google Sheets? MySQL Workbench? Cacoo?(html5化待ち遠しい) 色んな手段がありますが基本はユーザーがメンテしてあげないと腐ります 😇 最初は頑張って更新するぞ!!と用意しても、どこかのタイミングで更新しなくなって中途半端な状態になり、それを新しく入った人が見て混乱するみたいなことがありました もう人が更新するのはやめたい 私はRailsを使っているのでmigrationしてテーブルを作成したりしているので、そのタイミングで勝手に作ってほしい データベースはMySQLです gemで
Lobiスピンオフ！トーナメント開催サービスをDocker+CircleCIで開発したはなし - KAYAC engineers' blog
はじめまして（？）。taiyohと申します。 幾つか事業部を渡り歩いた後、現在はLobiにて新規機能の開発などを行っております。 皆様は3/3発売のNintendo Switchの予約はお済みでしょうか。僕は早速1/21の午前中に近所の電器店に駆け込んで予約をしました。ゼルダ、Splatoon2、ゼノブレイド2と、既にやりたいソフトがいくつかあるので大変楽しみです。2017年も何とか生きていけそうです。どうぞ宜しくお願いします。 さて、昨年の2016年末ですが、Lobiアカウントを利用したトーナメントサイトというものをリリースしましたので、そのちょっと技術っぽい観点についてお話させていただきます。なお、技術っぽいと書きながら実装やインフラ成分は低めです。その点予めご了承ください。 Lobiトーナメントはゲーム大会をより簡単に開催・参加できるようにしたサービスです。大会のエントリーから大会終
CircleCI と Docker を使って App Service on Linux へのデプロイを自動化する - しばやん雑記
App Service on Linux での Docker 対応は Azure Container Service などに比べて、お手軽なので非常に便利なんですが、Elastic Beanstalk のように Dockerfile を含むリポジトリから自動的にビルドをしてくれないので、必然的に何らかの方法で Docker Image を作成する必要があります。 Windows Server Containers な PaaS がリリースされても同じような流れが必要になると思うので、簡単に必要な流れを確認しておくことにしました。単純に Docker を使った CI/CD に興味があったとも言います。 ASP.NET Core アプリケーションをプリコンパイル プリコンパイル結果を利用して Docker Image を作成 Docker Hub にプッシュ App Service on Li
PythonデバッグTips - Qiita
この記事は Python Advent Calendar 2016 24日目の記事です。今回はPythonのデバッグのTipsをいくつか紹介します。 print()でデバッグ print()関数を使って確認したい値をstdoutに出力することでデバッグします。これで解決できるのであれば、それに越したことはありません。 FizzBuzzをデバッグします。今回は1から20までの数値を使ってFizzBuzzを出力したいとします。以下のコードには明らかなバグがあります。わかりますか? example_fizzbuzz_buggy.py:: for ii in range(1, 21): if ii % 3 == 0: print('Fizz') elif ii % 5 == 0: print('Buzz') elif ii % 15 == 0: print('FizzBuzz') else: pr
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
DMM動画サービスの問題を解決しようとしている話（再生URL生成API編） - DMM inside
