OSS 版 Spectacles を使って、LookML の data tests や validation などを GitHub Actions で継続的に実行させてみた - Feedforce Developer Blog
こんにちは。自称 Looker エバンジェリストの id:masutaka26 です。 今日は Spectacles というツールを導入して、Looker インスタンスの健全性を高められた話を紹介します。 Spectacles とは 4 種類のテスト 基本的な振る舞い どのテストを採用し、どのような課題を解決したのか SQL validation Assert validation Content validation LookML validation どのような GitHub Actions にしたのか CI workflow Schedule workflow 落ち穂拾い 作業ブランチのゴミが残ることがある マシンユーザーを作るか作らないか まとめ Spectacles とは Spectacles は Looker のサードパーティ CI ツールです。継続的に各種テストを実行し、Lo
[DevOpsプラットフォームの取り組み #5] Cloud Native CI/CDを実現するTektonの紹介 - NTT Communications Engineers' Blog
はじめに DevOpsプラットフォームの取り組みを紹介する5回目の記事です。 Qmonus Value Stream開発チームの杉野です。 連載第5回では、Qmonus Value StreamでCI/CD機能を実現するための要素技術として用いている、OSSのTektonについて紹介します。 これまでの記事をまだ見ていないという方は、Qmonus Value StreamというプラットフォームがどのようにTektonを利用しているかを過去の記事で述べていますので、覗いてみてください。 また、本記事ではKubernetes(以下、k8s)に関する知識がある前提で記述していますので、ご了承ください。 Tekton とは Tektonは一言でいうと、CI/CDシステムを作成するためのKubernetes Nativeなオープンソースフレームワークです。さらに噛み砕いて表現すると、k8s上で動作し
![[DevOpsプラットフォームの取り組み #5] Cloud Native CI/CDを実現するTektonの紹介 - NTT Communications Engineers' Blog](https://cdn-ak-scissors.b.st-hatena.com/image/square/5f26022bf71ba863efcc1a4a0d5db0ecdba76daa/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2FN%2FNTTCom%2F20220810%2F20220810174855.png)
複数のアプリのバージョンを一箇所で集中管理してCIから一括バージョンアップできるようにした - くりにっき
モチベーション リポジトリ 動いてる風景 対応形式 仕組み 各リポジトリに適用してるItamaeのレシピファイル こだわりポイント CI用にGitHub Appを作った モチベーション dependabotだとライブラリの自動バージョンアップはできるのだが、RubyやGoなどのランタイムのバージョンまでは対応してないので一箇所で管理できるようにしたかった 実は一箇所で管理すること自体は既に https://github.com/sue445/ci-config-itamae でやってたのだが、手元に動かす方式だと忘れるのでCIで動かすようにしたかった CI化は割とすぐに終わったのだが、パブリックリポジトリの設定とプライベートリポジトリの設定が混在してたのでこのリポジトリもプライベートリポジトリでずっと運用していた。しかしリポジトリの数が多すぎて*1 ActionsのQuotaを使い切りそう
GitHub ActionsのワークフローをオートスケールするSelf-hosted runnerに移行した話 - Mobile Factory Tech Blog
こんにちはエンジニアのEadaedaです。 皆さんのチームではGitHub Actionsを使っていますか？ブロックチェーンチームではテストやリンター、デプロイといったワークフローをGitHub Actionsで行っています。 今まで、デプロイ以外のワークフローはGitHub-hosted runnerで実行、デプロイはSelf-hosted runnerで実行していましたが、運用していくうちに特定の環境内にあるサーバーで実行されるように仕組みを見直す必要がでてきました。このため全てのワークフローをSelf-hosted runnerに移行する対応を行いました。この記事では移行の際に見つけた便利なものや困ったことを紹介します。 Self-hosted runner GitHub Actionsでは、基本的にGitHubが用意したVMでワークフローが実行されます。このVMをGitHub-ho
k8sの各種CDツールを比較する - pospomeのプログラミング日記
k8s のCDツールがいくつかあるので、それらの特徴についてまとめる。 一応CDツールの定義は"k8sにWebアプリケーションをデプロイするツール"を想定しているが、 k8sにおけるデプロイはマニフェストファイルを apply することなので、 そういったものはすべてCDツールとみなして調べた。 すべてのツールをちゃんと調べたわけではないので、ものによってはサラッとした紹介になっている。 Flux Tekton(Tekton Pipeline) Jenkins-X PipeCD GCP Cloud Deploy AWS Code Pipeline Spinnaker Pipeline & Stage 動的なパイプライン Managed Delivery Spinnaker を使いこなせるか? ArgoCD Single Source of Truth(SSOT) 複雑なCDパイプラインは作
Azure DevOps を使って、AWSへのCI/CD環境を簡単に構築する方法 | DevelopersIO
いわさです。 Azure DevOps （旧：Visual Studio Team Services） ではGUIベースで簡単にCI/CDパイプラインを構築することが出来ます。 名前にAzureの文字が含まれていますが、AWSへの統合も簡単に行うことが出来ます。 今回はAWSより提供されている、"AWS Toolkit for Azure DevOps"という Azure DevOps拡張を用いることでAWS環境へのCI/CDパイプラインを構築しました。 本記事では以下を行います。 Visual Studio for Mac を用いて、シンプルな ASP.NET Core プロジェクトを作成 Azure DevOps上のリポジトリへソースコードをプッシュし、パイプラインを構築 デプロイタスクとしてToolkitサイト内でも取り上げられている、"Amazon S3へのデプロイ"、"Elast
2020年の個人的Firebaseのまとめ
（この記事はFirebase アドベントカレンダー 2020の記事です） もうアドベントカレンダーの季節かーって感じですね。もともと引きこもるのが好きだったのが、引きこもる大義名分を得た年だったのでずっと家にいて季節感がなかった年でした。 そんなことは関係なく、2020年もFirebaseは進化していたのアップデート内容を個人的興味があったものまとめていきます。 Emulator Suite UI Emulator SuiteはローカルやCI/CDでFirebaseの機能をテストできるツールです。Emulator Suiteが出るまでは本物のFirebaseプロジェクトを利用する必要がありましたが、Emulatorの登場で複数人開発やCIでのテストもやりやすくなりました。 5月のリリースでEmulator SuiteにUIが付きより視覚的にローカルでのテストがしやすくなり、Firebase
Azure DevOpsのself hosted agentを試してみた - kaz29
暑いので快適な仕事部屋で、CodeCoverageと戦っているわたなべです... self hosted agent試すことになった理由 現在開発中の案件では、Azure DevOpsを利用して、CI/CD環境を構築しています。バックエンドはPHPで開発していて、UnitTestを結構しっかり書いています。 開発作業に追われてなかなか手をつけられていなかった Code Coverage を見ようと設定をしたところ、以下のようなエラーが発生してしまいました。 表示されているリンクの内容を確認すると... For 60 minutes on Microsoft-hosted agents with a private project or private repository ということで、Microsoft-hosted agentsでプライベートリポジトリのjobを実行する場合は、60分
Terraform + CodePipeline + CodeBuild + S3 で Cloudfront に配信する
みなさん、こんにちは！めもりー(@m3m0r7) です。 Terraform を初めて 2 週間ほどのインフラ初心者です。 主にやりたいこととしては下記のようになります。 そのために S3 に展開する設定を含めて Terraform でどう書けばよいのかしたためてみます。 CodeCommit にプッシュしてビルドして Lambda で配信するといった用途なら多く見かけたのですが、残念ながらこういった用途はあまり見かけないので少し苦戦していました。Terraform 難しい。 書いていく CodePipeline で一連の流れを定義するにあたり、下記が必要になります。 CodePipeline のためのロールの設定 CodeBuild のためのロールの設定 ロールをそれぞれ紐付ける CodeBuild のプロジェクトの設定 CodePipeline のアプリケーションの設定 それぞれ見てい
AWS Code サービス群を活用して、CI/CD のための構成を構築しよう！のハンズオンをやってみた | DevelopersIO
CI/CD入門ハンズオン AWS DevOps Engineer Professionalの勉強のためにCodeシリーズを触ろうと思ったら、ほどよいハンズオンを見つけたのでやってみました。 AWS Codeシリーズをまとめて学習できるハンズオン git pushからのS3とEC2上にファイルが自動的に配置されるCI/CDを体験 動画見ながら手を動かしても2時間で終わりました ハンズオン動画・資料 AWS Hands-on for Beginners AWS Code サービス群を活用して、CI/CD のための構成を構築しよう！ Agenda 1. 今回のハンズオンので構築する構成の紹介 + ハンズオンで登場するサービスの紹介 2. S3 をデプロイ先とした、CI/CD 環境を構築する【事前準備 + CodeCommit編】 3. S3 をデプロイ先とした、CI/CD 環境を構築する【Cod
CodePipeline で承認プロセスを設けた Terraform workspace の CI/CD パイプライン実装 | DevelopersIO
先日、CodeCommit への push をトリガーに terraform apply をサクッと実行するシンプルなパイプラインの記事を投稿しました。 今回はもうちょっと発展させて以下のような要件を取り込んでみたいと思います。 terraform workspace 環境でも使えるようにしたい 本番環境は terraform apply の前に承認者による承認プロセスを入れたい イメージは以下のとおりです。 開発環境向け 1-1. develop ブランチへ push 1-2. dev workspace に terraform apply を実行 本番環境向け 2-1. develop ブランチから master ブランチへ merge 2-2. prod workspace で terraform plan を実行 2-3. 承認者に後続処理の承認要求をメール通知 2-4. 本番用パ
docker-composeでの開発環境やCIでRailsのSystem Testするやつ ·
System Testを手元のdocker-compose環境及びCIでやる方法について、雰囲気でまとめました。 問題意識 昨今は docker-compose で開発環境を構築しがちだと思うのですが、その場合のブラウザの自動テスト(System Test) のやり方がよくわかっていなかったので調べてみました。 スクショとCIについても少し触れます。 TOC めでたく動いた様子はこちら 今回適用した差分PR さよなら webdrivers ブラウザをdockerizeするにはどうするか スクショどうなるの 画面共有.app で動きを覗く めでたく動いた様子はこちら 今回は手元の自分のfastladderでやっていきます。 さて、Railsは5.1あたりからCapybaraの連携がだいぶ楽になっています。 なので、今回は手元の自分のfastladderをあらかじめ 雑にRails4.2 ->
機械学習なdockerfileを書くときに気をつけとくと良いこと - nykergoto’s blog
みなさん機械学習系の環境構築はどうやってますか? 僕は最近は Docker を使った管理を行っています。 特に師匠も居なかったので、ぐぐったり人のイメージを見たり手探りで docker をつかいつかいしている中で、最初からやっとけばよかったなーということがいくつかあるのでメモとして残しておきます。 大きく2つです。 キャッシュは消す テストを書く キャッシュは消す ライブラリをいろいろと install すると大抵の場合ダウンロードしたファイルを保存されている場合が多いです。何かのタイミングで再びそのライブラリをインストールする際にはダウンロードしたファイルを使って、素早くインストールすることができます (この仕組みがキャッシュです)。 キャッシュがあると容量が重くなるという欠点があります。重たいイメージは pull に単に時間がかかりますから、システムとしてデプロイする時にトラフィックが
GitLab RunnerをGCPでオートスケールさせて安く運用する - OPTiM TECH BLOG
こんにちは。Optimal Bizのサーバーサイドに関する開発を担当している伊藤です。 皆さんCIは何を利用していますでしょうか？ Optimal BizではGitLab CI/CDを利用しています。 単体テスト・ビルド・デプロイ等CIの用途は多岐にわたりますが、実際にそれらを実行するPCを必要な数だけ常に起動しておくと無駄な料金がかかってしまいます。 そこで、今回はGoogle Cloud Platform(以降、GCP)のプリエンプティブル VM インスタンスをGoogle Kubernetes Engine(以降、GKE)でオートスケールさせることで、CIリソースを格安で確保する事例を紹介します。 利用例 Optimal Bizチームの場合は「RSpecをGitLab CI/CDを使って並列実行する」で紹介した大量の単体テストを約20台のノードで並列実行するために利用しています。 ざ
Gitlab Registryを使ってGitlab pagesでpipeline時間を短縮・節約する | SERVERSUS
Gitlab CI/CDのビルドが遅い理由これは単純で、レポジトリにpushされる度に、全てのスクリプトを実行しているからです。つまり、多くのケースでGitlab側の問題でなく、自分が書いた設定（.gitlab-ci.yml）が適切でないということがほとんどでしょう。 同じ静的サイト向けサービスでも、Netlifyはログを見る限りキャッシュできるところはNetlify側が勝手にキャッシュしてくれています。同じ感覚でGitlab pagesで静的サイトをホスティングしようとすると、Pipeline quota（Pipelineの割り当て/無料ユーザーは月間2,000分）をモリモリ使ってしまいます。 ちなみに、Gitlab pagesでもNetlifyと同じようにキャッシュを使うことができます。 Gitlab CI cache キャッシュを利用したビルド時間の短縮については、下記の記事をどうぞ
GitHub、チームでの利用も無料に。プライベートリポジトリ数も制限なく、チームディスカッション、ActionsによるCI/CDも可能
GitHub、チームでの利用も無料に。プライベートリポジトリ数も制限なく、チームディスカッション、ActionsによるCI/CDも可能 GitHubは無料で利用できる「Free」プランを見直し、個人に加えてチームでも無料で利用できる新たなFreeプランを発表しました。 Today we’re announcing free private repositories with unlimited collaborators for teams with GitHub Free, and reducing the price of our paid Team plan to $4 per user/month. All of the core GitHub features are now free for everyone. Learn more: https://t.co/fQ3r2ABt
「自前でGitLabを管理するために知っておかなければならないこと」の付録 #gihyosd - くりにっき
これは GitLab Advent Calendar 2019 - Qiita の18日目です。 大事なことなので最初に 付録A：GitLab.comを使いつつ自前のGitLab Runnerを使う 付録B：公式Dockerイメージを使う 大事なことなので最初に 僕がGitLab特集で書いた「自前でGitLabを管理するために知っておかなければならないこと」が掲載されているSoftware Design 2020年1月号の発売日なのでみんな買ってくれよな！！！ ソフトウェアデザイン 2020年1月号 作者:増田 亨,伊奈 林太郎,古川 陽介,笹川 博幸,荒井 裕貴,佐藤 洋行,矢野 哲朗,末吉 剛,民田 雅人,斎藤 祐一郎,星 直史,安藤 幸央,結城 浩,武内 覚,宮原 徹,平林 純,高橋 憲一,坂井 恵,八木澤 健人,中島 明日香,micnncim,職業「戸倉彩」,mattn,上田 隆一
開発環境構築スクリプトのCIをGitHub Actionsで回す - プログラムモグモグ
小ネタですが、開発環境の構築はスクリプト化して、CIを回そうという話です。 開発環境を構築することは年にそう何回もあるわけではないですが、スクリプトを一発叩いて必要なツールが揃うようにしておくと便利です。私は素朴にシェルスクリプトで書いています。好きな言語で書けばいいと思いますが、macOSは将来的にRubyやPythonといったスクリプト言語を排除しようとしていて、不安ですね。Ansibleみたいなのを使ってもいいと思います。私はちょっと苦手で… あくまで私用のスクリプトなので使わないでください。 このスクリプトを叩いてしまえば、iTerm2やVim、tmux、自分のdotfilesの配置と言語処理系のインストール、Google ChromeやSlackのインストールを行ってくれます。モダンなプロジェクトならdockerさえあればいいんでしょうが、なかなかそういうわけにはいかないですよね
Kubernetesを最大限に活かすためのGitOps入門
Kubernetes環境でCI/CDを実現する「GitOps」について。 @さくらの夕べ Docker/Kubernetesナイト お受けした質問の一部はこちらのツイートに紐づく形で回答しています→https://twitter.com/amaya382/status/1140575485878886400
Argo CDによってGKEでGitOpsをする - Kekeの日記
はじめに 最近読んだ鎌倉時代の歌人、鴨長明の『方丈記』にも ゆく河の流れは絶えずして、しかももとの水にあらず。 とありますが、私たちのソフトウェアも然りです。 毎日更新され、デプロイされ、時に不可逆に破壊され。そして、ちぐはぐな形に落ち着くまで絶えず変更されているように感じます。 そのようなことにならないためにもOpsやCDについて注目しています。 本記事 本記事はKubernetes Advent Calendarの15日目の記事になっています。 コメントや間違いなどがあればDMやリプを軽く飛ばしてもらえると嬉しいです。 今回は、GitOpsを実現するためのツールとしてArgo CDが注目を集めているので、GitOpsについて考えていこうと思っています。 また今回はたまたまArgo CDを使ってみますが、だいたいのGitOpsに導入しやすいソフトウェアは、似たような構成なので、体系的に学
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
