プロダクトコードの静的解析にhorusecを入れた話 - freee Developers Hub
この記事はfreee アドベントカレンダー16日目です。 みなさんこんにちは。PSIRTというチームでエンジニアをしているlivaです。PSIRTという聞き慣れない単語ですが「Product Security Incident Response Team」の略で、文字通りプロダクトのセキュリティにフォーカスしたチームです。元はCSIRT(Computer Security Incident Response Team)でまとめてやっていたんですが、今年の夏頃から分かれて動いています。業務内容は今までと何一つ変わっておらず、AWS触ったりGCP触ったりプロダクトチームへセキュリティ関係のことで首突っ込んだりとプロダクトのセキュリティに関することは色々やっています。 さて、今回の話題はタイトル通り「プロダクトコードの静的解析」についてです。 今まで各プロダクトごとにツールが運用されていたりいな
GoのテストをCIで簡単に並列実行する | おそらくはそれさえも平凡な日々
https://github.com/Songmu/gotesplit gotesplitというかなり便利なツールを書いた。Goのテストをいい感じのサブセットに分割して、それを実行するものです。このアプローチで、社内のテストを15分から3分くらいまでに短縮しました。 これを使えばCI環境での高速なテストの並列実行を簡単に実現できます。 実例 CircleCIやGitHub Actions上で簡単に導入できます。 CircleCIの場合 parallelism: 5 docker: - image: golang:1.15.3 steps: - checkout - run: command: | curl -sfL raw.githubusercontent.com/Songmu/gotesplit/main/install.sh | sh -s bin/gotesplit ./... -
CI での Docker Build のベストプラクティスを考えてみた
要約 Docker in Docker な CI では、以下の Docker Build をオススメします。 スクリプト Buildx を使う Buildx を使えないならば、BuildKit + –cache-fromオプションを使う Dockerfile ステージ間の依存を弱くする(依存インストールとビルドを分ける) 中間イメージも軽量化する 不要なキャッシュを削除 ファイル変更差分によりますが、これらにより最大 1/3 へビルド時間を短縮しました。 はじめに 『ホットペッパービューティー』美容クリニックのカウンセリング予約サービスのバックエンドを担当している安達です。 新卒として 4 月に入社して、5 月中旬に美容クリニックに配属され、すでに約 4 ヶ月が過ぎました。 まず、チーム内で自分が活躍できる庭を作りたかったため Docker について詳しくなろうと思いました。 そこで、CI
golangci-lintに自作linterを追加する - Qiita
はじめに golangci-lintはgolangci-lint run を実行するだけで、様々なlinterを実行することができます。 これには以下のメリットがあります。 各linterの導入方法や設定方法を覚える必要なく、共通の設定で管理できる 自分でlinterを探さなくても、良いlinterが日々追加されていく 誤検出がある場合に、linterによらず共通の設定方法でその結果を無視することができる この記事では、golangci-lintに自作linterを追加する方法を公式ドキュメントと実際にsonatardがPRを出したファイルを参考にして紹介します。 golangci/golangci-lint - Add Noctx #1179 他にも日本の方では timakinさん作のbodyclose、nakabonneさん作のnestif がgolangci-lintに採用されていま
[Go]次世代イメージcimg/goとcircleci/go Orbsを使った2020年版CircleCIの環境構築 - My External Storage
2020年になって、CircleCIのCI用の公式ベースイメージはcimg/base派生になった。 ただ、2020/06/07現在、Go向けの言語別公式ガイドの中身は古いままである。 cimg/goを使ったGo向けのCircleCIの設定をまとめる。 TL;DR CircleCIで利用するコンテナイメージに次世代版が登場した。 https://hub.docker.com/r/cimg/go 直接使わなくても、Orbsが便利 https://circleci.com/orbs/registry/orb/circleci/go go/mod-download-cachedでキャッシュとGo Modules周りがすぐ解決。 go-junit-reportをgo getしなくてもよい gotestsumコマンドがデフォルトインストールされている GOPATHは変更されているので注意する /hom
![[Go]次世代イメージcimg/goとcircleci/go Orbsを使った2020年版CircleCIの環境構築 - My External Storage](https://cdn-ak-scissors.b.st-hatena.com/image/square/f3ca5145f819bb37539bafba90f1c2353dbe1f00/height=288;version=1;width=512/https%3A%2F%2Fbudougumi0617.github.io%2Flogos%2FGo-Logo_Aqua.png){kind=logo}
『GitHub Actions 実践入門』の電子書籍版を BOOTH で販売開始しました（追記：技術書典応援祭でも販売開始しました） - 生産性向上ブログ
TL;DR 『GitHub Actions 実践入門』という、GitHub Actions の入門書を執筆しました。 miyajan.booth.pm BOOTH で PDF 版を 1,000 円で販売しております。A5 相当で 150 ページほどあります。ぜひお買い求めください！ 2020/03/15 追記 techbookfest.org 技術書典応援祭で PDF 版を 1,000 円、物理本 + PDF 版を 1,500 円（+ 送料 400 円）で販売しております！ 本の内容 概要 『GitHub Actions』の入門書です。 GitHub が提供する CI/CD サービスの GitHub Actions の基礎的な知識からはじめ、実際に活用してみるところまで扱います。 想定読者 GitHub Actions の入門者から中級者を対象としています。 この本は、以下の三点を意識しな
スタートアップ企業への Kubernetes 導入に必要なこと – Kubernetes エキスパートとコンテナスペシャリスト SA が考える適切な活用法 | Amazon Web Services
AWS Startup ブログ スタートアップ企業への Kubernetes 導入に必要なこと – Kubernetes エキスパートとコンテナスペシャリスト SA が考える適切な活用法 オープンソースのコンテナオーケストレーションシステムである Kubernetes は、いまや多くの企業が導入する技術となりました。デプロイ・スケーリングの自動化や、コンテナ化されたアプリケーションの統合的な管理を行ううえで、利便性の高い機能を提供してくれます。 ですが、Kubernetes の適切な活用方法については、模索を続けているエンジニアがほとんどです。とりわけ、人も時間も限られているスタートアップ企業においては、「限られた人的・時間的リソースのなかで、どう Kubernetes を利用すべきか？」「そもそも、自社に Kubernetes を導入した方がいいのか？」と思い悩んでいる方は多いのではない
[Go] CicleCI2.1でgo modのデータを共有しながら複数ジョブを実行する - My External Storage
GitHub上のGoのリポジトリに対して継続的インテグレーション(CI)を行なう場合、CircleCIやTravisCIを使うのが一般的だろう。 CicrcleCI2.1でGo Modulesを使いながらマルチJobを定義したWorkflowを定義する。 attach_workspaceを使ってジョブ間のデータ共有をするのにひと手間必要だった。 TL;DR CircleCI2.0はWorkflowを使って複数Jobを平行実行することができる save_cacheを使うとWorkflowを実行するたびにModuleをダウンロードせずに済む persist_to_workspaceを使うと各ジョブで毎回Moduleをダウンロードせずに済む attach_workspaceするときにuser:rootの設定が必要な場合がある めんどくさいときは@__timakin__さんのCircleCI Or
![[Go] CicleCI2.1でgo modのデータを共有しながら複数ジョブを実行する - My External Storage](https://cdn-ak-scissors.b.st-hatena.com/image/square/ac7859a2a946334ef6c8c8418904e531cef98374/height=288;version=1;width=512/https%3A%2F%2Fbudougumi0617.github.io%2Flogos%2Fcircleci.png)
depからgo modulesへの移行と、移行時にTravis CI & GoReleaserでハマる（かもしれない）ポイント
depからgo modulesへの移行と、移行時にTravis CI & GoReleaserでハマる（かもしれない）ポイント Summary depで管理していた既存のGo製ツールをdepからgo moduleに移行してみたが、移行自体は特にハマりどころも無くスンナリいった go moduleへの移行後に依存パッケージのupgradeを実施、これもスンナリいった Travis CI + GoReleaser で、ビルド成果物をGithub Releasesに登録する作業 ＆ GoアプリのHomeBrewパッケージ作成・公開作業 を自動化しようと試みたが、そのCIが git is currently in a dirty state というコケ方をしてちょっとハマった GoReleaserは本当に便利 前提条件
CircleCI 2.0 で Go 1.10 の build cache をいい感じに効かせる | Hori Blog
今更ながら CircleCI 2.0 を本格的に触りました。 CircleCI 2.0 になりキャッシュの柔軟性が向上したようなので、 Go 1.10 から導入された build cache と併せて最適化してみました。 前提知識 ドキュメントなど Language Guide: Go - CircleCI Caching Dependencies - CircleCI go - hdr-Build_and_test_caching - The Go Programming Language 戦略 依存管理は dep を使う vendor は Gopkg.lock が一緒なら同じものを用いる build cache は基本的にはブランチごとに管理 ただし、新規ブランチは master からキャッシュを拾いたい お急ぎの人のための結論 version: 2 jobs: build: work
Multi-Cloud Continuous Delivery with Spinnaker report now available.
by Emily Burns, Asher Feldman, Rob Fletcher, Tomas Lin, Justin Reynolds, Chris Sanden and Rob Zienert We’re pleased to announce the release of our O’Reilly report, Continuous Delivery with Spinnaker. The report is available to download for free on the Spinnaker website. ( Pdf | Epub | Mobi ) About The ReportAt Netflix, we’ve built and use Spinnaker as a platform for continuous integration and deli
[Android][Gradle] ライブラリプロジェクトのJaCoCoでのカバレッジ計測
Android Studioがリリースされて以来、Gradleプラグインをしばらく使っていたものの androidプラグインがjavaプラグインと共存できないせいでいろいろとできないことがあった。 その一つが、カバレッジの計測。 4月末のAndroid Gradle Plugin 0.10.0のリリースでJaCoCoのサポートが追加され、ついにandroidプラグインでもカバレッジ計測ができるようになった。 http://tools.android.com/tech-docs/new-build-system 気づいて早速使おうとしたものの、上記ページに書かれている他はほとんど書かれているところがなくうまく動かず。。。 また、動かそうとしたのが単純なAndroidアプリケーションプロジェクトでなくライブラリプロジェクトであり、Eclipse互換の構造を保とうとしながら作っていたせいかもしれ
Travis CIとCoverallsとCode Climateを使ってGitHubリポジトリにバッジを付ける - アインシュタインの電話番号
先月に公開した超ニッチなツールFont Awesome Workflow for Alfred 2が意外と好評で、そこにオクラホマ州からこれOS X Mavericksで動いとらんよとお便りが届いたりした。 そんなわけで少々テストを書いた上で、Mountain Lion以前に入っているRuby 1.8.7と、Mavericks以降に入るRuby 2.0.0の両方で常に動作確認しておくようにしたいと考えて、まずTravis CIを、その後CoverallsとCode Climateを導入した。この記事はその備忘録。 {: .ArtcleBody-inlineImage .u-textCenter } それらを導入すると、こんなかんじのバッジを表示できる。GitHubでよく見かけるやつ。今回使ったサービスはどれも、オープンソースなら無料で使わせてもらえる。 Travis CIは名前の通り継続的
iOSアプリ開発でCI／継続的デリバリ環境を始めるための4種の神器
CI（Continuous Integration、継続的インテグレーション）とは、プロジェクトの成果物を継続的に統合し、ビルドやテスト、インスペクション(ソフトウェアレビュー)などを実行する習慣のことです。 そして継続的デリバリ（Continuous Delivery）とは、ソフトウェアを素早くリリースして、プロジェクトの成果物に対する継続的なフィードバックを得られる仕組みを作る、CIを含む開発フロー全体の流れのことです。これらは、近年のソフトウェア開発において必要不可欠なものとなっています。 下記の記事は、CIの基礎知識と導入するメリットを解説しています。併せて読むと、より一層理解が深まると思います。 継続的インテグレーションを始めるための基礎知識 DevOps時代の開発者のための構成管理入門 iOSアプリ開発でCI／継続的デリバリを導入する3つの利点 iOSアプリ開発でCI／継続的デ
工数削減だけじゃない、自動化ツールの真のメリット
工数削減だけじゃない、自動化ツールの真のメリット：運用自動化ツールまとめ（国内ベンダ編）（1/4 ページ） 運用自動化というと「人員削減」「コストが掛かる」といったネガティブな見方をする向きも多い。だが仮想化、クラウド時代において運用自動化とはそれほど単純なものではない。国内ベンダ4社のツールに真の意義を探る。 仮想化技術の浸透に伴い、2008年ごろから国内でも注目を集め始めた運用自動化。だが、「人が削減される」「コストが掛かる」「万一の時が不安」といったネガティブな見方も多く、導入企業は現在も一部にとどまっている。しかし近年、市場環境変化がさらに加速し、ビジネスを遂行するIT基盤を迅速・柔軟に整備・変更する必要性が増している。こうした中、もはや人手だけに頼った運用では、ビジネス部門の要請に応えられないばかりか、人的ミスも誘発しやすい状況になっている。こうした状況は以下の記事に詳しい。 情
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - mvdan/github-actions-golang: GitHub Actions as CI for Go
https://blog.containership.io/creating-a-continuous-delivery-pipeline-with-travis-ci-containership-and-dockerhub-ec99d43c3546
Travis CI、Coveralls、Code Climate、RubyGems、Gemnasium、deppbotと連携させよう！ 
自動化の誤解を解き本来の意味を知る ～アジャイルアカデミー「Jenkins Boot Camp」講座
日本語ドキュメント - Apple Developer