大きなGitリポジトリをクローンするときの工夫を図解します - DeNA Testing Blog
こんにちは、SWETでCI/CDチームの前田（ @mad_p ）です。 SWETではCI/CDチームの一員として、Jenkins運用のサポートや、CI/CD回りのノウハウ蓄積・研究をしています。 はじめに Gitリポジトリをクローンすると、ローカルフォルダにはそのリポジトリの全体がダウンロードされ .git というフォルダに格納されます。ブランチをチェックアウトすると、ブランチ内のファイルがワーキングツリーとして展開されます。この様子を図にするとこのようになります。 この .git とワーキングツリーの使うディスク容量を節約しようというのが今回のお話です。特にJenkinsにおいて、大きめのGitリポジトリをクローンしてくる場合に課題があり、いろいろ工夫してみたので、その結果を紹介します。同じCI/CDチームの加瀬による記事「大規模リポジトリで高速にgit cloneするテクニック」と内容
オープンソースのJenkinsとConcourse CIを比較
「Jenkins」と「Concourse CI」の比較 「Jenkins」と「Concourse CI」は、継続的インテグレーション機能を提供します。 Jenkins 概要 Jenkinsは「継続的なソフトウェアのビルド/テストを行う機能」と「外部で起動するジョブ実行の監視機能」を提供します。 多くのユーザーが使用しています。 メリット ・旧バージョンも管理できる ・情報が得やすい(ユーザー数が多くコミュニティが活発) ・どのようなスクリプトにも対応できる高い汎用性 ・豊富なプラグインによる優れた拡張性 ・対応言語の多さ ・テスト結果(xUnit形式)をレポートとして表示できる デメリット ・Jenkins用サーバを構築する必要がある ・属人的になりやすい(Jenkins職人) ・設定項目が多い ・変更に関するヒストリ機能がない ・CIプロセスが多数のサードパーティ製プラグインに依存してし
ソフトウェアテストの実行を機械学習で効率化する。Jenkins作者の川口氏が立ち上げた「Launchable」で実現しようとしていることとは（前編）
ソフトウェアテストの実行を機械学習で効率化する。Jenkins作者の川口氏が立ち上げた「Launchable」で実現しようとしていることとは（前編） Jenkinsの作者として知られる川口耕介氏は、昨年米国で新会社「Launchable」を立ち上げ、日本にもその100％子会社であるLaunchable Japanを近日中に立ち上げ予定です。 Jenkinsの登場がテストやビルドの自動化を促進し、ソフトウェアの開発生産性を向上させたことは明らかでしょう。川口氏によると、Launchableは機械学習などの技術を用いてそれをさらに前進させるものだとしています。 インタビューを行った5月末の時点で、同社は米国に6人、日本に4人と10人ほどの体制で製品開発を進めています。 果たしてLaunchableはどのようなビジョンで何を実現しようとしているのか、同社共同創業者兼共同CEOの川口氏と、Laun
Jenkinsの自動デプロイにAnsibleを使ってみた - sometimes I laugh
ありがたいことに、以前のJenkins自動デプロイ記事がそれなりに多くの反応をいただきまして、冷静に見直してみたのですが、ちょっとデプロイ処理が雑だなと。 最近ではデプロイをやるにも、Capistranoやfabricなどのツールがあり、多様化するデプロイ要件に柔軟に対応できるような工夫が施されています。これらのツールを用いることで、シェルスクリプトで記述されたぐちゃぐちゃなオレオレデプロイを回避できたり、デプロイ失敗時のロールバックなどがしやすくなるメリットがあります。 現在開発しているアプリでは、git pullだけでデプロイできるようにしてあるので、前回の記事のようにJenkinsのジョブにシェルスクリプト直書きでもいいのですが、 デプロイ先の変更やスケールアウトに対応しにくい 認証鍵の場所をコマンドで直書きするのが、個人的にちょっと抵抗ある 書き方がスマートじゃない ←重要 という
日本よりも欧米でヒット、日本人が生み出したJenkinsの勢い
CI（継続的インテグレーション）を実現するOSS（オープンソース・ソフトウエア）「Jenkins」の勢いが増している。開発元の米CloudBeesが2017年8月末に開催したイベントには800人の開発者が参加。米PayPalが4000人を対象にしたJenkinsの導入を発表するなど、大企業が戦略的にJenkinsを使用する実態が明らかになった。 現在はCloudBeesのCTO（最高技術責任者）を務める川口耕介氏が2011年2月にOSSとして公開したJenkinsは、ソースコードのコンパイルやビルド、テスト、品質検査、サーバーへの展開（デプロイ）などを自動化するツールだ。開発者にとって面倒な作業をやってくれる「執事」という位置付けであることから、マスコットキャラクターは映画に出てくる執事のような蝶ネクタイ姿をしている（写真1）。 Jenkinsのオリジナル開発者である川口氏は、CloudB
すごいcronとしてのJenkins
毎日ビルドなり、決まった時間にnightlyのバイナリをcurlでアクセスして取ってきたいなんて思った事はありませんか？ ありますよね。 そうなると*nix系の人ならcronを使う事になるのでしょうが、cronには親切なUIというものが付いてないですし、そもそもWindowsじゃ動きません。 そうなるとJenkinsの出番です。 Jenkinsとは一言で言うと親切なUIがくっ付いたスゴいcronです。 これを使わない手は有りませんね。 という事で、いくつか使ってみています。 使用例 一つ目：Mroongaのnightlyのバイナリを1ヶ月間分保存した上で決まった時間にアクセスして取りにいきたい。 そのジョブに使っているスクリプトはこちらです：https://github.com/cosmo0920/curl-daily-job-for-mroonga その他、Jenkinsの定時に実行する
WindowsにJenkinsを入れてCI #Jenkns
散歩していたら思いついた。 非力なメインサーバーでJenkinsを入れて、ビルドをするよりも実はCorei7-2600Kなメディアサーバーさんでビルドすればいいんじゃね？ Windowsに入れることが、なんか色々とハードル高そうだけど、わりとやってる人がいるっぽいので挑戦。 Windows上でJenkinsを動作、Linuxで動いているGitリポジトリからプロジェクトをクローンし、antでビルドする感じ。 インストール インストール自体は簡単。公式サイト(http://jenkins-ci.org/)から、インストール用のファイルをダウンロードしてきて、実行するだけ。 色々と設定 とりあえず、URLを変更。ちなみに、今回は F:\/Program Files/ にインストールしたので。 F:\Program Files\Jenkins\jenkis.xml を開いて <arguments>
Jenkinsの使い勝手をよくするための見直し6点 ｜ Developers.IO
今回の課題 こんにちは植木和樹です。7月にserverspecを使ったChefの自動テストのエントリを書きました。 【AWS】JenkinsとserverspecでChefのテストを自動化する このエントリは初めてJenkinsを触った時に書いたので、いろいろと流儀がわかっていませんでした。その後弊社にJenkinsマイスターの渡辺修司さんが入社したということで、Jenkinsの設定について見てもらいました。その時に次の6点を見直すよう指摘がありました。 ジョブは意味ある単位で1つにまとめるべし ジョブで実行するシェルスクリプトもgitから取得すべし EC2の起動に失敗したら後続処理を停止させるべし serverspecの実行結果はJUnit（XML）形式で出力すべし 実行結果のXMLをJenkinsで読み込んで統計グラフを出力すべし 定時実行でなくgit push hookを入れるべし
Vagrant + Chef Solo + serverspec + Jenkins でサーバー構築を CI - naoyaのはてなダイアリー
Jenkins おじさんと戯れること半日、うまくいったので備忘録を残しておく。 やりたかったのは Chef で構築したサーバーを Jenkins で CI する、というもの。このときサーバーはテストが終わる度に破棄して、テスト開始時に再度真っ新な状態から立ち上げたい。(こういうサーバーを壊して作ってというテストはなんという名前で呼ばれるのだろう?) 仮想サーバーを破棄/作成をプログラマブルにやるのはもちろん Vagrant プロビジョニングは Chef Chef の環境を整えるのに knife-solo 0.3.0.pre3 テストは serverspec コードは Github に上げる (https://github.com/naoya/jenkins-vagrant-test) CI は Jenkins という構成になっている。ひとまず Jenkins や Vagrant はローカル
同僚の外国人プログラマ観察記録 - rinu's blog
概要 1ヶ月くらい一緒にお仕事している外国人プログラマさんを観察した記録です。 スペック 性別: 男性 仕事内容: うちの会社のプログラマは、ざっくり JS 等のフロントエンドと、 Java 等のバックエンドエンジニアにわかれているのですが、彼はどちらもやっているようです。 好きな食べ物: はちみつ たまに、くまさんのようにはちみつを舐めていました。 性格 彼はめんどくさがり屋です。 同僚の Windows ユーザの手伝いをしている時、 "C:¥Program Files¥..." みたいなパスを打ちながら、「めんどくさい。 ああ めんどくさい」 と 100回くらいつぶやいていました。 (普段の彼の環境は mac なので /usr/local/bin) パスワードを覚えるのもめんどくさいので 1Password で管理しているようです。 PC スペック マシン: Macbook Pro メ
.NET開発者のためのJenkins入門 - ＠IT
.NET開発者中心 厳選ブログ記事 .NET開発者のためのJenkins入門 ―― ブログ「present」より ―― t_nakamura 2011/11/17 2011/11/19 更新 「.NET開発者中心 厳選ブログ記事」シリーズでは、世界中にある膨大なブログ・コンテンツの中から、特にInsider.NET／.NET開発者中心の読者に有用だと考えられるブログ記事を編集部が発掘・厳選し、そのブログ記事を執筆したブロガーの許可の下、その全文を転載・翻訳しています。この活動により、.NET開発者のブログ文化の価値と質を高め、より一層の盛り上げに貢献することを目指しています。 ■はじめに 仕事でSubversionとTracを使っていますが、残念ながら、「活用できている」とは言えません。「継続的インテグレーション（以下、CI）？ 何それ、おいしいの？」という状態。そもそもCIするために、T
GREEにおけるJenkins, その1 | GREE Engineering
はじめまして。エンジニアの岡崎(@watermint)です。今回はGREEにおけるJenkinsの利用について紹介します。 Jenkinsは継続的インテグレーションの代表的なツールです。JenkinsがどういうものかはJenkinsコミュニティーの説明をみると良く分かります。 一言で言えば、Jenkinsは、容易ないわゆる「継続インテグレーションシステム」を提供し、開発者が変更をプロジェクトに統合でき、ユーザーがより新しいビルドを容易に取得できるようにします。自動化された継続的なビルドは、生産性を向上させます。 Meet Jenkinsより 継続的インテグレーションという言葉について耳慣れないというかたは、JenkinsならびにJenkinsの前身であるHudson開発者である川口さんによる解説をご覧ください。 Hudsonを使ったアジャイルな開発入門 GREEにおけるJenkinsの導入
Windows環境でもJenkins -執事さんとご対面- | PPl@ce
Trac Lightningに同梱されていますし、Windows環境でHudsonを使っている人は結構いる(いた)かと思います。 そこで、新しくなったJenkins(旧Hudson)をWindows環境に入れる手順をまとめてみました。 思っていた以上にインストールが楽になっていたので、びっくりです。 ダウンロード公式サイトのDOWNLOADからWindowsを選択。 現時点(2011/06/22)だと、jenkins-1.4.17.zipがあるのでそれをダウンロード。 ※2011/04/23で1.4.08だったので、約2ヶ月で結構バージョンアップしてますね。 ※導入システムのバージョンアップに上司承認がいるようなところだと、このペースでのバージョンアップは逆にきついかもしれないですね。 ダウンロードしたファイルを展開すると、以下の2ファイルがあります。 インストールsetup.exeをダブ
BuildHiveをリリースしました - 川口耕介のブログ
このところ頑張って作っていたBuildHiveがようやっとリリースに漕ぎ着けましたので、使ってやってください。 BuildHiveはCloudBeesのDEV@cloudの一環で、GitHubのリポジトリに対する継続的インテグレーションビルドをとても簡単にセットアップできるサービスです。どなたでも無料で使えます。 トップページには既にBuildHive上でビルドされている様々なプロジェクトが表示されます。新しくプロジェクトをセットアップする為に、BuildHiveにいって右上の赤い「Add your Git repositories」ボタンをクリックします。 GitHubとのOAuth認証を聞かれるので、「Allow」ボタンを押して許可してやってください。 すると、CIビルドをセットアップするGitHubのリポジトリを選ぶ画面が出てくるので、適当なプロジェクトを選んで「Enable」を押し
DevLOVE201112 ビルドをだいじに
DevLOVE Hangar Flight - Snow Barrage -での発表資料です。
Common LispプロジェクトをJenkinsで継続的インテグレーション - 八発白中
Clackのバグ報告を定期的にもらいます。ありがたいことなのですが、そのほとんどが○○の処理系でエラーが出てる、などです。具体的に言えば、追加したシンボルがその処理系の標準パッケージのシンボルとコンフリクトする、とかですね。 こういうつまらないものであれば、自動テストを走らせるだけで簡単に見つかるようなものです。けれど、Clackは現在6000行近くあり、一回テストするのに2分くらいかかるので、コードを変更するたびにすべての処理系でテストするなんて現実的じゃありません。かと言っていつの間にかバグ入ってるという状況は避けたい。 なので重い腰をあげて、Clack Project用にJenkinsさんを立てて継続的インテグレーションすることにしました。できたJenkinsサーバは以下のURLで運用しています。 http://ci.clacklisp.org/ せっかくなのでセットアップの流れをま
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
