GitレポジトリのホスティングサービスGitLab.comは2020年の5月に 6TB あるPostgreSQL 9.6クラスターをたった2時間のメンテウィンドウ中に11.7へアップグレードしました。 GitLab.comのエンジニアブログに、このPostgreSQLのメジャーアップグレードプロジェクトが解説されていたので、かんたんにご紹介します。 How we upgraded PostgreSQL at GitLab.com | GitLab ポイント PostgreSQL 9.6から 11.7 へのメジャーアップグレード 2時間のメンテナンスウィンドウ内でアップグレード完了 データサイズは6TB DBクラスターは GCP 上の 12台の VM インスタンスで構成 クラスターはアップグレード用の8台とリカバリー用の4台に分割 pg_upgrade & ハードリンクでインプレースアップグ

Marp というツールで Markdown から手軽にスライドを作る方法と、そのスライドを GitHub Pages で自動的に公開するためのツール Marp CLI Action というものを作ったので紹介します。 先に結論だけ述べますと、Marp のエコシステムを使ってスライドを書き、GitHub にプッシュすれば Marp CLI Action を含んだ GitHub Actions で GitHub Pages に自動でスライドを公開できます。 前置き 会社や勉強会でプレゼンをするとき、どのようにスライドを作成しているでしょうか？ PowerPoint、Keynote、Google スライドなど、さまざまなやり方があると思います。 私はとにかく楽に作りたいので Marp というツールを使っています。 Marp とは Marp は Markdown 記法でプレゼンスライドを書けるツー

はじめに gitでのバージョン管理対象にしつつも、編集差異を検知させたくないというケースは時折あります。環境変数設定用ファイルの内容をプロジェクト共通の初期値にしておき、各々の環境に合わせて調整する等。 「.gitignoreに突っ込んで完了」と思いきや、バッチリと差分が検知されました。上手くマッチしていないのかと表記をあれこれ試していましたが、そもそものやり方が違っていることを知りました。 知っている方は多いかもしれませんが、知らない場合に慌てることを防ぐ意味でやり方を書いてみました。 git update-index 適用すると結果として差分が表示されなくなりますが、オプションによって扱いが異なるため目的に応じた使い分けが必要です。 --skip-worktree git update-index --skip-worktree 手元の環境で発生した変更をGitに検知してほしくない場合

Pull Request(PR)やMerge Request(MR)を作る中で、コミット履歴はできるだけ綺麗にしておきたいものです。 プルリクエストについて - GitHub Docs Merge requests | GitLab ぼくはあまりコミット履歴の綺麗さを気にしない方でした。 しかし大きめのPRやMRをレビューする側に回ると、「変更のまとまり」が追えないと「なぜこの変更をしたのか」が非常に追いにくくなります。 だからこそ最近は、コミット履歴をかなり意識するようになりました。 その時に活躍しているのが、タイトルの通りgit commit --fixupとgit rebase --autosquashです。 git commit --fixup git rebase --autosquash そのほかおすすめ git commit --fixup git commit --fixu

JSer.info を Tumblr から Jekyllベースのブログへと移行しました。 ドメインやRSSはそのままなので、特別何かする必要はありません。 また、GitHub Pages上で動くようになったので以下のリポジトリから記事の修正等をpull request出来るようになりました！ jser/jser.github.io Tumblr 以前、Tumblrをブログとして利用する-実践編- - JSer.info で 書いていたように、このサイトはTumblrで動いていました。 Jekyllベースのブログへの移行を検討 · Issue #21 · jser/jser.info のIssueで検討してましたが、 GitHubのjserアカウントも取れたので、 今回GitHub上に移行しました。 Jekyll Jekyllに移行して変わった点は以下のような所です。 デザイン 記事の修正を

ヌーラボのインタビュー企画第19回目。今日はこれからヌーラボが強化していきたいBacklogのSREを担当するチームの中でもGit機能の改善・強化を担っているチームからなべさん (vvatanabe) のお話を伺います。 昨年はGoCon Sendaiで登壇するなど大活躍！Goという強みを持つなべさんに、今後のGitチームとしての取り組みについてインタビューしてみました！ 今日のInterviewee サービス開発部 SRE課 渡邉 祐一 2015年、ヌーラボにバックエンドエンジニアとして入社。現在はBacklogのGitホスティングにおける機能やミドルウェアに関する開発を担当。Goでの開発を得意としGo関連のイベントなど多数の登壇や技術誌への寄稿の実績あり。 東京から福岡へのUターン — なべさんは東京で働かれたあと、Uターンで福岡に戻ってこられたんですよね！ヌーラボに入社してもう何年で

個人的によく使っていて時々 Pull Request も投げている Durable Functions の開発リポジトリでは、全ての Pull Request に対しては基本的なテストのみ実行し、full-ci というラベルが付いた時のみ全てのテストを実行するようになっています。 実際に以前投げた Pull Request は影響範囲の広い修正だったので、full-ci ラベルが付けられてテストを全て実行し、パスしたのを確認してマージされました。 理想的には全ての Pull Request で全てのテストを実行するべきなのでしょうが、テストに関しては時間的な制限もあって難しいので、この運用は個人的にかなり良い感じだと思っていました。 常に全てのテストを実行する必要がないことは開発中していて気が付きますし、テストに時間がかかってマージやリリースが遅れ始めるとテストが邪魔扱いされかねません。そ

はじめにMicrosoftは脆弱性の診断行為をセーフハーバーにより許可しています。 本記事は、そのセーフハーバーを遵守した上で発見/報告した脆弱性を解説したものであり、無許可の脆弱性診断行為を推奨する事を意図したものではありません。 Microsoftが運営/提供するサービスに脆弱性を発見した場合は、Microsoft Bug Bounty Programへ報告してください。 要約VSCodeのIssue管理機能に脆弱性が存在し、不適切な正規表現、認証の欠如、コマンドインジェクションを組み合わせることによりVSCodeのGitHubリポジトリに対する不正な書き込みが可能だった。 発見のきっかけ電車に乗っている際にふと思い立ってmicrosoft/vscodeを眺めていた所、CI用のスクリプトが別のリポジトリ(microsoft/vscode-github-triage-actions)にま

bin/rspec --format progress --format RspecJunitFormatter --out report/rspec-${{ matrix.node_index }}.xml $(./split-test --junit-xml-report-dir report-tmp --node-index ${{ matrix.node_index }} --node-total 2 --tests-glob 'spec/**/*_spec.rb' --debug) [2021-01-08T07:12:09Z WARN split_test] Timing data not found: /home/runner/work/split-test-example/split-test-example/spec/1_spec.rb ... [2021-01-08T07

この本の概要 GitHubの実践的な使い方を，実際に手を動かす形で解説する書籍です。初学者の方にもわかりやすいよう，基本的なGitやGitHubの使い方から，「ソーシャルコーディング」の目玉機能であるPull Requestの送り方・受け方まで解説します。また，外部ツールとの連携，GitHub FlowやGit Flowなど，GitHubを中心とした開発手法についてもしっかり解説しているので，中・上級者の方にも参考になるはずです。 こんな方におすすめ GitHubをこれから使いたい初学者の方 GitHubをさらに使いこなしたい中級者の方 本書に関するお知らせ 本書に関連する記事を公開しております。 はじめに この書籍に関連する記事があります！ はじめに 本書は，世界中の開発者が行っているGitHubを利用した開発方法を，みなさんが現場で使えるようになるためのガイドとして執筆しました。 なぜ

GitHubが活躍した1年でした。経済産業省も全角半角や法人番号などのモジュール「IMI Tool Project 」としてGitHub公開。そのたぶん第二弾「Digital Service Playbook」をハックします。 「経済産業省 Digital Service Playbook 参照リンク一覧」 本文章作成に参考にされたリンクを抽出し、CSVオープンデータ化、検索できるアプリとしました。 「経済産業省 Digital Service Playbook 0.9.0」 経済産業省DX室のメンバーによる、デジタルサービスを生み出すうえで大事にしていることが詰まったドキュメント。 「meti-dx-team/METI-Digital-Service-Playbook」 まずは、GitHub公開というオープンな第一歩がうれしい！ 次はより使いやすく。PDFからMarkdownなど、オープ

ソフトウェアのバージョン管理といえば、GitとGitHubを用いるのが主流。しかし、バージョン管理システムにはCVSやSubversion、Mercurial、GitLab、Bitbucketなど、「GitとGitHub」以外の選択肢も存在します。そんな「GitとGitHub」とは別の選択肢のひとつが、データベースのSQLiteと同じくD. Richard Hipp氏によって開発された「Fossil」です。 Fossil: Home https://www.fossil-scm.org/home/doc/trunk/www/index.wiki FossilはLinuxやmacOS、Windowsに対応しており、ソースコードから自分でバイナリをビルドすることも可能。今回はUbuntu 20.04上でFossilを利用してみます。 まずは下記コマンドを実行して、Fossilのバイナリを実行可

個人的なタスク管理ツールとしてGitHub Issueを使うようにしてその仕組みを色々と作っているので、そのアーキテクチャについてのメモ書きです。 後述しますが、GitHubをベースとすることでプログラムでの拡張性が高いというのが特徴です。 セットアップが色々と必要になるためぱっと再現しやすい感じではなかったり一部未公開になってます。 需要があったらオープンソースとして公開できるように整えます。 GitHub Issuesとタスク管理ツールでの課題 自分の中で、タスク管理ツールとGitHub Issuesを両方使う場合に次の課題がありました。 自分のタスクの半分以上はGitHubに何かしら紐づく情報(オープンソース、ブログ、仕事)であったため、GitHub Issueとの二重管理感がある GitHub上で複数のリポジトリのタスクを管理するのが難しい 1つ目は、タスク管理ツールを使っても結局

202012_smooz.md Smoozサービス終了に寄せて 前置き この文章と、それに含まれる考察や各サービスへの脆弱性報告などはmala個人の活動であり、所属している企業とは関係ありません。 一方で私は、企業が閲覧履歴を収集して何をしたいのか、所属してる企業や他社事例について、ある程度詳しい当事者でもあります。 一般論として書けることは書けるが、(業務上知り得た知識で開示されてないものなど)個別具体的なことは書けないこともあり、また観測範囲に偏りがある可能性もあります。 Smoozに報告した脆弱性2件 最近、Smoozというスマホ向けのブラウザアプリに2件脆弱性の報告をした。 この記事を書いている時点で、Smoozの配布が停止されていて、修正バージョンの入手が出来ない。 2件目についてはまだ返事が来ていない。 脆弱性情報の開示にあたって特段の許可は得ていないが、開発元からも利用停止す

Universe 2020 で発表された機能の中で一番楽しみだったのが GitHub Actions の Environments です。デプロイ先ごとに環境変数と Protection rule を設定出来るようになります。 Azure Pipelines では Approvals and checks と Environments という同等の機能がありますが、そのまま GitHub にもっていったという感じです。予想通り便利でした。 Using environments for deployment - GitHub Docs これまで Azure Pipelines を使っていて、デプロイに特化した機能があるのはかなり便利だと実感していたので、Azure Pipelines から GitHub Actions への移行はこの辺りが実装されるまでは難しいと思っていました。 一通り試し

GitHub、自動でマージが実行される「Pull request auto-merge」機能を発表。GitHub Universe 2020 GitHubは、オンラインイベント「GitHub Universe 2020」において、自動的にマージを実行してくれる新機能「Pull request auto-merge」を発表しました。 Check out auto-merge! Now, when your branch protection rules are met, your changes approved, and your checks are green, GitHub can automatically merge your pull request for you. #GitHubUniverse #Keynote https://t.co/9gQRFt3aqQ pic.tw

GitHubは著作権クレームに真っ向勝負！ YouTubeダウンローダー復活＆デベロッパ保護基金設立2020.11.19 09:009,095 Rhett Jones - Gizmodo US ［原文］ （ そうこ ） いけ、オクトキャット！ GitHubにポストされていたYouTubeのコンテンツをダウンロードするためのツール｢YouTube-dl｣。アメリカレコード協会からデジタルミレニアム著作権法に当たるとの要請をうけ、GitHub運営がこのツールを非公開としたのが約3週間前。しかし、落胆するデベロッパを目にしてGitHubは方向転換。デベロッパを、彼らの作品を守るべきだと結論をだし、今週月曜日、再びYouTube-dl公開に踏み切りました。 YouTube-dlは、GitHub上で出回っているプログラムの中でもかなり人気のコード。しかし、アメリカレコード協会が懸念・指摘したのは、こ

by Nick Quaranto GitHubで公開されていた動画ダウンローダー「youtube-dl」は、全米レコード協会(RIAA)からの要請でオリジナルのリポジトリは削除されたものの、各所で有志によるミラーリングが行われています。そうしたミラーリング活動に対するGitHubの動きを利用し、GitHubに公開するとアカウントが凍結される危険なリポジトリを作成する方法を、エンジニアのJoey Hess氏が公開しています。 how to publish git repos that cannot be republished to github http://joeyh.name/blog/entry/how_to_publish_git_repos_that_cannot_be_republished_to_github/ How to publish Git repos that ca