データレイクをGitライクに使いたい！lakeFSを使ってみた | DevelopersIO
はじめに lakeFSは、ざっくり言うとデータレイクをGitのようなリポジトリぽく取り扱うソフトウェア/サービスです。Gitライクなので、ブランチの作成、バージョン管理、ロールバックなどをCLIまたはGUIにて実行できます。 現在、クラウドストレージをデータレイクとして使う場合にはAWS S3/Google Cloud Storage/Azure Blob Storageなど複数の選択肢があるかと思いますが、lakeFSをインターフェースとして入れることで、実際のストレージがどこにあるかを意識することなくデータレイクを取り扱えるため、マルチクラウドなデータ分析基盤においてより力を発揮します。 lakeFSにはローカル環境に導入するオープンソース版と、SaaSとして提供されるlakeFS Cloudがあります。 今回はオープンソース版でクイックスタートをやってみます。環境はMacBook P
GitHubのプルリクエストが見やすくなる「Pull Request File Tree」がプレビューされました！ | DevelopersIO
こんにちは。MAD事業部のきんじょーです。 GitHubからの熱いアップデートです！ Pull Request File Tree GitHubのPullRequestの差分表示で、ファイルツリーが表示できるようになりました！ 現在はFeature previewの段階なので、以下の手順で有効化する必要があります。 有効化方法 右上のアイコンからFeature previewを押す。 開いたダイアログからPull Request File Treeを有効化する。 使ってみて これまでのPull Requestの差分表示は、変更したファイルが一覧でフラットに表示されるだけです。 変更されるファイル数が多くなると、GitHubの画面上だけではレビューをするのが辛いので、ローカルでチェックアウトして確認をしていました。 ファイルツリーがあることで、GitHubの画面でレビューが完結できれば、他の
GitHub Actionsで次のリリースにどんな変更が含まれるかを可視化する - Lento con forza
この記事は はてなエンジニア Advent Calendar 2021 の16日目の記事です。昨日は id:masayosu の はてなにおけるCloudNative推進会の活動について でした。 サブ会という仕組みで専門領域における情報共有や深い議論ができるようになっていて、僕もスマート会*1に所属しています はてなではリリースブランチへのマージPRの管理にgit-pr-releaseをよく使っています。 git-pr-releaseは現在のリリースブランチのheadとの差分にあるPull Requestを一覧して、リリース前にチェックできます。このgit-pr-releaseはとても便利で、git-flowのようなブランチ戦略に非常にマッチしています。 一方、リリースブランチのないGitHub Flowのようなブランチ戦略を取った場合、リリースブランチが作られないため、マージ先のブラン
Gitのオブジェクトの中身
はじめに Gitのインデックスの中身、Gitのブランチの実装に続く、Gitの中身を見てみようシリーズです。Gitが管理するオブジェクトの種類や中身について見てみます。基本的にはPro Gitの10. Gitの内側をまとめなおしたものです。 オブジェクトの種類 Gitは、内部でファイルやコミットを「オブジェクト」として.git/objects以下に保存しています。オブジェクトには以下の4種類があります。 blobオブジェクト： ファイルを圧縮したもの。ファイルシステムの「ファイル」に対応 treeオブジェクト： Blobオブジェクトや別のTreeオブジェクトを管理する。ファイルシステムの「ディレクトリ」に対応 コミットオブジェクト： Treeオブジェクトを包んだもの。コミットのスナップショットに対応するTreeオブジェクトに、親コミット、コミットメッセージなどを付加する タグオブジェクト：
GitHubのモノリスからマイクロサービスへのジャーニー
あなたにとって重要なトピックや同僚の最新情報を入手しましょう最新の洞察とトレンドに関する最新情報を即座に受け取りましょう。 継続的な学習のために、無料のリソースに手軽にアクセスしましょうミニブック、トランスクリプト付き動画、およびトレーニング教材。 記事を保存して、いつでも読むことができます記事をブックマークして、準備ができたらいつでも読めます。
GitHub Actions のワークフローをチェックする actionlint をつくった - はやくプログラムになりたい
GitHub Actions のワークフローを静的にチェックする actionlint というコマンドラインツールを最近つくっていて，概ね欲しい機能が揃って実装も安定してきたので紹介します． github.com なぜワークフローファイルの lint をすべきなのか GitHub Actions が正式リリースされてからだいぶ経ち，GitHub 上での CI は GitHub Actions が第一候補となってきているように感じます．僕も新規にリポジトリを作成して CI をセットアップする場合はほぼ GitHub Actions を使っています． ですが，GitHub Actions には下記のような問題があり，actionlint でそれらを解決・緩和したいというのが理由です． ワークフローを実装する時は，GitHub に push して CI が実行されるのを待って結果を確認するという
GitHub ActionsからGitHub wikiを更新する - Islands in the byte stream
GitHub ActionsからGitHub wikiを更新したいことがたまにあります。たとえば、何かのメトリクスを見やすく整形したものなど、repositoryのデータを何らかの形で加工したドキュメントを作りたいときです。コード生成したmarkdownドキュメントをコミットしてもいいですが、それよりはシンプルで運用が楽です。 今回は、GitHub repoで管理する原稿の文字数（など）を継続的に見れるページを作ると便利かなと思って作りました。自分一人だったらローカルで適当なツールを叩けばいいですが、同repoを見れる編集者にも共有したいとなると独立したページがあるほうが便利ですからね。 リポジトリはこんな感じです。 github.com 基本的には、 actions/checkout を使って "${{ github.repository }}.wiki" をcloneして編集してpus
AIとのペアプロへまた一歩前進、「GitHub Copilot」登場。AIがコメントからコード生成、書きかけのコードを補完、コードを見てテストコード自動生成など
GitHubは、AIがまるでペアプログラミングの相手の様に、コメントの説明からコードを生成してくれたり、実装されたコードを基にテストコードを生成してくれる機能などを提供する新サービス「GitHub Copilot」のテクニカルプレビューを発表しました。 Meet GitHub Copilot - your AI pair programmer. https://t.co/eWPueAXTFt pic.twitter.com/NPua5K2vFS — GitHub (@github) June 29, 2021 マイクロソフトは5月に、自然言語（英語）で説明すると自動的にその内容をプログラミング言語の「Power Fx」に変換してくれる機能をローコード／ノーコードツールの「Power Apps」に搭載すると発表したばかり。 参考：［速報］マイクロソフト、自然言語をプログラミング言語にAIで変
GitHubがすばやく安全にリリースを行うためにどのようにフィーチャーフラグを利用しているか
あなたにとって重要なトピックや同僚の最新情報を入手しましょう最新の洞察とトレンドに関する最新情報を即座に受け取りましょう。 継続的な学習のために、無料のリソースに手軽にアクセスしましょうミニブック、トランスクリプト付き動画、およびトレーニング教材。 記事を保存して、いつでも読むことができます記事をブックマークして、準備ができたらいつでも読めます。
GitHub Packages Container registry is generally available
AI & MLLearn about artificial intelligence and machine learning across the GitHub ecosystem and the wider industry. Generative AILearn how to build with generative AI. GitHub CopilotChange how you work with GitHub Copilot. LLMsEverything developers need to know about LLMs. Machine learningMachine learning tips, tricks, and best practices. How AI code generation worksExplore the capabilities and be
機密データのGitHubへの意図しないアップロードを防ぐ「Deadshot」がオープンソースで公開
Deadshotは、すべてのコミットで実行され、正規表現を使用してプルリクエストの差分をスキャンし、重要なものを探す。重要なものが見つかった場合には、プルリクエストにコメントを追加して、指定されたSlackチャネルに通知することも可能で、特定された機密に対処することなくプルリクエストがマージされた場合には、セキュリティチームのキューに、Jiraチケットを作成する。 PythonベースのFlask-Celery-Redisマルチコンテナアプリケーションであり、GitHubアプリとしてインストールされ、インストール先のリポジトリのメインブランチに対して作成された、すべてのプルリクエストで実行される。 Flaskコンテナは、プルリクエストのペイロードを受信するためのAPIルートを公開し、プルリクエストのペイロードが受信されるとサービスはペイロードをRedisキューに転送する。また、Celeryコ
大規模リポジトリで高速にgit cloneするテクニック - DeNA Testing Blog
ニッチな話題ですが、業務におけるCI/CDの現場では避けることのできない大規模リポジトリと戦うためのgit cloneのテクニックを紹介します。 この記事はDeNA Advent Calendar 2020の10日目の記事です。 CI/CDマニアの@Kesin11です。SWETではCI/CDチームの一員として、CI/CDの啓蒙活動やJenkinsを必要とするチームのサポートなどの業務を行っています。 はじめに おそらくどこの会社でも1つぐらいは巨大なリポジトリが存在しているかと思いますが、歴史あるリポジトリはgit cloneするだけで数分を要し、checkout後のリポジトリサイズがGB単位になることも珍しくないでしょう。業務で古くから存在するプロジェクトのリポジトリを触ったことがある方はきっと経験があるかと思います。 git cloneを実行するのは最初のセットアップ時だけなのであまり
Git Credential Manager Core: Building a universal authentication experience
AI & MLLearn about artificial intelligence and machine learning across the GitHub ecosystem and the wider industry. Generative AILearn how to build with generative AI. GitHub CopilotChange how you work with GitHub Copilot. LLMsEverything developers need to know about LLMs. Machine learningMachine learning tips, tricks, and best practices. How AI code generation worksExplore the capabilities and be
GitHubにPGP鍵を登録して署名つきcommitを作成してみた | DevelopersIO
GitではPGP鍵を利用したCommitへの署名ができることを以前から知っていましたが, 下記記事を拝見して簡単に設定できることを知ったのでPGP鍵の生成から設定までやろうと思いました. また, とあるプロジェクトのCode Ownerになったため, リポジトリへのCommitに対して署名をすることで偽装を防げる方が良いのではないかと感じたことにも起因しています. 本記事では, 下記4点について実施したことをまとめます. macOSでのPGP鍵の生成 Gitでの署名つきCommitの実行 GitHubへの公開鍵の登録 他のPCへの秘密鍵のインポート macOSでのPGP鍵の生成 まずは必要なツールをインストールします. PGP鍵を生成するためのGnuPGとパスフレーズ入力に利用するPinentryをインストールします. インストールが完了したらGnuPGのバージョンを確認して, 2以降であ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
現場で使用していたGitコマンド集 - Qiita
https://jp.techcrunch.com/2021/06/08/2021-06-08-numerous-popular-websites-are-facing-an-outage/
「Visual Studio Code」2020年8月更新、「Git」でのトラブルを防止する新オプションを追加／デバッグコンソールにフィルタリング機能も