やんないほうがいいかも、GitHub Actions の setup-xxx での依存キャッシュ保存 - 誰かの役に立てばいいブログ
GitHub Actions で CI している皆様、こんにちは。 GitHub Actions 便利ですよね。使わない日がないというくらい毎日お世話になっています。 さて、CI といえば良く問題になるのが実行時間。 長い待ち時間は開発効率を下げますし、プライベートリポジトリだと Runner の費用も嵩んでしまいます。 時間を短縮する方法は色々ありますが、一手目によく行われるのが依存パッケージのキャッシュじゃないかなと思います。 例えば Go で開発していると、依存パッケージは ~/go/pkg/mod にダウンロードして保存されます。 これを CI 実行のたびにダウンロードしてコンパイルするのは時間とお金の無駄というものです。 幸い、GitHub Actions には CI の実行間でこういった依存パッケージを保存して再利用できるキャッシュ機能があります。 詳しくは以下のドキュメントを
公開日 2024/10/08更新日 2024/10/0839社のデータアーキテクチャ特集 - ツールの技術選定のポイントと活用術 8つのデータ系ツール「BigQuery」「Databricks」「dbt」「Fivetran」「Lightdash」「Looker」「Snowflake」「TROCCOⓇ」に39社からご寄稿頂いたレビューから、各社のデータアーキテクチャをまとめた記事です。各社の技術選定の背景や工夫などの知見を得ていただく場となれば幸いです。 ※ツール名・ご寄稿企業名共にアルファベット順で掲載しております BigQueryBigQuery は、Google Cloud の費用対効果に優れたフルマネージド型の分析データ ウェアハウスです。ペタバイト規模に対応しており、膨大な量のデータに対してほぼリアルタイムで分析を行うことができます。 ▼BigQueryとは？機能や特徴・製品の概要
『SUUMO』を止めるな。大規模横断バッチがEOSLを迎える「2027年問題」にどう立ち向かったか - はてなニュース
あらゆるソフトウェアに存在する「サポート期限（End Of Service Life、EOSL）」。EOSLを迎えたソフトウェアにはバッチなども提供されなくなるため、安定した運用が困難になります。メーカーからのアナウンスがあれば、より新しいソフトウェアへの移行計画を作成し、これまで動作してきたアプリケーションプログラムの稼働に影響がないかを確認し、場合によっては改修を加えるといった一連の対応が求められますが、それには多くの労力が必要です。 1つのシステムですらこれほど大変なEOSL対応ですが、賃貸を取り扱う事業、新築マンションを取り扱う事業など、複数の事業領域で構成されている『SUUMO』では、仮想化ソフトウェアのEOSLを機に「複数の異なる領域で横断的に利用される、12万以上のジョブが動作する横断バッチの移行プロジェクト」を実行、無事完遂しました。 事業に不可欠でありながら、新規サービス
こんにちは。 Findy で Tech Lead をやらせてもらってる戸田です。 既に皆さんも御存知かと思いますが、弊社では開発生産性の向上に対して非常に力を入れています。 以前公開した↓の記事で、弊社の高い開発生産性を支えている取り組み、技術についてお話させていただきました。 tech.findy.co.jp ありがたいことに、この記事を多くの方に読んでいただき反響をいただいております。 そこで今回は、↑の記事でも紹介されている「Pull requestの粒度」について更に深堀りしてお話しようと思います。 Pull requestの粒度は、弊社にJOINしたら最初に必ず覚えてもらう最重要テクニックの1つです。 それでは見ていきましょう！ 大きなPull request 適切な粒度とは 適切な粒度を維持するために タスク分解 迷ったら小さく レビューを最優先にする CI高速化 featur
Railsアプリの自動テスト環境をCirlceCIからGitHub Actionsへ移行したときにやったこと - ZOZO TECH BLOG
はじめに こんにちは、WEARバックエンド部バックエンドブロックの塩足です。普段は弊社サービスであるWEARのバックエンド開発・保守を担当しています。 WEARのバックエンドでは、これまで自動テスト環境としてCircleCIを使用していましたが、運用保守の改善を目的にGitHub Actionsへ移行しました。 今回は、GitHub Actionsへ移行する際に取り組んだ以下の3点について紹介します。 効率的にテストを分割してテストを並列実行する方法 失敗したテストのみを再実行する仕組みの構築 GitHubのCheck annotationsを活用して、失敗したテスト情報を表示 また、最後に今回行ったテストカバレッジのレポーティングとGitHub Pagesでのホスティングの方法について紹介します。 目次 はじめに 目次 背景 なぜ自動テスト環境をCircleCIからGitHub Acti
GitHub Actionsを活用したワークフローのコツと教訓 - RAKUS Developers Blog | ラクス エンジニアブログ
こんにちは、あるいはこんばんは。 だいたいサーバサイドのエンジニアの(@taclose)です☆ GitHub Copilotが活躍している昨今、弊社ではGitHubで更に開発効率を良くしていこうという流れで日々自動化が行われております。 今回はそんな時代だからこそ求められているGitHub Actionsについて、初心者向けにワークフロー作成の際に知っておきたいコツと教訓について紹介します。 GitHub Actionsのワークフローを読めるけど、まだ自信がないという方はぜひ参考にしてください！ 「それもっと早く知っておきたかった！」「初心者がつまづきがちなポイント！」を解説します！ 読者ターゲット ワークフロー作成のコツ 1. run セクションで式 ${{}} は極力使わない 危険その1：コードインジェクションのリスク 危険その2：データのサニタイズ不足 2. workflow_cal
Secretlint v8.3で、単体のバイナリファイルとしてsecretlintコマンドを配布するようにしました。 Release v8.3.3 · secretlint/secretlint どういうことができるようになるかというか、Node.jsをインストールしなくてもsecretlintコマンドを使えるようになります。 次のようにCurlでダウンロードして実行するだけで、機密情報の検出ができるようになります。 #!/usr/bin/env bash set -euo pipefail SECRETLINT_VERSION="8.3.3" # secretlintのバージョン ARCH=$(uname -m) OS=$(uname -s | tr '[:upper:]' '[:lower:]') # Map architecture to the expected format ca
TechTargetは2024年8月8日（米国時間）、「DevOpsチーム向けCI/CD（継続的インテグレーション／継続的デリバリー）のベストプラクティス」に関する記事を公開した。CI/CDパイプラインを構築して管理するには、自動化を連鎖させるだけでは不十分だ。開発とデプロイメントの取り組みを最大限に高めるため、本稿で説明するCI/CDのアプローチを参考にしてほしい。 CI/CDのベストプラクティスは幾つかあるが、プロジェクトによって“何が最適か”は異なる。プロジェクトの目標に応じて、「セキュリティ」「自動化」「リリースまでの時間」のいずれか一つを選ばなければならない場合もある。「早い段階で失敗する」戦略は安全性の面で懸念があるが、リリースまでの時間を優先するチームにとっては価値がある。チームはプロジェクトの優先順位と制約に基づいて、さまざまな自動テストツールを選択することもできる。 De
『SREをはじめよう』という本が出版されました #becoming_sre - YAMAGUCHI::weblog
はじめに こんにちは、Google Cloudのオブザーバビリティ/SRE担当者です。私が翻訳しました『SREをはじめよう―個人と組織による信頼性獲得への第一歩』という書籍がオライリー・ジャパン社より出版されました。書店ならびに各社オンラインストアでご購入いただけます。 www.oreilly.co.jp SREをはじめよう ―個人と組織による信頼性獲得への第一歩 作者:David N. Blank-Edelmanオーム社Amazon 『SREをはじめよう』はどんな本か 本書は『SREの探求』のようにGoogle以外の組織を含めた、より一般的な文脈でのSREの実践を、オムニバスなエッセイの形でなく、概論の形で捉えたい人には最適の書籍です。すでに原著の『Becoming SRE』の日本語の感想などもいくつかの記事で見かけていますが、本書はまとめを読んで理解する、という書籍ではなく、本書と対話
ドクター江部の糖尿病徒然日記 炭水化物の摂取増加で死亡リスク上昇。ランセット（Lancet）論文。 (fc2.com) 炭水化物摂取量の多さは全死亡リスク上昇と、また総脂質および脂質の種類別の摂取は全死亡リスクの低下と関連する。さらに総脂質および脂質の種類は、心血管疾患(CVD)、心筋梗塞、CVD死と関連していないが、飽和脂質は脳卒中と逆相関していることが確認された。カナダ・マックマスター大学のMahshid Dehghan氏らが、5大陸18ヵ国で全死亡および心血管疾患への食事の影響を検証した大規模疫学前向きコホート研究(Prospective Urban Rural Epidemiology：PURE)の結果、報告した。主要栄養素とCVDや死亡との関連性については、これまでのデータのほとんどが栄養過剰の傾向にある欧州や北米の集団からのもので、他の集団にも当てはまるか不明であった。著者は
estieでSRE, Platform Engineeringを推進している徳原です。 estieでは、組織横断でSREプラクティスやPlatform Engineeringを推進するPlatformチームが発足しました。この記事では、その取り組みの一つであるPreview環境実装について紹介させていたします。 Preview環境の導入 Preview環境とは、プルリクエストで提案された変更内容をもとに、自動的にコンテナイメージをビルドし、専用のURLを発行してその動作を確認できる環境のことです。この仕組みにより、コードレビュー時にコードだけではなく、実際の画面での動作も確認できるという大きなメリットがあります。一般的に、Preview環境の利点としては「コードだけでなく、UIや挙動も視覚的に確認できる」といった点がよく挙げられますが、estieではさらに次のような背景を考慮し、導入を決定
ブラウザで動くMastodonを作るまでの道のり、これからのruby.wasmの開発方針。深掘りRubyKaigi 2024 文字起こしレポート vol.1 - STORES Product Blog
2024年6月20日に『深掘りRubyKaigi 2024 with kateinoigakukun & ledsun & remore』を開催しました。イベントの内容をほぼ全文文字起こし形式でお届けします。この記事は第1部です。 hey.connpass.com イベントのアーカイブはYouTubeでも公開しています。 登場人物 ゲスト kateinoigakukun/齋藤さん ledsun/中島さん remore/澤田さん STORES fujimura/藤村 大介 mame/遠藤 侑介 自己紹介 fujimura：藤村です。STORES でCTOをやっています。 mame：遠藤です。STORES でフルタイムRubyコミッターをしています。ruby.wasmはkateiさんが開発を始めた初期から話を聞いたりサポートさせてもらったりしてます。ruby.wasmはまだ仕事で使った人はほと
Google colab, pyscf 2.6.2, py3Dmol, PubChemPy 1.0.4., rdkit 2024.3.5, Avogadro 1.2.0 量子化学計算用のソフトウェア: PySCFとは 参考文献[1]から引用 PySCF（Python Simulations of Chemistry Framework）は、Pythonベースのオープンソースの量子化学計算フレームワークです。PySCFは、高度な電子構造計算をシンプルかつ効率的に実行するためのツールを提供し、研究者や学生が量子化学の計算を容易に行えるように設計されています。 PySCFの主な特徴は以下の通りです： モジュラー設計：PySCFは、計算の各ステップ（分子の構造定義、基底状態の計算、励起状態の計算など）をモジュールとして提供しており、必要な部分だけを組み合わせて使用することができます。 高性能計算：
【No.】 ６５３ 【ストレッサー】 セルフレジに悪戦苦闘 【内容】 セルフレジにチャレンジしているが、店舗により進め方や仕様が全く違うので、１回だけではなかなか覚えきれない 【分類】 E 身近な出来事 【効果】 ★★★ 【対処法】 店舗ごとに違うセルフレジの操作に馴れるしかないが、セルフレジで購入する店舗を増やしたくないという気持ちに気がつく 【ストレッサー型】 ４ モンモン未来不安型 【解説】最近、スーパーマーケットなどでは、セルフレジが増えてきておりますが、小生は有人レジを好んで利用しております。有人レジと言っても、店員さんが商品のバーコードを読み取ってくれるだけのセミセルフレジで、支払はセルフ決済になっております。 とは言っても、最寄りのケンタッキーのお店では、すべてセルフレジ化してしまいました。最初の５回くらいは操作をいろいろと間違って、最初からやり直したり、店
「Self-hosted GitHub Actions runners in AWS CodeBuild」を使ったバッチ実行基盤 - エス・エム・エス エンジニア テックブログ
お疲れ様です、SREの西田 ( @k_bigwheel ) です。 最近、バッチ処理を実行するための新しい基盤を構築したので、この記事ではそれの紹介をしたいと思います。 少々前提の説明を丁寧にやりすぎてしまったので、作ったものをまず見たいという方は「構築したバッチ実行基盤のアーキテクチャ図と概要」の項目へジャンプしてください。 バッチ実行基盤とは バッチジョブ、バッチ処理のための仕組みは、多くのWebサービスで設けられていると思います。 とてもプリミティブなものであれば、Webアプリが動いているEC2インスタンス/コンテナにログインして rake task ... などを実行するパターンが典型でしょう。 もう少し複雑になってくるとAWS CodeBuildとEventBridgeを組み合わせてサーバレスに定期実行したり、更に複雑な例ではApache AirflowやArgo Workflo
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
39社のデータアーキテクチャ特集 - ツールの技術選定のポイントと活用術 - Findy Tools
Findyの爆速開発を支えるPull requestの粒度 - Findy Tech Blog
BunでNode.jsのツールをSingle-file executable binaryにしてバイナリを配布する
「DevOpsチーム向けCI/CD」のベストプラクティス12選
主食を減らして、おかずを沢山食べる。 - 「がんに効く生活」とか
estieでのナイス基盤な事例の紹介 ～Preview環境実装～ - estie inside blog
【PySCF】CASSCF・CASSCIで高度な電子構造解析【Pythonで始める量子化学計算】 - LabCode
No.６５３ ストレス対処法 セルフレジに悪戦苦闘 - ストレス解消法のブログ