今回の記事は特に私の意見であり、所属会社の意見ではないことをお断りしておきます。 最近になってまたウォータフォール vs アジャイルの議論を見かけることが多くなってきたので、私が勤務する米国の世界規模のクラウドプロバイダーでは2024年現在どんな開発をしているのかをご紹介したいと思います。私はこれが「正解」といいたいのではなく、何らかのポイントが皆さんの何らかの参考になったらいいなと思って筆をとりました。 ちなみに、2016年時点で私のウォータフォール開発に対する考え方は下記のブログの通りで今も変わっていません。ただ、2024年現在だからといってアジャイルをやるべきと思っているわけでもありません。 もし、今ウォータフォールをやっている人がいたら「そんなこと言ってもどうしたらええねん」となると思うので、自分なりの解決方法も考えてみました。 最初に自分的な結論を書いておくと「2024年の開発と
シードデータで動作確認して大丈夫だったのに、本番反映してみたら想定してなかった挙動・エラーが出た😱そんな経験はありませんか。 恥ずかしながら私は今までに何回もありました。機能開発だけじゃなくバッチやマイグレーションなんかでも発生しがちなコレ。またはシードデータで動作確認できても、本番データでも通用するか検証ができないままプルリクを作る、なんていうこともあると思います。今回はこちらを無くす試みをしたお話です。 「もう本番DBで開発しちゃえばいいじゃない」の問題点 この課題を解決するには、極論すると本番DBで開発するしかないのですが、そうなると言うまでもなく以下の問題が出てきます。 レビュー通過してないコードが本番に影響を与える トライ＆エラーができない 個人情報をはじめとするセンシティブな情報が開発者の端末に漏れる データ量が多すぎてローカルに持ってこれない しかし言い換えると、これらをク
【個人開発】最新のNext.js+NextAuth.js+prisma+microCMSでECサイト作ってみた【フルスタックアプリケーション】 - Qiita
【個人開発】最新のNext.js+NextAuth.js+prisma+microCMSでECサイト作ってみた【フルスタックアプリケーション】TypeScriptフロントエンド個人開発Next.jsprisma はじめに 皆さんこんにちは、mamiなのだ！ 今回はバックエンドは作らずにNextAuth.jsやprisma、microCMSなどを利用してNext.jsでECサイトを作成してみたので、その方法や手順などを公開しつつ、認証周りや大型開発案件でも採用されるstorybookなどについても解説していこうと思うのだ！ フロントを勉強し始めた初学者さんや、フロントがメインではないバックエンドエンジニアの方に向けて、丁寧に解説を挟みながら書いていくので「へ〜フロントってこんな感じのことやってるんだ〜」と思ってくれたら嬉しいのだ！ ちなみにこの記事は丁寧に解説しすぎて死ぬほど長くなってしまっ
はじめに 実行環境 ディレクトリ構造 app migrations/model pyproject.toml ソースコードと簡単な解説 app/core app/core/abstract app/core/decorator app/core/exception app/core/interface app/core/middleware app/core/mixin app/ddd app/ddd/application app/ddd/application/schema app/ddd/application/schema/studnet app/ddd/application/usecase app/ddd/application/usecase/student app/ddd/domain app/ddd/domain/student app/ddd/infra app/ddd
『GitHub CI/CD実践ガイド』でGitHub ActionsとCI/CDを体系的に学ぼう - 憂鬱な世界にネコパンチ！
『GitHub CI/CD実践ガイド――持続可能なソフトウェア開発を支えるGitHub Actionsの設計と運用』という書籍を最近出版したので紹介します。本書ではGitHub Actionsの実装と、CI/CDの設計・運用を体系的に学べます。一粒で二度美味しい書籍です。筆者個人としては「実践Terraform」以来、4年半ぶりの商業出版になります。 gihyo.jp どんな本？ GitHub利用者にとって、もっとも導入が容易なCI/CD向けのソリューションはGitHub Actionsです。GitHub Actionsの活用事例は多く、検索すればたくさん情報が出てきます。ただ断片的な情報には事欠かない反面、体系的に学習する方法は意外とありません。CI/CD自体がソフトウェア開発の主役になることもまずないため、なんとなく運用している人が大半でしょう。そこで執筆したのが『GitHub CI/
はじめに こんにちは。雑食系エンジニアの勝又です。 今回は、私が2年ほど参画させていただいた大規模サービスのインフラやDevOps周りを全面的にリプレイスしたお話について簡単にご紹介させていただきます。(内容に関しては事前に参画先企業様に確認していただいております) サービス概要 詳細な内容は伏せますが、メインとなるテーブルのレコード数が数十億件、スパイク時には数万〜数十万のユーザーが一斉にアクセスする大規模サービスです。 技術的負債 長く運用されてきたサービスのあるあるですが、新機能の追加が最優先されてきたことにより、こちらのサービスにも下記のような技術的負債が大量に積み上がっていました。 RubyやRailsやMySQLのバージョンがかなり古い インフラの構成がコードではなくドキュメントで管理されている アプリケーションの構成管理がおこなわれていない CI/CDパイプラインが構築されて
こんにちは、最近データエンジニア業を多くやっているデータサイエンティストの白瀧です。 これまでClassiのデータ基盤は、Reverse ETLをしたり監視システムを導入したりとさまざまな進化をしてきました。しかし、Classiプロダクトが発展するとともにデータ量が増加し、これまでのデータ基盤では耐えられない状態に近づいてきました。 そこでデータ基盤の一部（DBからのExportを担う部分）のリアーキテクチャを実施したので、この記事で紹介したいと思います。 概要 Classiのデータ基盤では、Amazon RDSからAmazon S3へJSONで出力し、その後GCS→BigQueryという流れでデータを送り、BigQueryからもBIツールやReverse ETLなどで使っています。詳細は、Classiのデータ分析基盤であるソクラテスの紹介 - Classi開発者ブログを参照してください。
こんやっぴー👾 カバー株式会社 技術開発本部のSです。カバー株式会社では組織横断的にSRE(Site Reliability Engineering)やサーバーサイドのエンジニアをしています。 2023年5月に入社し3ヶ月ほどホロプラスのパフォーマンスチューニングや開発環境の整備をしてきましたので、今回はそちらについてご説明します。 ホロプラスとは？ホロプラスは「推しをもっと好きになる！」がコンセプトの、ホロライブプロダクション公式アプリです。先日8月29日に正式リリースされました。主に、以下の二つの体験を提供します。 ホロライブプロダクションの最新情報が公式アプリならではの機能で手軽に逃さずチェックできる 共感でつながるファンコミュニティで投稿やいいねを通じたコミュニケーションが楽しめる ※画面は開発中のイメージですホロプラスのシステム構成ホロプラスは図のようなシンプルな構成でGo言語
sqlc を TypeScript で利用する
まとめ sqlc-gen-typescript かなり良い 自分が TypeScript でウェブアプリを利用するなら間違いなく sqlc を選択する SQL は共通言語という点で本当に偉大 sqlc とは sqlc とは Go で書かれた SQL を元にコードを生成するツール。 なぜ sqlc ? 結局、それぞれの ORM 固有の技術を覚えるくらいなら SQL を覚えた方が早い 拡張に ORM が対応していようがいまいが関係ない SQL パーサーが pg_query_go を利用しているので信頼できる sqlc は PostgreSQL だけなの？ sqlc は MySQL や SQLite にも対応している。 sqlc は Go だけなの？ sqlc は Wasm でプラグインが書けるようになってきており、つい最近 TypeScript 版がリリースされた。 現時点では、 Postgr
ニーリーのSREによるリリースサイクルの改善〜「隔週深夜1回→1日2回」にリリース頻度を向上させた道のり〜｜株式会社ニーリー公式note
プロダクト開発グループSREチームの大木（おおぎ）と菊地です。 突然ですが、皆さんのプロダクトではリリースはどのように行われていますか？ 実は、ニーリーのメインプロダクトであるPark Direct（パークダイレクト）はわずか1年前まで隔週に一度、深夜0時からしかリリースを行うことができていませんでした。開発組織の健全性の指標として使われる d/d/d (deploys / a day / a developer) という指標で、1年前の我々は d/d/d=0.015ぐらいのスコアでした。この指標は d/d/d >= 0.1 が健全な組織としての目安となるそうです（※1）。かなりの開きがありますね・・・。 この記事では、SREチームのリリースエンジニアリングと開発チームのプロセス改善により、リリースの頻度が大幅に向上したというお話をしたいと思います。 ※1 『エンジニアリング組織論への招待
GPT-4V x LINE Bot を Cloudflare Workers で実現するためにやったこと・やらなかったこと - hatappi.blog
この記事では OpenAI が提供する Vision API (GPT-4V) を使用して、LINE に投稿した画像に反応する Bot を作成した際にやったこと・やらなかったことを書いています。 Bot の実装を細かく解説はしていないので、それを知りたい方は「ChatGPT LINE」などでググると参考になる良い記事が沢山でてくるのでそちらを参照してください！ モチベーション LINE Bot は昔実装したものがありグループ LINE で身の回りのあれこれを通知する君になっていました。機能としては通知のみだったので何か反応してほしいなーと思ったのが最初のきっかけでした。冬休みで時間もあったので OpenAI 周りのプロダクトを整理するためにドキュメントを一通り見てその中から Vison API を使えば画像にも反応できる Bot にもなり面白そうなことがわかったのでガッと実装することにしま
2. 機械学習・AIチートシート まずは機械学習やAI開発に関わるチートシートからです！ Machine Learning Cheat Sheet | DataCamp 主要な機械学習アルゴリズム、その利点と欠点、および使用ケースをガイドするものです。初心者からエキスパートまで、誰でも役立つリソースです。 機械学習アルゴリズム チートシート MicrosoftのAzureが提供している機械学習アルゴリズムに関するチートシートです。 TensorFlow Cheat Sheet https://zerotomastery.io/cheatsheets/tensorflow-cheat-sheet/ 機械学習と人工知能のためのオープンソースライブラリ、TensorFlowのチートシートです。基本的な概念やベストプラクティスがまとめられています。 （メールアドレスでサブスクライブするとPDFがダ
【PHP/Laravel】マイグレーションファイルを全て削除するとDB構築時間が99%削減！？ - RAKUS Developers Blog | ラクス エンジニアブログ
こんにちは。大阪楽楽開発課のdaina_rksです。 Laravelのマイグレーションを活用して、テーブル定義を更新しているサービスは多いと思います。 しかしサービスが継続するにつれ、気づけば大量のマイグレーションファイルが存在している、、、なんて経験はありませんか？ 私が携わっていたプロジェクトでも同じ悩みに直面していました。 この悩みに対して、私はマイグレーションファイルを全て削除するということを行いました。 今回はそのときの経験について、なぜマイグレーションファイルを削除するに至ったのか、削除するにあたって行なったこと、削除した結果どんな効果があったのかをご紹介します！ マイグレーションファイルを全て削除するに至った理由 問題 マイグレーションファイルを全て実行するのに時間がかかる マイグレーションファイルのメンテナンスコストがかかる アイデア アクション ダンプ＆リストアの仕組み構
Lensを始めとするOpticsがプログラミングをどう変えるか / 複雑なデータのモデリングをサボるには - Lambdaカクテル
仕事でLensを使う機会があった。Lensは複雑で入り組んだデータ構造の読み書きに非常に効果的な手法であるにもかかわらず、関数型プログラマ以外にはあまり知られていないように思える。 そこでこの記事では、Lensとは何なのか、なにが良いのか、具体的にどのようなケースでLensが役立ったか、そしてLensの亜種について紹介する。業務でも使ってます！ AIくんが考えるLens 前提条件 Lensとは Lensの使いどころ データをモデリングする場合 (とても つらい) Lensを使う場合: Lensはアクセスパスである Lensと愉快な仲間たち Lensの合成 -- andThenでひっつけよう Lens Law Monocleの便利機能 Lensの自動生成でサボる Focusでもっとサボる Lensがもたらしたもの まとめ あわせて読みたい 前提条件 この記事ではLensを紹介する言語としてS
Mackerel で行った障害対応演習を紹介します - Hatena Developer Blog
こんにちは、Mackerel チーム SRE の id:heleeen です。 この記事は、はてなの SRE が毎月交代で書いている SRE 連載の4月号で、先月分は id:taxintt さんのサービスの一般公開前からSLI/SLOと向き合うです。 今回は、先日 Mackerel チームで行った障害対応演習で実施した内容と、どのような学びを得たかについて紹介します。 本番障害はできればなくしたいものですが、すべての障害を完全になくし可用性を100%にするのはとても困難です。そのため、障害が発生したときの影響範囲を小さくする仕組みを導入したり、ロールバックを素早く行えるようにしておくなど、影響を抑えるための取り組みが必要になります。 Mackerel では、その一環として、障害対応時のオペレーションの確認やバックアップからの復旧が行えるかの検証などの起きてしまった障害を素早く収束させたり、
crowdworks.jpのマスタデータベースをAWS RDS MySQL 5.7から8.0にアップデートしました - クラウドワークス エンジニアブログ
こんにちは。crowdworks.jp SREチームの田中（kangaechu）です。 crowdworks.jpでは、2023年8月にAWS RDS MySQL 5.7から8.0へのアップデートが完了しました（ようやく！）。 今回はMySQL 8.0へのアップデートの手順と対応が必要な変更点について書いていきます。 MySQL 8.0にアップデートした理由 MySQL 8.0にアップデートした理由はAWS RDS MySQLのEOL対応のためです。 AWS RDS MySQL 5.7のEOLは2023年10月（のちに2023年12月に変更されました）であり、8.0へのアップデートが必要でした。 crowdworks.jpで使用している他のMySQLデータベースは8.0へのバージョンアップを完了していました。 しかしcrowdworks.jpのマスタデータベースは30億行を保持し、1日に約
【Unit4 ブログリレー5日目】 こんにちは。Unit4 Eng の西川です。JavaScript が好きですが、今回は JavaScript ではなく、最近やった Spring Boot + Flyway を利用しているシステムから別の DB への接続を増やした時の話をしたいと思います。 非常に可愛いうちの猫です 動作環境 背景 Spring Boot で複数の DB に接続する 概要 application.yaml の記載 Configuration ファイルの作成 Flyway を複数の DB に適用する baselineOnMigrate を適用する Configuration ファイルの作成 テスト用の Configuration ファイルを作成 終わりに We're hiring! 動作環境 今回のプロダクトで利用している Spring Boot と Flyway のバージ
WebシステムがPostgreSQLにアクセスするときのDBロールはどうしていますか？ postgres みたいな全能ロールをそのまま使う⋯⋯ でも動くシステムにはできるんですが、仮にアプリサーバ側の脆弱性を突かれたときに即DBの全権限まで危険にさらされる構成はインターネットにさらす本番システムではやりにくく、SELECT/INSERT/UPDATE/DELET権限だけ付けたデータアクセス専用のロールを作ってこれを使うのが一般的かと思います。 すると手間になってくるのがテーブルを追加したときにGRANTが必要なことですし、それをうっかり忘れて本番リリース後に権限エラー発生みたいな事故も起こりえます。 本日も超小物のお題をお送りします、エムスリーエンジニアリンググループ、Unit1（製薬企業向けプラットフォームチーム）三浦(@yuba@reax.work) [記事一覧 ]です。 新規テーブ
Railsにおけるマルチテナントの資料まとめ
SaaSサービスをRailsで開発するにあたり、マルチテナントに関する情報収集をしたため本ページにまとめとして記録いたします。 DBのマルチテナント DBのマルチテナントにあたっては、セキュリティーの確保と保守性が方式の選定ポイントとなります。 ただし、SaaSサービスとして成功するほど保守のコストが増大するためプール型に移行していくようです。 ブリッジ型でマルチテナントを実現可能なGem「apartment」 データーベースのインスタンスは全テナントで共有するものの、テナントごとにスキーマ（テーブル、インデックス、ビュー、ストアドプロシージャ）を分ける方式です。 この実装にはGem「apartment」の使用が有名です。 SmartHR社も創業当初はセキュリティーを高めるためにapartmentを利用していたようです。 ただし、後述するように、サービスの特性上カラム数が多く契約社数の伸び
【インフラ】xDS API の EDS に手を加えて動的に Envoy で weight 調整できるようにした - Mirrativ Tech Blog
こんにちは、ミラティブのインフラを担当している清水です。 ミラティブではクラウドに Google Cloud を利用しているのですが、稀にインスタンスの性能劣化が発生し動かしているアプリケーションの応答時間が長くなることがあります。 非同期な処理の場合は一時的にタスクキューの時間あたりの処理数が減るものの、遅延を許容できる機能であれば時間経過で回復するのでシステムを継続稼働できます。 一方で、web サーバのように同期処理の場合はリクエストを時間内に返すことができずに timeout したりだとか、worker が埋まって新たにリクエストが返せなくなったりと、正常にリクエストを返すことができずにユーザのクライアントにエラーが返ってしまします。 そこで、今回はクラウドが不調になったときに web サーバへ流れるリクエストの流量を動的に制御し、一時的にリクエスト数を減らしてユーザのクライアント
はじめに こんにちは、計測プラットフォーム開発本部SREブロックの近藤です。普段はZOZOMATやZOZOGLASS、ZOZOFITなどの計測技術に関わるシステムの開発、運用に携わっています。 計測プラットフォーム開発本部では、複数のプロダクトを運用していますが並行して新しいプロダクトも開発しています。SREチームでは増え続けるプロダクトの運用負荷に対して改善は行っていますが、さらなるプロダクトの拡張に備えてZOZOFITの開発運用を別チームへ移管することになりました。移管作業の中でAWSリソースを別チームが管理するAWSアカウントへ移行する作業が発生することになりました。本記事では移行時に遭遇した課題と、その課題の解決に至るまでの取り組みをご紹介します。 目次 はじめに 目次 背景・課題 調査 ユーザ移行Lambdaの作成 簡易ダイアグラム フローチャート ユーザ移行Lambdaの処理
GoとCobraを用いた新規マイクロサービス用ボイラープレートの自動生成CLIツールでコスト削減した話 - Gaudiy Tech Blog
こんにちは。ファンと共に時代を進める、Web3スタートアップ Gaudiy でソフトウェアエンジニアをしている ryio1010です。 私は弊社が提供するファンコミュニティプラットフォーム「Gaudiy Fanlink」の開発において、フィーチャーチームの一員として、主にバックエンド開発を担当しています。 バックエンドのアーキテクチャにはマイクロサービスを採用していますが、会社のフェーズ的に試行錯誤の段階であることや、それに伴うチーム体制の変更がよく起きていることもあり、新しいマイクロサービスの立ち上げも頻繁に行われています。 私自身もこれまでの業務で2〜3つの新しいマイクロサービスを立ち上げる経験をしてきました。 今回は、これらのマイクロサービスの立ち上げと運用の経験から、特に立ち上げフェーズにフォーカスし、改善を行った事例をご紹介したいと思います。 1. マイクロサービスの概要とGau
2023年に書いたコード - laiso
「2023年のふりかえり」ではPythonやJavaScriptのコーディングの話ばかり出てくるけど、これって今年全体から見ると1割以下だなぁと思ったのでGitHubのメトリクスを見ながら振り返ることにした laiso.hatenablog.com 言語ごとのコミット数 PHPの話 Laravelの話 開発手法の話 テストの話 GitHub上での活動 2021年 2022年 言語ごとのコミット数 vn7n24fzkq/github-profile-summary-cardsというのが生成してくれたグラフ profile-summary-card-output Python はデータ分析サーバーをFastAPIで書いてるのでその分と、Swiftは記憶にない 他の大部分はLaravel を使った複数のプロジェクトになる PHPの話 PHPの仕事が欲しいわけではないのであんまりPHP書ける人ブラ
はじめに 以前RustとWASMでマークダウンパーサーを自作したので、これを使ってブログを作ってみました。 ソースコードは以下にあります。 技術構成 技術構成は以下のようになっています。 全体構成 フロントエンド Next.js / Type Script Apollo Client(状態管理ライブラリ) styled-components emotion mantine ミドルウェア Prisma BFF GraphQL Yoga(GraphQLサーバー) Pothos GraphQL(GraphQL スキーマビルダー) バックエンド Rust+WebAssembly(マークダウンパーサー) (Vercel Postgress(サーバレスストレージ)) Supabase デプロイ先 Vercel(FE/BF共通ホスティング先) 認証・認可 NextAuth ドメイン取得 Cloudfla
生成AI（人工知能）をシステム構築に活用する取り組みが進んできた。ソースコードの自動生成やテストの効率化、運用自動化などカバー範囲は広く、省力化や品質向上といった成果を上げている。今回はNTTデータの取り組みを見よう。 前回の記事 AWS・MS・Googleが生成AIでシステム構築支援、ソフト開発全般で効率化競う 「長年にわたって生成AIを研究しており、AIガバナンスを徹底しながら、積極的に活用を推進していく」。NTTデータグループ 技術革新統括本部システム技術本部ADM技術部ADM担当EGMグループの村上功修部長は、NTTデータの生成AIへの取り組み姿勢をこう述べる。 同社が生成AIをシステム構築へ適用するに当たって指針は大きく2つある。1つは開発者が不足している領域への適用、もう1つはソフトウエア開発領域全般への拡大である。要求定義から設計、開発、テストなどの工程について、「Azure
AWS クラウドとオンプレミスとの違い 2017年2月 アマゾンウェブサービスジャパン株式会社 -TCOで考える- • AWSクラウドのサービスは、ご利用いただいた時間や量により費用が変動する従量課金です。そのため、事前に料金 確定見積を作成することはできない旨はご了承ください。 • 特に断りがない場合、本資料では2017年2月1日現在の東京リージョンの価格で説明しています。最新の価格は、 オフィシャルサイト(http://aws.amazon.com)でご確認ください。 • 価格は税抜表記となっています。日本居住者であるお客様が東京リージョンを使用する場合、別途消費税をご請 求させていただきます。 • 資料作成には十分注意しておりますが、資料内の価格とオフィシャルサイト記載の価格に相違があった場合、オフィ シャルサイト(http://aws.amazon.com)の価格を優先とさせていた
お久しぶりです。GMO NIKKOのharuです。 私が担当するサービスGood!Appsは、GCPを用いて本番環境をクラウド上に構築しております。当然データベースもCloud SQLを使用しているのですが、次のような用途でローカルからCloud SQLに接続したいことがあります。今回は、公式が提供しているCloud SQL Auth ProxyというCloud SQLコネクタを使用した方法をお伝えします。 主な用途 データ確認: 開発中にCloud SQL内のデータを確認したい場合。 データ修正: 何らかの理由でCloud SQL内のデータを直接修正する必要がある場合。 データベースマイグレーション: Cloud Runなどのコンテナ環境からCloud SQLにデータを移行したい場合。 注意点 本番環境のデータベースに接続するため、操作は慎重に行ってください。 不要な時は接続を閉じること
1. 2024年5月時点ではReflexの情報は少ない PythonをコーディングするだけでWebアプリを作ることができるライブラリReflex。以下の記事をみて、記事を投稿してくださる人も増えてきました。 ちなみに、21万Viewまでいったので、少しはReflexを知ってもらうきっかけになったのかなと思います。 それにしても、まだまだ情報は少ないです。海外サイトも少ないのですが、日本語サイトはもっと少ないです。 2. 公式ドキュメントは画面に関する内容は充実している 公式ドキュメントが比較的充実しています。 画面を作るだけであれば、公式の「Learn」を一通り読めば作れるようになると思います。 ちなみに、公式の左メニューのスクロールがスマホなら指でスワイプすればいいのですが、PCだとマウスのホイールを使わないと下にいかないように思います。スクロールバーがあればいいのにと最初は思いました。
この本の概要 最新のNext.jsを現場で使うために実践的な知識を詰め込んだ一冊です。フレームワークの基礎はもちろん，パフォーマンスを上げるための知識や関連ライブラリまで，詳細なサンプルコードをもとに解説していきます。 こんな方におすすめ 最新のNext.jsに入門したいエンジニアやNext.jsに多少の経験があるが，より良い使い方を知りたいエンジニア 第1章：Next.jsの基礎 1.1：Next.jsプロジェクトの始め方 1.2：アプリケーションのルーティング 1.3：SPAならではのナビゲーション 1.4：ネスト可能なレイアウト 第2章：Server Componentとレンダリング 2.1：Server ComponentとClient Component 2.2：Server Componentのデータ取得 2.3：動的データ取得と静的データ取得 2.4：Routeのレンダリング
SRE Lounge #17 イベントレポートと SRE NEXT 2024 アンドパッドブースのご案内 - ANDPAD Tech Blog
こんにちは。SREチームの吉澤です。 7/2(火)に開催されたSRE Lounge #17の会場として、秋葉原のアンドパッド本社の9Fにあるイベントスペース「ANDPADコミュニティ」と懇親会用の飲食物を提供させていただきました！ 設営直後の会場の様子 面白い発表が多いイベントでしたので、今回はこのSRE Lounge #17のイベントレポートをお送りします。また記事の最後に、8/3(土)〜4(日)に開催されるSRE NEXT 2024でのアンドパッドブースも軽くご紹介します。 SRE Lounge #17のアーカイブ配信 アンドパッドのスポンサーセッション Xで頂いた質問 各セッションの紹介と感想 飲食店のインフラサービス “ダイニー” のトラブル対応のすべて（dinii, inc. 唐澤さん） WAFでどのリクエストがBlockされたのか、ログを集計してSlackで簡単に見れるようにし
つい先日アーカイブ状態になった cloudflare/wildebeest ですが、自分がForkしてオリジナルからこの記事が投稿された時点で+400コミットぐらいバグ修正や足りない機能の追加をしています。（オリジナルが700コミット） まだまだバグ、中途半端な実装、未実装などあるのでいくらか修正が入ったとはいえ使うのはオススメしないですし、こんなの真面目に使ってんの自分だけなんじゃないかと思うんですが、とりあえず備忘録として何をやったのか書いておきます。逆に言うと、ここに書かれていることはオリジナルのWildebeestではできないことでもあります。 大きめの修正 Misskeyのユーザーをフォローしたりフォローされたりできるようにした SQLiteが日付を雑にソートできないせいでTLの順番がバグってたのを直した Mastodon IDとして返すものをUUIDからSnowflake-li
Rails: SidekiqからSolid Queueに移行したときの方法と注意点（翻訳）｜TechRacho by BPS株式会社
概要 元サイトの許諾を得て翻訳・公開いたします。 英語記事: How we migrated from Sidekiq to Solid Queue - BigBinary Blog 原文公開日: 2024/03/05 原著者: Chirag Shah 日本語タイトルは内容に即したものにしました。 私たちBigBinaryは、neetoでさまざまなプロダクトを構築しています。現在22のプロダクトを開発中で、それらはいずれもSidekiqを利用しています。Solid Queueが公開された後で、私たちのneetoFormで使われているSidekiqをSolid Queueに移行する決定を下しました。 なお、現時点のSolid Queueはcronスタイルのジョブや定期的に繰り返されるジョブ実行をサポートしておらず、これに関するプルリク#155がオープンされています。そういうわけで、Solid
こんにちは！ぬこすけです！ 個人開発をしていると「データベースはどこで立てようか...」というのは悩みの種です。 「無料でデータベース使いたい」「あんまりデータベースの構築に時間をかけたくない」などアレコレ考えてしまいます。 そんなあなたに、無料かつ楽にRDBを作れる「PlanetScale」をお勧めしたい！と言いたいところですが、 なんと2024年4月8日に無料枠が廃止されてしまいます 。 かくいう私も技術書をランキング形式で紹介するサイトを昔作っていたのですが、データベースはPlanetScaleを使っていたため打撃をくらってしまいました...。 このような事態を受け、私のサイトではPlanetScaleの代替として Neon というサーバーレスなデータベースを提供しているサービスに乗り換えてみました。 みなさんの参考になるように、PlanetScaleと比較しながら体験談を共有できれ
こんにちは クラスメソッドのスジェです。 既存のオンプレミス環境からクラウドへの移行を計画しながら既存環境のコンテナ化も検討する場合があります。 その内容について私が勉強した内容を記録しました。 コンテナ化とは？ 定義 コンテナ化は、アプリケーションのコードを、あらゆるインフラストラクチャで実行するために必要なすべてのファイルとライブラリにバンドルするソフトウェアデプロイプロセスです。従来、コンピュータでアプリケーションを実行するには、マシンのオペレーティングシステムに合ったバージョンをインストールする必要がありました。 例えば、Windows マシンには Windows バージョンのソフトウェアパッケージをインストールする必要がありました。しかし、コンテナ化を使用することで、あらゆるタイプのデバイスやオペレーティングシステムで実行される単一のソフトウェアパッケージ (コンテナ) を作成で
情報発信に便利で軽量なActivityPubサーバー「Takahē」［後編］ ～基本的なアーキテクチャと特徴的なコンポーネントの紹介と、サーバーの構築方法 前編では、ActivityPub/FediverseサーバーTakahē（タカヘー）の特徴（特に、他のActivityPubサーバーでサポートされていないマルチドメインサポート）と、クライアントアプリElkとともに使用する方法について紹介しました。 後編の記事では、Takahēサーバーの基本的なアーキテクチャや、Takahēの特徴的なコンポーネント、内部で使われている面白いライブラリなどを紹介します。記事の最後では、docker-composeを使って実際にTakahēサーバーをコンテナで起動し、手元で試してみます。 Takaheの基本的なアーキテクチャ Takahēは、主に3つのコンポーネントから作られています。メインのTakah
本記事は 【Advent Calendar 2023】 5日目の記事です。 🎄 4日目 ▶▶ 本記事 ▶▶ 6日目 🎅 今回はクラウド活用をしていく上でアプリケーションチームとインフラチームとの間でどのようなコミュニケーションを取っていくべきかをまとめてみようと思います。 また、インフラエンジニアとして僕が普段アプリケーションチームの方と接する時に意識していることも併せて整理してみました。 アプリとインフラどっちがやるんだ問題 ポテンヒットとは エンジニアの境界はより曖昧に 重要なマインドセット ポテンヒットは起きるという事実をまず知ること アレルギー反応を起こさない 密なコミュニケーションを取る 1．全体像を共有する 2．前提知識に違いがあることを理解する 3．課題を共有する さいごに アプリとインフラどっちがやるんだ問題 いきなりですが、このような構成のAWSシステムがあるとします
週刊Railsウォッチ: Railsコンソールが最新のIRB APIに移行、assertionless_tests_behaviorほか（20240513前編）｜TechRacho by BPS株式会社
こんにちは、hachi8833です。以下のお知らせに先ほど気づきました🎉。 💎Kaigi on Rails 2024 公式サイト オープン！💎 オンラインとオフラインのハイブリット開催です！ 日程：2024.10.25 (Fri.) - 26 (Sat.) 有明セントラルタワーホールhttps://t.co/Jwk5Zro27S#kaigionrails — Kaigi on Rails (@kaigionrails) May 7, 2024 週刊Railsウォッチについて 各記事冒頭には🔗でパーマリンクを置いてあります: 社内やTwitterでの議論などにどうぞ 「つっつきボイス」はRailsウォッチ公開前ドラフトを（鍋のように）社内有志でつっついたときの会話の再構成です👄 お気づきの点がありましたら@hachi8833までメンションをいただければ確認・対応いたします🙏 Te
概要 元サイトの許諾を得て翻訳・公開いたします。 英語記事: Advanced Usages of Devise for Rails | AppSignal Blog 原文公開日: 2023/08/02 原著者: Aestimo Kirina | AppSignal Blog 日本語タイトルは内容に即したものにしました。 本シリーズ記事のパート1では、サンプルアプリを用いてDeviseを導入し、モジュール、ヘルパー、ビュー、コントローラー、ルーティングを探りました。 このパート2では、Deviseのさらに高度な利用法として、OmniAuthやAPI認証、Authtrailの使い方を探求します。 さっそく始めましょう！ 🔗 OmniAuthで認証する 最近のWebアプリケーションは、TwitterやFacebookなどのSNSからGoogleやGitHubなどに至るさまざまな認証プロバイダ
DB移行を見据えたRidgepoleによる宣言的なスキーマ管理の導入 - LIVESENSE ENGINEER BLOG
こんにちは、かたいなかです。 マッハバイトではシステムのオンプレからAWSへの移行を絶賛爆速で進めています。 そのなかでDB移行の下準備としてRidgepoleを導入することにしました。 今回はそのRidgepoleの導入について記事にまとめます。 Ridgepoleとは なぜRidgepoleを導入したのか AWS移行時にテーブル構造を変更する必要がある箇所がある： Ridgepoleで比較を容易に DMSのためにインデックスや外部キーをあとから別々に適用できる必要がある：Ridgepoleで不要な箇所をコメントアウトする GitHub ActionsでRidgepoleを動かす Pull Requestにスキーマの差分をコメント マージ/タグプッシュ時の実行 テーブル削除時の手動実行 Ridgepoleを使ってみてよかったこと エクスポートが楽なため導入しやすい DBスキーマがGitH
データベースのER図を最新の状態に保ちつつ、いつでも閲覧できるようにした - SO Technologies 開発者ブログ
こんにちは、CTO室の丸山です。相変わらず某CTOからの無茶振りを捌いております。 今回は、今開発しているSaaSサービスのER図を、なるべく手をかけずに最新状態に保ちながら、いつでも閲覧できるようにするために実践したことをご紹介できればと思います。 前提環境 今回ご紹介する方法は以下の環境下で実現しています。 インフラ: GCP データベース: PostgreSQL データベースのスキーマ管理: sql-migrate CI/CD: Github Actions モチベーション 開発・データ分析を行う上で、データベースのスキーマ構造を俯瞰的に把握するための手段としてER図を書いているのですが、これを最新の状態に保ち続けるのは割と面倒であると常々感じていました。 そこで、Schemaspyを使用してデータベースのスキーマ構造からER図を生成するようにしたものの、以下のような手順をスキーマ構
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ウォータフォールはやめて2024年の開発をやろう！｜牛尾 剛
毎日本番DBをダンプして、ローカルと開発環境で利用して生産性を上げてる話
PythonでDDDやってみた💪 - techtekt
大規模サービスのインフラを全面的にリプレイスした話 - Qiita
AWS GlueからAWS Batchにしたことで費用を75%削減した - Classi開発者ブログ
SREがカバー株式会社に入社して3ヶ月でおこなったこと｜カバー株式会社 公式note
2023年版！エンジニア必見のチートシート集 - Qiita
Spring Boot + Flyway で複数の DB に接続したい！！！ - エムスリーテックブログ
テーブルを一個追加するたびにGRANT文書かないといけないの、やめられます - エムスリーテックブログ
MFA設定必須のCognitoのクロスアカウントマイグレーションについて - ZOZO TECH BLOG
自作マークダウンパーサーとNext13+Prisma+GraphQL+Supabaseでブログを自作した
NTTデータが「生成AIありき」のSI、コード変換の作業工数を7割削減の効果も
PowerPoint Presentation
ローカルからCloud SQLに接続する方法 by Cloud SQL Auth Proxy
Reflex（Webアプリ作成ライブラリ）：ログインやDB操作のサンプルコード - Qiita
実践Next.js ——App Routerで進化するWebアプリ開発
cloudflare/wildebeest をForkして開発をしている
【個人開発】無料DBを求めてPlanetScaleからNeonに移行したら快適だった話 - Qiita
コンテナ化とAWSへの移動について | DevelopersIO
情報発信に便利で軽量なActivityPubサーバー「Takahē」［後編］ ～基本的なアーキテクチャと特徴的なコンポーネントの紹介と、サーバーの構築方法 | gihyo.jp
クラウド時代におけるポテンヒットの防ぎ方 - NRIネットコムBlog
Rails: Deviseを徹底理解する（2）応用編（翻訳）｜TechRacho by BPS株式会社