こんにちは。こむろ＠札幌です。 ある人たち（？）から毎度記事が生生しすぎると言われました。今回もそうかもしれません。 *1 概要 自分が開発に関わっているPrismatixというサービスはAPIサーバーをSpring Bootアプリケーションで実装している。その中でデータマイグレーションの手段として Flyway を利用している。 指定された Migrationファイル（SQLやJavaコード等）を必ず決まった順序で実行し、それらをどこまで適用したかを管理してくれるなど、とても役に立つ機能が豊富にあるため様々なところで紹介されている。 Developers.IOでもいくつか関連のエントリーが確認できた。とても参考になるのでおすすめ。 [Spring Boot] Flyway 3系で作ったテーブルを Flyway 5系にアップデートする方法 [Spring Boot 1] flywayのデー
Want more PostgreSQL? You just might like Babelfish | Amazon Web Services
AWS Open Source Blog Want more PostgreSQL? You just might like Babelfish “The greatest force in legacy databases is inertia,” a widely regarded industry analyst once told me. Not superior functionality. Not better performance. Not lower cost. None of the above. Just inertia. Developers might say they prefer to run PostgreSQL to proprietary alternatives (and they do), but enterprises have spent yea
Build applications of any size on Cloudflare with the Queues open beta
Build applications of any size on Cloudflare with the Queues open beta11/14/2022 Message queues are a fundamental building block of cloud applications—and today the Cloudflare Queues open beta brings queues to every developer building for Region: Earth. Cloudflare Queues follows Cloudflare Workers and Cloudflare R2 in a long line of innovative services built for the Workers Developer Platform, ena
こんにちは。 ピリカ開発チームの伊藤です。 ピリカでは6月1日より、ピリカサポーターズクラブを開始しました。 まだご覧になっていない方はこちらをご覧ください。 corp.pirika.org ピリカサポーターズクラブをはじめるにあたって新しいシステムを構築しました。 ピリカの開発チームのリソースは潤沢ではない中、全く新しいシステムを作るのはとても大きなチャレンジです。 社内からも「開発のリソースが潤沢でないならSNSピリカに注力すべき」という意見はありましたが、開発チームでは単に新しいシステムを作るだけではなく、この開発を「SNSピリカの開発を今後少ないリソースで効率的に進めるために必要な基盤の実験」としても位置付けていました。 この開発を通じて得たことのまとめとして、ピリカサポーターズクラブの構成やデプロイの仕組みをご紹介したいと思います。 SNSピリカの開発で抱えている問題 SNSピリ
Laravel8から認証パッケージがLaravel/uiからJetStreamに変わった上JetStreamではLivewire, Inertiaとこれまでに使用したことがない機能の選択まで迫られ認証はどのように行えばいいのだろうかと不安を持った方も多かったかと思います。しかし現在はLaravel Breezeという選択肢も増えたので不安はかなり解消されたとは思います。またLaravel/uiもLaravel8に対応したバージョンは存在します。Laravel8からJetStreamが登場したこともあり今後はJetStreamを使う機会が増えることが予想されます。JetStreamの認証機能の理解を深めるためにはその中のコア機能の一つFortifyの理解が欠かせないのではないかと思いFortifyの動作確認を本文書を公開しました。 本文書を読み終えるとFortify単独のパッケージを利用して
GitHub - cloudspannerecosystem/wrench: wrench - Schema management tool for Cloud Spanner -
$ cat ./_examples/schema.sql CREATE TABLE Singers ( SingerID STRING(36) NOT NULL, FirstName STRING(1024), ) PRIMARY KEY(SingerID); # create database with ./_examples/schema.sql $ wrench create --directory ./_examples # create migration file $ wrench migrate create --directory ./_examples _examples/migrations/000001.sql is created # edit _examples/migrations/000001.sql $ cat ./_examples/migrations/
Terraform best practices for reliability at any scale
State file proliferation for fun and profitWhen first adopting Terraform there’s a natural attraction to having a single state file that covers your entire infrastructure. It’s simple. It’s expressive. It’s fast—at first. And it’s a terrible idea. At scale, many Terraform state files are better than one. But how do you draw the boundaries and decide which resources belong in which state files? Wha
Build an observability solution using managed AWS services and the OpenTelemetry standard | Amazon Web Services
AWS Cloud Operations & Migrations Blog Build an observability solution using managed AWS services and the OpenTelemetry standard Open standards, specifically the ones implemented by OpenTelemetry, are becoming the de-facto mechanism of implementing observability for numerous organizations that support this CNCF initiative. This blog post showcases how an organization can easily build a central obs
Building for the 99% Developers
Should you move to serverless? Is GraphQL the answer to your API woes? Should you follow the latest DevOps playbook to increase your system reliability? In the world of tech tools, there’s a lot of buzz. But it doesn’t always reflect the daily reality of programmers. As the founder of a developer tools startup, I’ve talked with hundreds, if not thousands, of software developers over the last few y
Roomのマイグレーションまとめ
Roomのマイグレーションについてまとめておきます。 環境Room 2.2.0やっておいたほうが良いことRoomのマイグレーションはテストが可能なのですが、その前にやっておいたほうが良い設定があります。 build.gradleに以下の設定を最初から追加しておくことをオススメします。 android { defaultConfig { javaCompileOptions { annotationProcessorOptions { arguments = ["room.schemaLocation": "$projectDir/schemas".toString()] } } } }この設定がなくても、Room自体は使用可能なのですが、マイグレーションのテストするには必要になります。 この設定をしておくと、モジュール直下にschemasのディレクトリが作られ、 1.json のようなバー
The Rise of Platform Engineering - Software Engineering Daily
The rise of microservices, container orchestration, and the like have introduced novel engineering challenges. Platform engineering teams have formed at a number of organizations to shoulder these responsibilities. In some respects, the role of a platform engineer hasn’t drastically changed from that of other DevOps related roles. There is truth in noting that the title, “Platform Engineer” is not
Migrating Millions of Concurrent Websockets to Envoy - Slack Engineering
Ariane van der Steldt Staff Software Engineer, Site Reliability Slack has a global customer base, with millions of simultaneously connected users at peak times. Most of the communication between users involves sending lots of tiny messages to each other. For much of Slack’s history, we’ve used HAProxy as a load balancer for all incoming traffic. Today, we’ll talk about problems we faced with HAPro
Today HashiCorp is excited to introduce The Infrastructure Cloud to help organizations and their development teams make the most of their cloud investment. Our goal is to help these teams ship code quickly while minimizing cloud costs and security risks. The Infrastructure Cloud isn’t a new product. Instead, it’s a new way for the HashiCorp products to deliver value more quickly via the HashiCorp
SQL マイグレーション作成ツール prrn を公開しました。 利用すれば Go 等のプロジェクトでの SQL マイグレーションが楽に行えるようになるかと思います。 現状は MySQL のみの対応となっています。 通常 Go などの言語で RDB へのマイグレーションを行う際は、Up/Down ファイルを記述することが多いと思います。 しかしながら多くのALTER TABLEが記述された Up/Down ファイルから最終的なスキーマ定義を知ることは難しく、実際に適用するまで分かりにくい事が多いと思います。 また、マイグレーションのファイルを記述する際もそこそこ面倒で、常に Up/Down をセットで記述するべきですがミスも起こりやすいように思います。 今回作成したツールは、宣言的にテーブルを定義する SQL ファイルからマイグレーションファイルを自動生成します。 定義ファイルにはCREAT
Database Reviews Tooling Migrations Partitioning tables Debugging Best practices Case studies PostgreSQL information for GitLab administrators User information for scaling ClickHouse Miscellaneous Database development guidelines Database Reviews During the design phase of the feature you’re working on, be mindful if you are adding any database-related changes. If you’re adding or modifying a query
Laravelをモジュラモノリスで開発する
中小規模のLaravelは、初期はモジュラモノリスで運用し、サービスが複雑/大規模になって行く過程で、モジュールをマイクロサービス化していく運用が初期開発が抑えられ、かつクリーンなコードも実現できて良いのではないのでしょうか？ モジュラモノリスとは モノリスアプリケーション内で、ドメインモデル等を単位としてモジュールに分解し、モノリスのように1つのデプロイパイプラインだけを持ちつつも、マイクロサービスのようにシステムのモジュール化・独立性を両立したモノリスアプリケーション。 モジュラモノリスの長所 モジュラモノリスの長所として、以下のようなものが挙げられるかと思います。 モノリスであるため、開発がマイクロサービスと比較し容易である コンテキストの境界がモジュール毎に明白になる モジュール毎にマイクロサービス化を進める事が可能である モジュラモノリスの短所 モジュラモノリスの短所として、以下
アプリケーションを構築する場合にはデータを保存するため必ずデータベースが必要となります。データベースを効率的に管理し、簡単に操作を行うためのツールがPrismaです。本文書はこれまでPrismaを利用したことがない人を対象にPrismaを利用する上での基本的な操作と設定方法について説明を行なっています。 Prismaはサーバからデータベースを操作する際にサーバとデータベースの間を仲介する役目を持っておりデータベースを操作する際はどのデータベースを利用しているか意識することなく共通のオブジェクトメソッドを利用することができます。本文書ではサーバにExpress.jsを利用して最初はデータベースのSQLiteを利用します。SQLiteで一通り動作を確認した後にクラウドサービスのSupabase(PostgreSQL)に変更します。データベースの変更を行なってもSQLiteで行なった処理と同じ操
Manage your Amazon EC2 macOS instances with AWS Systems Manager | Amazon Web Services
AWS Cloud Operations & Migrations Blog Manage your Amazon EC2 macOS instances with AWS Systems Manager Are you using macOS for developing, building, testing, and signing applications for Apple devices? To all the thriving community of millions of developers worldwide building applications on Apple platforms, we at AWS bring you the first ever macOS based compute environments in the public cloud. Y
Laravel Adminのgridとformの使い方について記載していきます。 Laravel Adminって何者？という方は以下の記事をご参照ください。 Laravel Adminで効率的に管理画面を作成する。Dockerを使用した環境構築と使い方について記載。Laravel Adminは、ウェブアプリケーションの管理画面を効率的かつ簡単に作成できるツールです。 この記事では、Laravel Adminの利点と使い方について詳しく記載します。 Laravel Adminを利用すると、データベースの...it.kensan.net2024.05.26 gridとformについて簡単に書くと、以下のようになります。gridとformを理解することでLaravel Adminの大部分を使いこなせると思います。 grid：一覧表示 form：新規登録・編集機能 本記事でやること 登録・編集(f
さてさて、Laravel 8.xがリリースされてしばらく経ちましたが、やはり驚きとともに迎えられたのがログインパッケージJetstreamではないでしょうか。 というのも、Jetstreamはインストールするだけでスマホのアプリと連携した２段階認証を実装していたりと、とても多機能だからですね。 そして、今回の記事はこのJetstreamにある機能をつけてみたくなったことが始まりでした。 それは・・・・・・・ マルチ認証 です。 ここで言うマルチ認証とは、一般的なusersテーブルにroleデータもたせたものではなく、全く別のモデルをいくつか使った「本格的な」マルチ認証です。 この方式のメリットとしては、各モデルで保持するデータが別でもOKという点です。（例えば、芸人ユーザーなら「師匠の名前」、ミュージシャンなら「担当パート」という具合に専用のデータを持たせていいということになります） そこ
ORMs are backwards
ORMs are something that seem cool until you have to do anything with them, and then they just get in the way. Their promises (backend-agnostic, write type-safe native code, less boilerplate) sometimes have a catch and sometimes are just false. The reason for this is that ORMs are backwards: they force you to design schemas in your implementation language (python, javascript, java) and then export
はじめに 業務では「FuelPHP」という第２検索ワードで「オワコン」と出てくるフレームワークを使っているPHPエンジニアです。プログラミングを始めて、もうそろそろで２年が経とうとしています。（他の言語に手を出したくなる年頃です） 掲示板をSPA（シングルページアプリケーション）で作ったので、"SPA開発における"と銘打っていますが、記事の内容は「FlaskでREST APIを実装する」ということに終始しています。 FlaskでAPI開発するにあたり、いろいろな記事を参考にさせていただいたのですが、バリデーションや認証など一通りまとまっている日本語の記事がなかったので（よく知らないのですが、"小さく"始めるのがFlaskの思想？）、勉強したことをまとめてみたいと思います。 自分用のメモでもあるので、膨大な量になってしまっていますが、適宜気になるところだけでも読んでいただけたら幸いです。 R
Angular v12 is now available
It’s that time again, friends — we’re back with a new release and we can’t wait to share all the great updates and features waiting for you in Angular v12. Before we dive into those updates, let’s check in on the Angular journey. A vital key to Angular’s future is Ivy and what it unlocks for the platform. We have been working over recent releases towards the goal of converging the Angular ecosyste
日本語の意外な歴史 これまで知られてこなかった日本語の起源、日本語の歴史について語っていきます。私たちが使っている言葉には、驚くべき人類の軌跡が隠されています。本ブログのトップページの一番目の記事は固定されており、その後に新しい記事が並んでいます。 私たちの種は、ネアンデルタール人などの旧人類と区別して、ホモ・サピエンスと呼ばれたり、Anatomically modern humans（解剖学的現代人）と呼ばれたりします。ここでは、後者の呼び方を用いることにします。 ミトコンドリアDNAとY染色体DNAの研究が発達し、現在では、AMHは15~20万年前頃にアフリカで誕生し、6万年前頃にアフリカを出たという考え方が主流です（Mellars 2006）。アフリカ以外の地域の人々のミトコンドリアDNAとY染色体DNAを調べると、6万年前かそれより若干前の頃の共通祖先に行きつき、アフリカを含めて全
Hasura でプロダクト開発をしてみて感じた良かったところ・辛かったところ - バイセル Tech Blog
はじめに こちらは バイセルテクノロジーズ Advent Calendar 2021 の 9 日目の記事です。 前日の記事は 飯島さん の「新規プロジェクトにインフラ監視ツールを導入した話」でした。 こんにちは。2021 年に新卒で入社した開発 2 部の小松山です。 私は今年の 6 月末までバックエンドは Ruby on Rails がメインのプロダクトの保守開発業務を行っていたのですが、7 月から新しいプロジェクトへ配属され、新規プロダクトの開発に携わることになりました。そこではバックエンドに Hasura を採用しています。この記事では、その Hasura を実際にプロダクト開発に利用して見えてきた、メリット・デメリットを紹介できればと思います 目次 はじめに 目次 前提 Hasura の概要 プロジェクトでの運用 良かったところ テーブル作成が完了すればフロントエンドの開発を始めるこ
Why is the Migration to Python 3 Taking So Long? - Stack Overflow
In Pycon in 2014, Guido van Rossum, the creator of Python and, at the time, the Benevolent Dictator For Life of the language, stood on stage in a shirt that had a large 2.8 written on it in block letters, with a big red no entry sign through it. “It’s time to move on to Python 3,” he said, telling the audience that they should start adopting the new version of the language into their workflows. Af
strong_migrations gemの導入でRailsマイグレーションのメタデータロック待ちリスクに対処する
TL;DR strong_migrations gemの導入により、開発者がルールを意識しなくてもRailsマイグレーションのメタデータロック待ちのリスクを低減させることができた タイムアウト時のマイグレーションのリトライ機能や危険なマイグレーションのチェックが便利なため、Railsのマイグレーションを行う際はとりあえず導入するのがおすすめ 導入の経緯 trocco®開発チームではアプリケーションにRails、RDBにMySQLを使用しており、DBスキーマのマイグレーションにはRailsのマイグレーション機能を利用しています。 サービス運用を続けるうちにDBへのスロークエリが徐々に増えてきたため、DDL適用によるメタデータロック待ちのリスク[1]が高まってきました。 例えば最悪の場合、以下のような事態が起こりうります。 とあるセッションで数十分レベルのスロークエリが発生 そのクエリが共有メ
yuutanoMacBook-Pro todoapp % ls Dockerfile app.py init_todos.py migrations static __pycache__ data.sqlite init_user.py requirements.txt templates Dockerfile FROM python:3.10.10-alpine だと、docker build でエラーになった。 requirements.txt をインストールの箇所で失敗していた。
In recent years the term "microfrontends" entered the tech mainstream. While there are many patterns of actually implementing microfrontends we feel that there may be an "ideal" solution out there - a solution that combines the advantages of the monolith with some of the benefits of using isolated modules. In this post we'll look into a microfrontend solution built on React, which allows unbounded
Balancing Old Tricks with New Feats: AI-Powered Conversion From Enzyme to React Testing Library at Slack - Slack Engineering
Balancing Old Tricks with New Feats: AI-Powered Conversion From Enzyme to React Testing Library at Slack In the world of frontend development, one thing remains certain: change is the only constant. New frameworks emerge, and libraries can become obsolete without warning. Keeping up with the ever-changing ecosystem involves handling code conversions, both big and small. One significant shift for u
Laravelのマルチログインを図解しながら実装
LaravelのBreezeを利用して、マルチログインを実装していきます。 すでにBreezeを使ったユーザーログインができることを前提で話をすすめていきます。まだユーザーログインが実装出来ていない場合は、前回の記事を参考に実装しておいてください。 Laravel Breezeで「ユーザー登録・ログイン」認証機能を作る！ 実装する環境としては以下のとおりです。 Laravel 10.x PHP 8.2 マルチログインということで、ユーザー認証に加えて、管理者（Admin）という概念を加えて管理者用のログインを実装していきます。 なので今回のマルチログインでは、以下の２つの認証が存在することになります。 ユーザーログイン 管理者ログイン それぞれ別のテーブルで、それぞれの人を管理していくイメージです。 今回作成するマルチログインの構成について まずマルチログインを実装するにあたって、先にどの
DRPC - Storj Labs
Why DRPC? Use gRPC but wish you didn't? You're in luck! DRPC is a lightweight, drop-in, protocol buffer-based gRPC replacement. The DRPC protocol strips out huge swaths of unnecessary complexity; it is implemented in just a few thousand lines of straightforward Go! DRPC is small, extensible, efficient, and can still be autogenerated from your existing Protobuf definition files. Check out our launc
MySQL5.6のオンラインDDLでメタデータロックがかかった話 - R-Hack（楽天グループ株式会社）
こんにちは、ラクマの宮崎です。 MySQLのオンラインDDLを実行する際にメタデータロックがかかってしまい困ったので、オンラインDDLとメタデータロックについて調べて手元で試したことをまとめました。 MySQLのバージョンは 5.6、ストレージエンジンは InnoDB です。 この記事の多くは、MySQL 公式ドキュメントの以下のページを参考に書いています。 公式ドキュメント①：14.11.1 オンライン DDL の概要 公式ドキュメント②：14.11.2 オンライン DDL でのパフォーマンスと並列性に関する考慮事項 DDLとは オンラインDDLとは オンラインDDLに対応しているDDL Ruby on RailsのMigrationでオプションをつける方法 オンラインDDLの注意点とWaiting for table metadata lock が発生するケース Waiting for
Bash Patterns I Use Weekly
Indexes are sorted arrays (sort of): Thinking of B-trees and B+-trees as sorted arrays can help you reason about indexes and performance. 2023-08-14 JSDoc comments can make fixtures easier to work with: By auto-generating JSDoc comments on a fixture IDs file, we were able to make our fixture code simpler to work with. 2023-07-23 So, what can you do with a process ID?: If you have a process ID, you
ぺんすけブログ
Laravelのインストールは下記を参考に済ませておきましょう。 LaravelをLaradockでインストールする手順 【Laravel】Laradockで複数プロジェクトを動かす手順 Laravel-adminインストール composerでlaravel-adminをインストールします。 composer require encore/laravel-admin 下記のコマンドを実行することでインストールが完了します。 # to publish assets and config php artisan vendor:publish --provider="Encore\Admin\AdminServiceProvider" php artisan admin:install うまくいけば管理画面にアクセスすることができます。確認してみましょう。下記でログインできればokです。（lo
How to build a full-stack Jamstack E-commerce app with Nextjs and Prisma
How to build a full-stack Jamstack E-commerce app with Nextjs and Prisma05.05.2021 — Nextjs, Prisma, Fullstack — 6 min read In this tutorial, I will show you how you can build an app with Nextjs and Prisma. By the end, you will be able to; Install and configure Prisma to point to an SQLite file ✅Model out your database schema and creating relationships ✅View your database structure along with data
How To Build a REST API with Prisma and PostgreSQL | DigitalOcean
The author selected the Diversity in Tech Fund and the Tech Education Fund to receive a donation as part of the Write for DOnations program. Introduction Prisma is an open-source ORM for Node.js and TypeScript. It consists of three main tools: Prisma Client: An auto-generated and type-safe query builder. Prisma Migrate: A powerful data modeling and migration system. Prisma Studio: A GUI to view an
How we migrated our PostgreSQL database with 11 seconds downtime – Government Digital Service
GOV.UK Notify is hosted on the GOV.UK Platform as a Service (PaaS). The PaaS is being retired, so we are migrating all of our infrastructure into our own Amazon Web Services (AWS) account. This blog post explains how we migrated our PostgreSQL database with minimal downtime. Migrating our database The PaaS provides a database for us and we use it to store all of our data - from data about each not
ProductHow to start using reusable workflows with GitHub ActionsReusable workflows offer a simple and powerful way to avoid copying and pasting workflows across your repositories. From automating repetitive tasks to building continuous integration and continuous deployment pipelines, you can do a lot with GitHub Actions. But until recently, you had to copy and paste YAML files from one repository
Intro This guide is intended for people who are already familiar with Python 3 and looking to start a new project. This guide comes from experience building api backends for a variety of startups in different industries, it serves as a starting point for what the state of “best practise” is for how I think about organising Python projects, structuring code, testing, and common libraries I’ve reuse
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Flywayによる起動時のMigrationを制御する | DevelopersIO
TerraformとCloud RunとCloud Load BalancingでCI/CDを突き詰めた
Laravel8 Fortifyで認証機能の動作確認 | アールエフェクト
Introducing The Infrastructure Cloud
マイグレーション作成ツールprrnを作った
Database development guidelines | GitLab
Node.js(Express.js)環境でPrisma ORMを使いこなすための基礎 | アールエフェクト
Laravel Adminのgridでの細かい検索とformでの1対多のデータ登録のやり方~todoリストを作成しつつ解説~
【Laravel Jetstream】複数モデルでログインできるようにする（Multi Auth）
SPA開発におけるREST APIをFlaskで男前に - Qiita
東アジアの人々は南方から北上してきたのか | 日本語の意外な歴史
【Docker】Flask 開発環境構築の流れ - Qiita
Microfrontends based on React
How to start using reusable workflows with GitHub Actions
Building modern Python API backends in 2022