タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
最近のlitestreamと安DB界隈
趣味開発でマネージドデータベースに課金したくない勢に安DBソリューションとして好評だったlitestreamについての近況をまとめてみました。安DBという謎の用語は「運用コストが安いデータベース」の意味で今作りました。 軽くおさらいするとlitestreamはSQLiteのレプリケーションを実現するミドルウェアで[1]、LiteFSはそれを分散環境に拡張してスケールをしようとしたもの[2]。 LiteFS Cloudはサ終した litestreamの技術をマネージドサービスにしようとたくらんだLiteFS Cloudは[3]、有料版が始まったかと思ったらいきなり提供終了した。 全然利用されなかったことが理由のようだ。確かにLiteFS自体が実験的な段階のソフトウェアな上にConsulサーバーと連携したり使いこなすのは難しい印象があった。 LiteFS は開発停止してる LiteFS自体は放
前から気になっていた Litestream を Cloud Run で使ってみたので、そのメモです。 Litestream とは？ サンプルコード 手順 動作確認してみる 制限事項 おまけ まとめ 参考 Litestream とは？ Litestream は、 SQLite のデータベースファイルを Amazon S3 や Google Cloud Storage などのオブジェクトストレージにリアルタイムでレプリケートすることができるオープンソースのツールです。 例えば通常 Cloud Run で DB エンジンとして SQLite を使用しようとしても、コンテナが破棄されると同時に毎回 SQLite のデータベースファイルも消えてしまうため、データを永続化することができません。 しかし Litestream を使用すれば、 SQLite のデータベースファイルをオブジェクトストレージに
はじめに LiteStream がアツいですね。LiteStream は SQLite データベースのレプリカを作るシステムです。これを使う事で、アプリケーションが更新した SQLite データベースを S3 ストレージに瞬時にバックアップする事ができます。 はい... LiteStream を使ったサイドカー構成 LiteStream を使い、コンテナの起動前にデータベースをリストアし、アプリケーションが起動した後にレプリカを行えば、コンテナは何時でもホストから消し去る事ができる様になります。 以下に、/data ボリュームにリストアを行い、アプリケーションの起動後にレプリカを開始する docker-compose.yaml を示します。 version: '2' services: restore-container: image: litestream/litestream cont
現代のシステムでは、冗長化や負荷分散の観点から、複数のサーバーにサービスを分離することが当たり前となりました。しかし、キャッシュやキューの乱用など、システム構成が必要以上に複雑化している場合もあります。「複雑化したサーバー構成」を簡素化すべく、Goのローカルデータベースとして知られるBoltの開発者・ベン・ジョンソン氏が生み出したのが「Litestream」です。 Why I Built Litestream - Litestream https://litestream.io/blog/why-i-built-litestream/ ジョンソン氏が「古き良き時代だが、実のところは最悪な時代」と語る数十年前は、単一のプログラミング言語とSQLの知識があればどんな開発現場でも通用し、すべてのウェブサイトが基本的なHTML技術で作成されていた時代だったとのこと。1990年代後半には「Linux
k6 + Echo + go-sqlite3 + Litestream + Linode Object Storage 簡易負荷試験メモ
注意 とっても雑な検証なので参考などにはしないでください。ちょっとした興味で自分用に調べてるだけです。 結論 Echo を利用した秒 1 万リクエストを超えないウェブサービスで、かつ SQLite の機能で要件がみたせるのであれば、SQLite + Litestream 十分と判断出来る結果だった。 利用技術 Load testing for engineering teams | Grafana k6 Grafana に買収された Go で書かれた負荷試験ツール JS でシナリオが書ける Litestream - Streaming SQLite Replication SQLite リアルタイムバックアップツール mattn/go-sqlite3: sqlite3 driver for go using database/sql Litestream も使ってる 安心と信頼の matt
Stop building slow, complex, fragile software systems. Safely run your application on a single server. Fully-replicated database with no pain and little cost. Get started Join our Slack No-worry backups Continuously stream SQLite changes to AWS S3, Azure Blob Storage, Google Cloud Storage, SFTP, or NFS. Quickly recover to the point of failure if your server goes down. Use existing apps Runs as a s
Litestream メモ
Litestream Litestream - Streaming SQLite Replication benbjohnson/litestream: Streaming replication for SQLite. SQLite を S3 のようなオンラインオブジェクトストレージにリアルタイムでレプリケーションをとる仕組み。 事例 A database for 2022 · Tailscale Tailscale が Litestream へ移行している
はじめに Herokuの無料枠が終了することにあわせて、個人で動かしているRailsアプリケーションを他の場所へ移行する。 いままで無料で使わせていただいたこと感謝しつつも、月千円ほど払うほどのアプリケーションでもないので、ほぼ無料で移行できそうな場所を探すことにした。1 コンテナをホスティングできるGoogle Cloud Runは従量課金制だが、個人で使う分にはほぼ無料なので、これを選ぶことにする。 Cloud Runで使うRDBは一般にはGoogle Cloud SQLが推奨されていそうだが、ここでは安さのためにSQLite3 + Litestream + Google Cloud Storage(以下GCS)を使うこととしたい。 実装の方向性 Litestreamは、SQLite3のデータベースを、オブジェクトストレージやNFS、SFTPのストレージにレプリケーションできるOSSの
https://zenn.dev/voluntas/scraps/f4939cbe92525c を見て、Cloud Run でもホストできると個人的にはうれしいかもなーと思って実験してみた コツとしては、 第二世代の実行環境 で動作させる コンテナ起動時にrestoreしてGCSからデータをロードするようにする 最大インスタンス数を1にする LitestreamのGCS対応はCloud Runの実行環境のサービスアカウントでは実行されないので、サービスアカウントを作り、SecretManager経由で鍵情報をファイルとしてマウントし、GOOGLE_APPLICATION_CREDENTIALS としてパスで与える。 といったところだった。 litestream replicate -exec が実行している内容を考えると、定期的にGCSへ更新する処理が走るので、Always on CPU
Litestream入門
Litestream というSQLite3をレプリケーションするOSSを調べてみました インストール macだと以下でインストールできます $ brew install benbjohnson/litestream/litestream 使い方 レプリケーション先は同一ホストの任意のパスやAmazon S3を利用できます。 今回はS3と互換性のあるオブジェクトストレージの MinIO を使って検証してみました。 MinIOの起動 $ docker run -p 9000:9000 minio/minio server /data 起動後は http://localhost:9000 でクレデンシャルに minioadmin を指定してログインし、適当なバケットを作成します。 今回は mybkt というバケットを作成しています。 Litestream起動前にsqlite3で適当なDBを作って
SQLite + Litestream + CloudRun で「個人開発並みの予算でもSQLを捨てない」バックエンド構築（Next.jsを例にして） - Qiita
この記事を書くに至った経緯と目的 個人開発やまだ利益の出ていないアプリって、予算の制約から選べるDBが限られてしまうことがあるよね。 具体的には Amazon DynamoDB や Cloud FireStore のような 「アクセス回数や通信量、保存サイズなどで金額が決まるDB（インスタンス起動時間ではなく）」 を選ぶことが多いと思うのだけど、これらのDBはNoSQLである以上、文字通り、SQLを使えないという難点がある。 だけどNoSQLのノウハウはちょっと一癖あるから、できることなら通常のRDBMSのようにSQLを使いたい... って人が結構いるんじゃないかなと思っていて、この記事はそういった人たちに、SQLを使える低予算DBの選択肢として、SQLite + Litestream + Google Cloud Run を紹介することを目的としているよ。 筆者プロフィール Kenpal
GitHub - benbjohnson/litestream: Streaming replication for SQLite.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
tl;dr—Despite an exponential increase in computing power, our applications require more machines than ever because of architectural decisions made 25 years ago. You can eliminate much of your complexity and cost by using SQLite & Litestream for your production applications. When I was your age… I can tell I’m getting old because I talk about the “good old days” of computing. Back when knowing a si
安いRDBといえばPlanetScaleのHobbyプランだったり、D1だったり、古き良きVPSでセルフマネージなんて選択肢もあるが、GCPで完結すると嬉しいだとかホストマシンの面倒を見たく無いだとか、そういう場合もあると思う。 なお今回の構成で本当に激安になるかどうか無料枠で収まるかどうか、などはインスタンス設定やワークロード次第の部分もあるので試算したり予算アラートを設定した方がいい。 また個人でのホビー用途など、データが欠損してもごめんごめんで許される用途での利用に留めておいた方が無難だとは思う。ごめんごめんで許されない場合にはCloud SQLとかへ移行するなり、最初からCloud SQLとかを採用するなりしたほうがいい。 完成品のサンプルコード これはeslint設定やらローカル環境向けのdocker-compose.ymlやらも一式入った、開発環境スターターキットになっている。
Getting Started - Litestream
This tutorial will get you up and running with Litestream locally and replicating an SQLite database to an S3-compatible store called MinIO. This works the same as Amazon S3 but it’s easier to get started. By the end, you’ll understand the replicate and restore commands and be able to continuously backup your database. It assumes you’re comfortable on the command line and have Docker installed. Pr
Here’s a riddle. My web app keeps all of its data in a SQL database. I can spontaneously tear it down, deploy the code to a different hosting platform, and the app will still serve all the same data. Running my app in production costs $0.03 per month. How is this possible? That’s easy. You have a separate database server running somewhere that stores all of your app’s state. No, my app never talks
Litestream はSQLite向けのストリーミング・レプリケーション・ツールです。 インクリメンタルにファイルシステムやS3のようなオブジェクトストレージにレプリケートします。 Hello Worldとして、Ubuntu上のSQLiteをAmazon S3にレプリケートし、リストアするところまでを動作確認します。 環境 Litestream v0.3.8 OS : Ubuntu 22.04 x86_64(Amazon EC2のAMIを利用) ストレージ : Amazon S3 SQLiteをインストール $ sqlite3 ~/fruits.db sqlite> CREATE TABLE fruits (name TEXT, color TEXT); sqlite> INSERT INTO fruits (name, color) VALUES ('apple', 'red'); s
Cron-based backup - Litestream
Overview# Sometimes Litestream can be overkill for projects with a small database that do not have high durability requirements. In these cases, it may be more appropriate to simply back up your database daily or hourly. This approach can also be used in conjunction with Litestream as a fallback. You can never have too many backups!
はじめに Litestream は Ben Johnson さんが開発されている SQLite のデータベースをストリーミングするソフトウェアです。 I'm All-In on Server-Side SQLite ・ Fly によると Ben Johnson さんは Fly.io にジョインしてフルタイムで Litestream の開発をすることになったそうです。良い話ですねー。 Litestream では AWS S3 互換のオブジェクトストレージが利用可能ということで、さくらインターネットのオブジェクトストレージ でも使えるようにプルリクエストを送ったところマージしていただけました。 さて、この記事では Getting Started - Litestream をさくらのオブジェクトストレージでも試してみましたので以下で手順を説明します。今回試した環境は Ubuntu 22.04 L
はじめに 少し前に、この記事を読んで激しく共感しました。 自分も様々な目的で簡単なWebアプリケーションを開発することがあるのですが、DBが欲しくなるタイミングでいつも技術選定に悩んでいました。 大抵の場合は記事にある「1. SQLあきらめる」や「3. DB自分で立てる」を選ぶのですが、不慣れな NoSQL に対する抵抗感やメンテナンスコストが辛くなってきます。 そんな折に以下の Tweet を見つけて SQLite + Litestream という解決策を知りました。 Litestream は SQLite にレプリケーション機能を提供するオープンソースソフトウェアです。 レプリケーション先には Amazon S3 や Google Cloud Storage を利用でき、安価に利用できることが特徴です。 本記事では、Rails + SQLite3 で作られたWebアプリケーションを G
"Solutions such as Kubernetes tout the benefits of zero-downtime deployments but ignore that their inherent complexity causes availability issues."This is completely accurate. I've seen several teams do kubernetes, only to both spend 50% of their dev time on ops, AND cause outages due to kubernetes complexity. They do this all while boasting about zero downtime deployments. It's comical really. We
Litestream on App RunnerでS3にSQLiteをレプリケートしつつアプリをホスティングする
はじめに 今回は、SQLiteを使ったWebアプリケーションをAWS App Runner上にホスティングします。同時に少し前話題になったSQLiteをAmazon S3にレプリケーションできるLitestreamを用いてS3にデータをレプケーションしてみます。 プロトタイピングや個人開発で、マネージドRDBMSを利用せず、料金抑えたい場合に使えるかなーと考え、App Runnerの素振りも兼ねて試してみました。 本構成における注意点 App Runnerのコンテナインスタンス内のファイルシステムの特性は、AWS App Runner Developer Guideから、引用します Storage – App Runner implements the file system in your container instance as ephemeral storage. Files ar
SQLite on Railsシリーズ（04）LitestreamでSQLiteをバックアップしよう（翻訳）｜TechRacho by BPS株式会社
概要 原著者の許諾を得て翻訳・公開いたします。 英語記事: Setting up Litestream | Fractaled Mind 原文公開日: 2023/09/09 原著者: Stephen Margheim -- フルスタックRails開発者であり、RailsのSQLite強化作業の中心人物です。Rails 8+SQLiteによる学習動画サイトHigh Leverage Railsを主催しています。 参考: Rails 8はSQLiteで大幅に強化された「個人が扱えるフレームワーク」（翻訳）｜YassLab 株式会社 日本語タイトルは内容に即したものにしました。 また、見出しを適宜追加しています。 本記事は、Railsアプリケーションの主要な機能やパワーを犠牲にせずに、データベースエンジンとしてSQLiteを使う方法を紹介するシリーズ記事の第4弾です。今回は、SQLiteで最もよ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Cloud Run + Litestream で RDB を使いつつ費用を格安に抑える
LiteStream をサイドカー構成にしたデータベース永続化
「複雑すぎるサーバー構成」を原点にまで簡素化する「Litestream」が生まれた理由
Litestream - Streaming SQLite Replication
HerokuからCloud Run + Litestreamへ移行した - memo.yammer.jp
GCP Cloud RunでLitestreamを利用する
Why I Built Litestream - Litestream
Cloud RunとLitestreamで激安GraphQL/RDBサーバーを動かす
How Litestream Eliminated My Database Server for $0.03/month
LitestreamでSQLiteをS3にバックアップしてみた
Litestream をさくらのオブジェクトストレージで試してみた - Qiita
CloudRun + Litestream で Rails アプリを激安で公開する - Qiita
Why I Built Litestream | Hacker News
news.yahoo.co.jp
watabeshinjun.hatenablog.com
diynom.hatenablog.com
diamond.jp
jukukore.fun
iphone-mania.jp