SQLite + Litestream + CloudRun で「個人開発並みの予算でもSQLを捨てない」バックエンド構築（Next.jsを例にして） - Qiita
SQLite + Litestream + CloudRun で「個人開発並みの予算でもSQLを捨てない」バックエンド構築（Next.jsを例にして）SQLite3個人開発Next.jsCloudRunLitestream この記事を書くに至った経緯と目的 個人開発やまだ利益の出ていないアプリって、予算の制約から選べるDBが限られてしまうことがあるよね。 具体的には Amazon DynamoDB や Cloud FireStore のような 「アクセス回数や通信量、保存サイズなどで金額が決まるDB（インスタンス起動時間ではなく）」 を選ぶことが多いと思うのだけど、これらのDBはNoSQLである以上、文字通り、SQLを使えないという難点がある。 だけどNoSQLのノウハウはちょっと一癖あるから、できることなら通常のRDBMSのようにSQLを使いたい... って人が結構いるんじゃないかなと思
Cloud Run + Litestream で RDB を使いつつ費用を格安に抑える
前から気になっていた Litestream を Cloud Run で使ってみたので、そのメモです。 Litestream とは？ サンプルコード 手順 動作確認してみる 制限事項 おまけ まとめ 参考 Litestream とは？ Litestream は、 SQLite のデータベースファイルを Amazon S3 や Google Cloud Storage などのオブジェクトストレージにリアルタイムでレプリケートすることができるオープンソースのツールです。 例えば通常 Cloud Run で DB エンジンとして SQLite を使用しようとしても、コンテナが破棄されると同時に毎回 SQLite のデータベースファイルも消えてしまうため、データを永続化することができません。 しかし Litestream を使用すれば、 SQLite のデータベースファイルをオブジェクトストレージに
Bedrock: The SQLitening · Mozilla Marketing Engineering & Operations
On its face www.mozilla.org doesn’t look like it would be a complex application to write, maintain, or run. But when you throw over 100 million unique visitors per week at any site it can complicate things quickly. Add to that translations of the content into over 100 languages and you can start to get the idea of where it might get interesting. So we take every opportunity to simplify and reduce
The Baked Data architectural pattern
28th July 2021 I’ve been exploring an architectural pattern for publishing websites over the past few years that I call the “Baked Data” pattern. It provides many of the advantages of static site generators while avoiding most of their limitations. I think it deserves to be used more widely. I define the Baked Data architectural pattern as the following: Baked Data: bundling a read-only copy of yo
賢者に聞く格安スマホでさらに得するテクニック｜@DIME アットダイム
気になるが、なぜか踏み切れない格安スマホ。軽々と乗り換え、お得で楽なスマホライフを送る達人に、格安スマホの実情を直撃！ ■［2万円］→【2000円】に！ 家庭の通信費が何と、1/10に！得したいなら、自分で勉強しなきゃ 厚切りジェイソン お笑い芸人、IT企業役員。1986年アメリカミシガン州生まれ。身長186cm。イリノイ大学大学院卒業。1日5分で英語の達人になる学習アプリ『厚切り英単語』をリリース。 ◎店舗がなくても不都合ナシ。難しいって思い込んでる？ IT企業の役員と、お笑い芸人を両立する、厚切りジェイソンさん。〝必要がないことに、お金は使わない〟という彼は2年ほど前から格安スマホを利用しているという。 「日本に来て4年間ほど大手キャリアのスマホを使ってたけど、会社が携帯電話代を経費で払わないと決めたんだ。で、〝Why！？〟からのMVNO（笑）。すぐにネットで最新型の端末（4万円）を僕
BigQueryのコストを抑えろ！ DeNAが取り組む「BQドクター」の実態 1年で1600万円を削減見込み
BigQueryのコストを抑えろ！ DeNAが取り組む「BQドクター」の実態 1年で1600万円を削減見込み（1/2 ページ） 米Google Cloudが提供するクラウドデータウェアハウス「BigQuery」。くら寿司やヤフーなど、さまざまな企業がデータ分析に活用している。ディー・エヌ・エー（DeNA）もその1社で、数百以上のプロジェクトに取り入れるなど、全社的に活用しているという。 ただ、DeNAではBigQueryの活用に課題を抱えていた。社内におけるBigQuery活用の統制・管理が徹底できていなかったことだ。特にコスト管理や、事故による予算超過を防ぐ仕組みが確立できていなかったという。 一方、DeNAでは対策も進めている。同社では「BQドクター」と題し、BigQueryの課題改善に向けた取り組みを実施している。コスト管理の仕組み作りなどを進めた結果、2022年度は年間で約1600
個人開発激安 GCP (にしたい)
とりあえず GCP で軽くサーバーとデータベース立ててみたいっつって脳死で使ってたら1日で 1800 円いって焦った。慌ててチャットサポートに聞いたらいろいろ教えてくれて安心したけど、もうちょっと調べてみためも。自分が使いそうなものしか書いてないよ。 Google Cloud Calculator めっちゃ便利。 App Engine TLDR これを app.yaml に書いておけば一番安上がり env Standard environment と Flexible environment があって、無料枠があるのは Standard だけ。他にも Flexible だと想定外の請求が来たりするらしい。なので Standard を指定しておく instance_class サーバのインスタンスの種類。F1 が一番しょぼいスペックのサーバで F1, F2 とかの "F" 系なら一日 28
It takes a lot of energy for machines to learn – here’s why AI is so power-hungry
This month, Google forced out a prominent AI ethics researcher after she voiced frustration with the company for making her withdraw a research paper. The paper pointed out the risks of language-processing artificial intelligence, the type used in Google Search and other text analysis products. Among the risks is the large carbon footprint of developing this kind of AI technology. By some estimate
月間500万PV＆転送量80TBのサイトをたった4万円で維持する方法
月間ページビュー(PV)が500万PVあり、データ転送量も80TBあるという人気ウェブサイトを400ドル(約4万6000円)以下で維持する方法を、3Dのアセットライブラリを一般公開しているPoly Havenがまとめています。 How we handle 80TB and 5M page views a month for under $400 – Poly Haven Blog https://blog.polyhaven.com/how-we-handle-80tb-and-5m-page-views-a-month-for-under-400/ ウェブサイト運営のポイントの1つは「資金リソースをどう管理するか」です。資金があればAmazon S3のようなクラウドプラットフォームを利用するのが簡単ですが、データ転送量が月間80TBもあるPoly HavenのようなウェブサイトでAmaz
Spark(DataProc)からBigQuery MLに移行してコストを削減した話 - Platinum Data Blog by BrainPad
本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 自社開発サービスである「Rtoaster（アールトースター）」は、2019年にユーザー分析機能の「自動クラスタリング機能」をSpark(DataProc)からBigQueryMLに移行しました。 ブレインパッドの新卒2年目の自社サービス開発エンジニアが、新卒1年目で取り組んだ、この大きなプロジェクトでの経験についてご紹介します！ はじめに 背景 ユーザー分析機能と自動クラスタリング 移行前の環境と問題点 BigQuery ML について 実装 モデル移行の実装 結果 料金の削減 実行時間の削減 運用の問題解消 最後に はじめに 本記事は、ブレインパッドの自社サービスである「Rtoaster（アールトースター）」のユーザー分析機能のチームで開発をしている、新卒入社2年目のエンジニア柴内がお送
核兵器製造を目指した「マンハッタン計画」のコスト内訳を調べてわかったこととは？ - GIGAZINE
by mark6mauno 第二次世界大戦中にアメリカ・イギリス・カナダなどの研究者らが原子爆弾の製造・開発を行ったマンハッタン計画は、優秀な科学者や技術者を多数動員した非常に大規模なプロジェクトでした。結局マンハッタン計画は原子爆弾の開発に成功し、日本に原子爆弾を落としただけでなく戦後の冷戦構造を生み出す結果につながりました。そんなマンハッタン計画に投入された資金について分析した結果を、スティーブンス工科大学の科学歴史家であるAlex Wellerstein氏が公開しています。 The price of the Manhattan Project | Restricted Data http://blog.nuclearsecrecy.com/2013/05/17/the-price-of-the-manhattan-project/ 原爆開発における大きなターニングポイントとなったマン
Cloud Runは便利！GCPの月額費用を4万円以上節約した話 - Qiita
g4というサービスを運営しているのですが、ここ数ヶ月間でGCPの月額費用を4万円以上節約したので、経緯を書いておきます。 7月の費用 ¥53,818 9月の費用 ¥18,801 詳しくはこちらのレポート 11月の費用 ¥7,333 詳しくはこちらのレポート 5月はこんな感じでした。 完全にやらかしてますね！！敗因は 無料期間なのもあり利用料金気にせずに使っていた そして無料期間の終わりを忘れていた アラートを設定していなかった です。 まずは、 7月の費用から約3万円節約するために、GAEのオートスケール周りの設定を見直しました 7月の状態は 本番: (GAE flexible/custom cpu x 2) x 2台 ステージング: (GAE flexible/custom cpu x 2) x 2台 （DBに関しては本番とステージングで同じインスタンスを使っています） でした。これは、
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
個人で低コストにサービス立てるならどうするか
https://services.google.com/fh/files/misc/19092_bigquery_best_practices_and_cost_optimization_whitepaper_v3_ca.pdf?hl=ja
GitHub - ray-project/llm-numbers: Numbers every LLM developer should know
AI21 Labs Asks: How Much Does It Cost to Train NLP Models? | Synced
The Cost of Training NLP Models: A Concise Overview
Save money by scheduling Cloud SQL
Cookpad Lounge #4 SRE 座談会 AWS コスト最適化の取り組み
Optimize BigQuery performance with INFORMATION_SCHEMA views | Google Cloud Blog