【個人開発】爆速な賃貸検索サービスをさらに高速化した【Rust】 - Qiita
個人で運営している賃貸物件の検索サービス Comfy のバックエンドを Rust でリプレースしました。この記事では、そのリプレースの背景と詳細をご紹介します。 まずは結果から 技術構成： Rust + Cloud Run1 へ移行 （Python + GCE2 から） 性能向上： 約 1.5 倍 開発期間： 1 ヶ月間 コード行数： 約 40 % インフラ費用： かなり減少 （多分3） 短い期間・少ないコードでかなり高速化できちゃった上に、開発体験もとてもよい Rust は本当に素晴らしいです…!! サービス概要 Comfy は 日本全国の賃貸物件を超高速に検索できる Web サービス です。 技術構成等の概要は、以前書いた記事 「【個人開発】爆速な賃貸物件の検索サービスを作った」 をご覧頂ければと思います。 もしよかったらこちらからぜひ試して頂き、さらによくなった性能を体感してみて下さ
Cloud RunとCloud PubSubでサーバレスなデータ基盤2024 with Terraform / Cloud Run and PubSub with Terraform
Google Cloudのサーバレスなサービスでデータ基盤を作った話.
"クラウドアプリケーション 10の設計原則" をもっと楽しむ
※リンクを効かせたい場合はダウンロードしてください
AWS側の目線から理解する、Google Cloud ロードバランサの世界 - How elegant the tech world is...!
はじめに お久しぶりです、iselegantです。 今回はAWSアーキテクトの目線から、多様なGoogle Cloud Load Balancingの世界を紹介してみたいと思います。 昨今、担当業務やプロジェクトによってはAWSのみならずGoogle Cloudを活用したり、マルチクラウドとして両方扱うエンジニアの方も多くなってきたのではないでしょうか？ 特に、SI企業に所属する人においては、担当プロジェクトや業務、お客様が変われば利用するクラウドサービスも変わる、なんてこともよくあると思います。 私もその道を辿ってきた一人です。 現在ではクラウドサービス間においてもある程度のコモディティ化が進んでおり、ある一つのクラウドサービスに精通すると、他のクラウドサービス利用時におけるメンタルモデルが出来上がり、システムを構築する際に前提の知識や経験が大いに役立つはずです。特にAWSはサービスの幅
外部組織に分析目的でデータを提供するインフラ設計において考慮すること
風音屋では、データエンジニア、データアナリスト、データコンサルタントを募集しています。 書籍執筆者やOSSコントリビューターなど、業界を代表する20名以上のアドバイザーと一緒にベストプラクティスを追求できる環境です。 ぜひカジュアルトークをお申し込みください。 風音屋アドバイザーのうっちー（@hanon52_）です。 datatech-jp Advent Calendar 2023 の25日目の記事です。 本記事では、外部組織にデータ分析を委託するためのインフラ設計について、いくつかの論点を紹介します。 この内容は、Google Cloud Next Tokyo’23 におけるゆずたそさんの発表「データ分析の授業における Google Cloud の活用事例」を聞いた後に行ったディスカッションがベースになっています。 対象読者 外部組織にデータ提供を行っている、あるいは検討しているエンジニ
Google Cloud の IDaaS「Identity Platform」で作る、さまざまな認証パターン
Identity Platform を使うと、さまざまな認証パターンが構築できる！ この記事は2023年10月6日に行われたナレッジワークさん主催のイベント「Encraft #7 AppDev with Google Cloud」で発表したセッションの解説記事です。現地でご参加いただいた皆さん、オンラインでご視聴いただいた皆さん、ありがとうございました！ 私のセッションでは Identity Platform を使ったさまざまな認証パターンについてご紹介しました。セッション後、いくつかのご質問や「こんなパターンもあるよ！」というコメントもいただきました(ありがとうございます！)。この記事では、セッション内でご紹介した内容に加え、別解、または発展系とも言えるいくつかのパターンについてもご紹介します。 Identity Platform とは まずはこの記事でメインで扱う Identity P
SRE 視点で捉える Firebase の Terraform 自動化: Cloud Build 実践ガイド
はじめに こんにちは、最近 SRE（Site Reliability Engineering）領域に興味のある cobo です。 今回はモバイルアプリ開発向けの SRE を意識したテーマで記事を執筆させていただきます。 説明すること トイルの撲滅 Cloud Build で Firebase プロジェクトの Terraform を自動実行する方法 Cloud Build の基本的な使い方 Cloud Build の構築フロー 説明しないこと 複数環境（development, staging, production）に対応した管理方法 ※ 本記事の応用版となるため、別記事にて紹介させていただきます。 Terraform の使用方法 ※ Terraform の基本的な使い方 および Firebase プロジェクトを管理する方法に関しては、私が過去に執筆した Terraform で Fireb
できるだけインフラ運用したくない Ruby on Rails on Google Cloud
TL; DR Google Cloud 上で Rails をできるだけインフラ運用しなくて済むように構築するとしたら、こういう構成にするのはどうだろうか？ メインの Web アプリは Cloud Run メインのデータベースには Cloud Spanner 非同期ワーカーには GKE Autopilot 非同期メッセージングキューには Cloud Pub/Sub DB マイグレーションには GKE Autopilot rails console には GKE Autopilot はじめに 先日、Cloud Spanner の ActiveRecord アダプターのバージョン 1.0 がリリースされました。 Scale your Ruby applications with Active Record support for Cloud Spanner | Google Cloud Blog
機械学習の操作 - Cloud Adoption Framework
このブラウザーはサポートされなくなりました。 Microsoft Edge にアップグレードすると、最新の機能、セキュリティ更新プログラム、およびテクニカル サポートを利用できます。 機械学習の操作 (MLOps とも呼ばれる) とは、AI を取り入れたアプリケーションに DevOps の原則を適用することを指します。 組織で機械学習の操作を実装するには、特定のスキル、プロセス、テクノロジが導入されていなければなりません。 目標は、堅牢かつスケーラブルで信頼性が高く、自動化された機械学習ソリューションを提供することです。 この記事では、組織レベルで機械学習の操作をサポートするリソースを計画する方法について説明します。 Azure Machine Learning を使用してエンタープライズで機械学習の操作を導入することに基づいて、ベスト プラクティスとおすすめ候補についてレビューします。
Cloud SpannerとCloud Pub/Subとで実装するTransactional outboxパターン | メルカリエンジニアリング
Credit Designチームでバックエンドエンジニアをしている@iwataです。主にメルペイスマート払い関連の開発をしています。 Merpay Advent Calendar 2021 の21日目の記事をお届けします。 メルペイスマート払いの開発においてもご多分に漏れず、マイクロサービスアーキテクチャを採用しています。マイクロサービス開発において避けては通れない問題として、分散トランザクションによるデータ整合性の担保があります。メルペイスマート払いマイクロサービスでは一部APIにおいて整合性担保のために、Transactional outboxパターンを用いた実装をしています。 本記事ではテーブル設計を含めたその実装の詳細を紹介したいと思います。 tl;dr Transactional outboxパターンを使ったSpanner, Pub/Sub間での整合性担保 Spannerならでは
【deprecated】oktetoで無料Kubernetesを遊び尽くす
現在oktetoでは無料プランが終わってしまったようなので、この記事の内容は古くなっています。 最近知ったoktetoというサービス。無料でKubernetesを使えそうだということでとにかく遊び尽くしてみたいと思います。 Okteto CloudとOkteto Self-hostedの二種類ありますが、以降は全てOkteto Cloudの話をします。 一人で無料で使う場合は機能制限があったり、リソース使用量の制限があるので注意。 え・・・十分すぎない？ Setup アカウントを作成する まずはアカウントを作成してみましょう この右の「Login with GitHub」ボタンをクリックして進めていってください。 アカウント作成が完了すると以下の画面が開きます。 (Option) okteto CLIのsetup okteto CLIを利用するとUIをターミナル上から様々な操作ができます。
そのメール、本当に届いてる？Amazon SESの運用で得た監視プラクティス - Cybozu Inside Out | サイボウズエンジニアのブログ
こんにちは、kintone.comのバックエンドエンジニアをしている@ueokandeです。 いきなりですが、メールって難しいですよね。 普段HTTPに慣れていると、メール周りのプロトコルの理解は難しく、トラブルにも見舞われることも少なくないです。 またメールプロトコルの性質上、メールを送った後にもトラブルは起こりがちです。 グローバル向けkintone.comはAWSで運用しており、メールの機能はAmazon Simple Email Service（SES）を利用しています。 この記事ではkintone.comのメール基盤の全貌と、Amazon SESを利用する上での運用プラクティスを紹介します。 kintone.comとメール kintone.comでは、ユーザーの招待やkintone上の更新を知らせるためにメールを利用し、メール送信は重要な機能の1つです。 kintone.comは
無償版PaaSだけでGithubでログインするNext.jsアプリを作る - Qiita
最近next.jsでいろいろアプリを作っているのですが、そのときにnextauthというライブラリで認証機能をさくっと作れることを知りまして、作ってみようと思いました。 自分のGithubのレポジトリはこちらです。 やりたいこと Next.jsでウェブアプリを作る Githubで認証できるようにする データベースにログイン情報を保存できるようにする すべて無料サービスで行う 使う技術構成 Next.js Typescript nextauth mysql Docker Prisma 使うサービス Github App Vercel Heroku ClearDB ファイル構成 tree -I node_modules . ├── README.md ├── app │ ├── LICENSE │ ├── README.md │ ├── components │ │ ├──
Vertex AI ベクトル検索の概要 | Google Cloud
フィードバックを送信 Vertex AI ベクトル検索の概要 コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。 ベクトル検索は、Google Research が開発したベクトル検索技術をベースにしています。ベクトル検索では、Google 検索、YouTube、Play などの Google プロダクトの基盤と同じインフラストラクチャを利用できます。 はじめに ベクトル検索では、意味的に類似または関連する何十億ものアイテムから検索を行うことができます。ベクトル類似度マッチング サービスには、レコメンデーション エンジン、検索エンジン、chatbot、テキスト分類の実装など、多くのユースケースがあります。 ベクトル検索のユースケースとして、数十万もの衣料品在庫を持つオンライン小売店があります。このシナリオでは、マルチモーダル エンベディング API を使用して
【合格記】Google Cloud Professional Data Engineer認定資格を振り返る | フューチャー技術ブログ
こんにちは、TIGの玉木です。先日Professional Data Engineer認定資格を取得しました。この記事ではその振り返りをします。 筆者について、受験のモチベーション新卒から3年半ほど機械学習モデリングを行っており、ここ半年はAWSでサーバーサイドの実装を主に担当しています。業務でGCPを扱ったことはありませんが、社内で「みんなで資格とっていきましょう！」のような機運があり、以前から機械学習とも関係があるデータエンジニアリングに興味があったため、今回Professional Data Engineer認定資格を受けることにしました。 出題範囲以下公式サイトの認定試験ガイドからのサマリです。 データ処理システムの設計 データ処理システムの構築と運用化 機械学習モデルの運用化 ソリューションの品質保証 1, 2は近い内容なのかなと思います。例えばバッチ/ストリーミング処理をする場
イベント ソーシング パターン - Azure Architecture Center
ドメインに、データの現在の状態だけを格納する代わりに、追加専用ストアを使用して、そのデータに対して実行された一連のすべてのアクションを記録します。 ストアは、レコードのシステムとして機能し、ドメイン オブジェクトを具体化するために使用できます。 これにより、データ モデルとビジネス ドメインの同期の必要性を避けることで、パフォーマンス、スケーラビリティ、および応答性を向上させながら、複合ドメインでのタスクを簡略化できます。 さらに、トランザクション データの整合性を提供し、補正アクションを有効にできる完全な監査証跡と履歴を保持することもできます。 コンテキストと問題 ほとんどのアプリケーションはデータを操作します。またアプリケーションの一般的なアプローチは、ユーザーがデータを操作したら、データを更新して、データの最新の状態を維持することです。 たとえば、従来の作成、読み取り、更新、および削
Kubeflow PipelinesからVertex Pipelinesへの移行による運用コスト削減 - ZOZO TECH BLOG
こんにちは、技術本部 データシステム部 MLOpsブロックの平田（@TrsNium）です。約2年半ぶりの執筆となる今回の記事では、MLOps向け基盤を「Kubeflow Pipelines」から「Vertex Pieplines」へ移行して運用コストを削減した取り組みを紹介します。 目次 目次 はじめに Vertex Pipelinesとは Vertex Pipelinesへの移行 Vertex Pipelinesへ移行するワークフロー 1. ワークフローのKubeflow Pipelines SDK V2への移行 コンパイラのデータ型の制約が厳しくなった ContainerOp APIが非推奨になった Kubeflow PipelinesのPlaceholderを使用できなくなった 2. スケジュール実行されているワークフローへ前回実行分が終わるまでの待機処理を追加 3. Vertex
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ZennにみるCloudRunとBigQueryによるアプリケーション構築 / zenn-cloudrun-bigquery-serverless
AWSのセキュリティ管理をPolicy as Codeで加速する ― 最高のCSPM体験を目指して / Unleashing Policy as Code on AWS CSPM
AWSが落ちてもGCPに逃がすことで落ちないシステムを作る技術
