※本記事は2022年1月22日に公開された記事の翻訳版です。 この記事は、Developer Productivity Engineering Campブログシリーズの一環として、Platform Infraチームの Daisuke Fujita (@dtan4)がお届けします。 メルカリでは、すべてのクラウドインフラを宣言的構成で管理することがプラットフォームの中核となる考え方の一つです。メインのクラウドプロバイダーはGoogle Cloud Platform（GCP）であり、HashiCorp Terraformを使用してインフラをコードとして管理しています。Platform Infraチームは、すべてのTerraformワークフローを安全に管理するための社内CIサービスを提供しています。 Terraformはリソースプロビジョニングのためにクラウドプロバイダーのクレデンシャルを必要と
GitHub Actionsとtfupdateを使ってTerraformおよびTerraform Providerのバージョンアップを自動化する - ZOZO TECH BLOG
はじめに こんにちは。SRE部MLOpsチームの築山（@2kyym）です。 Infrastructure as Code（IaC）が一般的になり、またパブリッククラウドをフル活用したインフラ構築が当たり前となりつつあります。そんな中で、インフラの構成管理にTerraformを用いているチームも多いのではないでしょうか。本記事ではTerraformを用いたインフラ構成管理において避けては通れないTerraformやProviderのバージョンアップを自動化し、IaCの運用負荷を削減する方法をご紹介します。MLOpsチームでの運用を参考に、具体的な設定やハマりどころを交えつつ解説できればと思います。 目次 はじめに 目次 Terraformとは MLOpsチームにおけるTerraform運用の背景 Terraform管理の対象リソース Terraform運用において生じた課題 tfupdate
本記事の目的 機械学習の推論web APIの典型的な構成を紹介します。必ずしもWEBの知識や機械学習の知識はなくても読める内容だと思います。（実装例は除く） 紹介する構成は、業務でいくつかの機械学習モデルの推論web APIをたてた経験からきていますが、あくまでも個人的見解なので、こっちのほうがいいよーってのがあればコメントで教えていただけると幸いです。 実装例ではweb frameworkは非同期処理の扱いやすさ、実装のシンプルさの観点からFastAPIを使います。 目次 機械学習の推論web APIの構成 実装例 1. 機械学習の推論web APIの構成 本記事では、2つのパターンを紹介します。 注) まず、共通部分の説明をします。機械学習の知見が必要なのは基本的に共通部分だけです。もし、機械学習に詳しくない or webに詳しくない場合は、共通部分と後述の部分で役割を分担できるので、
![機械学習モデルの推論web APIサーバーの構成 [FastAPIの実装例あり] - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/82973470365428fd74bc508a50933ed484388cc0/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JUU2JUE5JTlGJUU2JUEyJUIwJUU1JUFEJUE2JUU3JUJGJTkyJUUzJTgzJUEyJUUzJTgzJTg3JUUzJTgzJUFCJUUzJTgxJUFFJUU2JThFJUE4JUU4JUFCJTk2d2ViJTIwQVBJJUUzJTgyJUI1JUUzJTgzJUJDJUUzJTgzJTkwJUUzJTgzJUJDJUUzJTgxJUFFJUU2JUE3JThCJUU2JTg4JTkwJTIwJTVCRmFzdEFQSSVFMyU4MSVBRSVFNSVBRSU5RiVFOCVBMyU4NSVFNCVCRSU4QiVFMyU4MSU4MiVFMyU4MiU4QSU1RCZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnM9YWZjNjNkZTJhN2NiYzQ1MWRjZDBlNTMzZjhiZTNjYWI%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBiZWUyJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz1lMjMzMGZlMmI0YWE0NGQyZDQ5YjRlZGQzNTFkMmU1Mw%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D994622aea7b15f40cb643427ab13c8b6)
『Terraform と gcloud CLI を使用した完璧な Google Cloud インフラストラクチャの構築』は本当に完璧なのかやってみた - Commune Engineer Blog
はじめに コミューンのインフラにおける課題 使ってみた 既存のGCPのリソースをTerraform形式でエクスポートする main.tfを作成する 既存のGCPリソースをインポートする terraform planで実行計画を見る 1. google_compute_route 2. google_compute_ssl_certificate 3. google_storage_bucket 4. google_logging_log_sink 検証結果 感想 良い点 GA版に期待すること さいごに エンジニア募集中！ 注釈 注1 注2 はじめに SREチームの川岡です。 もうそろそろコミューンのインフラをコード化しなきゃと考えていたときに、Google Cloudのブログで『Terraform と gcloud CLI を使用した完璧な Google Cloud インフラストラクチャの
A peek behind Colossus, Google’s file system | Google Cloud Blog
Colossus under the hood: a peek into Google’s scalable storage system You trust Google Cloud with your critical data, but did you know that Google also relies on the same underlying storage infrastructure for its other businesses as well? That’s right, the same storage system that powers Google Cloud also underpins Google’s most popular products, supporting globally available services like YouTube
2023年3月29日（現地時間）、米国の複数のセキュリティ企業は、ビジネスコミュニケーションのソフトウエア開発を行う3CXが提供するソフトウエアに不正な挙動が検出されたとして脅威情報を公開しました。その後、3CXも指摘されたソフトウエアにセキュリティ上の問題が含まれていたことを認めパートナーや顧客に対して謝罪しました。ここでは関連する情報をまとめます。 １．何が起きたの？ 3CXのVoIPソフトウエア「The 3CX Client」（Windows版、MacOS版）正規版のインストーラーファイルが第三者に改ざんされていたことが判明した。遅くとも2023年3月29日まで改ざんされたインストーラーが配布された状態が継続しており、万一不正なインストーラーによってインストールに成功していた場合、Chromeなどブラウザ上で保管された情報など窃取するマルウエアに感染する恐れがある。 今回の攻撃の影響
[Keras/LSTM FCN]AI好きギタリストが音声からギターを推定するモデルを作った話 - Qiita
この記事は SoftBank AI部 Advent Calendar 2019 の1日目の記事です。トップバッター頑張ります👀 ※ SoftBank AI部 Advent Calendar 2019 第二弾 も出ました！ スーパー内定者のコミさん！素敵な企画有難うございます。 はじめに エレキギターの種類 エレキギターには結構いろんな種類があるんですが、ざっくりと「シングルコイル勢」「ハムバッカー勢」の２派閥に分けることができます。 シングルコイル・ハムバッカーというのは「ピックアップ」の種類のことです。 エレキギターの弦の振動を電気信号に変えるマイクのような装置で、具体的には 左のようなピックアップがシングルコイル 右のようなピックアップがハムバッカーです。 どこかで見たことがあるのではないでしょうか。 ピックアップによる音の違い 見た目の違いももちろんですがこれらを二大派閥とした理由
![[Keras/LSTM FCN]AI好きギタリストが音声からギターを推定するモデルを作った話 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/369e86f784a8b054bf98d0d649a1d2ac6c8585a8/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCS2VyYXMlMkZMU1RNJTIwRkNOJTVEQUklRTUlQTUlQkQlRTMlODElOEQlRTMlODIlQUUlRTMlODIlQkYlRTMlODMlQUElRTMlODIlQjklRTMlODMlODglRTMlODElOEMlRTklOUYlQjMlRTUlQTMlQjAlRTMlODElOEIlRTMlODIlODklRTMlODIlQUUlRTMlODIlQkYlRTMlODMlQkMlRTMlODIlOTIlRTYlOEUlQTglRTUlQUUlOUElRTMlODElOTklRTMlODIlOEIlRTMlODMlQTIlRTMlODMlODclRTMlODMlQUIlRTMlODIlOTIlRTQlQkQlOUMlRTMlODElQTMlRTMlODElOUYlRTglQTklQjEmdHh0LWFsaWduPWxlZnQlMkN0b3AmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZzPTIxYjE5YmQyNzRkNTQ0NzVhMDNjZWFjNDJhM2Y0YjVl%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBKb2hhbm55am0mdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPWI0NGExMTkzMWU5ZGVhZTIyNTkzZWQyMzljMzI4ZGQ1%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D40e81ad15eb7a896d3d74f7439b4ac4d)
Googleが2021年6月1日からオンラインストレージのポリシーを変更し、Googleフォト・Gmail・Googleドライブで使用できる15GBの無料ストレージ容量を超過したまま2年以上使用を続けたり、2年間サービスを使用していなかったりした場合はアカウントのデータを削除すると発表しました。 サービスの利用状況と保存容量について - Google One ヘルプ https://support.google.com/googleone/answer/10214036 Google storage policy changes from June 1, 2021: What you need to know | Technology News,The Indian Express https://indianexpress.com/article/technology/tech-news
G-gen の杉村です。 Infrastructure as Code (IaC) を実現する Terraform を Google Cloud (旧称 GCP) で使ってみました。 Terraform Terraform とは 使ってみる Cloud Shell Terraform コマンドの確認 ファイル作成 エディタでの編集 Terraform 初期化 確認コマンド 適用 環境の削除 Cloud Storage に状態 (state) を保存する 前提知識 状態 (state) とは 状態 (state) の共有 バケットの作成 バックエンド構成の作成 再 init Terraform とは Terraform は Infrastructure as Code (IaC) を実現するオープンソース (Mozilla Public License v2.0) のツールです。 Googl
Miroを使って思考のロギングをしたら世界が変わったお話 | cloud.config Tech Blog
はじめにコーディングや資料作りであれこれ考えているとき、考えたことを何を使って纏めていくでしょうか？ パッと思いつく方法としてはVisual Studio Codeでメモを取る、あるいは物理的に紙にメモを取るあたりが定石だと思います。 実際に私もこの二つの方法を使っていましたし、今でもメモを取る際に時々Visual Studio Codeのようなテキストエディタを使ったりします。 しかし、この方法だと書かれている内容のトピックが何に関連したものか、何とつながっているのかといった要素が記録できなくて困っていました。 今読んでいる要素と関連したものを見つけるにはその内容が書かれたメモの行まで読み進めないと気付かないわけです。 しかもそこまで読んでも、ほかのどの内容と関連があるかは別途メモを取らなければならないので手間がかかります。 物理的なメモに頼ることも考えましたが、そうすると今度は書いた紙
Securing Terraform monorepo CI | Mercari Engineering
This article is a part of Developer Productivity Engineering Camp blog series, brought to you by Daisuke FUJITA (@dtan4) from the Platform Infra Team. At Mercari, one of the core platform tenets is to manage all cloud infrastructure in declarative configurations. Our main cloud provider is Google Cloud Platform (GCP) and we use HashiCorp Terraform to manage infrastructure as code. The Platform Inf
Google Cloud、動的にブロックストレージのIOPSとスループット性能をそれぞれ設定できる「Hyperdisk」など発表
Google Cloud、動的にブロックストレージのIOPSとスループット性能をそれぞれ設定できる「Hyperdisk」など発表 Google Cloudは9月9日に開催したオンラインイベント「A Spotlight on Storage」で、エンタープライズ向けに4種類のストレージサービスを発表しました。 Google Cloud Hyperdisk Google Cloud Hyperdiskは、動的に性能を変更可能なブロックストレージです。IOPSとスループットをそれぞれ独立して動的に設定変更できるため、アプリケーションを運用していくなかでストレージ性能への要求が変化した場合でも、変化に合わせたIOPSやスループットを設定できます。 Autoclass AutoclassはオブジェクトストレージであるGoogle Storageの新機能です。オブジェクトへの最終アクセス時期やポリシー
Microsoftの新データ分析プラットフォーム「Fabric」 CopilotとOneLakeで直感的なUI
米Microsoftは5月23日（現地時間）、年次開発者会議「Microsoft Build 2023」で、新たなエンドツーエンドのデータ分析プラットフォーム「Microsoft Fabric」を発表した。データレイク「OneLake」とCopilotが特徴だ。 MicrosoftはFabricを「組織が必要とするすべてのデータと分析ツールを統合する、エンドツーエンドの統合分析プラットフォーム」と定義する。従来の分析ツールであるData Factory、Synapse、Power BIなどのテクノロジーを統合し、さらにあらゆるレイヤーでAzure OpenAI Servieを導入することでAIを活用できるようにした。ユーザーは「Fabric Copilot」を使うことで、会話で分析操作を行い、結果を視覚化できる（Fabric Copilotは近日公開予定）。 Fabricの大きな特徴は、デ
コーポレートエンジニアリングにGoogle Cloud Workflowsを採用してみた話 - エムスリーテックブログ
【デジカルチーム ブログリレー1日目】 こんにちは、デジカルチームの鳥山（@to_lz1）です。 プロダクト開発の傍ら、人事チーム（=ピープルサクセスグループ）向けに内製したデータ基盤の開発も担当していたりします。 今回は主務の話から逸れますが、こちらの話です。Google Cloud Workflowsを採用した処理基盤が比較的うまく回っているため、開発・運用の中で得られた知見をご紹介したいと思います。 システムの概要 Google Cloud Workflowsについて 具体的に利用している機能 Sub WorkflowによるBigQuery SQLの実行 parallel stepsによる並列実行 Terraformでのコード管理 運用してみてよかったこと 課題・改善したいこと エラー時の対応のしやすさ Cloud Functions第２世代への対応 まとめ We are Hirin
はじめに こんにちは、分析基盤を担当している鍵本です。 本日は DB に保存されている行動ログを BigQuery に流すように修正 したお話をしようと思います。 はじめに 背景 非RDB化の方針 Rails 側の設定 logger の再定義 出力データ用の Struct の定義 出力処理の追加 Stackdriver Logging のシンク設定 BigQuery でのテーブル作成 Cloud Functions の設定 まとめ 背景 これまでチャットボットに流入させる「モーダルを開いた」とか「クリックした」といった行動ログは 直接DB に保存されていました。 レコード数が少ないサービス開始直後はそれでもよかったのですが、だんだんお客様の数が増えてくると、それに応じてモーダルにアクセスしてくださるユーザーさんの数も増え、DB への書き込み頻度が高まり、次第にアプリへの負荷が高くなってきま
Bucket full of secrets – Terraform exfiltration | Mercari Engineering
Background At Mercari, we utilize many microservices developed across multiple different teams. Each team has ownership over not only their code, but also the infrastructure necessary to run their services. To allow developers to take ownership of their infrastructure we use HashiCorp Terraform to define the infrastructure as code. Developers can use Terraform native resources or custom modules pr
$ terraform import google_project_iam_member.default "my-project roles/viewer user:foo@example.com" さらに、その後は .tf と import 後の .tfstate の差分を無くすためにドキュメント等を確認しながら .tf を更新していく必要がありました。 しかし、v1.5.0 以降のバージョンでは、少々手間に感じていた上記の作業を効率化することができるようになりました。 それが、本記事のテーマとなっている import ブロック & HCL コードの自動生成オプション となります。 検証環境 IaC Tool Terraform v1.6.0 Google Provider v4.56.0 Infrastructure Google Cloud 使用方法 それでは、import ブロック
なぜ書いたか やりたいこと tl;dr 特定サービス（の全リソース）に対する権限を付与したい 特定サービスの特定リソースに対しての権限を付与したい まとめ おまけ google_service_account_iam_member がややこしい なぜ *_iam_member を使うのか 参考 なぜ書いたか Terraform Google Provider のIAM周りのリソースはたくさんある。 google_project_iam_policy google_project_iam_binding google_project_iam_member google_service_account_iam_policy google_service_account_iam_binding google_service_account_iam_member google_cloud_run_
急成長するLINE配信対象ユーザー数にGCPアーキテクチャの改善で立ち向かった話 - ZOZO TECH BLOG
はじめに こんにちは、EC基盤本部・MA部・MA基盤チームでマーケティングオートメーションのシステムを開発している長澤（@snagasawa_）です。この記事では、社内で運用しているLINEメッセージ配信基盤の課題を、アーキテクチャ改善によって解決した話をご紹介します。 当時、LINEメッセージ配信基盤では、配信処理を担っていたApp Engineで2つの課題を抱えていました。「メモリ不足による配信処理の中断」と「リクエストタイムアウト後の意図しない処理の継続」です。一時はスケールアップによるメモリ増強を検討しましたが、後者の課題を解決できないためアーキテクチャの変更に着手しました。 結果として、App Engineが担っていた処理をBigQuery・Cloud Storage・Dataflow Batch Jobに置き換えることにより、この2つの課題を解決しました。加えて、配信対象ユーザ
Google Cloud プロジェクトの既存リソースを Terraform コードに出力＆ドキュメントを作成する方法 | DevelopersIO
Google Cloud プロジェクトの既存リソースを Terraform コードに出力＆ドキュメントを作成する方法 こんにちは、みかみです。 やりたいこと Google Cloud のリソースをコード管理したい Google Cloud プロジェクトに作成済みのリソースを Terraform のコードに出力したい ついでに Terraform コードからドキュメントも作っちゃいたい 前提 Google Cloud SDK（gcloud コマンド）の実行環境は準備済みであるものとします。 本エントリでは、Cloud Shell を使用しました。 Cloud Shell の使用 ｜ Cloud Shell ドキュメント gcloud コマンドで出力 Google Cloud 公式ドキュメントによると、Google Cloud プロジェクトのリソースをコード出力する gcloud コマン
米Microsoft（マイクロソフト）は2023年5月23日（米国時間）、年次イベント「Microsoft Build」で新しいデータ分析プラットフォーム「Microsoft Fabric」を発表した。データレイク「OneLake」を使って一元的にデータを管理し、AI（人工知能）によるアシスト機能「Copilot」も利用できる。 イベントに登壇したマイクロソフトのSatya Nadella（サティア・ナデラ）CEO（最高経営責任者）は「全てのAIアプリケーションはデータから始まる。（Fabricは）私たちが何年もかけて取り組んできた製品だ。マイクロソフトのデータ関連製品として、（データベース管理システムである）SQL Server以来、最大の発表になるだろう」と力を込めた。 マネージドクラウドサービス「Azure Data Factory」、企業向けデータ分析サービス「Azure Syna
初めに よくIT初心者の方やクラウドをよく知らない方から、クラウドってiCloudの事でしょ？とかGoogleドライブの事でしょ？などと聞くことがありました。 確かにこれも間違えではないのですが、この二つはクラウドの一部に過ぎず、クラウド＝SaaSのクラウドストレージと理解している方が多いのかな、とこれまで聞いた中で感じました（私だけかもですが）。 よって今回はクラウドを勉強している方やある程度クラウドとはなんだろうと理解したい方に向けて、Google Cloud（旧GCP）とAWSを例に挙げながら、基礎的な用語や概念を解説して行こうと思います。 前回解説した記事も参考になるかと思います。短いのでさらっとお読みください。 【IaaS PaaS SaaSの違いをざっくり解説（初心者歓迎）】 VPCネットワーク 仮想的なネットワークアドレスの範囲を定義するリソースとなります。（リソース＝クラウ
gcloud のコマンドを活用して既存の環境をTerraformに落とし込む - stefafafan の fa は3つです
Google Cloudに手でたてたリソースをTerraformに落とし込むときにterraformerみたいなツールを使ってみようと思ってググってたら公式ドキュメントに gcloudを使ったやり方が紹介されていたので試してみました。（ドキュメント曰く、GAになる前の機能なので、いずれ変わる箇所もありそうです）。 この記事ではその使い方や気になった箇所について軽く紹介します。 cloud.google.com Terraform形式になるように一括でエクスポートする Terraformにインポートするためのスクリプトを生成する 生成されたインポートスクリプトを実行する ハマり所・気になり所 bulk-exportコマンドで出力されないリソースがある bulk-exportコマンドでリソース指定でフィルターしたときにエラーが発生するリソースがある terraform plan したらエラーが
【 Dify 0.6.9 対応 】 n8n と Dify を VPS 上の Docker 環境で動かして連携させる。セキュリティや nginx 設定までのオマケつき｜Hi-Noguchi | 株式会社きみより代表
VPS 契約手順Xserver 紹介既に VPS をお持ちの方などは、この章はすっ飛ばしてしまってください🚀 VPS ベンダーはたくさんありますが、ここでは Xserver VPS を紹介します。 なぜ Xserver かというと、 管理画面が使いやすい。見やすい。軽くてサクサク動く VPS のハードウェア／パフォーマンスが新しめで良い キャンペーン割引適用させると、他ベンダーと比較して底値圏でコスパよし といったあたりになります。 なお Xserver での「お友達紹介」は規約の変更があり、不特定多数への公開リンクを利用することができなくなりました。 もし紹介コードが欲しいという方は、お声がけいただけたらお渡しいたします。 もし適用されたい場合、現時点 2024/05 での紹介割引は以下の通りで、申込の際にこちらの金額分が割引される表示になっているかどうかをご確認ください。 Xserv
このページは Terraform という大変わかりづらくハマりやすい環境構築ツールで人生を浪費する人を減らすため、Terraform に対する愛情をこめて書きました。 Terraform とは 略 Terraform インストール ここでは GCP の Cloud Shell を使う前提とします。Terraform はすでにインストールされています。 AWS など、Cloud Shell 以外の設定はいつか書きます。 Terraform をはじめてみよう tf ファイルというものを作成します。 名前は何でもいいのですが、main.tf にしましょう。 # main.tf provider "google" { } resource "google_storage_bucket" "mybucket" { name = "mybucket223344" } provider “google”
内製データカタログによる分析基盤の改善〜ミニマムなメタデータ管理で分析を前に進めよう〜 - Money Forward Developers Blog
この記事は、Money Forward Engineering 1 Advent Calendar 2022 7日目の投稿です。 6日目は koyoさんで i18n YAML ファイル中の日本語/英語のズレを検知する単体テスト でした。 本日は私が「メタデータ管理の最初の一歩」について書いていきたいと思います。 はじめに 初めまして、CTO室分析基盤部のnakamoriです。 私は22新卒でこの分析基盤部に配属されてから半年、データ分析基盤の開発と運用を行っています。 今回は入社して一番大きなプロジェクトだったメタデータ管理についてお話ししようと思います。 この記事が想定する読者 分析基盤であるDWH（データウェアハウス）にデータが蓄積されてきたが、メタデータ管理をまだ行っていない人 データカタログツールを導入しようか迷っている人 抱えていた課題 弊社マネーフォワードは40を超えるサービス
GitHub Actions を使って Google Cloud 環境に Terraform を実行する方法 - G-gen Tech Blog
G-gen の武井です。 当記事では Infrastructure as Code (IaC) を実現する Terraform を Google Cloud (旧称 GCP) で実行する際、GitHub の CI/CD 機能である GitHub Actions を介して実行する方法を紹介します。 GitHub Actions GitHub Actions とは 概要 ワークフロー 図説 Google Cloud との連携 概要 従来の認証 Workload Identity 連携による認証 Workload Identity 連携 仕組み メリット 図説 設定方法 概要 Terraform のセットアップ GitHub Actions の設定 ディレクトリ構成 Workload Identity 連携の設定 ワークフローの定義 動作検証 概要 動作検証用リソースの定義 Pull Reque
Google Cloud Vision API でPDFからEPUBを作成してみた | DevelopersIO
Google Cloud Vision API を使って、PDFから文字を抽出し、簡易的なEPUB を作成してみました 西田@大阪@MAD事業部です。 本エントリは クラスメソッド Google Cloud Advent Calendar 2021 の 15日目 の記事です。 今回は Google Cloud Vision API を使って、PDFから文字を抽出し、簡易的なEPUB を作成してみました Cloud Vision APIとは Cloud Vision API は機械学習の知識がなくても、簡単に画像の解析が可能でサービスです。画像、PDF/TIFF からテキストを抽出したり(OCR)、ランドマーク検出、顔検出などができます。 参考: 機能リスト | Cloud Vision API | Google Cloud 構成 Input 用の Cloud Storage に PDFファ
GCS にファイルが配置されたらイベント駆動で BigQuery にデータロードするサーバレスなジョブをつくってみた | DevelopersIO
こんにちは、みかみです。 やりたいこと GCS のファイルを BigQuery にロードするジョブを手軽に（サーバレスで）実装したい GCS にファイルが配置されたタイミングでイベント駆動でデータロードジョブを実行したい GCS バケットを作成 以下のチュートリアルを参考に、gcloud コマンドで GCS バケットと Cloud Functions 関数をデプロイします。 Cloud Storage のチュートリアル ｜ Cloud Functions ドキュメント Cloud Shell を使えば、ブラウザ上でコマンドラインが実行でき、gcloud ツールもプリインストールされているので便利です。 Cloud Shell での gcloud コマンドの実行 ｜ Cloud Shell ドキュメント まずはデータ連携用の GCS バケットを作成します。 gcp_da_user@cloud
Colossus の仕組み: Google のスケーラブルなストレージ システムの舞台裏 | Google Cloud 公式ブログ
※この投稿は米国時間 2021 年 4 月 20 日に、Google Cloud blog に投稿されたものの抄訳です。 お客様は Google Cloud を信頼して重要なデータを預けていますが、Google もまた、それと基盤を同じとするストレージ インフラストラクチャを利用して他のビジネスを行なっていることをご存じでしょうか。つまり、Google Cloud に使用されているのと同じストレージ システムが、Google の人気の高いプロダクトを支え、YouTube、Google ドライブ、Gmail のような世界中で利用できるサービスをサポートしているのです。 その基盤となるストレージ システムが Colossus です。これは Cloud Storage や Firestore などの Google のストレージ サービスの広範なエコシステムで利用されており、トランザクション処理、
Summit2019で発表されたFirebase Extensions 今年のFirebaseSummit2019で発表されたFirebase Extensions! 生放送を見る前にFirebase Consoleに追加されておりなんだこれ？！と心踊る追加内容でした Firebase Extensionsの特徴として公式の言葉を借りると以下2つの特徴があります。 ユースケースに合わせて拡張機能を構成する 今回リリースされているのは9つの機能 Translate Textについてはすでに記事になってましたのでリンク付けさせていただきました 簡単にインストール 左下のExtensionsをクリックして使いたい機能をinstallしたら使えるようになるイメージです ボタンぽちぽちで画像のリサイズなどが可能になります。 便利なCloud Functionsのメソッドが誰でも使えるようになった感じ
![[Firebase Extensions] Resize Images - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/7623eca2c542e35d40d7bd5a973f35bd31dea217/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCRmlyZWJhc2UlMjBFeHRlbnNpb25zJTVEJTIwUmVzaXplJTIwSW1hZ2VzJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmcz01MmZiMmRmM2Y4MDEwMDg5ODM5YzBiM2U3NTg5NTRjNg%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBnaWlpaXRhJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz0xMGM5MzgyZjVmZjBmOWQ5ODU1YmY0ZmE4YjgyY2Y2Ng%26blend-x%3D142%26blend-y%3D436%26blend-mode%3Dnormal%26txt64%3DaW4g5qCq5byP5Lya56S-RGl2ZXJzZQ%26txt-width%3D770%26txt-clip%3Dend%252Cellipsis%26txt-color%3D%2523212121%26txt-font%3DHiragino%2520Sans%2520W6%26txt-size%3D36%26txt-x%3D156%26txt-y%3D536%26s%3De22cb1d07be18054f7233e382653c9d3)
はじめに 近年、健康データを活用したアプリケーションやサービスが増えています。 その中で、Fitbitは世界中で愛用されるウェアラブルデバイスであり、個人の健康データを詳細に追跡できる点が特徴です。 今回は、Fitbitの健康データを使ってデータ分析基盤を構築する方法について解説します。 早速ですが、こちらに構成図を書いておきます！ なぜ作成したのか？ 一言でいうとデータ分析したかったから。 私が愛用しているFitbitは、iPhoneアプリで睡眠データ等が見れるんですね。 ただし、このデータは1日1日を見ることができるのですが、1週間まとめて、1ヶ月まとめてデータを見ることができません。 また、今までのデータからより睡眠の質を上げるにはどのような指標を改善していけば良いのかをデータ分析したいというモチベーションが生まれました。 ここでFitbit APIがあるのですが、これがなんと1時間
Cloud Vision APIを用いて車のナンバープレートをマスキングしてみる - G-gen Tech Blog
G-gen 又吉です。Google Cloud (旧称 GCP) の事前トレーニング済みの API のひとつである Cloud Vision API を用いて車のナンバープレートをマスキングする処理をご紹介します。 はじめに Vision AI Vision API 事前確認でわかったこと 構成図 準備 ディレクトリ構成 main.tf gcf_source_code/detect_car main.py requirements.txt gcf_source_code/detect_license_plate main.py requirements.txt 動作検証 検証データ 実行 Cloud Vision API と Cloud Functions でナンバープレートをマスキング はじめに Vision AI Vision AI とは、Google Cloud 上で画像や動画から分
GEEから衛星画像データをダウンロードする方法：シェープファイルから衛星データを収集してみる GEEについてはこちらの記事でも紹介していますが、Googleのクラウドを経由し、様々な機関の人工衛星データが利用できるメリットが存在します。さらにGEEのAPIを利用すればクラウド上で解析が完結し画像データをダウンロードする機会があまり発生しません。 そのため、元データをローカル環境で解析を行う場合、別途ダウンロードしてくる必要がありますが、GEEからは直接ローカル環境にダウンロードすることが出来ないため、一度クラウドのストレージ上に保存する必要があります。 エクスポート先に指定可能なストレージはGoogle Drive、Google Storage、GEE assetのいずれかになります。 GEEにはこれらのストレージにエクスポートするためのAPIが存在するため、それを利用したダウンロード方法
はじめに こんにちは、MLデータ部データ基盤ブロックの仲地です。初めてのテックブログへの投稿になります。主に業務ではデータ基盤の開発・運用を担当しています。 データ基盤ブロックではELTツールであるAirbyteを導入し、一部のデータ転送パイプラインをリプレイスしました。本記事ではそのAirbyteの構築方法と運用するにあたって工夫した点を紹介します。 目次 はじめに 目次 背景 Airbyte OSS Connectorの豊富さ ETLではなくEL(T) コミュニティが活発 GCP上でAirbyteを構築 全体構成 Terraform Kubernetesのマニフェスト KubernetesのSecret Kubernetesのデプロイ 工夫した点 GKE上での構築 Airflowによるスケジュール実行 MinIOを用いない PVCのAccessModeの変更 ServiceAccoun
やりたいこと GCSバケットを何も設定しないで作成すると、プロジェクトのOwner、Editor、ViewerはGCSバケットのオブジェクトを参照することができてします。 さらに、Organization 横断ユーザ(例: セキュリティ監査チームやGSuites管理者)などもアクセスできてしまいます。 たとえば、機密情報を管理するバケットを作る場合など、許可した特定のユーザーのみを、特定のバケットにアクセスを許可する方法を調べました。 結論 プロジェクトレベルのIAMで storage.objects.get の権限を付与しない プロジェクトレベルのIAMとはここで設定する権限のこと https://console.cloud.google.com/iam-admin/iam GCSバケットのアクセス制御は Uniform モードで作成する バケットの詳細ページでパーミッションを設定する
※この投稿は米国時間 2021 年 1 月 14 日に、Google Cloud blog に投稿されたものの抄訳です。 リーダー選出とは、分散システム実装の際に一般的に適用されるパターンです。たとえば、MySQL などのレプリケートされたリレーショナル データベースや、Apache Zookeeper などの分散 Key-Value ストアは、レプリカの中からリーダー（マスターと呼ばれることもあります）を選出します。すべての書き込みオペレーションはリーダーを経由するため、システムに書き込みを行うのは常に 1 つのノードのみです。これは、書き込みが失われたり、データベースが破損したりしないようにするためです。 分散システムのノードの中からリーダーを選出するのは、ネットワーク接続されたシステムと時刻同期の性質により、難しい場合があります。この記事では、リーダー選出（一般的には「分散ロック」と
Google Cloud インフラストラクチャを最大限に活用するための Next OnAir のセッション | Google Cloud 公式ブログ
※この投稿は米国時間 2020 年 7 月 28 日に、Google Cloud blog に投稿されたものの抄訳です。 要求の厳しいアプリケーションとユーザーに合わせて拡張できる環境を構築する方法についてお悩みですか？Google Cloud の堅牢かつ世界規模のインフラストラクチャを利用すれば、心配はいりません。まずは、Google Cloud Next ‘20: OnAir のインフラストラクチャの週の基調講演をご覧ください。次に、選び抜かれたセッションの一覧をご覧ください。Google Cloud のコンピューティング、ネットワーク、ストレージ、移行サービスの多様さと奥深さをご紹介するセッションと、それらのサービスすべてを最適化して管理する方法に関するセッションをご覧いただけます。セッションは 7 月 28 日火曜日の午前 9 時（太平洋時間）にライブ公開され、その後もオンデマンド
データアナリティクス事業部でGoogle Cloudのデータエンジニアをしています。はんざわです。 Terraformにはmoduleという他のプログラミング言語でいう所の関数のようなものが存在します。今回はmoduleの使い方を改めて学習したのでそのことをまとめておきます。 また、複数のCloudサービスをmoduleで管理する際にmodule間での変数の受け渡しに困ったのでそれについても調べたことをまとめておきます。 環境 Google Cloud Shell terraform：v1.2.7 構成図 output_test/ └── terraform ├── environments │ ├── test1 │ │ ├── main.tf │ │ └── terraform.tfvars │ ├── test2 │ │ ├── main.tf │ │ └── terraform.t
背景 こんにちは。アクセンチュアのLiです。 いきなりですが、Terraformによる複数環境の管理は難しい！！！何の話かというと、システム開発では、dev(開発環境)、staging(ステージング環境)、prod(本番環境)など、リソース構成が類似するものの、差分が存在する複数環境を同時に運用しなければならないケースが多いですよね。 そのような複数環境をTerraformを活用してどのように管理すべきかは、非常に悩ましい問題です。ネットで検索すると、様々な会社に所属する方々が、ベストプラクティスを模索されているのがよくわかります。 私は、アクセンチュア転職後にTerraformを使いはじめて、TerraformのようなInfrastructure as Codeの考え方に基づいて、複数環境の管理・運用を経験してきました。 いくつかの案件を経験する中で、時にはTerraformを一生懸命コ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
TerraformモノレポCIのセキュア化 | メルカリエンジニアリング
機械学習モデルの推論web APIサーバーの構成 [FastAPIの実装例あり] - Qiita
3CXのソフトウエア改ざんによるサプライチェーン攻撃についてまとめてみた - piyolog
Googleが「2年間アクティブでないアカウントのデータを削除する」と発表、削除は早ければ2023年6月から
TerraformをGoogle Cloudで使ってみた - G-gen Tech Blog
行動ログをRailsからBigQueryに流す仕組みの導入 - Zeals TECH BLOG
Terraform 1.5 で追加された import ブロックと HCL 自動生成オプションの組合せが便利
Terraform で GCP のサービスアカウントを管理する - Eng (なりたい)
Microsoftがデータ分析基盤「Fabric」発表、DWH・AI・ストリーム分析を統合
クラウドの基本機能を解説（AWS , Google Cloud） | DevelopersIO
Terraform で人生を浪費しないためのチュートリアル
[Firebase Extensions] Resize Images - Qiita
健康データを使ってデータ分析基盤を構築！ - Qiita
【Python】GEEで衛星画像データをダウンロードする方法【GEE】 - LabCode
GKE上にAirbyteを構築しSaaSデータ連携をリプレイスした話 - ZOZO TECH BLOG
【GCP】特定のGCSバケットに特定のユーザーしかアクセスできないようにする
Google Cloud Storage にリーダー選出を実装 | Google Cloud 公式ブログ
Terraformのmoduleとoutput | DevelopersIO
Terraformで複数環境を構築する方法 | アクセンチュア