はじめに 下の画像を見てください。これはとあるアプリの Firebase Console の App Check の Cloud Firestore のモニタリング画面です。この画面で 不正リクエストがどのくらいあるかが確認できます。 え？小さくてよくわかりませんか？もう少し拡大してみましょう。 ↓拡大してみました。不正リクエストは 2% ありました。30日間で不正リクエストは57万回あったということです！ さらに Authentication は 18% も不正リクエストがありました！ これは、どうにかしないといけない。。。ということで、最近 Firebase App Check を個人開発した Flutter アプリに導入したので、導入手順について紹介します！ コードの修正は簡単ですが、Firebase 側の設定がなかなか難解ですし、公式サイト は手順がひとつにまとまっていなくてわかり
広告プロダクトにおけるデータ基盤の民主化 | CyberAgent Developers Blog
協業リテールメディアdivでデータエンジニアをしている千葉です。 本日は、広告プロダクトにおけるデータ基盤を効率よく活用することを目指したこの1年間を振り返って、データ基盤から広告プロダクトの価値を高めるための試行錯誤をご紹介します。 目次 データ基盤の構成紹介 データ基盤の活用および運用方法 手動作業での事故が起きないCI/CD構築 実験ができる環境の提供 コストの確認および監視 定期的な棚卸し データ基盤の民主化をした結果と課題 まとめ データ基盤の構成紹介 以前弊社のイベントに登壇した際の設計思想をもとに構築をしています。 このデータ基盤の利用目的としては、各広告媒体の配信結果を分析するための基盤となっています。 基盤の構成としてはStorageにRaw Dataを格納し、Datalake、DWH，Datamartの3層構造で基盤を構築しています。 主に使用しているツール/サービスと
はじめに こんにちは、MLデータ部データ基盤ブロックの仲地です。初めてのテックブログへの投稿になります。主に業務ではデータ基盤の開発・運用を担当しています。 データ基盤ブロックではELTツールであるAirbyteを導入し、一部のデータ転送パイプラインをリプレイスしました。本記事ではそのAirbyteの構築方法と運用するにあたって工夫した点を紹介します。 目次 はじめに 目次 背景 Airbyte OSS Connectorの豊富さ ETLではなくEL(T) コミュニティが活発 GCP上でAirbyteを構築 全体構成 Terraform Kubernetesのマニフェスト KubernetesのSecret Kubernetesのデプロイ 工夫した点 GKE上での構築 Airflowによるスケジュール実行 MinIOを用いない PVCのAccessModeの変更 ServiceAccoun
これは何？ Flutter製iOSアプリでCrashlyticsに頭を悩まされ夜も眠れない人向けの記事です。 Flutter engineのコードでクラッシュが起きている場合の解析は一工夫いりますという話です。 TL;DR Read this. あらすじ 自分はもう長いこと業務でFlutterでiOS向けにアプリを展開していますが、ずっと前からある問題に悩まされていました。 Flutter内部でクラッシュが起きたとき、Crashlyticsで詳細がわからない 要するにこんな感じです。 シンボルが不足しています これでは解析もクソもありません。原因が何もわからん。 この現象は、通常ドキュメントにも書いてある dSYM ファイルをアップロードすることで回避できます。 しかし、この操作を行ってもなお詳細がわからないことがあります。 上の画像をよく見てみると、トレースの番号の隣に Flutter
![[iOS] Flutter engineのクラッシュをCrashlyticsで解析する](https://cdn-ak-scissors.b.st-hatena.com/image/square/68a143c359764069866b5a3851133204b684aaea/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--hF0amjJR--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3A%25255BiOS%25255D%252520Flutter%252520engine%2525E3%252581%2525AE%2525E3%252582%2525AF%2525E3%252583%2525A9%2525E3%252583%252583%2525E3%252582%2525B7%2525E3%252583%2525A5%2525E3%252582%252592Crashlytics%2525E3%252581%2525A7%2525E8%2525A7%2525A3%2525E6%25259E%252590%2525E3%252581%252599%2525E3%252582%25258B%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_34%3AKurogoma4D%252Cx_220%252Cy_108%2Fbo_3px_solid_rgb%3Ad6e3ed%252Cg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyL2M1YTU0ZjZiM2MuanBlZw%3D%3D%252Cr_20%252Cw_90%252Cx_92%252Cy_102%2Fco_rgb%3A6e7b85%252Cg_south_west%252Cl_text%3Anotosansjp-medium.otf_30%3ASun%25252A%252520Developers%252Cx_220%252Cy_160%2Fbo_4px_solid_white%252Cg_south_west%252Ch_50%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyLzE5YjY3M2ZmYTMuanBlZw%3D%3D%252Cr_max%252Cw_50%252Cx_139%252Cy_84%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)
ユーザー向けプロダクトだけが全てじゃない、テクノロジーで事業にレバレッジを掛けるプレックスのコーポレートエンジニア - PLEX Product Team Blog
eye-catch こんにちは、プレックス コーポレートエンジニアチームの石塚です。 はじめに みなさんは「コーポレートエンジニア」という単語を聞いたことがあるでしょうか？ 情シスや社内SEのようなイメージを持たれる方が多いかと思いますが、わざわざ別の単語を用いて表現しているからには、若干違うニュアンスが込められているはずです。 プレックスにおいても2022年中頃からコーポレートエンジニアというポジションをオープンし、採用を進めてきました。 その際、候補者やエージェントの方にコーポレートエンジニアのニュアンスが間違って伝わっていることが少なからずあり、今回のエントリーを書いてみようと思いました。 本ブログでは、他社のコーポレートエンジニアの事例を見ていった後に、プレックスにおけるコーポレートエンジニアの定義や実際に直近で取り組んでいる課題、技術スタックをご紹介します。 はじめに 他社のコー
Data Security refers to practices employed in securing data from unauthorized tampering or corruption in an IT ecosystem. The entire digital world is run on data, and hence the statement, “data” is the new oil.” Data is in files, databases, accounts, and networks in forms like emails, passwords, texts, names, IDs, or electronic cash. We need to ensure the security of all these items from threat or
GCP入門［第3回］ストレージとデータベース
GCPのストレージサービスは、前回取り上げた、仮想マシンの永続ディスクに加え、「Google Cloud Storage（以下、Cloud Storage）」がある。データベース（DB）のサービスとしては、「Google Cloud Bigtable（以下、Cloud Bigtable）」「Google Cloud Datastore（以下、Cloud Datastore）」「Google Cloud SQL（以下、Cloud SQL）」「Google Cloud Spanner（以下、Cloud Spanner）」の4種がある（表1）。 最初に、仮想マシンの永続ディスクを除いて、これらのサービスを簡単に説明する。 Cloud Storageは、Amazon S3相当のオブジェクトストレージである。S3との違いは、独自のCDN（Content Delivery Network）機能（AWS
1. はじめに こんにちは、クラウドエース データソリューション部所属の泉澤です。 クラウドエースの IT エンジニアリングを担うシステム統括部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータソリューション部です。 データソリューション部では活動の一環として、毎週 Google Cloud の新規リリースを調査・発表し、データ領域のプロダクトのキャッチアップをしています。その中でも重要と考えるリリースを本ページ含め記事として公開しています。 2. 概要 今回紹介する リリース notes は、Vertex AI Studio で PaLM2 (text-bison と chat-bison) に対して Grounding が GUI で可能になったことについてです（パブリックプレビュー）。 このリリースは 2023年12月5日に
公開repoでのActionsスペック増強、tfのテストにモックが追加など｜Productivity Weekly(2024-01-24号)
こんにちは。サイボウズ株式会社 生産性向上チームの平木場です。 僕たち生産性向上チームは毎週水曜日に Productivity Weekly という「1 週間の間に発見された開発者の生産性向上に関するネタを共有する会」を社内で開催しています。 本記事はその時のネタをまとめたものです。 2023-01-25 号から、基本的に隔週で連載することとしました。たまに単独でも投稿するかもしれません。 今週は 2024-01-24 単独号です。 今回が第 140 回目です。過去の記事はこちら。 news 📺 GitHub-hosted runners: Double the power for open source - The GitHub Blog GitHub がホストしている GitHub Actions ランナーについて、パブリックリポジトリに限り Linux と Windows でそれぞ
【初心者向け】１時間で自分だけのAIチャットアプリを作ろう！〜クラウドデプロイ編〜 | TC3株式会社｜GIG INNOVATED.
こんにちは！TC3のAIチームの梅本(@mumeco_ml)です。LLM Advent Calendar 2023の25日目の記事です。 前回作成したLLMアプリではローカルLLMを用いてチャットをする特徴を実装しました。ここまでの内容でみなさんは自身の環境でAIチャットアプリを動作させることが出来たと思います。しかし、作ったアプリは知人や家族に自慢したいものですよね？ということで今回はクラウド上にアプリをデプロイしどこからでもアクセスできるようにしたいと思います。コード類はGithubリポジトリにもアップロードしているので、コーディングが面倒な方はこちらも活用ください。 はじめに Streamlitアプリを公開する場合、実はStreamlit Cloudというプラットフォームを使うと一瞬でデプロイが出来てしまいます。それだけであれば公式のドキュメントを見れば一瞬で終わってしまうので、今回
At the end of Q3 2023, Backblaze was monitoring 263,992 hard disk drives (HDDs) and solid state drives (SSDs) in our data centers around the world. Of that number, 4,459 are boot drives, with 3,242 being SSDs and 1,217 being HDDs. The failure rates for the SSDs are analyzed in the SSD Edition: 2023 Drive Stats review. That leaves us with 259,533 HDDs that we’ll focus on in this report. We’ll revie
概要 AutoML Vision Apache Hadoop BigTable 何百万台ものコンピュータのCPUとメモリの使用量を時系列で保存したい BigTableのクラスタサイズを増やすタイミングが知りたい パフォーマンスのボトルネックがある場合 Bigtable インスタンスを作成した後にストレージを変更したい 行キーのベストプラクティス バッチ分析ワークロードを他のアプリケーションから分離する BigQuery バックアップ パフォーマンス BigQueryのレガシーSQL TABLE_DATE_RANGE関数 非正規化 リージョン/マルチリージョン CSV読み込み時の注意 クォータを超過することなく大規模なレコードの更新する メトリクス BigQuery Reservationsによる優先度付け Cloud Pub/Sub Cloud Spanner セカンダリインデックス Cl
G-gen の杉村です。当記事は BigQuery について徹底的に解説する記事の応用編です。BigQuery に初めて触れる方はまずは基本編の記事を、ぜひご参照ください。 基本編の記事 外部データ連携の概要図 外部テーブル 外部テーブルとは 用途 Cloud Storage 外部テーブル Google ドライブ外部テーブル Bigtable 外部テーブル 連携クエリ (Federated query) BigQuery Omni BigQuery Omni とは 対応サービス 注意点 BigLake BigLake とは データソース 通常の外部テーブルとの違い 利点 権限の持たせ方 BigQuery コネクタ 非構造化データの分析 オブジェクトテーブル 実現できること アクセス制御 チューニング クエリプラン(実行計画) クエリ・テーブルの最適化 主キー制約・外部キー制約 同時実行とリ
Eventarc を用いたイベントドリブンアーキテクチャ | CyberAgent Developers Blog
はじめに こんにちは！ FANTECH 本部 所属の川口です。FANTECH本部 では技術発信を強化中です！ https://developers.cyberagent.co.jp/blog/archives/tag/fantech/ 近年、マイクロサービスやサーバーレスでクラウドネイティブなアプリケーションの開発において、イベントドリブンアーキテクチャ（EDA）が注目を集めています。 EDA は、システムの疎結合性や拡張性、耐障害性に優れたアーキテクチャの一つです。 今回は、その EDA を実現するための技術として CloudEvents によるイベントデータの標準化、Google Cloud の Eventarc によるイベント配信の仕組みから、EDA の概要から実際の活用方法までをお話します。 イベントドリブンアーキテクチャ（EDA） イベントドリブンアーキテクチャ（EDA） とは、
ブラックマジックデザインがカメラアプリのチュートリアルを公開
カメラと一緒にプログラムやアプリを使って撮影する人にとって、学習曲線は決して止まることはない。私はPhotoshopを20年以上使っているが、いまだにすべてを知ることはできないと感じている。つい最近、Blackmagic CameraアプリをiPhoneにダウンロードして、どんなことができるのか試してみたばかりだが、すでに少し圧倒されている感じだ。IBC 2023で初めてこの新しいアプリを見たが、それが何をするものなのか、また何ができるのか見当はついたが、何から始めたら良いのだろうか？ チュートリアルから始めるのが良いだろうが、Blackmagicは2つの公式チュートリアルを提供している。Blackmagic Cameraを使い始めるには、Apple App Storeからアプリをダウンロードする方法、iPhoneがアプリと互換性があることを確認する方法、携帯電話のカメラ、マイク、フォトラ
資生堂: BigQuery を用いたデータ分析基盤でコスト 8 割減、処理時間 9 割減を達成、AI / MLを含めたデータ活用を活性化 | Google Cloud 公式ブログ
資生堂: BigQuery を用いたデータ分析基盤でコスト 8 割減、処理時間 9 割減を達成、AI / MLを含めたデータ活用を活性化 スキンケア、メイクアップ分野で圧倒的な支持を集め、国内トップシェアの化粧品メーカーとして長らく業界をけん引し続けてきた資生堂ジャパン株式会社（以下、資生堂）が、同社 DX の一環として Google Cloud 上にデータ分析基盤を構築。その背景と狙いについて、同社データ アナリティクス領域をリードする永盛達也氏と、そのパートナーとしてデータ分析基盤構築に携わった株式会社ブレインパッド（以下、ブレインパッド）の西尾陽子氏に伺いました。 利用しているサービス: BigQuery, Cloud Storage, Cloud Composer, Vertex AI など 利用しているソリューション: インフラストラクチャのモダナイゼーション, Analytic
Author: Andrei Kvapil (Ænix) At Ænix, we have a deep affection for Kubernetes and dream that all modern technologies will soon start utilizing its remarkable patterns. Have you ever thought about building your own cloud? I bet you have. But is it possible to do this using only modern technologies and approaches, without leaving the cozy Kubernetes ecosystem? Our experience in developing Cozystack
個人開発7年目、現在までの失敗を振り返ってみる。
学生時代から個人開発を続けていて、気づいたら7年目になってました。 これだけ続けてますが、個人開発は常に赤字で、なにも成功してません。 これは、法人成りしたフリーランスエンジニアの過去を振り返る記事です。 自己紹介 僕は「nir」というハンドルネームでインターネットに生息してます。 X（Twitter）を見ればある程度の人柄は伝わると思います。 日々くだらないことや、役に立たないことばかり呟いてます。 今までに作ったサービスたち VOICE DB (2018年〜2020年) ユーザー投稿型のレビューサイトです。 元々ブログを運営していたこともあって「みんなが投稿したら儲かるのでは？？」という浅い考えで企画しました。 学生時代に友人に協力してもらいながらリリースしたサービスで、このサービスの開発と同時にGitHubを使い始めました。 自分で購入した商品のレビューを投稿したり、メーカー様から提
G-gen の佐々木です。当記事では Google Cloud のサービスではなく、同じく Google によって提供されている Firebase について解説していきます。 Firebase とは Firebase と Google Cloud の共通点・相違点 共通点 プロダクト プロジェクト 料金の請求 アクセス制御 利用規約 ユーザーアカウント 相違点 Firebase プロダクトの概要 Build プロダクト Release & Monitor プロダクト Engage プロダクト 料金 権限管理 Built with Firebase Firebase とは Firebase は Firebase, Inc. が 2011 年に開発し、2014 年に Google が買収した モバイル・Web アプリケーション開発プラットフォームです。 2022 年 9 月 現在、Google
NTTドコモ: Google Cloud 上にマイクロサービス共通基盤『MACARON』を構築し、迅速なサービス開発に貢献 | Google Cloud 公式ブログ
NTTドコモ: Google Cloud 上にマイクロサービス共通基盤『MACARON』を構築し、迅速なサービス開発に貢献 格安料金プランの登場などによって、一段と競争が激化しつつある携帯電話業界。このような中、株式会社NTTドコモ（以下、NTTドコモ）は、顧客向けサービスから、社内および店舗向けサービスまで、アプリケーションの開発・運用を効率化、標準化するためのプラットフォーム『MACARON（マカロン）』を Google Cloud 上に立ち上げました。その狙いについて、『MACARON』の開発を主導した、同社情報システム部の皆さんに話を伺いました。 利用しているサービス: Google Kubernetes Engine（GKE）, Cloud Storage, Cloud CDN, Apigee, Cloud Armor, Anthos Service Mesh, Cloud In
Jamstackで静的サイトが生成されるしくみをエンジニア以外の方にも伝わるように構成要素からわかりやすく説明してみた｜渡邊賢二
この記事は「株式会社メンバーズ Jamstack研究会主催 Advent Calendar 2023」の17日目の記事です。 はじめにこんにちは、メンバーズルーツカンパニーの渡邊です。 このAdvent Calendarに参加している他の記事でも何度も紹介していますが、改めてJamstackの特徴を簡潔に説明すると「事前に生成した静的HTMLを配信するフロントエンドとバックエンドが分離されたアーキテクチャ」となります。 Jamstack構成のサイトを作る場合、NetlifyやVercelなどJamstackに対応したホスティングサービスを利用すると、Jamstack構成の詳細を知らなくても手軽にJamstackサイトを公開することができます。 しかし、業務でJamstack構成のサイトを作る場合、クライアント企業の都合でNetlifyやVercelなど海外SaaSが使えないなど、利用できる
こんにちは。データアナリティクス事業本部の根本です。TerraformでGoogle CloudのCloud Storageのバケットを作ってみました。 この記事の対象者 TerraformでCloud Storageのバケットを作成したいひと 前提条件 Google CloudでCloud Storage、Cloud Shellが使える環境があること 検証の全体像 TerraformをCloud Shellで動かして、Cloud Storageのバケットを作成する やってみる！ まずは環境確認 Cloud ShellでTerraformは使用することができます。まずはCloud ShellをGoogle Cloudのコンソールから開いてください。 一応、Terraformが入っているかTerraformのバージョン確認コマンドで確認します。 terraform version コマンドを
デル・テクノロジーズ、グローバル エンタープライズ企業のAI導入加速を支援するNVIDIAベースの完全なAIファクトリーソリューションを提供 | Dell Technologies
当資料は、2024年3月18日に米国で発表されたプレスリリースの抄訳版です。 米国リリース原文：https://www.dell.com/en-us/dt/corporate/newsroom/announcements/detailpage.press-releases~usa~2024~03~20240318-dell-offers-complete-nvidia-powered-ai-factory-solutions-to-help-global-enterprises-accelerate-ai-adoption.htm#/filter-on/Country:en-us ニュースの概要 • 「Dell AI Factory with NVIDIA」は、エンタープライズ企業がAIへの投資効果を迅速に引き出すことを可能にする業界初の包括的なソリューション • 「Dell Genera
「Keenai」サービス終了の注目2018年4月に、以前に発表されたリコーが子会社を復元すると。これは、事業拡張の収益性と調査を高めるために転送された。 私達が経営資源および新しい戦略の最適化を追跡すると、私達は、ビジネス〈役立つスケールなどの〉の様々な観点を調査し 用法戦略 、収益性およびKeenaiサービスを提供し続けることが難しいと決めた。決定のためにシャットダウンにサービスを取り、私達のユーザー Keenaiインフラストラクチャーにおいてそれらが格納したデータをダウンロードする に十分な時間を提供するために。 Keenaiサービスは2018年11月30日に終わる。私達はどのような不便についても私達の顧客に謝り、あなたの親切な理解の真価を認める。2018年12月1日の後に、あなたは、あなたのKeenaiアカウントにアップロードされたデータにアクセスすることができない。どうぞ、必ず20
Colab EnterpriseとVertex AI Workbenchを徹底解説 - G-gen Tech Blog
G-gen の佐々木です。当記事では、Google Cloud でマネージドな Jupyter ノートブック環境を利用できる、2種類のノートブックソリューション（Colab Enterprise / Vertex AI Workbench）を解説します。また、Colab Enterprise と Vertex AI Workbench の違いや、選定の基準についても簡単にご紹介します。 Colaboratory と Google Cloud のノートブックソリューション Colaboratory Google Cloud のノートブックソリューション Colab Enterprise Colab Enterprise とは ランタイムとランタイムテンプレート ランタイム ランタイムテンプレート ランタイムテンプレートの共有 デフォルトのランタイム アイドルシャットダウン IAM によるアク
Google AI の Gemini から Vertex AI に移行する | Vertex AI の生成 AI | Google Cloud
フィードバックを送信 Google AI の Gemini から Vertex AI に移行する コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。 Gemini を初めて使用する場合は、クイックスタートを利用すると、すぐに使用を開始できます。 一方、生成 AI のソリューションが成熟してきたら、エンドツーエンドで生成 AI のアプリケーションやソリューションを構築し、デプロイするためのプラットフォームが必要になることがあります。Google Cloud は、アプリ開発の初期段階からアプリのデプロイ、アプリのホスティング、複雑なデータの大規模な管理まで、デベロッパーが生成 AI の力を活用できるツールの包括的なエコシステムを提供します。 Google Cloud の Vertex AI Platform には、効率と信頼性のために AI モデルの使用、デプロイ
Rust vs. Go: Learning Dependency Injection - Qiita
Rust Advent Calendar 2023 の投稿です。 自己紹介です。現職は、小売の買い物体験向上に取り組む Software Engineer です。 この投稿では、本業（SRE）のかたわらで取り組む Backend について書きます。 題材は、Rust 初心者として考える Production Code です。 Production Code において、main.rs1 だけで構成することは、通常ないと思います。 従って、Architecture が必要です。 ここ数年、DDD2 や Clean Architecture3 など、色々な設計手法が話題です。 僕個人の意見として、Architecture は、テスト可能なコードであれば良いと思います。 最低限、自動テストを可能にするには、抽象化が必要になります。 例えば、Database や 外部 API など、state を持
Scheduler + Pub/Sub + Cloud Functions を Terraform でイイ感じに管理する
※1: 実際には、Cloud BuildからCloud Functionsにデプロイされますが、この辺りの構築プロセスはユーザーが意識する必要のない作りになっています。 Cloud Functionsのデプロイにはいくつか手法がありますが、代表的な「Cloud Storageからデプロイ」の場合、実際には以下のプロセスで動作をしています。 Cloud Storageにあるzipファイルを取得する zipファイルを解凍して、Cloud Build上でビルド -> コンテナイメージを作成する 2.で作成したコンテナイメージを、Artifact Registryにpushして保存する Cloud Functionsは、3.で保存したコンテナイメージをpullして実行する ただ、これらの過程はTerraformコードにも登場しないので、今回の焦点に絞って「Cloud Storage -> Clou
Cloud External Key Manager | Cloud KMS ドキュメント | Google Cloud
フィードバックを送信 Cloud External Key Manager コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。 このトピックでは、Cloud External Key Manager（Cloud EKM）の概要を説明します。 用語 外部鍵マネージャー（EKM） Google Cloud の外部で使用する鍵マネージャー。 Cloud External Key Manager（Cloud EKM） サポートされている EKM で管理されている外部鍵を使用するための Google Cloud サービス。 インターネット経由での Cloud EKM Google Cloud がインターネット経由で外部鍵マネージャーと通信する任意のバージョンの Cloud EKM。 VPC 経由での Cloud EKM Google Cloud が Virtual Pr
Firebaseセキュリティルール｜npaka
「Firebase」の「Firebaseセキュリティルール」についてまとめました。 1. Firebaseセキュリティルール「Firebase」では、「Firebase セキュリティルール」を使用して、「Cloud Firestore」「Cloud Storage」のデータを保護します。ユーザーがアクセスできるデータを定義します。 2. 本番モードとテストモード「Cloud Firestore」「Cloud Storage」ではストレージ構築時にセキュリティルールとして、「本番モード」と「テストモード」の選択を要求されます。 「本番モード」は全ユーザーアクセス不可、「テストモード」は全ユーザーアクセス可となります。 ・本番モード - 全ユーザーアクセス不可 rules_version = '2'; service cloud.firestore { match /databases/{da
はじめに BitStarのCTOの山下です。 BitStarではYouTube, TikTok, Instagram, X (旧Twitter)等の各SNSプラットフォームのデータを構築しています。 YouTubeでは総登録者数230億人、チャンネル数300万件、動画8,000万件、コメント2億件からChatGPTや機械学習用いてデータ提供をしています。 同様にTikTok 670億・Instagram 800億・X (旧Twitter) 56億 計約1,800億フォロワー分のデータを収集し分析した情報を提供しています。 もちろん地球の人口は約80億人なので、地球人口ベースで1人が22フォローしている計算になります。 インターネット人口は約50億人ともいわれているので1人が36フォローしている計算にもなります。 そんな日々フォロワーが増加する世界を補足し続けているBitStarのインフラ構
調査会社のIDCは2023年7月5日（米国時間）、2023年第1四半期の専用、共有クラウドコンピュートおよびストレージインフラハードウェア支出動向を明らかにした。 IDCは専用クラウドと共有クラウドを以下のように定義している。 専用クラウド：1つの企業または企業グループ内で共有されるクラウドを指す。クラウドサービスプロバイダーの施設に展開される場合と、顧客の施設に展開される場合がある 共有クラウド：パブリッククラウドサービス（企業のデータセンターに展開されたITインフラの拡張や置き換えのために設計されたさまざまなサービスを含む）や、各種デジタルサービス（メディア／コンテンツ配信、共有、検索、ソーシャルメディア、電子商取引など）に使われるクラウドを指す。相互に無関係な企業や消費者の間で共有される 増加するクラウドインフラ支出 関連記事 国内クラウド市場の成長が大幅に鈍化、でも「今後の期待大」
The Modernization Imperative: シフトレフトはもうやめて、シフトダウンに移行する | Google Cloud 公式ブログ
The Modernization Imperative: シフトレフトはもうやめて、シフトダウンに移行する ※この投稿は米国時間 2023 年 6 月 9 日に、Google Cloud blog に投稿されたものの抄訳です。 本日の投稿は「The Modernization Imperative」シリーズ、略して「TMI」の第 1 回です。この略語は私たちのミッション、つまりテクノロジーに関するあらゆる情報を、熱意を込めて過度に共有すること（TMI: Too Much Information）を完璧に表しています。Google Cloud のリーダーたちが執筆するこのコラムでは、ソフトウェア開発、分散システム、サーバーレス、マイクロサービス、DevOps と SRE、プラットフォーム運用など、コラムニストの想像力を刺激する最新の流行語について取り上げます。今回のコラムニストは、Goog
コールドスタンバイ
コールドスタンバイの概要 コールドスタンバイは、システムの可用性を向上させるために用いられる。システム障害が発生した場合、コールドスタンバイシステムに切り替えることで、サービスの停止時間を最小限に抑えることができる。 コールドスタンバイの方式 コールドスタンバイには、以下の2つの方式がある。 手動切り替え方式 手動切り替え方式は、障害発生時に手動でコールドスタンバイシステムに切り替える方式である。具体的には、以下の手順で切り替えを行う。 障害発生を検知する コールドスタンバイシステムの電源を投入する 必要に応じて、コールドスタンバイシステムの設定を変更する ネットワークの切り替えを行う サービスを起動する 手動切り替え方式は、構築コストが低いというメリットがある。しかし、切り替えに時間がかかるというデメリットがある。また、切り替え作業を誤ると、サービスに障害が発生する可能性もある。 自動切
こんにちは！株式会社メテリクスです。 Tencent Cloud は日本の知名度やシェアはまだまだこれからですが、中国や韓国での利用実績は多く、大手クラウドベンダーに引けを取らないサービス展開がなされています。 このエントリでは、Tencent Cloud の主要サービス一覧をお伝えするために、国内で知名度やシェアが高い AWS とサービスメニューの対比を一覧化します。 エントリをまとめるにあたり、次のドキュメントを参考にしました。 Tencent Cloud ブログ AWS ブログ ■ はじめに以下の5つのカテゴリ別に主要なサービスをご紹介します。 1, Computing 2, Storage 3, Content Delivery 4, Data 5, Management 各項目に対し、 ・Tencent Cloud サービス名 ・AWS の類似サービス名 を記載します。 ■ サー
Node.jsでCloud Storageのファイルをストリーミングしてffmpegに渡したかったけどffmpegはFIFO非対応っぽい - Lambdaカクテル
所用で、Cloud Storageにある動画ファイルをopus(音声)形式にエンコードしたかった(Node.jsとffmpegで)。 動画ファイルがデカいのと、生成されるopusは小さいので、いちいちストレージに保存するのが手間だと考えた。そこで、間にmkfifoして作った名前付きパイプを挟んで効率化しようと思ったメモ。 ちなみにうまく動かなかったので識者の方がいらしたらコッソリ教えてください。 Cloud Storage Cloud StorageというのはGoogleのサービス。要するにGoogle版のS3。これのNode.js版SDKにはfile.createReadStreamというメソッドがあり、バケットのファイルの中身をストリーミングしてReadable形式で流してくれる。 これを使うと、例えばfs.createWritableStreamなどにpipeさせることで、ファイルに
自己紹介 始めまして。今年度、株式会社リクルートにデータスペシャリストとして新卒入社しました澤邉裕紀、山根大輝と申します。 入社同期で複数本投稿予定の Recruit Data Blog の第3回目になります。 データスペシャリストとして入社すると、住まい、飲食などの事業領域ごとのチームに本配属される前に、同期全員でBootCampと呼ばれる研修を受けることになります。 入社してまずこのBootCampを走り切ることで、データ専門人材としての基礎を身につけることができます。 BootCampのコンテンツは様々ありますが、今回はそのなかでもGoogle Cloud Platform(以下、GCP)を題材としてクラウド、インフラ、CI/CDツールについて学ぶGCPハッカソンについてレポートします。 全体の流れ GCPハンズオン GCPハッカソン 負荷対策やってみた 開発環境を構築してみた まと
オブジェクト保持ロックにより Cloud Storage データのサイバー レジリエンスを強化 | Google Cloud 公式ブログ
※この投稿は米国時間 2024 年 4 月 5 日に、Google Cloud blog に投稿されたものの抄訳です。 データの保持は、金融サービス、ヘルスケア、行政機関など、規制の厳しい業界のお客様には特に重要です。こうしたお客様のデータ保持のニーズを満たすため、書き込みが 1 回で何度でも読み取りできる（WORM）ストレージを使用することで、データを変更できないようにして、FINRA、SEC、CFTC などの管理組織によって定められた業界の規制を遵守します。WORM ストレージはまた、データの変更や削除を防止し、偶発的なデータ損失、データ侵害、不正な改変のリスクを軽減することで、機密データを取り扱う組織のセキュリティを強化することができます。 Cloud Storage の新しいオブジェクト保持ロックにより、WORM ストレージの構成が簡単に行えるようになり、規制基準の遵守、セキュリテ
Cloud Load Balancer × Cloud Runの3-Tier構成で構築してみた｜Hide Yuda
今回は、Google Cloud（通称GCP）の「Cloud Load Balancer」「Cloud Storage」「Cloud Run 」「Cloud SQL」を使ってWebアプリケーションを構築してみました。 設計は、以下のGoogle Cloud Japanさんの記事内で紹介されている「Web アプリケーション + API の 3-Tier 構成 (SPA)」を参考にしました。 SPA (Single Page Application) がフロントになり、バックエンドの API サーバーとして Cloud Run を使用するアーキテクチャです。SPA は Next.js > や Vue.js、Angular などを想定していただければ良いかと思います。 SPA は静的コンテンツになるので Cloud Storage に置き、Cloud Storage と Cloud Run を
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【Flutter】App Check を導入して Firebase を守ろう！【2023年9月】
GKE上にAirbyteを構築しSaaSデータ連携をリプレイスした話 - ZOZO TECH BLOG
[iOS] Flutter engineのクラッシュをCrashlyticsで解析する
Data Security: Importance, Spheres, and Best Practices
Vertex AI Studio で PaLM2 に対する Grounding が可能になりました
Backblaze Drive Stats for Q3 2023
GCP PDE模擬試験のメモ - Atsushi2022の日記
BigQueryを徹底解説！(応用編) - G-gen Tech Blog
DIY: Create Your Own Cloud with Kubernetes (Part 1)
Firebase を徹底解説！ - G-gen Tech Blog
TerraformでCloud Storageのバケットを作成してみた | DevelopersIO
写真保管クラウド「keenai」サービス終了にゃ（涙）！
1,800億フォロワーを分析するBitStarのインフラ構成 - Qiita
IDCのクラウド支出動向調査、インフレ下で支出額は増加 長期見通しは？
Tencent Cloud 主要サービスを AWS と比較してみた｜メテリクスnote
データスペシャリストコース新人研修レポート（2023年）GCPハッカソン