こんにちは、GMOアドマーケティング インフラ開発部のhakumaiです。 前回の記事「元AWSエンジニアがGoogle Cloud Professional Cloud Architectを取得した話」を読んでいただいた方々、ありがとうございます。 こんにちは、GMOアドマーケティング インフラ開発部のhakumaiです。前回の記事「PostgreSQLのメモリアーキテクチャを知る」を読んでいただいた方々、ありがとうございます。先日、Google Cloud のProfessional Cloud Architect(以下PCA)を取得する機会があったので今回はその合格までの道のりについてお話しいたします。きっかけきっかけとなったのは、Google Cloudが主催している特別トレーニング「G.I.G.」に参加する機会が巡ってきたことです。GMOアドマーケティングに入社して約1年が経つと
blogではじめまして。札幌オフィス清掃員です。 COLSISでは業界一強のAWSにこだわることなく、数多のクラウドIaaSを利用しています。 これまでGCPに関しては、案件数が少ないこともあり、弊社CTOが手作業で環境を構築していたのですが、ちょっと真似できないのと、私はメイン業務が清掃であり、IT知識や技術に乏しい為、今ある環境をそのままコピーしたいなぁという事でTerraformer を用いて Terraform 化してみることにした顛末をお届けしたいと思います。 既に擦り尽くされた感のあるTerraformネタではあるのですが、ちょっと調べるだけだとAWSで利用しているという情報が多く、GCPでの利用についての情報を公開するのも無駄ではないかなと思いましてblogを書いてみる次第でございます。 お手柔らかにどうぞ。 GCP構成 弊社では大体下図のような構成をとっています。 もちろん
グーグルの追撃に焦るアマゾンAWS、「新たな戦略」を検討中（Forbes JAPAN） - Yahoo!ニュース
アマゾンのクラウド部門AWSのCEOを務めるアダム・セリプスキーは11月18日、ブルームバーグ・テレビジョンのインタビューで、同社が業界ごとのニーズに特化したサービスを計画中であることを明かし、通信やヘルスケア、自動車などの業界向けのソリューションの開発に着手したと述べた。 「自分たちが反乱軍であるかのように行動し続けることが重要だ」と、セリプスキーは述べている。「世界は大きく変化しており、当社はこれまでとは違う存在になる必要がある。過去に何をやったかは重要ではない」 セリプスキーがAWSのトップに就任する前に、同社のクラウド部門を率いていたアンディ・ジャシーは、顧客のためにサービスをカスタマイズすることを避けていた。 セリプスキーの今回の発言は、同社が戦略を再考していることを意味し、同社がこの分野の反乱軍であるグーグルクラウドに主要な案件を奪われることを懸念している可能性を示唆している。
2023 年の BigQuery 権限管理
酒とゲームとインフラとGCP 第18回 発表資料
昨今は、さまざまな要因から、複数のクラウド（IaaS）プロバイダーを活用することが多くなりました。例えば、サービスのワークロードはAWSだが、データ分析はGoogle CloudのBigQueryを使うなどです。異なるプロバイダー間でのリソースにアクセスするには、認証が必要であり、シークレットを安全に発…
tl;dr 先日GCPの料金レポートを見たら、それまで無料だったUptime Checks(死活監視サービス)の利用料金がなんと100万円を超えていて面食らった。 GCPの一部サービスが、22年10月から料金改定を行うことはニュースや公式のアナウンスでかなり事前に知っていたが、GCSやネットワーク周りのみの認識だった。 しかし実際、それまで完全無料のぶっ壊れサービスだったUptime Checksもしれっと10月から1リクエストにつき0.0003ドル(無料枠あり)の課金がなされるようになっていた。 円安時代、クラウドインフラの利用料金は開発者を悩ます大きな種の一つである。個人、公式のブログなど、料金改定をアナウンスする様々な記事をあたったが、この事実を事前にアナウンスしている記事を見つけることができなかった(要検証)ため、今後どうすればこのような事態を回避できるか検証した。（情報求む！）
※この投稿は米国時間 2019 年 9 月 25 日に Cloud Blog に 投稿されたものの抄訳です。 あらゆる業務のデータが各所に分散する今日の状況において、データ ウェアハウスの運営、管理は厄介で手間のかかる作業となりがちです。こうしたデータの急激な増加に対応してシステムをスケーリングし、日々の運用を維持することは、これまでになく大きな課題となっています。課題はそれだけではありません。データ ウェアハウスをアップグレードするときにダウンタイムをできるだけ短くする、ML や AI に向けた取り組みを支えてビジネスニーズに応えるなどの必要にも迫られています。Google Cloud のサーバーレス、エンタープライズ向けデータ ウェアハウスである BigQuery は、インフラ管理に手間を取られず分析作業に集中できるという点が評価され、数々の企業に導入されています。 BigQuery
TL;DRCloud Run で Always on CPU （プレビュー）が選択可能にコンテナインスタンス起動中は CPU がフルに利用できます利用形態によっては料金面でメリットもCloud Run とはひとことでいうと「サーバーレス コンテナ」を提供するフルマネージドコンピューティング環境であると言えます。コンテナ上のアプリケーションは、HTTPS、gRPC、WebSocket または イベントでトリガー されます。 処理した分だけ課金される サーバーレスサービスで、無料枠もありお手軽に利用を開始することができます。 また大規模なサービスにも多くの実績がある大変人気のサービスです。 Always on CPU （プレビュー）従来、Cloud Run では リクエストを受け付け処理している間のみ CPU の割当てが保証されていました。つまりレスポンスを返したあとは CPU 割当てが無効に
※2022-06-07 システムアーキテクチャの画像を修正しました。 はじめに こんにちは、MA部MA基盤ブロックの齋藤（@kyoppii13）です。 ZOZOTOWNではアプリ向けのキャンペーンやセール情報などの配信でプッシュ通知を利用しています。プッシュ通知で配信するキャンペーンはセグメントに向けたマス配信のみで、ユーザごとにパーソナライズして配信するためのパーソナライズ配信には利用していませんでした。また、パーソナライズ配信の中にはリアルタイム性が求められるキャンペーン配信も含まれます。そこで、リアルタイムキャンペーンでプッシュ通知するための配信基盤を作成しました。 本記事では、リアルタイムなプッシュ通知を実現するために作成したシステムの紹介と、安定した配信を実現するために行った工夫について紹介します。 はじめに 従来のプッシュ通知と課題 従来のプッシュ通知 問題点 導入した配信基盤
続・サーバーレス検索エンジン：巨大な静的ファイルを扱うケースについて考える | フューチャー技術ブログ
大きくは外部ストレージサービス利用と、アプリケーションにバンドルしてしまう方式と2つにわかれます。バンドルはデータだけ更新ができないデメリットはありますが、お手軽です。Lambdaはレイヤーを使えば実行プログラムに対して後から追加とかできますが、容量制限が厳しめです。 オブジェクトストレージは比較的お手軽ですが、読み込みしたいライブラリがローカルのファイルシステム前提の場合は使えません。サーバーレスの方式によっては、一度ローカルのファイルシステムに書き出してから利用とかも可能ではありますが、Cloud Runでは8GB（ただし、おそらくtmpfsで書けば書くほどメモリを消費)、Lambdaでは500MBと容量に制限があります。 より巨大な学習済みデータを扱う場合はマネージドNFSサービス系のものを使うのが最終形でしょう。ファイルのサイズ制限もほぼ限界値ですし、ローカルファイルになるのでどん
パーソルキャリアでは、AWS、GCP、Oracleなどさまざまなクラウドを活用して、さまざまなサービスを提供しています。 「すでに“マルチクラウド”環境じゃないの？」と思われた方もいらっしゃるかと思いますが、AWSやOracleを除くサービスについてはインターネット経由での接続となっていることもあり、開発時にさまざまな課題に直面しています。 そこで今回、エンジニアがより開発しやすく・サービスの成長に合わせて最適な環境を選びやすい状態を作るべく、新たなプロジェクトが始動。Equinix社の相互接続サービスを利用し、データセンターと主要クラウド間および各クラウド間の接続を行いました。 どのようなプロセスを経て構築が進められたのか、プロジェクトをけん引したデジタルテクノロジー統括部（以下、DT部）エンジニアリンググループ柿田、泉と、インフラ基盤統括部 クラウド推進グループの宮本に話を聞きました。
はじめに こんにちは、データシステム部データ基盤ブロックSREの纐纈です。 本記事では、過去に遡ってBigQueryのデータを参照する方法（以下、タイムトラベルと呼びます）をご紹介します。また、この機能はBigQueryが提供している、変更または削除されたデータにアクセスするタイムトラベルとは異なることをご了承ください。 開発背景 この機能は過去データを日次スナップショットより細かい粒度で見たい、また障害対応時に障害発生前などピンポイントで時間指定して参照したいという要望を受け、開発することになりました。 さらに、BigQueryからこの機能を作るのに役立ちそうなテーブル関数という機能がリリースされたのもきっかけとなりました。 cloud.google.com テーブル関数とは、事前にパラメータを使って定義したクエリをエイリアスのようにテーブルとして保存して、そのテーブルに対して関数を実行
はじめに ファイルをアップロードすることができる機能を持ったWebアプリケーションやクラウドサービスは世の中に多数あります。しかし、アップロードしたzipファイルを自動で展開（解凍）してくれて、中身のファイルが閲覧できる機能を持ったサービスは、あまり多くはないかもしれません。 もし、Google Cloud上で、zipファイルをアップロードし自動的に展開してGCSに配置するシステムを作るとしたら、どうやって実現すればよいでしょうか。たとえ100GBのzipファイルでも問題なく展開できるようにするには？ そんな難題に挑み、GCSにアップロードされた100GB級のzip/7zファイルを自動的に展開することができるシステムをGoで実装し、プロダクションレベルで実現しました。その技術について解説します。 背景 PLATEAU VIEWの画面 Eukaryaでは、国土交通省が主導しているProjec
Cloud FunctionsのNode.jsランタイムを使うときに毎回設定していること - yashiganiの英傑になるまで死ねない日記
Cloud Function使ってますか？簡単なサービスをシュッと作って公開するにはとても便利ですよね。筆者もよく使っています。今やGCPの中では一番手に馴染んだサービスのひとつです。 最近Cloud Functionsを使っていくつかサービスを作っていて、最初にすることが決まってきたのでご紹介します。 TypeScriptの導入 初手はTypeScriptの導入です。みなさんはTSを導入するときどうしていますか？入れるだけなら簡単なんですが、ESLintだとかPrettierだとか考え始めるとゾッとしますよね。これから楽しくプログラミングを始めるのにゾッとはしたくないので、で頭をカラッポにしてgtsを使います。gtsというのはgoogleが作っているいい感じにTypeScriptを使えるやつで、入れておくだけでそれはそれはいい感じになります。詳しくはこのエントリーを見てくれ。npx gt
AWSエンジニアから見たGCP(データ分析編)
こんにちは、GMOアドマーケティング インフラ開発部のhakumaiです。前回の記事「AWS SAPを取得したら視野が広がった話」を読んでいただいた方々、ありがとうございます。今回のテーマは「AWSエンジニアから見たGCP」第2弾として、代表的なGCPのコンピューティング系サービスについてAWSと比較し感じた点についてお話いたします。 (第1弾の記事はこちら↓)IaaSCompute EngineAWSではEC2に相当するサービス。各種インスタンスタイプや提供OSイメージ、インスタンス向けのストレージ機能、オートスケール機能など、インスタンスのアーキテ... DWH BigQuery BigQueryはフルマネージドなサーバレスDWHサービスで、Googleが開発した大規模データ向けの分散システムであるDremelを基にしておりSQLクエリを使用して大規模データの分析を行うことができる。さ
Cloud RunとIdentity-Aware ProxyとGitHub ActionsでPull RequestごとのDeployment Previewを実現する - Hatena Developer Blog
マンガ投稿チームでWebアプリケーションエンジニアをしているid:stefafafanです。この記事では、最近私がチーム向けに整備したDeployment Preview環境の事例を紹介します。 Deployment Previewとはどのようなものか？ チームとして求める要件 実現したDeployment Previewの全体像 1. DockerイメージをビルドしてArtifact RegistryにpushしてCloud Runで動かすまで GitHub Actionsでどのように実現したか 2. ロードバランサーと証明書の準備、またServerless NEGによる振り分け Certificate Managerでワイルドカード証明書を取得 Serverless NEGを用意してURL MaskでCloud Runのリビジョンタグと対応づける Identity-Aware Prox
こんにちはdelyでサーバーサイドエンジニアをしているyamanoiです この記事は「dely #2 Advent Calendar 2020」の12日目の記事です。 adventar.org adventar.org 昨日は@yochidrosさんの「KMMでiOS・Android を共通化しよう」でした。 みなさんwebサイトを作成する時にSPAを利用していますか？ SPAはユーザーに対してメリットが大きいですが、SEO観点やOGPタグのレンダリング等で SSRが避けられない場面に出くわすことがあると思います。 SSRが不要であればビルドして生成された成果物をs3等でホスティングするだけなのでデプロイや、運用が楽なのですが、 SSRをするとなるとNode jsの実行環境必要になります。 ある程度大きなプロジェクトであればECSやGKE, GAEに載せてガッチリと運用すべきだと思いますが
検索アルゴリズム改善における機械学習の活用 〜MLOpsについて〜 - ぐるなびをちょっと良くするエンジニアブログ
はじめに こんにちは。 CX部門 データ・AI戦略室 データ戦略Gの田中です。 ぐるなびには2018年に新卒として入社し、レコメンドエンジンの開発や在庫・予約関連のデータ分析等に携わってきました。 現在は主に検索結果の並び順アルゴリズムの改善を行っています。 私たちのチームではアルゴリズム自体の改善に伴い、MLOps（機械学習の運用改善）にも取り組みました。 今回は、 MLOpsとは どうやって導入したか 導入で何が得られたか についてお話ししていきたいと思います。 検索アルゴリズム改善プロジェクトについて 検索の並び順アルゴリズム改善のプロジェクトが始まったのは約2年前でした。 それまでの並び順は複雑なルールベースで決められていました。 そこで機械学習のモデルを用いてより効果的な並び順を予測し、検索結果の改善・CVRの向上を試みました。 2020年の2月からプロジェクトがスタートし、3月
初めまして、GMOアドマーケティング インフラ開発部のhakumaiです。 今年1月にHRTech系企業からGMOアドマーケティングに転職してきました。 現職では、女子向けメディア「めるも」のインフラ業務に携わり、日々業務に励んでおります。 今回は、私が転職してみて感じたインフラ技術のギャップの一部についてお話しいたします。 前職でのインフラ環境・経験について 前職のHRTech企業で触っていたインフラ環境は、ほぼAWSでした。 インフラの保守運用業務に加え、新規プロダクトのインフラアーキテクチャ設計構築を経験したこともあり、 VPCやEC2・RDS・S3・ECSなど基本的なAWSのサービスについての知識はある状態でした。 ちなみに、AWSのソリューションアーキテクトアソシエイトも取得済みです。 また、GCPは全くの未経験でした。 アドマのインフラ環境について 一部オンプレもありますが、環
Manage your database on a spreadsheet-UI and build powerful backend cloud functions, scalably without leaving your browser. Start like no-code, extend with code.
クラウド移行で明らかになった既存のセキュリティ監査の限界 モバイルゲームからEコマース、スポーツ、ヘルスケアまで多角的に事業を展開するディー・エヌ・エー（以下、DeNA）。その同社が2018年度から3カ年計画で取り組むのが、オンプレミス環境で運用する社内外サービスのパブリッククラウド全面移行だ。3年目となる2020年現在、約60の部門がクラウドを活用。Amazon Web Services（AWS）で250アカウント以上、Google Cloud Platform（GCP）で600プロジェクト以上が稼働しており、今も毎月10個のペースでアカウントやプロジェクトは増えているという。 だが、移行が加速する中で、同社セキュリティ部はある重大な問題に直面した。それは、既存のセキュリティ監査方法が新しい環境にマッチしていないという課題だ。「ITmedia Security Week 2020冬」の講
Google Cloud Shell の 10 の知っておくと便利な Tips | Google Cloud 公式ブログ
Kimihiko KitaseHead of Enterprise Marketing, Google Cloud Japan GCPの Cloud Shell がどんどん進化してます。この環境上で開発もできてしまうくらい、あらゆる事が実現できるようになってきましたが、みなさんは、全て知っているでしょうか？ここでは、知っておくと便利な 10 の Tips を取り上げ説明します。 1. Eclipse Orion ベースの UI GCP Cloud Shell がどんどん利用しやすくなっています。[エディタを立ち上げる] ボタンをクリックするとオープンソースの Eclipse Orion を利用した UI が表示されます。 2. Tmux への対応 Cloud Shell は Tmux に対応しているので、例えば、 Ctrl + b キーを押してから % キーを押すと、tmux により現在の
こんにちは、GCP Xの堀江(@RH_nage)です！ 前回の記事では、スタートアップ経営における共通の地図の1つとして取締役会資料を捉えてみることで、意外な価値がもたらされる、という話を書きました。 本記事では、それを具体的に実現するための取締役会資料の設計思想について書きたいと思います。 スタートアップの取締役会の場で、以下のような話題になったことはありませんか？ ・売上やプロダクトについてはいい議論が出来ているけど、そもそも採用の話はどうなっているんでしたっけ？ ・財務情報、KPIなどの定量情報は色々開示してくれるけど、これだけみても実際何が起こっているのか掴みずらい ・KPIのこの数字は内訳を見てみないと判断できないし、逆にこっちの数字は細かすぎて全体が掴めない抜け漏れがあったり、情報の粒度が粗すぎたり細かすぎたり、、取締役会資料に限らず、会議体の資料には日常茶飯事に起こる事象な気
データサイエンティストだけでAI開発を加速する「Light MLOps」 “エンジニア不要”のメリットとデメリット
AIや機械学習アルゴリズムの開発手法の一つである「MLOps」（エムエルオプス）という手法が、いま注目を集めている。ソフトウェア開発者と運用担当者がお互いに協力することで開発を迅速に進める取り組みや文化である「DevOps」の「ソフトウェア」の部分を「機械学習」に置き換えたものをMLOpsと称し、AIを自社開発する企業での導入が始まっている。 MLOpsでは、AI開発に関わるデータサイエンティストや機械学習エンジニアなどが連携し、AIの開発、運用を行う。そうすることで、複雑なワークフローを構築しても管理や自動化が容易になり、開発が加速化するなどの利点が生まれる。 ただし、企業の体制によってはこの実施が難しい場合もある。エンジニア側に工数が集中することもあれば、データサイエンティストが機械学習モデルの作成に集中できないこともあるからだ。 こうした課題を解決する方法として、「Light MLO
※この投稿は米国時間 2019 年 11 月 23 日に、Google Cloud blog に投稿されたものの抄訳です。 高度なスケーラビリティと構成の柔軟性を提供するコンテナ オーケストレーション プラットフォームを求めているお客様にとって、マネージド Kubernetes サービスである Google Kubernetes Engine（GKE）は優れた選択肢になります。GKE は、ステートフル アプリケーションのサポートに加えて、ネットワーキング、ストレージ、オブザーバビリティ（可観測性）のセットアップなど、コンテナ オーケストレーションのあらゆる側面を完全に制御できます。 しかしながら、お使いのアプリケーションがそうしたレベルのクラスタ構成やモニタリングを必要としない場合は、フルマネージドの Cloud Run が最適なソリューションになるかもしれません。フルマネージド Clou
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWSエンジニアから見たGCPサービス(DB/ストレージ編)
清掃員がGCP環境構築をTerraform化してみた｜Blog｜株式会社COLSIS（コルシス）
AWSだ! Google Cloudだ! Azureだ! 認証連携だ！
注意！GCPのUptime Checksの利用料金が1ヶ月で100万円増えてた話 - Qiita
BigQuery におけるコスト最適化の ベスト プラクティス | Google Cloud 公式ブログ
サーバーレス コンテナ Cloud Run に待望の新機能 Always on CPU が登場しました
リアルタイムなプッシュ通知を可能にした配信基盤の紹介 - ZOZO TECH BLOG
“真の”マルチクラウド環境の実現に向けて、プロジェクトが始動！ - techtekt
BigQueryで時を遡って過去のテーブルを再構成する - ZOZO TECH BLOG
GoとGCSで100GBの巨大zipファイルを展開する | Re:Earth Engineering
Cloud Runで手軽にサーバーレス・SSR(サーバーサイドレンダリング) - dely Tech Blog
AWSエンジニアがGCPメインの会社に転職してみた話
Rowy - Low-code backend on Google Cloud and Firebase
クラウド全面移行目前、DeNAが324のセキュリティ監査項目を8割減できた理由
価値をもたらす取締役会資料の外せない設計思想とは？｜GCP X
GKE と Cloud Run、どう使い分けるべきか | Google Cloud 公式ブログ