無事故でPostgreSQLバージョンアップ兼Cloud SQLへ移行した話
こんにちは、GMOアドマーケティング インフラ開発部のhakumaiです。 前回の記事「AWSエンジニアから見たGCPサービス(DB/ストレージ編)」を読んでいただいた方々、ありがとうございます。 こんにちは、GMOアドマーケティング インフラ開発部のhakumaiです。前回の記事「元AWSエンジニアがGoogle Cloud Professional Cloud Architectを取得した話」を読んでいただいた方々、ありがとうございます。 今回は「AWSエンジニアから見たGCP」をテーマにし、いくつかのDB/ストレージ系のGCPサービスについてAWSと比較し感じた点についてお話いたします。 オブジェクトストレージCloud StorageAWSではS3に相当するストレージサービス。ストレージクラスの概念や耐久性(イレブンナイン)、ライフサイクルルール/ACLでのアク... 今回は、GC
分析者や予算承認者の視点に立ちつつ、BigQuery Flex Slotsの適切なスロット数を定量的に決定する方法を紹介します - MonotaRO Tech Blog
こんにちは、データ基盤グループの吉本と吉田(id:syou6162)です。モノタロウでは基本的にはBigQueryを定額料金で利用していますが、利用者の多い時間帯はFlex Slotsも併用しています。本エントリでは、Flex Slotsの適切なスロット数を定量的に決めるために行なった試行錯誤について紹介します。 モノタロウでのBigQueryの利用状況 課題感 課題感1: 適切なFlex Slotsのスロット数をどう決めるか 課題感2: 過去の期間との実行時間は単純には比較できない 解決策 解決策1: 同一のクエリを定期的に動かし、実行時間をCloud Monitoringで計測 解決策2: 計測用オンデマンドのGCPプロジェクトでもクエリを実行し、理想状態との相対実行時間を知る まとめ モノタロウでのBigQueryの利用状況 モノタロウでは様々な意思決定の場面でデータ活用が行なわれて
セキュリティガードレールを作って、非エンジニアに安心してGCPを提供できるようにした話 - MonotaRO Tech Blog
はじめまして、モノタロウでGCPの管理をしている吉本です。 今回はモノタロウの社内全体でデータ基盤として使っているGCPをテーマに、大規模組織におけるクラウド運用の取り組みをお話します。 データ民主化による現場主導のデータ活用 クラウドの利用拡大に伴う課題 Cloud Asset Inventoryを利用したセキュリティガードレールの構築 まとめ データ民主化による現場主導のデータ活用 最近、データの活用・推進が様々な企業で実施されるようになってきました。 特に2018年あたりからデータ民主化と呼ばれる、職種に問わず自らデータを集計・分析して意思決定をする文化が広まるようになった結果、非エンジニアがSQLを書く事例が増えています。*1 *2 モノタロウでも職種問わずデータドリブンな意思決定を推進しています。 2017年にデータ基盤をBigQueryに構築して以降、積極的にSQLなどの研修な
Sansanの「Bill One」がマイクロサービス化に挑戦した理由 ある程度方向性が見えてきてからサービスは分割すべき
Sansan Technical Viewは「挑戦」をテーマにSansanエンジニア達の開発における取り組みや知見を発表するイベント。Bill One事業部のソフトウェアエンジニアである加藤氏がマイクロサービスへの取り組みを紹介しました。発表資料はこちら。 Bill Oneでのマイクロサービスの取り組み 加藤耕太氏：こんにちは。加藤です。今日は『新規事業でもマイクロサービスに挑戦する』というタイトルでお話しします。マイクロサービスアーキテクチャについてご存知の方は、新規サービスをマイクロサービスで作るのはアンチパターンである、という話を聞いたことがあるかもしれません。 チームが小さいにもかかわらず流行りに乗ってマイクロサービスに分割して作ってみたものの、開発の効率が落ちるだけでしたとか、独立してデプロイできない分散モノリスができあがってしまいました、のような失敗談を聞くことがあります。 新
Dockerfileの属人化による脆弱性を防げ ベストなイメージが作成可能なCloud Native Buildpacksの使い方
クラウドネイティブ技術を日本にも浸透させることを目的に開催された「CLOUDNATIVE DAYS Spring 2021 ONLINE」。ここでVMwareの伊藤氏が「脱 Dockerfile！ Cloud Native Buildpacksとkpackを使った簡単で安全なイメージ」をテーマに登壇。まずは、Dockerfileの問題点とCloud Native Buildpacksについて紹介しました。 トーク内容の目次 伊藤裕一氏（以下、伊藤）：「脱 Dockerfile！ Cloud Native Buildpacksとkpackを使った簡単で安全なイメージ」という内容について、伊藤がお話しします。 目次です。最初にDockerfileのおさらいと、問題点を話します。そして、Dockerfileを使わずにビルドを実施するCloud Native Buildpacks（CNB）の概要と
「どうやって作るか」「どうやって売るか」がないSaaSは、必ず破綻する Azure実装のベストプラクティス「The Twelve-Factor App」
日本マイクロソフトとオルターブースが、Azureを利用したクラウドアーキテクチャおよびアプリケーションアーキテクチャの設計を検討する際に必要な知識やスキルについて発表しました。株式会社オルターブース 代表取締役の小島淳氏は、「The Twelve-Factor App」の概念とAzureでの実装方法について話しました。全2回。前半は、SaaS開発における大事なことについて。 「Cloud Adoption Fram」と「Well-Architected Framework」をおさらい 小島淳氏：では、僕は「The Twelve-Factorで実践するSaaS開発」の話をしていこうと思います。 まず自己紹介です。株式会社オルターブースの代表をやっている小島と申します。よろしくお願いします。僕はMicrosoft MVPではなくて、Microsoft Regional Directorというも
KubeflowによるMLOps基盤構築から得られた知見と課題 - ZOZO TECH BLOG
はじめに こんにちは。SRE部MLOpsチームの中山（@civitaspo）です。みなさんはGWをどのように過ごされたでしょうか。私は実家に子どもたちを預けて夫婦でゆっくりする時間にしました。こんなに気軽に実家を頼りにできるのも全国在宅勤務制度のおかげで、実家がある福岡に住めているからです。「この会社に入って良かったなぁ」としみじみとした気持ちでGW明けの絶望と対峙しております。 現在、MLOpsチームでは増加するML案件への対応をスケールさせるため、Kubeflowを使ったMLOps基盤構築を進めています。本記事ではその基盤構築に至る背景とKubeflowの構築方法、および現在分かっている課題を共有します。 目次 はじめに 目次 MLOpsチームを取り巻く状況 MLOps基盤の要件 MLOps基盤技術としてのKubeflow Kubeflowの構築 ドキュメント通りにKubeflowを構
Four Keys 〜自分たちの開発レベルを定量化してイケてる DevOps チームになろう〜 | Recruit Tech Blog
はじめに この記事タイトルに興味をもって読み始めていただいている方の多くは、ソフトウェアエンジニアとしてチームで開発をしていたり、エンジニアリングマネージャーとしてチームビルディングやマネジメントをされている方なのではないかと思います。 実際、この記事を書いている加藤も、リクルートライフスタイルのデータプラットフォームグループ (以前は CETチーム と呼ばれていました) に所属するデータエンジニアとして、データ活用のための基盤開発・運用を行っている一人です。また、担当している社内データプロダクトのプロダクトマネージャーも兼任しています。 本記事では、自分の所属している DevOps チームを「イケてる DevOps チーム」にするために取り組んだ内容や気づいた点をお伝えしたいと思っています。 目次 はじめに 「イケてる」DevOps チームってなに？ Four Keys とは なぜ Fo
大規模非構造データ(Point Cloud)のリアルタイム通信 - TIER IV Tech Blog
こんにちは、ティアフォーでフロントエンド開発を担当している田上です。 ティアフォーでは先日ご紹介したSREの信頼性への取り組みの一つとして、少人数でも信頼性が高く、効率的な開発ができるように技術選定会を実施しています。 今回は、最近技術選定会で取り上げた「Point cloud data(PCD)のように大きなサイズのデータを含んだROS TopicをAWS CloudからWebブラウザに転送する」仕組みと技術選定会の様子についてお話したいと思います。 なお、今回ご紹介するようにティアフォーには新しい技術や技術的なチャレンジを良しとする雰囲気、エンジニアの興味や好奇心を満たせる環境があります。ぜひ以下のページから募集職種のリストを見ていただき、興味を持った方は応募をしていただければと思います。 herp.careers 背景 Autowareを使った自動運転車両は車両に搭載したLiDARを
Cloud Composerによるデータバリデーション ～常に正確なデータ集計を実現するために～ - ZOZO TECH BLOG
こんにちは。ECプラットフォーム部データエンジニアの遠藤です。現在、私は推薦基盤チームに所属して、データ集計基盤の運用やDMP・広告まわりのデータエンジニアリングなどに従事しています。 以前、私たちのチームではクエリ管理にLookerを導入することで、データガバナンスを効かせたデータ集計基盤を実現しました。詳細は、以前紹介したデータ集計基盤については以下の過去記事をご覧ください。 techblog.zozo.com 本記事では、データ集計基盤に「データバリデーション」の機能を加えて常に正確なデータ集計を行えるように改良する手段をお伝えします。 データバリデーションとは バリデーション導入後のデータ集計基盤 ジョブネット構築 テンプレートによる効率的なDAGの作成 DAG間の依存関係の設定方法 バリデーションDAGのタスク構成 まとめ データバリデーションとは データバリデーションとはデータ
マネーフォワード ケッサイのBigQueryリソース ラベル規約 | Money Forward Kessai TECH BLOG
BigQueryの布教活動をしていますna0です。 この文書は、BigQueryリソースに対する期待値をラベルで明示する提案を行うものです。 組織全体でデータ品質に合意するための第一歩としてBigQueryリソース ラベルを使ってみませんか。 ラベル品質のベースラインとして、マネーフォワード ケッサイで運用している規約を紹介します。 BigQueryリソース ラベル規約 この文書は、データ活用を促すためのBigQueryラベル規約を定めるものです。 提案、指摘をお願いします。 結論 BigQueryリソースに対する期待値をラベルで明示しましょう 一貫性を持ったラベル付けのために、規約を整備したのでご協力ください 課題意識 BigQueryの利用者が増えていくと、リソースに対する期待値も様々です。 期待値に合うリソースなのかを利用者自身で判断できる状態が望ましいです。 期待値がずれていると、
UiPathでSalesforceの特定の項目を更新する。
この記事は GMOアドマーケティング Advent Calendar 2020 21日目の記事です。 皆さんこんにちは。 広告配信システムの管理画面開発と全社業務自動化のRPA開発を担当してるR.Aです。 何度かUiPathの使用方法やロボット作成について執筆をおこなって来ましたが、今回はスプレッドシートのバックグランド取得・APIを使用してSalesforceのOpportunityテーブルを更新するロボットについて説明したいと思います。 社内では、営業管理・顧客管理のためSalesforceを使用していますが、フェーズ管理で更新を行う時に一つ一つログインを行い、更新を行わないといけないためとても負担となっておりました。 そこで今回はスプレッドシートで更新したいものを記述し、その情報に沿ってフェーズ（Opportunityテーブル）を更新するロボットを作成いたします。 １、スプレッドシー
Production Readyと開発プロセス改善 - OPTiM TECH BLOG
こんにちは。プラットフォーム技術戦略室SREチームの津田(@grim0h)です。 昨年の6月以来の投稿になります。 今回は、Cloud IoT OSに対して行なっているProduction Ready活動について紹介します。 ( この記事はInfra Study Meetup #3のLTで話した内容を詳細化したものです。LTの資料はこちらになります。) Cloud IoT OS とは Cloud IoT OS について簡単に紹介します。 Cloud IoT OS とは、あらゆる人に直感的なIoTデバイスの制御、データ解析、AI・クラウドサービス連携できるユーザ体験を提供するAI・IoTプラットフォームです。 マイクロサービスアーキテクチャで構成されており、コンテナ化された各サービスをKubernetesで管理しています。 www.optim.cloud Production Ready と
次世代画像形式のWebP、そしてAVIFへ。変わり続ける技術に対応するweb制作の黄金解 - ICS MEDIA
WebP（ウェッピー）という画像形式をご存知でしょうか？ 長い間、webの静止画は大部分がJPEG/GIF/PNGのいずれかでした。WebPはこのすべてを置き換えることができる次世代のフォーマットです。2020年9月リリースのiOS 14がWebPをサポートしたことで、主要なモダンブラウザーの足並みがようやく揃いました。 この記事では、新しい技術の恩恵を最大限に受けつつ、変わり続ける画像形式に対応していくための最適解を探ります。 ※ この記事の初版は2020年10月の公開ですが、各ブラウザーの対応状況等は2022年11月に最新の内容に更新しています。 SafariがWebPをサポート。フォーマット戦争ついに終結か？ 2020年現在、webで主流の画像形式はJPEG/GIF/PNGの3つでしょう。 2006年リリースのIE7で透過PNGがサポートされたことで、静止画に関しては「写真のJPEG
Zennを支える技術とサービス構成
Zennという技術情報共有サービスを作りました。有益な知見をシェアした開発者が、その見返りを得られるようなサービスにしたいと思います。気合いを入れつつも、時間をたっぷりかけて地道に育てていきます。 このページでは、Zennを支えている技術やサービスを紹介します。 フロントエンド Next.js フロントエンドにはNext.js（React）を使っています。開発当初はNuxt.jsを使っていたのですが、TypeScriptとの相性を考えてNext.jsへ移行しました。 技術情報共有サービスなので、主要な流入元はいずれ検索エンジンに落ち着くと予想しています。そのため、検索エンジンにインデックスしてもらいたいページはサーバーサイドレンダリング（SSR）しています。 動的コンテンツもキャッシュ Next.js 9.4からIncremental Static Regenerationという最高の機能
ZOZOTOWNを支えるリアルタイムデータ連携基盤 - ZOZO TECH BLOG
こんにちは、SRE部MA基盤チームの谷口（case-k）です。私達のチームでは、データ連携基盤の開発・運用をしています。 データ基盤には大きく分けて2種類あり、日次でデータ連携してるものとリアルタイムにデータ連携しているものがあります。本記事ではリアルタイムデータ連携基盤についてご紹介します。 既存のデータ連携基盤の紹介 リアルタイムデータ連携基盤の紹介 なぜ必要なのか 活用事例の紹介 データ連携の仕組みと課題 リプレイス後のリアルタイムデータ連携基盤 SQL Serverの差分データの取り方を検討 アーキテクチャ概要と処理の流れ Fluentdのプラグインを使った差分データの取得 Dataflowでメッセージの重複を排除 Dataflowで動的にBigQueryの各テーブルに出力 Pub/Subのメッセージ管理 イベントログ収集基盤 個人情報の取り扱い ビルド・デプロイ戦略 監視 データ
暮らしニスタの画像配信サーバを Oracle Cloud に移行して 3 ヶ月ちょっと経過しました - WILLGATE TECH BLOG
はじめに 今までの構成について ホスティング先の選定 ConoHa さくらのクラウド Oracle Cloud 構成の検討 サーバの構築 移行作業 移行作業を終えて おわりに はじめに こんにちは！ インフラチームの高畑です。 最近のコロナ自粛で自宅にいることが多くなっている今日この頃、みなさまはいかがお過ごしでしょうか。 私は最近 DIY にハマっていて大きめの机を作ったりして割と楽しんでいたりします。 さて、今回は全ての主婦の味方で月間総 PV 4000 万を誇る「暮らしニスタ」の画像配信サーバを Oracle Cloud へ移行して 3 ヶ月ちょっとが経過したので、どのように移行したのかなどをご紹介しようと思います。 kurashinista.jp 今までの構成について 1 年ほど前、さくらのクラウドで稼働していた暮らしニスタのサーバ群を AWS へと移行し、各種画像は EC2 に構
Google、MySQL/PostgreSQLでクロスリージョンのレプリカを実現する「cross-region replica for Cloud SQL」発表
Google、MySQL/PostgreSQLでクロスリージョンのレプリカを実現する「cross-region replica for Cloud SQL」発表 Googleは、MySQLとPostgreSQLなどのマネージドデータベースサービスを提供する「Google Cloud SQL」で、リージョンをまたいだレプリケーションを実現する新機能「cross-region replica for Cloud SQL」を発表しました。 cross-region replica for Cloud SQLは、マスターデータベースの内容を自動的に別のリージョンのデータベースに継続的に読み取り専用で複製する機能。Cloud SQLのMySQLとPostgreSQLで利用可能です。 これにより、万が一マスターデータベースのリージョンが丸ごと失われたとしても、別のリージョンに複製したデータは失われず、
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GCP連載2021を始めます | フューチャー技術ブログ
クラウドのシステム運用技術に機械学習を応用する研究 / CLOUD AI
