並び順

ブックマーク数

期間指定

  • から
  • まで

241 - 280 件 / 2094件

新着順 人気順

gcpの検索結果241 - 280 件 / 2094件

  • Diagrams - システム構成図をコードで書く

    MOONGIFTはオープンソース・ソフトウェアを紹介するブログです。2021年07月16日で更新停止しました 開発者であっても図を描く機会は多いです。仕様書のようなドキュメントであったり、システム構成図の中に書いたりといった具合です。ドローソフトウェアを使ったり、スライド作成ソフトウェアを使ったりしまうが、操作やメンテナンスが面倒でストレスです。 そこで使ってみたいのがDiagramsです。開発者らしく、コードで図を描けます。 Diagramsの使い方 コードで書いた内容で図が書けます。 シンプルな例。 k8sなどの構成にも使えます。 GCP用。 DiagramsはAWS、GCP、k8s、AzureそしてAlibaba Cloud向けにアイコンが用意されています。これらのサービスを作ったシステム構成を考えた時に、Diagramsを使えばメンテナンスもしやすい図が描けます。 Diagrams

      Diagrams - システム構成図をコードで書く
    • Zero Touch Productionへの移行 | メルカリエンジニアリング

      ※本記事は2022年1月26日に公開された記事の翻訳版です。 筆者:Dylan Lau (@aidiruu), Platform DXチーム Zero Touch Production (ZTP)は、本番環境に加えられるすべての変更が、自動化、安全なプロキシ、または監査可能なBreak-glass(緊急アクセス)システムによっておこなわれるという概念です。人為的ミスに起因する本番環境での障害には、次のようなさまざまな種類があります。 構成エラー スクリプトエラー 間違った環境でのコマンド実行 ZTPはこれらのエラーによる障害発生のリスクを軽減できます。メルカリでは、ZTP環境への移行に取り組んでいます。最初のステップは、一時的な役割付与システムであるCarrierを実装することです。 この記事では、以下について説明します。 ZTPの重要性 ZTPを実装するプロセスとCarrierを始めた理

        Zero Touch Productionへの移行 | メルカリエンジニアリング
      • ごく普通のエンジニアリング運用チームを強力な SRE チームに変える | Google Cloud 公式ブログ

        ※この投稿は米国時間 2019 年 10 月 4 日に Google Cloud blog に投稿されたものの抄訳です。 運用チームにエンジニアを絶えず増員しても、お客様の拡大には対処しきれません。Google のサイト信頼性エンジニアリング(SRE)の原則を適用すれば、運用上の問題にソフトウェア エンジニアリングによる解決手法を取り入れることで、うまく対処できます。本稿では、従来のネットワーク エンジニアリングの通例にとらわれず、SRE に転換することで、Google がグローバル ネットワーク運用チームを変革した方法をご紹介します。Google の本番環境ネットワーキング チームがこの問題にどのように取り組んだのかをお読みいただき、ご自分の組織に SRE の原則をどのように取り入れることができるのかを検討してみてください。 スケーリングの限界2011 年、Google の本番環境ネット

          ごく普通のエンジニアリング運用チームを強力な SRE チームに変える | Google Cloud 公式ブログ
        • Googleスプレッドシートを利用した、たぶん史上最も簡単にデータを更新できるマップツール - Qiita

          最も簡単にデータを更新する方法 Webシステムでデータを更新する方法としては、管理画面にログインして、リスト上にデータが並んでおり、「編集」ボタンをクリックすると、フォームが並んだ編集画面に遷移して、そこでデータを更新したあと、「更新」ボタンを押して完了、というのが定番であろう。 しかし、筆者が考える一般の方が最も簡単にデータを更新出来る方法、それはエクセル状のシートの更新だと考えている。 住所を持ったデータがあって、それらを Google マップ上にピンを置いて参照できるようにしたい。その上、それらのデータを随時編集したり、新しいデータを追加したい、という要件があって、まず浮かんだのは Google マイマップでした。しかし、Google マイマップの場合、Google スプレッドシートから簡単に Google マップにデータをインポートはできるのですが、スプレッドシートと Google

            Googleスプレッドシートを利用した、たぶん史上最も簡単にデータを更新できるマップツール - Qiita
          • 「Firebase Authentication 7つの落とし穴」のリスクを再整理する

            https://twitter.com/kuwahara_jsri のやってる朝活Twitterスペースで以下の記事を知りました。 もちろんこういったリスクを列挙、検討するのは重要なことなのですが、 Firebase Authentication関係ない話では あれ、仕様に関して勘違いしてる? というのがいくつかあったので、再整理していきます。リスクは列挙することには業務上あまり意味はなく、評価され、リスクを受け入れるか外すかを判断するところが重要なので。 IDaaSは脆弱性を生み出すか IDaaS を導入することにより、逆に脆弱性が生まれることもあります。(中略) Firebase Authentication は他の IDaaS と比べて設定項目が少ないという特徴があります。 もちろんここに書かれてることは間違いではありません。ただ、少し実装にフォーカスが寄りすぎていると思っています。

              「Firebase Authentication 7つの落とし穴」のリスクを再整理する
            • 七声ニーナを支えるバックエンド技術 | BLOG - DeNA Engineering

              データ統括部AI基盤部の竹村( @stakemura )です。本記事では、このたびリリースされた、自分の声をキャラクターの声に変換できるWebサービス VOICE AVATAR 七声ニーナ を支えるバックエンド技術についてお話しします。 本サービスはDelight Boardという部署横断型のプロジェクトにて、1000人を超える社員投票により自分の案がまさかの採択となったことがきっかけとなります。幸運にも、百戦錬磨のプロジェクトメンバーに助けられ今日のリリースを迎えましたが、採択当時は人脈も信用貯金も何もない入社一年目の思いつきにすぎず、言い出しっぺである自分の力不足によりタイトなスケジュールでの開発となってしまいました。本記事では、その限られた開発期間の中で、自分が何を考えて実装したかを中心にお伝えします。 サービングに求められる要件 七声ニーナの音声変換はブラウザから受け取った入力音声

                七声ニーナを支えるバックエンド技術 | BLOG - DeNA Engineering
              • Google Cloudの主要サービスが10時間ものあいだ障害発生。原因は分散アクセスコントロールへの大量の変更要求が引き起こしたメモリ不足

                Google Cloudの主要サービスが10時間ものあいだ障害発生。原因は分散アクセスコントロールへの大量の変更要求が引き起こしたメモリ不足 Google Cloudは、米国太平洋時間の3月26日木曜日16時50分(日本時間27日金曜日 午前8時50分)頃から約10時間ほどのあいだ、Google Compute EngineやCloud Storage、Cloud SQLなどをはじめとする主要なサービスで障害を起こしていました。 受けた影響はリージョンごとに異なりますが、ほぼすべてのリージョンで何らかの影響を受けたようです。 Googleはその原因についての調査結果を発表。原因はGoogle Cloud内部でアクセスコントロールを司る部分に障害が発生したことだったと説明しました。 アイデンティティマネジメントへの大量の更新要求がキャッシュサーバの障害に クラウド内部では、APIへのアクセス

                  Google Cloudの主要サービスが10時間ものあいだ障害発生。原因は分散アクセスコントロールへの大量の変更要求が引き起こしたメモリ不足
                • 3大クラウドの資格を全種取得して38冠になってみた | DevelopersIO

                  CX事業本部@大阪の岩田です。昔からクラスメソッドにはAWS認定資格の受験費用を会社が負担してくれる制度があるのですが、1年と少し前からAzureとGCPの試験についても会社が費用を負担してくれるようになりました。せっかくなので、この制度を活用していわゆる3大クラウドの資格を全てコンプリートしてみました。 合計で38冠になります。 ※補足 既に廃止されたAlexa Skill Builder - Specialty含めてカウントしています CertMetrics上の表記に従ってBig Data - SpecialtyとData Analytics - Specialtyは別資格としてカウントしています GCPのCloud Digital Leaderなる資格がもうすぐ受験可能になるそうですが、今回は対象外としています MicrosoftのWindows Virtual Desktop Sp

                    3大クラウドの資格を全種取得して38冠になってみた | DevelopersIO
                  • Firebaseを卒業するに至った理由

                    株式会社パルケの悩めるCTO、みつるです。 この記事は先日ツイートしたものを加筆修正したものとなります。 株式会社パルケでは、最初のプロダクト開発でFirebaseを全面的に採用し、1年以上にわたって運用してきました。 一方でFirebaseの制限・制約がつらい、と思う理由も徐々に積み重なってきました。 結果、Firebaseから卒業するという大きな判断をしました。 今その判断は間違っていなかったと思います。 ここではFirebaseがつらかった理由をまとめておきたいと思います。 第10位:Firebaseでは実現できない要件があった。 パルケのプロダクトでは、エンタープライズ向けにセキュリティ対応を強化したい、という要件がありましたが、以下要件の実現が難しかったです。 IPアドレス制限をできるようにしたかったが、Firestoreへアクセス毎にIPアドレスで制限をかける方法が見つからなか

                      Firebaseを卒業するに至った理由
                    • GitHub - mingrammer/diagrams: Diagram as Code for prototyping cloud system architectures

                      A tag already exists with the provided branch name. Many Git commands accept both tag and branch names, so creating this branch may cause unexpected behavior. Are you sure you want to create this branch?

                        GitHub - mingrammer/diagrams: Diagram as Code for prototyping cloud system architectures
                      • メルペイのマイクロサービスとCloud Native / CloudNative Days Kansai2019

                        メルペイを支えるGKEとCloud Spanner / 2019 Google Cloud Architect Night 1

                          メルペイのマイクロサービスとCloud Native / CloudNative Days Kansai2019
                        • 「社員体験」を追求したWi-Fi打刻システムWIASを開発、メンテナンスしている話 | メルカリエンジニアリング

                          Icon made by Freepik from www.flaticon.com こんにちは。 今年度、新卒で株式会社メルペイに入社し、SREチームの配属になったkeke(Twitter: @_k_e_k_e)です。 本記事では、メルカリの社内サービスであるWi-Fi打刻システムWIAS(Wi-Fi Attendance System)のお話をします。 会社に所属すると出退勤を記録する必要があります。その中で面倒に感じる、忘れてしまう、記録方法が分からない……など色々な問題が出てきます。しかし、Wi-Fiと勤怠システムをうまく組み合わせることによって社員体験を向上させることができた私達のチャレンジを紹介します。 目次 本記事は以下のセクションで構成されています。ご興味のあるセクションだけでもご覧ください。 目次 WIASとは 「社員体験の向上」というゴール WIASの開発背景 旧システ

                            「社員体験」を追求したWi-Fi打刻システムWIASを開発、メンテナンスしている話 | メルカリエンジニアリング
                          • メルペイのエンジニアが教えるマイクロサービスアーキテクチャを安全かつ継続的に運用する方法

                            KubeFest Tokyo 2020は、Kubernetes を利用している人、これから導入したい人が新しいことを学んだり、ネットワーキングすることを狙いとして開催するワンデイのオンラインイベントです。Kubernetes環境におけるCI/CDの問題をOpen Policy AgentとSpinnakerを導入することで解決する方法について、メルペイの山下氏が話をしました。前半はメルカリのマイクロサービスアーキテクチャについて。 自己紹介とアジェンダ 山下慶将氏(以下、山下):「Open Policy AgentとSpinnakerで実現するマイクロサービスの安全な継続的デリバリー」というタイトルで発表いたします。よろしくお願いします。 はじめに自己紹介します。山下慶将と言います。Twitterは@_k_e_k_eでやっているので、よかったらフォローしてください。今はメルペイSREに所属

                              メルペイのエンジニアが教えるマイクロサービスアーキテクチャを安全かつ継続的に運用する方法
                            • PythonでApache beam 入門

                              2020-12-26 TensorFlowの勉強をしていたら、Apache beam を前処理に採用していたケースがあり、興味を持ったので深堀りしてみます。 興味が湧いたモチベーションとしては、 データ量が増加しても前処理部分を難なくスケールできそう(前処理部分をスケールさせて高速に実験を回したい、並列化などはすべて良い感じにbeamに任せれそうバッチとストリーミングの両者に対応可能なので、柔軟な機械学習の推論サービスが提供できるのでは? (GCPの参考資料 Data preprocessing for machine learning: options and recommendations)Apache beam を触りつつ分散データ処理を学びたいhttps://github.com/jhuangtw/xg2xg#services を見てみるとGoogle 内部のFlume という並列

                                PythonでApache beam 入門
                              • デザインパターン - Google Cloud のソリューション

                                ウェブサイト リニューアルおよび移行のお知らせ 2022 年 7 月 Google Cloud Solution Design Pattern のウェブサイトはリニューアルを行い、以下に移行いたしました。より使いやすくなっておりますので、これまで以上にご活用いただけますと幸いです。 gc-solution-design-pattern.jp ソリューション デザインパターン とは ソリューション デザインパターンでは、 ワークロードごとに Google Cloud のアーキテクチャを 2 つの観点でまとめています。 1 つ目は、様々な業界で利用できる共通のソリューション デザインパターンとして「エンタープライズ向けの組織、 IAM、請求管理」、「インフラストラクチャとマイグレーション」、「アプリケーションおよびデータベースのモダナイゼーション」などを用意しています。 2 つ目は、ゲーム業界

                                  デザインパターン - Google Cloud のソリューション
                                • ZOZOTOWNの事業を支えるBigQueryの話 / BigQuery behind ZOZOTOWN

                                  タイムトラベルはじめました 〜時をかけるBigQuery〜 / Now serving Time Machine 〜BigQuery Which Leapt Through Time〜

                                    ZOZOTOWNの事業を支えるBigQueryの話 / BigQuery behind ZOZOTOWN
                                  • 【書評】『Google Cloudのしくみと技術がしっかりわかる教科書』は、クラウド初心者から経験者までオススメできる一冊でした | DevelopersIO

                                    【書評】『Google Cloudのしくみと技術がしっかりわかる教科書』は、クラウド初心者から経験者までオススメできる一冊でした このブログは、2021年9月16日に発刊された『Google Cloudのしくみと技術がしっかりわかる教科書』の書籍レビューの記事です。かなりの良著でしたので、良かった点などをまとめてご紹介できればと思います。 私は普段AWSを扱っていますが、GCPについてもざっくり理解したいという動機でこの本を購入しました。 オススメしたい人 この書籍は、以下が当てはまる方にオススメできます。 クラウド技術を学びたい初心者の方 他のクラウドに関する経験(AWSやAzureなど)がある方で、GCPの特徴もざっくりと理解したい方 テキストベースでなく、豊富な図や表を見てGCPのサービスをキャッチアップしたい方 また、私自身はGCPの認定資格を持っていないので何とも言えませんが、G

                                      【書評】『Google Cloudのしくみと技術がしっかりわかる教科書』は、クラウド初心者から経験者までオススメできる一冊でした | DevelopersIO
                                    • TechCrunch

                                      The logistics industry in Nigeria, like any informal sector, struggles with poor infrastructure and other inefficiencies, making it difficult for businesses — both large and small — to mov

                                        TechCrunch
                                      • GoogleもRPAに参入か。ノーコードでプロセスオートメーションを実現する「AppSheet Automation」を含む「Business Application Platform」を発表

                                        GoogleもRPAに参入か。ノーコードでプロセスオートメーションを実現する「AppSheet Automation」を含む「Business Application Platform」を発表 Googleは、企業がクラウド上で簡単かつ迅速にビジネスアプリケーションを実現するためのプラットフォーム「Business Application Platform」を発表しました。 Business Application Platformはおもに、Google CloudのサービスをAPI経由で利用しやすくする「API Gateway」、ノーコード開発ツールのAppSheetのデータソースを拡張する「Apigee data source for AppSheet」、そしてAppSheetの新機能としてノーコードでプロセスオートメーションを実現する「AppSheet Automation」の3つか

                                          GoogleもRPAに参入か。ノーコードでプロセスオートメーションを実現する「AppSheet Automation」を含む「Business Application Platform」を発表
                                        • SQLで始める自然言語処理 - やむやむもやむなし

                                          こちらの記事はRecruit Engineers Advent Calendar 2020の24日目の記事です。メリークリスマス! adventar.org 仕事の分析で使うデータはほとんどがBigQueryに保存されているため、基本的な分析作業の多くはBigQueryでSQLを書くことで行なっています。 BigQueryでテキストデータを扱おうと思うとSQLではできない or 取り回しが悪いことも多く、一度Pythonでスクリプトを書いてその結果を再度BigQueryのテーブルに格納し、Joinして分析に使うということをしていました。 しかしこのやり方だとテキストデータを分析したいときは毎回Pythonのコードを書きにいかねばならず、またPythonでのテキスト処理も決して早いとはいえず、せっかくBigQueryでさくさく分析しているのにどうしてもテキスト処理に部分が作業時間のボトルネッ

                                            SQLで始める自然言語処理 - やむやむもやむなし
                                          • Google Cloud Storage(GCS)でうっかり30万以上溶かした話 - のんびりしているエンジニアの日記

                                            皆さんこんにちは。 コンペで頑張ったので疲れました。 さて、Google Landmark 2021が終了し、Retrieval5位(金)、Recognition12位(銀)となりました。 本日は自戒と反省により、クラウドで30万円消失した話を 記録として書こうと思います。皆さん私を見て反面教師にしてください。 事象 9月入ってからLandmark2021に参加し、Google Cloud Platform、通称GCPを利用していた。 主な利用はGoogle Cloud Storageのみで、ほぼ容量課金だろうと高をくくっており、課金請求の上限など入れ忘れてました。 すると9/18に久々に請求額を確認すると32万ほどの請求額がありました。 さすがに目玉が飛び出て、調査にあたったといったものになります。 課金内容を確認したら原因はすぐにわかり、チームで対策を打ちました。(私が慌てて学習にスト

                                              Google Cloud Storage(GCS)でうっかり30万以上溶かした話 - のんびりしているエンジニアの日記
                                            • Google Apps Script× BigQuery × Googleスプレッドシート × データポータルで簡易CRMを作ってみた - BASEプロダクトチームブログ

                                              こんにちは!! BASE BANK 株式会社 Dev Division にてSoftware Developerをしている永野(@glassmonkey)です。 普段はGo/Python/PHPを主に生業に開発・運用から何でもござれの精神でフルサイクルエンジニアをしています。 現在、自分たちのプロダクトであるYELL BANKの分析基盤を構築しています。 その際に、BigQueryで扱っているデータをGoogle App Script(以下GAS)、Googleスプレッドシートとデータポータルで簡易CRMをビジネスサイドのメンバーである猪瀬 (@Masahiro_Inose)と協力して作ったのでそのご紹介です。 いざ実施してみるとハマってる点もそこそこ多く、意外とGASやBigQueryの連携している情報が少なかったので、誰かの助けになれば幸いです。 thebase.in 簡易CRMツール

                                                Google Apps Script× BigQuery × Googleスプレッドシート × データポータルで簡易CRMを作ってみた - BASEプロダクトチームブログ
                                              • 【速報】 BigQuery の料金体系が変更されます | DevelopersIO

                                                ウィスキー、シガー、パイプをこよなく愛する大栗です。 先程開催されたGoogle Data Cloud & AI Summitにて、BigQuery の料金体系の変更が発表されましたので、レポートします。 Introduction to BigQuery editions Dataset storage billing models BigQuery editions BigQuery で Standard、Enterprise、Enterprise Plus という3種類の料金階層が発表されました。これらのエディションは個々のワークロードの必要性に基づいて適切な価格性能比を組み合わせられます。 BigQuery editions は、コンピュート キャパシティのオートスケーリングと、compressed storage(Preview 時には physical storage と呼ばれて

                                                  【速報】 BigQuery の料金体系が変更されます | DevelopersIO
                                                • 新規事業開発での技術選定の意思と意図 (バックエンド編) - Sansan Tech Blog

                                                  こんにちは、新規事業開発室に所属するソフトウェアエンジニアの加藤です。私は関西支店でBill Oneという新規サービスの開発に携わっています。 弊社にはSansanのカタチという企業理念があり、働く人々が体現すべきValuesの1つに「意思と意図をもって判断する」があります。ソフトウェアエンジニアとして、意志と意図をもって利用する技術を選定することは当然かもしれませんが、細部までそれを徹底するのは難しいこともあります。本稿では、私たちが使用している技術やライブラリを振り返って、どんな意志と意図があるかを確認していきたいと思います。 などと硬めのことを書きましたが、他所のチームでは普通に使われているライブラリを意外と知らなかったりするので、似たような記事を読みたいなと思って、技術選定を公開してみる次第です。まずはバックエンド編です。 前提 私たちのチームで開発しているBill Oneは今年の

                                                    新規事業開発での技術選定の意思と意図 (バックエンド編) - Sansan Tech Blog
                                                  • 社内で提供しているマイクロサービスの参考実装について - DMM inside

                                                    |DMM inside

                                                      社内で提供しているマイクロサービスの参考実装について - DMM inside
                                                    • 少人数での爆速開発を目指してgolang×GCPの技術選定をした話

                                                      この1年くらいでgolangとGCPを使ったWebアプリケーションをフルスクラッチで開発したので、その際の技術選定の理由だったりを言語化して残しておきたいと思い、HHKBを手に取りました。 少し長くなってしまいましたが、どなたかの参考になればと思います。 どんな人が書いてるの? 立ち上げ期のスタートアップCTOをしています。雑に言うとフルスタックエンジニアです。 開発歴はざっくり、Androidアプリの開発歴が一番長くて3年、バックエンド開発(Elixir × GCP)に転身して1年ほど担当、その後、これから言語化するプロジェクトを1年くらいかけてgolangで構築したところです。 今回の範囲からは外れますが、並行してNuxt.js×TypeScriptで書かれたフロントエンド開発も行っていたので、今はその辺りも一通り習得しています。 1. 方針 表題にもある通り、少人数での爆速開発を目指

                                                        少人数での爆速開発を目指してgolang×GCPの技術選定をした話
                                                      • TerraformモノレポCIのセキュア化 | メルカリエンジニアリング

                                                        ※本記事は2022年1月22日に公開された記事の翻訳版です。 この記事は、Developer Productivity Engineering Campブログシリーズの一環として、Platform Infraチームの Daisuke Fujita (@dtan4)がお届けします。 メルカリでは、すべてのクラウドインフラを宣言的構成で管理することがプラットフォームの中核となる考え方の一つです。メインのクラウドプロバイダーはGoogle Cloud Platform(GCP)であり、HashiCorp Terraformを使用してインフラをコードとして管理しています。Platform Infraチームは、すべてのTerraformワークフローを安全に管理するための社内CIサービスを提供しています。 Terraformはリソースプロビジョニングのためにクラウドプロバイダーのクレデンシャルを必要と

                                                          TerraformモノレポCIのセキュア化 | メルカリエンジニアリング
                                                        • インフラ未経験エンジニアがGCPで爆速構築する奮闘記 - カミナシ エンジニアブログ

                                                          こんにちは、株式会社カミナシのエンジニア @imu です。 はじめに 私はインフラに対して苦手意識(詳しく知らない)があり、issueに対して率先して改善しようとしませんでした。このまま深く触ることはないかなと思っていた矢先、新規プロダクトのインフラ構築をお願いされました。 めちゃくちゃ不安しかなかったのですが、最初から構築する機会なんて滅多にないのでチャレンジすることに! (内心はやりたくないなと思ったけど…) 私自身は知らない領域にチャレンジすることは好きなので、楽しんでやろうと思いました。 苦手意識がある私がどのように、リリースできる環境を構築したか共有できればと思います! 注意)本内容はα版という位置づけで構築しており、正式リリース時には都度変更をしていきます。 Day 1(技術選定) 弊社はカミナシレポートというサービスを提供しています。このプロダクトはAWSを利用しており、その

                                                            インフラ未経験エンジニアがGCPで爆速構築する奮闘記 - カミナシ エンジニアブログ
                                                          • Starlink(スターリンク)とクラウドで月額171円の冗長VPNを構築してみました | IIJ Engineers Blog

                                                            今回は日本、アメリカ、ドイツに設置しているStarlinkの検証環境用に構築した冗長VPNについて説明します。 これまで過去投稿の一覧を書いていましたが、記事が増えてきたので、タグでまとめた先のリンクにします。IIJのスターリンク関係の記事が集まっていますので活用してください。 動画も公開していますので、よろしければそちらもあわせてご覧ください。 3ヵ所のStarlinkをどう繋いでいくのか? 海外のStarlinkを検証していくために、当初から検証環境について色々と検討していました。Starlink機器にインターネット側からアクセスする手段はないのでStarlink機器配下にVPNで常時接続している機器を設置、リモート接続して検証する形を考えていました。VPNを冗長構成にする事でVPN自身のメンテナンスも安全にできるようになります。 VPNネットワークの構成 Starlink配下におく機

                                                              Starlink(スターリンク)とクラウドで月額171円の冗長VPNを構築してみました | IIJ Engineers Blog
                                                            • 全社共通データ基盤を廃止して新しいデータ基盤に引越した話 - ZOZO TECH BLOG

                                                              こんにちは、データ基盤の開発、運用をしていた谷口(case-k)です。最近は配信基盤の開発と運用をしています。 ZOZOではオンプレやクラウドにあるデータをBigQueryへ連携し、分析やシステムで活用しています。BigQueryに連携されたテーブルは共通データ基盤として全社的に利用されています。 共通データ基盤は随分前に作られたこともあり、様々な負債を抱えていました。負債を解消しようにも利用者が約300人以上おり、影響範囲が大きく改善したくても改善できずにいました。 本記事では旧データ基盤の課題や新データ基盤の紹介に加え、どのようにリプレイスを進めたかご紹介します。同じような課題を抱えている方や新しくデータ基盤を作ろうとしている方の参考になると嬉しいです。 データ基盤の紹介 旧データ基盤の紹介 旧データ基盤の課題 変更があっても更新されないデータ 性質の異なるテーブルを同じ命名規則で管理

                                                                全社共通データ基盤を廃止して新しいデータ基盤に引越した話 - ZOZO TECH BLOG
                                                              • 10TB超えのBigQuery巨大データを高速にS3に同期する - ZOZO TECH BLOG

                                                                こんにちは。SRE部MA基盤チームの川津です。 私たちのチームでは今年サービスを終了した「IQON」の10TBを超える大規模データをBigQueryからS3へ移行しました。本記事ではデータ移行を行った際に検討したこと、実際にどのようにデータ移行を行ったかを紹介します。 データ移行の経緯 IQONは2020年4月6日をもってサービスを終了しました。そのIQONではデータ分析にBigQueryを利用していましたが、Amazon Web Services(AWS)上にもIQONに関するリソースが存在します。そのため、IQONはGCPとAWSの2つのクラウドで運用していました。 しかし、サービス終了に伴いGCP・AWSどちらかにリソースを統一する必要が出てきました。統一する意図としては、終了したサービスが利用する取引先を減らし、請求対応などの事務的なコストを減らしたい意図がありました。そのためGC

                                                                  10TB超えのBigQuery巨大データを高速にS3に同期する - ZOZO TECH BLOG
                                                                • CI/CDサービスのOpenID Connect対応 Dive Into - Lento con forza

                                                                  これははてなエンジニアアドベントカレンダー2022 39日目の記事です。 昨日は id:nakaoka3 の ミーティングの時間になると勝手に議事録を開いてほしいでした 先日あった、CircleCIのインシデントのAdditional security recommendationsとして、OIDC Tokenを使うことが推奨されていました。GitHub ActionsやCircleCIなどのCI/CDサービスでは外部サービスへの認証を行うために、OpenID Connectに対応しています。OpenID Connect対応がされていることは知っていたのですが、OpenID Connectといえば、外部サービス連携をしてログインに使うイメージだと思います。たとえば、Googleの認証情報で、はてなアカウントにログインするなどといったようにです。僕の中で、ユーザー認証に使うOpenID Co

                                                                    CI/CDサービスのOpenID Connect対応 Dive Into - Lento con forza
                                                                  • クラウド「AI」API入門:AWS/Cognitive Services/Google Cloud/IBM Watsonの比較

                                                                    クラウド「AI」API入門:AWS/Cognitive Services/Google Cloud/IBM Watsonの比較:AI・機械学習のクラウドサービス 「AWS AIサービス」「Azure Cognitive Services」「Google Cloud AIビルディングブロック」「IBM Watson API」という主要AIサービスの一覧表を示し、各サービスを1行程度で説明する。自分でAI/機械学習モデルを作る前に、既存のAIサービスがないか(カスタマイズできないか)を、これで確認しよう。

                                                                      クラウド「AI」API入門:AWS/Cognitive Services/Google Cloud/IBM Watsonの比較
                                                                    • 【firestoreアンチパターン】RDB思考でfirestoreを使うと危険な4つのケースと対策 - Qiita

                                                                      こんにちは。virapture株式会社のもぐめっとです。 最近ユニクロで友達とオソロのメタモンTシャツ買いました。カワイイです。 本日はfirestore使ってて辛いよーという声をよく聞いたので、そのままfirestore使っていると危険な理由と対策など4つのアンチパターンとして紹介しようと思います。 1. Join Lover: データをjoinする 目的 RDBではよくあるテーブル同士を結合してデータを取り出すJoin。 firestoreでjoinを用いたいケースというのは特定のドキュメントのデータだけでは表示する要素が足りないので別のドキュメントから取得してなんとかするみたいな感じになると思います。 しかし、firestoreのプロもおっしゃってますが、firestoreへのjoin追加は望みが薄いと思われます。 RDBで重くなってる要因も外部結合や副問い合わせとかガンガン使って重

                                                                        【firestoreアンチパターン】RDB思考でfirestoreを使うと危険な4つのケースと対策 - Qiita
                                                                      • Nuxtアプリを無料で公開するときに試した5つの環境まとめ(Firebase/GAE/Netlify/Heroku) - Qiita

                                                                        最近Nuxtでいろいろ作っているけど、無料で使える環境をいろいろ試してる。 いろいろメリデメあるけど、SPAならNetlify/SSRならHerokuがよさそう。 いままで試したものをまとめてみた。 ほしかったもの 主に開発してるのがCGM系のWebサービスなので、 動的なOGP画像などが設定できる(OGP芸) カスタムドメインが使える 日次のランキング集計などの定期実行ができる が、無料でできて、なるべく実装が楽で、そこまで遅くないのがうれしい。 試した5つのパターン 試したのは以下の5パターン。試してみた順で記載。 Nuxt(SSR) + Cloud Function 起動がかなり遅かった。。実装も大変なのでNG Nuxt(SPA) + Firebase Hosting 構築はかなり楽。ただ、OGP芸が大変でFunctionsが必要 Nuxt(SPA) + Netlify プレレンダリ

                                                                          Nuxtアプリを無料で公開するときに試した5つの環境まとめ(Firebase/GAE/Netlify/Heroku) - Qiita
                                                                        • Google Cloud が、デジタル庁ガバメントクラウドの利用を促進するサーバレスの Web アプリケーション開発を支援 | Google Cloud 公式ブログ

                                                                          Google Cloud が、デジタル庁ガバメントクラウドの利用を促進するサーバレスの Web アプリケーション開発を支援 デジタル庁ガバメントクラウドの利用を支援する Web アプリケーション「GCAS(Government Cloud Assistant Service:ガバメントクラウド活用支援サービス)」が開発され、Google Cloud は、クラウド サービスやアーキテクティングの面からこの構築をご支援しています。GCAS はデジタル庁内製主導で開発され、2023 年 4 月より提供開始されています。 ガバメントクラウド移行の本格化に向け、今後、省庁や 1,741 ある地方公共団体、準公共と呼ばれる領域からのクラウド利用申請が急激な勢いで増加していくことが予測されています。これを自動化・効率化し、デジタル施策推進を支援する仕組みが GCAS です。従来は必要な書類をメール添付な

                                                                            Google Cloud が、デジタル庁ガバメントクラウドの利用を促進するサーバレスの Web アプリケーション開発を支援 | Google Cloud 公式ブログ
                                                                          • Google Cloud、高性能化したPostgreSQL互換「AlloyDB」のオンプレミス向けソフトウェア「AlloyDB Omni」発表。開発環境での利用は無料

                                                                            Google Cloud、高性能化したPostgreSQL互換「AlloyDB」のオンプレミス向けソフトウェア「AlloyDB Omni」発表。開発環境での利用は無料 Google Cloudは、同社がPostgreSQL互換の高性能なマネージドデータベースサービスとして提供している「AlloyDB for PostgreSQL」と同じデータベースサーバを、オンプレミスやノートPCなどで実行できるソフトウェア「AlloyDB Omni」のテクニカルプレビュー版を発表しました。 Get a preview of AlloyDB Omni, a downloadable edition of #GoogleAlloyDB designed to run on premises, at the edge, across clouds, or even on developer laptops ↓

                                                                              Google Cloud、高性能化したPostgreSQL互換「AlloyDB」のオンプレミス向けソフトウェア「AlloyDB Omni」発表。開発環境での利用は無料
                                                                            • AWS上にVSCode対応の開発環境を簡単に構築できるOSSのCoderがすごい! - Qiita

                                                                              使い方 Coderは様々なクラウドサービスで利用できますが、AWSでの使い方について紹介します。 詳細は公式サイトに詳しく記載されているので簡単に紹介します。 1.Coderが提供しているAMIからインスタンス(管理サーバー)を起動する Coderを使うためには、管理サーバーが必要になります。 ブラウザで管理サーバーに接続し、開発環境を立ち上げたりアクセスできるユーザーを管理したりすることができます。 2.管理サーバーにログインする 3.テンプレートを作成する デフォルトでDocker, AWS EC2, AWS ECSなどのテンプレートが用意されています。今回はEC2を選択しました。 4.ワークスペースを起動する。 ワークスペースが実際に開発を行うための環境になります。 5.開発環境に接続する 起動が成功するとVSCode Desktopとcoder-serverが選択できるようになりま

                                                                                AWS上にVSCode対応の開発環境を簡単に構築できるOSSのCoderがすごい! - Qiita
                                                                              • GCPで基本に戻って始める実践 Infrastructure as code再入門#1 - VisasQ Dev Blog

                                                                                こんにちは! 2020年2月からSREチームにJoinしました木村です! 仕事をする上での座右の銘は「明日交通事故にあってもシステムと仕事を回せるようにすること」です。 基本に戻って始める。と表題では書いていますが、私元々はAWS職人でGCPに本格的にコミットしてからまだ3ヶ月位です! なのでヒィヒィ?言いながらGCPのキャッチアップに努めているわけですが今回は過去にAWSで得たInfrastructure as Codeの知識とビザスクに入社してキャッチアップで培ったGCPの知識を元に基本に戻って始めるGCPのInfrastructure as Code再入門ということで書かせていただきます。 尚実際に書き始めたら量が膨大になってしまったのでいくつかパートに分けて 書いていきたいと思っております。 今回やること GCPのCompute Engineをスコープとして Terraformを使

                                                                                  GCPで基本に戻って始める実践 Infrastructure as code再入門#1 - VisasQ Dev Blog
                                                                                • MLOps の利用を開始: ユースケースに適した機能の選択 | Google Cloud 公式ブログ

                                                                                  ※この投稿は米国時間 2021 年 6 月 25 日に、Google Cloud blog に投稿されたものの抄訳です。 ML システムを構築および運用化する成熟した MLOps 手法の確立に際しては、適切な手法が得られるまで数年の歳月を要する場合もあります。Google ではこのほど、この重要な作業の時間短縮を支援する MLOps フレームワークを公開しました。 MLOps の使用を開始する際に、これらのプロセスと機能を必ずしもすべて実装する必要はありません。ワークロードのタイプおよびそれにより生み出されるビジネス価値や、プロセスもしくは機能の構築または購入にかかるコストとのバランスによって、プロセスや機能の中で優先順位の差が生じます。 フレームワークを実用的手順に変換しようとする ML 担当者を支援するため、このブログ投稿では、お客様をサポートした経験を元に、何から始めるべきかを左右す

                                                                                    MLOps の利用を開始: ユースケースに適した機能の選択 | Google Cloud 公式ブログ

                                                                                  新着記事