並び順

ブックマーク数

期間指定

  • から
  • まで

201 - 240 件 / 4608件

新着順 人気順

GCPの検索結果201 - 240 件 / 4608件

  • Nuxt.js+Firebase+GAEで作った個人サービスが半月で2万PV超えたので実績値を全て公開する - Qiita

    こんなサービス作りました 【#拡散希望】 🙌🎉🎊サービス開始🎊🎉🙌 ボケをツイートして 「いいね❤️」「リツイート🔁」 の数でランキング! Twitter連動型 大喜利サイト 「ついぎり」 サービス開始しました‼️#ついぎりhttps://t.co/bkXfzHyVSs — ついぎり@公式アカウント (@twigiri_app) August 14, 2019 Twitterで大喜利するサービスです。 8月中頃にローンチしたのですが、有難いことに半月で約2.5万PVいきました。 開発に至ったポエム記事はCrieitに投稿しています。 なぜ大喜利サービスを作ったのか この記事について やっぱり公開直後は怖かったです。 そう、クラウド破産。 Firebaseの設定を間違えて72時間で300万円以上請求されてしまったウェブサービス BigQueryで150万円溶かした人の顔 上記以

      Nuxt.js+Firebase+GAEで作った個人サービスが半月で2万PV超えたので実績値を全て公開する - Qiita
    • Google App EngineでマネージドSSLが全ユーザーに無料提供、HTTPSの導入が簡単に。証明書の更新もGoogleにおまかせで心配無用

      Google App EngineでマネージドSSLが全ユーザーに無料提供、HTTPSの導入が簡単に。証明書の更新もGoogleにおまかせで心配無用 GoogleはWorld Wide WebにおけるHTTPSの利用を積極的に推進しています。 検索エンジンとしてのGoogleがWebサイトにHTTPSの利用を推奨していることはよく知られていますが、同社はそれをクラウドサービスでも推し進めようとしています。 Googleは、Google App EngineでマネージドなSSLを無料で提供すると発表しました。 HTTPSを利用するにはSSL証明書が必要となります。Google App Engineが提供するマネージドSSLでは、ユーザーによるSSL証明書の購入や更新といった手間は不要になり、手間も費用もすべてGoogleが提供してくれます。 We’ve made using HTTPS si

        Google App EngineでマネージドSSLが全ユーザーに無料提供、HTTPSの導入が簡単に。証明書の更新もGoogleにおまかせで心配無用
      • 任天堂株式会社の導入事例:ビッグタイトル『Super Mario Run』のバックエンドを支えた Google App Engine | Google Cloud 公式ブログ

        昨年末にリリースされ、任天堂初のスマートフォン向け本格ゲームアプリとして注目された『Super Mario Run(スーパーマリオ ラン)』。その背後では、文字通りケタ違いのアクセスをさばく強力なバックエンドが稼働していました。任天堂、DeNA そして Google が一丸となって取り組んだ、その開発ストーリーをお届けします。 ■利用している Google Cloud Platform サービス Google App Engine Google BigQuery Google Cloud Dataflow Google Cloud Datastore Google Cloud Pub/Sub Google Cloud Storage Google Stackdriver (Logging, Monitoring, Trace, etc) など ■任天堂株式会社 1980 年代に『ファミリー

          任天堂株式会社の導入事例:ビッグタイトル『Super Mario Run』のバックエンドを支えた Google App Engine | Google Cloud 公式ブログ
        • Google、MySQL互換の第二世代「Cloud SQL」正式リリース。ベンチマークを公開し、Amazon Auroraより高速だとアピール

          Google、MySQL互換の第二世代「Cloud SQL」正式リリース。ベンチマークを公開し、Amazon Auroraより高速だとアピール Googleは、Google Cloud Platformで提供しているマネージドサービスのMySQL互換データベースである「Cloud SQL」を正式版としてリリースしました。 Cloud SQLは2011年に発表され、2015年12月には性能を強化した第二世代が登場、最大10テラバイトのデータ容量とインスタンスあたり最大104GBメモリを提供し、最大2万IOPSの性能に達すると説明されていました。 正式版リリースにあたり、同社はブログ「Google Cloud Platform Blog: Cloud SQL Second Generation performance and feature deep dive」で競合となるAmazonクラウド

            Google、MySQL互換の第二世代「Cloud SQL」正式リリース。ベンチマークを公開し、Amazon Auroraより高速だとアピール
          • Google、12月14日の約45分間ダウンの原因と対策を詳解

            米Googleは12月18日(現地時間)、12月14日の約45分間にわたる多数のサービスダウンの原因と今後の対策について、ステータスダッシュボードで説明した。 この障害は、14日の午前3時46分(日本時間では14日の午後8時46分)から47分間続き、Googleのログイン認証サービス「OAuth」を採用するGmailやWorkspaceなどの一連のサービスが影響を受けた。 大まかに要約すると、根本的な原因は、10月にユーザーIDサービスを新しいクォータシステムに登録するための変更を行ったが、その際に古いクォータシステムの一部が残ってしまい、誤った報告があったことという。ユーザーIDサービスの使用量が誤って0と報告されたため、クォータ制限が続いて最終的に期限切れになり、自動クォータシステムがトリガーされてユーザーIDサービスのクォータが減少した。 意図しないクォータ変更を防止するための安全性

              Google、12月14日の約45分間ダウンの原因と対策を詳解
            • AJAX APIs Playground

              Google APIs Explorer Stay organized with collections Save and categorize content based on your preferences. The Google APIs Explorer is a tool available on most REST API reference documentation pages that lets you try Google API methods without writing code. The APIs Explorer acts on real data, so use caution when trying methods that create, modify, or delete data. For more details, read the APIs

                AJAX APIs Playground
              • Javaがサーバレスに至るまでの道のり

                はじめに 先日、JakartaOne Live Japan 2022というイベントで登壇させていただく機会を頂きました。 QuarkusやHelidonのような新しめのEEフレームワークがこれまでのPayaraやWebLogicとどう違うのか? CloudRunのようなサーバレス環境でMicroProfileのどの機能が効果的に働くのか? という点を最近のWeb開発周りのトレンドと絡めながら話ました。上記のようにアーカイブ動画も公開されていますが、せっかくなのでQuarkusがサーバレス環境で実行に最適化されるまでの周辺事情等をまとめたいと思います。Javaだけに留まらず最近の環境事情の整理にも役立つかと思います。 TL;DR Quarkus/Helidonは軽量で高速な新しいEEフレームワーク コンテナや、サーバレス、クラウドネイティブなど最新のトレンドに基づいた設計 GCPのCloud

                  Javaがサーバレスに至るまでの道のり
                • Next.jsアプリをVercelからGoogle Cloudに移行した話

                  ZennではフロントエンドにNext.jsを使っています。もともとはVercelで動かしていたのですが、2021年3月にGoogle Cloudに移行しました。今回は移行を決めた理由や、具体的な構成、移行作業などについて書きたいと思います。 なぜ移行したのか Next.jsのデプロイ先としてVercelは圧倒的に優れています。ISRやImage OptimizationといったNext.jsの強力な機能をサーバー側の追加設定なしで使用できますし、CDNでの静的ファイルのキャッシュなども特に意識しなくてもいい感じにやってくれます。 Vercel以外にデプロイするとなると、Next.jsの一部の機能がうまく動かなかったり、パフォーマンス・チューニングを自分で頑張る必要があったりと自分で面倒を見なければならない部分が多くなります。 しかし、Zennのケースでは以下のような理由からVercelから

                    Next.jsアプリをVercelからGoogle Cloudに移行した話
                  • 将棋が指せる WEB サービスを個人で開発しました - SHOGIX

                    みなさんこんにちは、はじめまして、菊池です。 先日、関数型言語と Google のクラウドサービスを使って作った【SHOGIX 無料で将棋の対局ができる WEB サービス 】を公開しました。完全に個人の趣味プロジェクトです。 WEB ブラウザがあれば将棋の対局ができるので、よかったら友達と将棋を指す時とかに使ってみてください! 今回は SHOGIX を構成する技術について、その概要を紹介してみようと思います。 今後の SHOGIX には、棋力が同じぐらいのユーザー同士でマッチング対局できる機能や、将棋が強くなれる機能を少しづつ追加していく予定です。お楽しみに! shogix.jp SHOGIX の構成 SHOGIX は Google の各種クラウドサービスを使って、サーバーレスで構成しています。インフラの運用は全てクラウドサービス側にお任せでスケールアウトもしてくれるので、ロジックの開発に

                      将棋が指せる WEB サービスを個人で開発しました - SHOGIX
                    • Herokuの無料プランで月間100万PVをさばく(さばかない)話 - NOT SO BADなブログ

                      Herokuの無料プランで月間100万PVをさばく(さばかない)話Feb 03, 2018 個人開発論技術系Heroku「Heroku Meetup #19 Heroku Trust!」でLTさせてもらってきました! せっかくなので、LTのスライドを一部修正して掲載しておきます。 Heroku Meetupはずっと行きたかったけど今まで都合がつかず、初参加できてよかったです。 ピザごちそうさまでした🍕 LT内容というわけで発表したスライドはこちら。 3行で要約それなりにアクセスが多いサイトでも、場合によってはHerokuのFreeDynoだけでさばけるよHerokuは更新系に集中して、アクセスが多い閲覧系のコンテンツはGoogleCloudStorage(GCS)とかS3に置いちゃえばいいんだよ最近だとFastlyとか使うのがいいらしいけど、GCS/S3も安くて手軽にできるからおすすめだ

                        Herokuの無料プランで月間100万PVをさばく(さばかない)話 - NOT SO BADなブログ
                      • GCP、AWS、Azure 別に見るクラウド VM への攻撃経路まとめ

                        This post is also available in: English (英語) 概要 本稿は、クラウド内の仮想マシン (VM) サービスに対する潜在的な攻撃ベクトルを特定・緩和するための戦略について解説します。組織はこの情報を使って、VM サービスに関連する潜在的リスクを理解し、防御メカニズムを強化できます。この調査では、Amazon Web Services (AWS)、Azure、Google Cloud Platform (GCP) という 3 つの主要クラウド サービス プロバイダー (CSP) が提供する VM サービスを中心に取り上げます。 VM はあらゆるクラウド環境で最も利用数の多いリソースの 1 つで、その多さがゆえに、攻撃者らの主要な標的にされています。私たちの研究からは、インターネットに公開されているクラウドホストの 11% には、深刻度が「緊急 (Crit

                          GCP、AWS、Azure 別に見るクラウド VM への攻撃経路まとめ
                        • BigQueryでクエリ一撃で29万円溶かしたけど助かった人の顔

                          SolanaのPublic DataをBigQueryで取得したかった# えー、お笑いを一席. ブロックチェーンSolanaのデータがGoogle Cloud BigQueryで使えるようになったというニュースをたまたまネット推薦記事でみかけた1. おや, 面白そうだ. ちょっとやってみようかな… BigQueryはさわるのが1年以上つかってないかも, どうやるんだっけ… とりあえずカラムとかサンプルでちょっとデータをみたいよな, こんな感じだっけか? とりあえず動かしてみよう, ポチッとな. … 5秒でレスポンスが帰ってくる. おー、速い. えーっと, あれ課金データ309TB?! いちげきひっさつ、ハサンギロチン2. BigQueryでクエリ一撃5 秒で29万円溶かした人の顔# 話題の画像生成AI, DALL・Eをつかって BigQueryでお金溶かした人の顔を表現してもらった3. あ

                          • Cloud Run で作るサーバーレス アーキテクチャ 30 連発 - これのときはこう!

                            "I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)

                              Cloud Run で作るサーバーレス アーキテクチャ 30 連発 - これのときはこう!
                            • [速報]Google、Amazon Auroraに対抗する高性能DB「AlloyDB for PostgreSQL」発表。通常のPostgreSQLよりOLTPが4倍高速、OLAPが100倍高速と

                              Google Cloudは開催中のイベント「Google I/O 2022」で、PostgreSQLフル互換の高性能な新データベースサービス「AlloyDB for PostgreSQL」のプレビューリリースを発表しました。 Google Cloudは以前からPostgreSQLのマネージドサービス「Cloud SQL for PostgreSQL」を提供しています。今回発表された「AlloyDB for PostgreSQL」は、Googleのクラウドインフラや機械学習の技術を積極的に投入し、より高性能かつミッションクリティカル向けのデータベースサービスとして構築したものです。 AWSと比較するならば、一般用途向けのデータベースサービスである「Amazon RDS」に対抗するのがGoogle Cloudの「Cloud SQL」であり、データベースをクラウドネイティブなアーキテクチャとして

                                [速報]Google、Amazon Auroraに対抗する高性能DB「AlloyDB for PostgreSQL」発表。通常のPostgreSQLよりOLTPが4倍高速、OLAPが100倍高速と
                              • Zennのバックエンドを Google App Engine から Cloud Run へ移行しました(無停止!YES!)

                                Zennは、Next.js + Ruby on Rails(APIモード)を Google Cloud の App Engine へデプロイして稼働していました。最近、Rails の実行環境を App Engine Flexible から Cloud Run へ移行したので、その記録を残します。 ロードバランサーのバックエンドサービスを付け替えることで実現 最初に、どうやって移行したかです。Zennのバックエンドはもともとロードバランサーで構成されていました。以下の図のように、ロードバランサーの Backend Service より背後を切り替えることにより実現しています。Cloud Run とそこにアクセスするための Serverless NEG はあらかじめ稼働させておくことで、ダウンタイムなしで切り替えられました。 参考:負荷分散 | Google Cloud https://clo

                                  Zennのバックエンドを Google App Engine から Cloud Run へ移行しました(無停止!YES!)
                                • ふくおかFGのネット銀行、勘定系システムに「Google Cloud Platform」採用 開発スピード迅速化

                                  福岡銀行などを傘下に持つ金融持ち株会社、ふくおかフィナンシャルグループ(FG)は9月24日、2020年度中をめどに開業予定のインターネット専業銀行「みんなの銀行」(仮称)の勘定系システムの基盤に、Google Cloud Platform(GCP)を採用すると発表した。開発・運用コストを抑え、外部サービスとの連携をしやすくする狙いがある。 勘定系システムの開発では、預金、為替といった個々の金融機能を独立したサービスとして開発し、APIなどで連携して1つのアプリケーションにする「マイクロサービスアーキテクチャ」という手法を採用する方針。GCPはそうしたマイクロサービスの稼働に適していると判断し、導入を決めたという。 システム開発を担当するふくおかFG傘下のゼロバンク・デザインファクトリー(ZDF)は、「柔軟かつ迅速な商品サービスの開発・提供が可能になる」と説明。「新銀行の金融機能・商品などを

                                    ふくおかFGのネット銀行、勘定系システムに「Google Cloud Platform」採用 開発スピード迅速化
                                  • Pokémon GOとGCP

                                    Pokémon GOにどのようなGCPプロダクトが使われていて、リリース後にGoogle CloudのCustomer Reliability Engineerがどのようなことを実施したか説明したプレゼンテーションです。 酒とゲームとインフラとGCP 第4回 〜いい夫婦の日は家庭を鑑みながら酒を飲めるぞ〜 <https: /> で発表した資料です。 Read less

                                      Pokémon GOとGCP
                                    • 想定の50倍ものトラフィックが発生したPokémon Go。基盤となったのはGoogle CloudのCloud DatastoreとGoogle Container Engine

                                      想定の50倍ものトラフィックが発生したPokémon Go。基盤となったのはGoogle CloudのCloud DatastoreとGoogle Container Engine Googleは9月29日付のブログ「Bringing Pokémon GO to life on Google Cloud」で、Pokémon GoのインフラとしてGoogle Cloudが使われており、サービス開始後に想定の50倍ものトラフィックが押し寄せてきたことを紹介しています。 下記のグラフのオレンジ色の線が当初の想定(Original Launch Target)、赤い線が想定していた最悪のケース(Estimated Worst Case)です。しかし現実にやってきたトラフィックは緑路の線(Actual Traffic)でした。 当初の想定よりも5倍余裕を持って最悪のケースを想定していたところに、実際

                                        想定の50倍ものトラフィックが発生したPokémon Go。基盤となったのはGoogle CloudのCloud DatastoreとGoogle Container Engine
                                      • AWSとGCPが日本政府の共通クラウド基盤「ガバメントクラウド」に 「セキュリティや業務継続性で判断」

                                        デジタル庁は10月26日、日本政府の共通クラウド基盤「ガバメントクラウド」として、「Amazon Web Services」と「Google Cloud Platform」を選んだと発表した。「公募に3社の応募があったが、セキュリティや業務継続性など350の項目を満たした2社を選定した」(同庁)という。 デジタル庁は今後、同庁のWebサービスなどをAWSとGCPで構成したマルチクラウド基盤に構築。他省庁の新システムなども、クラウド移行を行う場合はガバメントクラウドの活用を検討する。自治体のシステムの提供基盤も2025年度末までに共通化し、政府・自治体間のデータ移行や、既存システムの機能拡張をしやすくするとしている。 クラウド化により、各自治体のサーバ導入・運用コスト削減も見込む。複数の民間事業者がガバメントクラウド上に業務用アプリなどを開発し、自治体が状況に合わせて導入を判断できるようにす

                                          AWSとGCPが日本政府の共通クラウド基盤「ガバメントクラウド」に 「セキュリティや業務継続性で判断」
                                        • [速報]Google App EngineがRubyとNode.jsのサポートを発表。GCP Next 2016

                                          [速報]Google App EngineがRubyとNode.jsのサポートを発表。GCP Next 2016 Googleは同社のクラウドに関するイベント「GCP Next 2016」を3月23日、24日の2日間にわたり米サンフランシスコで開催しています。 初日の基調講演では、同社がエンタープライズ市場へ注力すること、次世代のクラウド基盤としてコンテナが主役になること、そして機械学習サービスの充実などが語られました。

                                            [速報]Google App EngineがRubyとNode.jsのサポートを発表。GCP Next 2016
                                          • メルペイでのSpannerとの戦いの日々 | メルカリエンジニアリング

                                            こんにちは、メルペイのバックエンドエンジニアの @kazegusuri です。 メルペイではメインのデータベースとしてGoogle Cloud Spannerを利用しています。 マイクロサービスによっては秒間数千リクエストをSpannerで処理しています。 いかにSpannerをスケールできるようにして安定させられるかが会社全体として重要になっています。 本記事では数ヶ月間戦ってきたSpannerのレイテンシが高くなる問題とその解決法について紹介したいと思います。 社内への調査報告も含めて書いているため、かなり詳細で長い内容になっています。 なおこの問題の大部分はGoでSpannerを使ったときにだけ発生する問題のため、Javaなどの他の言語では該当しない可能性があります。 CreateSession問題 ここで紹介しなくても良いくらい基本的なところですが、CreateSessionが非常

                                              メルペイでのSpannerとの戦いの日々 | メルカリエンジニアリング
                                            • [速報]Google、AWS対抗をあらわにした値下げと新価格体系を発表。継続利用で自動値引き

                                              Googleは3月25日(日本時間3月26日早朝)にイベント「Google Cloud Platform Live」を開催。クラウドに関する新価格および新価格体系を発表しました。 発表では名指しはしないものの、つねにAmazonクラウドよりも安価かつシンプルなものであることが強調されており、Googleがクラウド市場において本気で攻めの姿勢を見せたことが強く印象付けられました。 特に標的となったのが、予約金を払うことで利用料金が安くなる「リザーブドインスタンス」と、データ分析サービスの「Amazon Redshift」。リザーブドインスタンスについては、クラウドの価格体系を複雑にしていると切って捨て、よりシンプルな価格体系として継続利用値引きを提示。Amazon Redshiftに対してはBigQueryの大幅値下げと処理性能の向上で対抗しています。 クラウドの価格もムーアの法則に従うべき

                                                [速報]Google、AWS対抗をあらわにした値下げと新価格体系を発表。継続利用で自動値引き
                                              • サーバーレスでclubhouse みたいなボイスチャットサービス「mixroom」を開発しました - y-ohgi's blog

                                                TL;DR clubhouse のような複数人でのボイスチャットサービス「mixroom」をつくりました 主にSkyWay・Firebase・Next.js を使いました。 https://mixroom.fun 「mixroom」 とは mixroom は"目的ベース"でボイスチャットをする場所を提供するサービスです。 昨今は人と話す機会が減り、友好関係も自分から能動的に獲得しにいかないと減るばかりで「孤独感を感じる」みたいなことが増えてきました。 そんなとき、ふらっと立ち寄れるなんの気構えしなくて良い場所があればなと思い、このサービスを作ってみました。 ボイスチャットをするモチベーションを"特定の人"ではなく、ゲーム・実況・もくもく会などの"目的"にすることで良い意味で言い訳ができ、人とのつながりを感じることができるんじゃないかなと考えています。 気構えしなくてよい・カジュアルに参加で

                                                  サーバーレスでclubhouse みたいなボイスチャットサービス「mixroom」を開発しました - y-ohgi's blog
                                                • TwilioとGoogle Cloud Speech APIで電話の内容を文章に変換する | DevelopersIO

                                                  Google Cloud Speech API (以下Speech API) を利用すると、人間が発声した音声をAPIを通してテキストに変換することができます。 Speech APIは日本語にも対応しているため、国内でも電話で話した内容を自動的にテキストに変換するといったようなことが出来るようになります。 ということで、Twilio, Zappa, Speech APIを組み合わせて、サーバレスに電話の内容を文章化する仕組みをつくってみました。 構成 以下が今回作成した仕組みの構成図になります。 Twilioを用いて電話から音声を録音する方法については、こちらの記事を参考にしてください。 上記の記事に加えて、Twilioから録音された音声ファイルのURLをSNSを通して別のLambda Functionに投げ、そこから音声ファイルの取得とSpeech APIへの問い合わせを行っています。最

                                                    TwilioとGoogle Cloud Speech APIで電話の内容を文章に変換する | DevelopersIO
                                                  • 2020年の個人的Firebaseのまとめ

                                                    (この記事はFirebase アドベントカレンダー 2020の記事です) もうアドベントカレンダーの季節かーって感じですね。もともと引きこもるのが好きだったのが、引きこもる大義名分を得た年だったのでずっと家にいて季節感がなかった年でした。 そんなことは関係なく、2020年もFirebaseは進化していたのアップデート内容を個人的興味があったものまとめていきます。 Emulator Suite UI Emulator SuiteはローカルやCI/CDでFirebaseの機能をテストできるツールです。Emulator Suiteが出るまでは本物のFirebaseプロジェクトを利用する必要がありましたが、Emulatorの登場で複数人開発やCIでのテストもやりやすくなりました。 5月のリリースでEmulator SuiteにUIが付きより視覚的にローカルでのテストがしやすくなり、Firebase

                                                      2020年の個人的Firebaseのまとめ
                                                    • Microservices at Mercari

                                                      1) Mercari has transitioned some services to microservices architecture running on Kubernetes in the US region to improve development velocity. 2) Key challenges in operating microservices include deployment automation using Spinnaker, and observability of distributed systems through request tracing, logging, and metrics. 3) The architecture is still evolving with discussions on service mesh and c

                                                        Microservices at Mercari
                                                      • Google Cloud 上で 100 兆桁の円周率を計算 | Google Cloud 公式ブログ

                                                        ※この投稿は米国時間 2022 年 6 月 8 日に、Google Cloud blog に投稿されたものの抄訳です。 記録は破るためにあります。2019 年、Google は 31 兆 4000 億桁の円周率を計算し、当時の世界記録を樹立しました。そして 2021 年には グラウビュンデン応用科学大学 の科学者が、さらに 31 兆 4000 億桁上回る計 62 兆 8000 億桁を計算しました。そして本日、Google は100 兆桁の円周率を計算し、世界記録を更新したことを発表します。 Google Cloud を使って円周率の桁数の世界記録を更新1するのは今回で 2 度目で、わずか 3 年で桁数を 3 倍に伸ばしました。 この新記録は、 Google Cloud のインフラストラクチャが年々高速化していることの証とも言えます。記録達成の背景には、 Google Cloud の安全でカ

                                                          Google Cloud 上で 100 兆桁の円周率を計算 | Google Cloud 公式ブログ
                                                        • 【Elasticsearch】1900万点に及ぶ商品データ作成の時間を約67%短縮できた構成と工夫 - MonotaRO Tech Blog

                                                          初めまして、EC基盤グループ サーチチームの壷井です。 モノタロウでは2019年10月頃より新規検索システムの設計・開発を進め、今年の4月頃にECサイト(monotaro.com) 検索ページの裏側の検索システムを従来のSolrからElasticsearchに100%移行*1しました。この移行は将来の商品点数やリクエスト数の増加を見据えたバックエンドの大規模な改修で、ここまで約2年半ほどプロジェクトを進めてきました。今後もECサイトのすべてのページの完全移行に向け引き続き開発・運用を行っていきます。 今回はこのプロジェクトのなかで私が担当してきたElasticsearchへの日々のデータの洗い替え(日次更新と呼んでいます)ワークフローのシステム構成と工夫などについてお話します。 モノタロウの検索システムの紹介 日次更新のシステム構成 処理の流れ ① リアルタイムデータ同期 ② 日次商品デー

                                                            【Elasticsearch】1900万点に及ぶ商品データ作成の時間を約67%短縮できた構成と工夫 - MonotaRO Tech Blog
                                                          • Google Cloud、顧客のシステムを間違って全削除した大規模障害の原因を報告。プライベートクラウドの期間を1年と設定ミス

                                                            Google Cloudは、同クラウドユーザーであるオーストラリアの年金基金「UniSuper」で発生した大規模障害の原因について報告する記事「Sharing details on a recent incident impacting one of our customers」を公開しました。 今月(2024年5月)初旬、Google Cloud上で稼働していた数百の仮想マシン、データベース、アプリケーションを含むUniSuperのプライベートクラウドが突如として原因不明のまま削除され、復旧されるまでの数日にわたってシステムが利用できなくなるという大規模障害が発生しました。 今回の報告では、実際になぜこのような大規模障害が発生したのか、その原因と復旧の経緯について明らかにされています。その概要を紹介しましょう。 Google Cloud VMware Engineの設定を間違う UniS

                                                              Google Cloud、顧客のシステムを間違って全削除した大規模障害の原因を報告。プライベートクラウドの期間を1年と設定ミス
                                                            • Google、1GB当たり1セントながら3秒以内にデータ取得できるニアラインストレージ「Cloud Storage Nearline」提供開始

                                                              Google、1GB当たり1セントながら3秒以内にデータ取得できるニアラインストレージ「Cloud Storage Nearline」提供開始 一般にITのシステムおいてストレージはシステム全体の性能を左右する重要なコンポーネントであるため、高性能なSASドライブやSANストレージ、最近ではフラッシュストレージなどが多く用いられます。 こうした性能重視のストレージは一般にオンラインストレージ、あるいはプライマリストレージなどと呼ばれますが、これに対してバックアップ用途や、容量あたりのコストなどを重視したストレージを「ニアラインストレージ」と呼びます。低価格なSATAハードディスクなどを用いたストレージなどがこれに相当します。 長期保存やアーカイブが主目的となり、光学ディスクや磁気テープのように読み出し時にメディアを交換したりマウントするようなストレージのことを「オフラインストレージ」と呼び

                                                                Google、1GB当たり1セントながら3秒以内にデータ取得できるニアラインストレージ「Cloud Storage Nearline」提供開始
                                                              • 無料のはずのGCEのf1-microインスタンスで11月だけ1円課金された理由 - Qiita

                                                                2017年3月からGCEのf1-microインスタンスが一人1台無料になりました。私自身3月からずっと起動したままで運用してきて10月まで無料で使わせてもらっていたのですが、下記の通り11月は1円を請求されていました。 GCEのf1-microインスタンスは1ヶ月分(月の日数に応じて720時間もしくは744時間)のCPU利用が無料になるのですが、11月は721時間使っていたというのです。 課金された理由はサマータイムの終了 いい大人であれば1円くらい仕方ないなと思うところでしょうが、私は理由が気になって課金ログを確認してみました。すると、11/5だけ25時間分のCPUを使っていることがわかりました。アメリカの11月第1日曜日はサマータイム終了の日なので、実際に1日が25時間あるのです。 これがGoogleさんの意図通りかは不明ですが、おそらく考え漏れなんじゃないでしょうか。サマータイムって

                                                                  無料のはずのGCEのf1-microインスタンスで11月だけ1円課金された理由 - Qiita
                                                                • ssig33.com - DeNA TechCon 2018 『『Nintendo みまもり Switch』を支える技術』 の内容紹介と感想

                                                                  そういうわけで https://techcon.dena.com/ にいってきました。 表題の発表は、撮影および SNS での内容共有の禁止ということになっていたので、内容を個人サイトで共有致します。その場にいなかった方でこの記事を読んだ方であればこの記事およびその内容を SNS で共有することは一切禁じられないかと思いますのでよろしくお願いします。 発表者 DeNA 堀、平賀 任天堂 名前メモし忘れた 公開されたスケジュールでは堀および平賀による発表ということになっていたが、任天堂の何者かが急遽参加したということだった。おそらく技術者ではなく広報の人。 サービス紹介 (任天堂の人) サービス内容については検索すれば分かることを普通にしゃべり、クッパがサービスを使うあの動画を流すだけ。(ssig33 の感想: なにしにきたんだコイツ) 開発体制 (堀) 任天堂は企画、ディレクション、 Sw

                                                                  • Google、大規模分散DB「Spanner」にPostgreSQL互換インターフェイスを実装。強い一貫性で秒間10億以上のリクエストを処理可能。Google Cloud Next '21

                                                                    GoogleはGoogle Cloudで提供している大規模分散データベース「Cloud Spanner」に、PostgreSQL互換のインターフェイスを実装したと発表しました。 At #GoogleCloudNext, we've announced the preview of Cloud Spanner’s PostgreSQL interface—combining the scalability & reliability of Spanner that enterprises trust with the familiarity & portability of PostgreSQL that dev teams . Take a deeper dive ↓ https://t.co/Y3xD1lDPLg — Google Cloud Tech (@GoogleCloudTech

                                                                      Google、大規模分散DB「Spanner」にPostgreSQL互換インターフェイスを実装。強い一貫性で秒間10億以上のリクエストを処理可能。Google Cloud Next '21
                                                                    • さくっとRails on Google App Engineをはじめる·Rails on GAE MOONGIFT

                                                                      Google App Engine(GAE)の可能性はJavaをサポートしたことによってその可能性を飛躍的に向上させた。JavaVM上で実装された言語であれば何でも動作する。JRubyもその一つで、Ruby on RailsもGoogle App Engine上で動作する。 GAEのパワーを素早くゲットする とは言えやはりマイノリティだけに色々な準備が必要とされていた。そのため敬遠していた人も多いだろうが、Rails on GAEによって大きく舵を切ることになりそうだ。 今回紹介するオープンソース・ソフトウェアはRails on GAE、GAEでRuby on Railsを動かすためのプラグインだ。 Rails on GAEはRuby on RailsをGAEで動作させるために必要なタスクを予めインストールすることで、後は順番に従って進めるだけでJRuby on Railsができるようにな

                                                                        さくっとRails on Google App Engineをはじめる·Rails on GAE MOONGIFT
                                                                      • 個人開発のプロダクトにおけるクラウド料金のはなし - GCPの年間コストをランチ一回分に抑えた話 - Lean Baseball

                                                                        GCP(Google Cloud Platform)を個人開発プロダクトの中心として使っているマンです. AWSやAzureなど他のクラウドサービスもそうですが, クラウドサービスを自分の財布から使ってる時ってめちゃくちゃドキドキしませんか?特にお金の話💰 gigazine.net 例えばこういう記事が流れてくると, 勉強のつもりでアカウント作ったけどどうしよう🤔 仕事で使ってるけど怖くなってきた😫 などなど, 色々と不安を覚えると思います, 自分も昔はそうでした, クレカの情報入れるのこわいお💳的な. ですが安心してください. 仕組みを正しく理解して使えば個人レベルだとメチャクチャ安く収まります. このエントリーでは, 私が今年(2020年)に使ったGCPの料金をチラ見せしつつ, 目的に合わせたクラウドサービスの使い方をTipsとして紹介し, GCP(に限らず他のクラウドサービス

                                                                          個人開発のプロダクトにおけるクラウド料金のはなし - GCPの年間コストをランチ一回分に抑えた話 - Lean Baseball
                                                                        • 個人開発者向けサーバ環境の選び方まとめ(heroku,aws,firebaseなどなど) - Qiita

                                                                          この記事は下記のブログに移行しました この記事の目的 上記の記事で 個人開発における特有のインフラ周りの悩み それぞれのサーバー、インフラを使った人の生の声 パターン別のおすすめサーバー などをまとめています。 個人開発や広告マネタイズなどtwitterで発信しているのでその辺興味ある人は気軽にフォローしてください。

                                                                            個人開発者向けサーバ環境の選び方まとめ(heroku,aws,firebaseなどなど) - Qiita
                                                                          • Kubernetes(GKE)にお安く入門する - LiBz Tech Blog

                                                                            目次 目次 はじめに 経緯 そもそもKubernetesとは なぜEKS(AWS)ではなくてGKE(GCP)なのか 無料のクラスタをつくる とりあえずk8sクラスタをつくってみる ノード(インスタンス)が1つだけのノードプールをつくる 3つのノードが登録されているノードプールを消す 作成したクラスタに接続 起動したクラスタのPodを確認してみる podとは? kubectlコマンドでpodの状態を見てみる preemptibleインスタンスのnodeを立ててスペックを確保する preemptibleインスタンスとは? \(^o^)/ここから有料です\(^o^)/ preemptibleインスタンスが1つのnode-poolをつくってみる Datadogで監視してみる ReplicaSetとDaemonSet ReplicaSetとは... DaemonSetとは... Datadogをいれ

                                                                              Kubernetes(GKE)にお安く入門する - LiBz Tech Blog
                                                                            • MySQL5.7 / RDS / Aurora / Cloud SQL の性能比較 | 外道父の匠

                                                                              CloudSQLの価格は実戦的という意味で、per Dayの価格を24hourで割った価格にしています。 メモリは2GBあれば検証としては十分なので格差は関係ありません。 IOPSはEBSならGeneral Purposeの1000GB*3で最大確保しています。 その他、ネットワーク周りなどポイントがあれば都度、補足していきます。 ベンチマークのデータ 今回、採取した全データはこちらになります。一部、目的に対して不要と判断したら省略しています。まぁ、こんなオレオレメモデータを見ても楽しくないでしょうから、1つ1つ考察していきましょう。 手法について 私がよくやる計測方法なのですが、innodb_buffer_pool_size がデータ容量より大きい健全な状態と、最小の16MBで過負荷ストレージを演出し、それぞれで参照/更新を別々にランダムアクセスをすることで、最初のボトルネックを炙り出し

                                                                                MySQL5.7 / RDS / Aurora / Cloud SQL の性能比較 | 外道父の匠
                                                                              • Google、オープンな生成AIモデル「Gemma」公開 商用利用OK、Geminiと同じ技術の軽量LLM

                                                                                また、Gemmaの事前トレーニング済みモデルでは、学習データから特定の個人情報やその他の機密データを除外していると安全性もアピール。開発者や研究者向けに、安全で責任あるAIアプリケーションを構築できるというツールキット「Responsible Generative AI Toolkit」も併せて公開している。 関連記事 Google、“現行最強”の生成AI発表 月2900円で利用可 チャットAIサービスはBard→Geminiに刷新 米Googleは2月8日(現地時間)、「現行最強」をうたう生成AI「Gemini Advanced」を発表した。すでにサービスを提供開始しており、月額2900円で利用可能。2カ月間の無料試用期間も用意する。 Google、「Gemini 1.5 Pro」限定リリース コンテキストウィンドウは100万トークン Googleは、生成AIの次世代モデル「Gemini

                                                                                  Google、オープンな生成AIモデル「Gemma」公開 商用利用OK、Geminiと同じ技術の軽量LLM
                                                                                • SQLを使った監視でデータ基盤の品質を向上させる - MonotaRO Tech Blog

                                                                                  こんにちは、データ基盤グループの吉田(id:syou6162)です。データ基盤グループでは安定してデータを利用できるように様々な取り組みを行なっています。本エントリでは、データ品質に問題がある場合にすぐに気付けるようにしたSQLによる監視の仕組みを紹介します。 背景 SQLを使った監視基盤の構築 実際の監視項目例 他チームがdailyで転送しているデータがバッチの失敗により遅れていないか BigQueryのエラーレートが急激に増加していないか 承認済みビューの設定が意図せず消えていないか 今後の展望 背景 データ基盤の運用をしていると、日々様々なトラブルと向き合う必要があります。例えば、以下のようなものがあります。 他チームがdailyで転送しているデータがバッチの失敗により遅れている TerraformなどのIaCで承認済みビューの権限管理を行なっているが、コードの設定ミスで意図せぬ状態

                                                                                    SQLを使った監視でデータ基盤の品質を向上させる - MonotaRO Tech Blog