こんにちは。グリフォンでインフラエンジニアをしている徳田です。 日々運用しているインフラの改善や新規ゲームのインフラ設計などを行っているのですが、先日、グリフォンで4年運用しているブラウザゲーム「不良遊戯 シャッフル・ザ・カード」(以下、不良遊戯)のインフラをGoogle Cloud Platform(以下、GCP)へ移設しました。今回は、その時の経緯や設計、行った作業やTipsについてご紹介します。 経緯 大まかな経緯として、 インフラコストの削減 パフォーマンスの向上 インフラ環境の整備 技術的な挑戦 がありました。しかし、事の発端は私がGCPを使いたい・試してみたいというなんとも自分勝手な提案だったのですが（笑）。 「インフラコストの削減」と「パフォーマンスの向上」については、不良遊戯をリリースしたのが2014年の5月で3年経っており、リリース時に比べVMのコア単価が安く、CPU性能
こんにちは、SPEEDAのSREチームでエンジニアをしている阿南です。SPEEDAのSREチームでは、昨年末kubernetesについて理解を深めるために合宿を行いました。やり方はA〜Cの３チームに分けて、それぞれのチームでkubernetesに関することを調査、構築するという形式で、今回はAチームが実際にやってみた内容についてブログを書きたいと思います。（それぞれのチームでかなりボリュームがあるので、複数回に渡って連載的な形でお届けしたいと思います。） Aチームでは、kubernetesを本番環境に投入するにあたり、ログ収集周りをあまり調査できてないなと感じ、GCP上に環境を作ってみることにしました。 構築する環境 構築手順 クラスター構築 wordpress + MySQL構築 Fluentdイメージの作成 ConfigMap設定 DaemonSet設定 まとめ お知らせ 構築する環境
RDBとは別の、クラウド時代のデータベースとして注目を浴びている「分散Key-Valueストア」。その本命ともいえる、Googleの数々のサービスの基盤技術「Bigtable」について徹底解説 もう1つの、DBのかたち、分散Key-Valueストアとは 分散Key-Valueストアの本命「Bigtable」（1） 企業のシステムで多く使われるRDBとは別にDBにはもう1つの“かたち”が存在する。RDBとの違いや長所・短所を解説しよう
出所：Gartner「Magic Quadrant for Cloud Infrastructure as a Service, Worldwide」 大手クラウドサービスの競争が激しさを増している。米アマゾン ウェブ サービスの「Amazon Web Services（AWS）」、米マイクロソフトの「Microsoft Azure」、米グーグル（Google）の「Google Cloud Platform（GCP）」という3強だ。米調査会社ガートナーによるIaaS（インフラストラクチャー・アズ・ア・サービス）の市場分析を見ても、3社がずぬけている。AWSでは2018年に「大阪ローカルリージョン」を、GCPは2019年に「大阪GCPリージョン」を開設する予定であるなど、日本向けのサービス強化も相次ぐ。 クラウド市場をけん引するAWSの勢いは衰えをみせない。2017年度の売上高は175億ドル
KPI に関わる数値の集計処理を Cloud Dataflow に置き換えている話 | メルカリエンジニアリング
メルカリのバックエンドを支える SRE(Site Reliability Engineering) チームに最近加わりました @syu_cream です。 本記事では KPI に関わる数値を計算してレポートを生成する集計システムの刷新に取り組んでいる話を紹介します。 現在は刷新の途中であり、集計項目ベースでいうと 1/3 ほどの実装が済み、現行システムと刷新後のシステムの一部を並行稼動させている状態です。 背景 メルカリではアプリケーションのログファイルやデータベースから、 DAU(Daily Active Users) などの KPI に関する様々な数値を集計するためのシステムを稼働させています。 この集計システムは毎日 Slack やメールにて KPI のサマリーレポートを送信し、全社員が数値を閲覧し、日々プロダクトの傾向を意識することを可能にしています。 集計システムの動作イメージは
GCP HTTP(S) load balancing 配下のnginxでクライアントIPを取得する方法 - Hateburo: kazeburo hatenablog
GCP HTTP(S) load balancing の X-Forwarded-For ヘッダは少し変わっているのでメモ。 X-Forwarded-For とクライアントIP ELBや他のproxyを使って、その配下のサーバにリクエスト元のIPアドレスを伝える際には、X-Forwarded-For ヘッダが使われます。 X-Forwarded-For: $remote_addr リクエストにすでにX-F-Fヘッダがあった場合は、後ろに追加します。 X-Forwarded-For: $http_x_forwarded_for, $remote_addr となります。 X-F-Fを受け取ったサーバでは、アクセス元のIPが信用できるIPアドレスまたはIP帯域の場合に、X-F-Fの最後のIPアドレスを、remote_addrとして利用します。 nginxでは ngx_http_realip_mo
［速報］Google Compute Engine Autoscaler発表。わずか数分で千インスタンスをスケーラブルに伸縮
［速報］Google Compute Engine Autoscaler発表。わずか数分で千インスタンスをスケーラブルに伸縮 Googleは11月4日（日本時間5日）、サンフランシスコでイベント「Google Cloud Platform Live」を開催。同社のIaaS型クラウドサービスであるGoogle Compute Engineで利用できるオートスケーラ－「Compute Engine Autoscaler」を発表しました。 Googleはすでに社内で大規模なスケーラビリティを実現しており、例えば1000ノードのクラスタでも5分以内に起動するといったことを実現しています。 Compute Engine Autoscalerは、このようなすでに実証された技術を基に構築されたサービス。短時間で急速に負荷が上昇するスパイクのようなことが起きても、ウォームアップ不要で即座にクラスタを拡張し
｜DMM inside
【firestoreアンチパターン】RDB思考でfirestoreを使うと危険な4つのケースと対策 - Qiita
こんにちは。virapture株式会社のもぐめっとです。 最近ユニクロで友達とオソロのメタモンTシャツ買いました。カワイイです。 本日はfirestore使ってて辛いよーという声をよく聞いたので、そのままfirestore使っていると危険な理由と対策など4つのアンチパターンとして紹介しようと思います。 1. Join Lover: データをjoinする 目的 RDBではよくあるテーブル同士を結合してデータを取り出すJoin。 firestoreでjoinを用いたいケースというのは特定のドキュメントのデータだけでは表示する要素が足りないので別のドキュメントから取得してなんとかするみたいな感じになると思います。 しかし、firestoreのプロもおっしゃってますが、firestoreへのjoin追加は望みが薄いと思われます。 RDBで重くなってる要因も外部結合や副問い合わせとかガンガン使って重
BigQueryでアニメに関するツイートを分析する アニメツイートを記録したCSVをBigQueryに上げる データ形式を選択する CSV/JSON/AppEngine Backupが選べますが今回はCSVとします。 File Uploadでブラウザからファイルアップロード・・・といきたい所ですがファイルブラウザからのアップロードは10Mバイトに制限されています。 10Mバイト以上のファイルはGoogleのクラウドストレージにファイルをアップロードする必要があります。 Google Cloud Storage にデータを上げる Cloud StorageにBucketsを作成しファイルをアップロードします。 こちらではブラウザから10M以上のファイルのもアップロードできますが、数百Gバイトなどのでかいファイルはブラウザがタイムアウトなどを起こすのでGoogleの用意するツール(gsutil
Starlink(スターリンク)とクラウドで月額171円の冗長VPNを構築してみました | IIJ Engineers Blog
今回は日本、アメリカ、ドイツに設置しているStarlinkの検証環境用に構築した冗長VPNについて説明します。 これまで過去投稿の一覧を書いていましたが、記事が増えてきたので、タグでまとめた先のリンクにします。IIJのスターリンク関係の記事が集まっていますので活用してください。 動画も公開していますので、よろしければそちらもあわせてご覧ください。 3ヵ所のStarlinkをどう繋いでいくのか？ 海外のStarlinkを検証していくために、当初から検証環境について色々と検討していました。Starlink機器にインターネット側からアクセスする手段はないのでStarlink機器配下にVPNで常時接続している機器を設置、リモート接続して検証する形を考えていました。VPNを冗長構成にする事でVPN自身のメンテナンスも安全にできるようになります。 VPNネットワークの構成 Starlink配下におく機
GitHub - kubernetes/kubernetes: Production-Grade Container Scheduling and Management
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
この1年くらいでgolangとGCPを使ったWebアプリケーションをフルスクラッチで開発したので、その際の技術選定の理由だったりを言語化して残しておきたいと思い、HHKBを手に取りました。 少し長くなってしまいましたが、どなたかの参考になればと思います。 どんな人が書いてるの？ 立ち上げ期のスタートアップCTOをしています。雑に言うとフルスタックエンジニアです。 開発歴はざっくり、Androidアプリの開発歴が一番長くて3年、バックエンド開発（Elixir × GCP）に転身して1年ほど担当、その後、これから言語化するプロジェクトを1年くらいかけてgolangで構築したところです。 今回の範囲からは外れますが、並行してNuxt.js×TypeScriptで書かれたフロントエンド開発も行っていたので、今はその辺りも一通り習得しています。 1. 方針 表題にもある通り、少人数での爆速開発を目指
Spanner - Qiita
これまで多くのトランザクションの要素技術を説明してきた。 Googleの公開している論文Spanner: Google's Globally-Distributed Database は公開当初、要求される専門技術の多さからよくわからないと言っている人が多かったが、これまでに説明した要素技術をベースにすると理解しやすい。 Spannerとは 複数のデータセンターに跨ってデータベースの内容を複製し続ける事で高い可用性を実現するという構想は数多くあった。 しかしそれらの分散データベースは実用的な速度を実現しようとすると、データモデルがただのRDBより単純化して使いにくかったりトランザクションをサポートしなかったりと、アプリケーションの一貫性を実現するのが難しい。 現にGoogleの社内でもBigtableなどを用いたアプリケーションは複数あるものの、それぞれでそのデータモデルの上で無理やりトラ
※本記事は2022年1月22日に公開された記事の翻訳版です。 この記事は、Developer Productivity Engineering Campブログシリーズの一環として、Platform Infraチームの Daisuke Fujita (@dtan4)がお届けします。 メルカリでは、すべてのクラウドインフラを宣言的構成で管理することがプラットフォームの中核となる考え方の一つです。メインのクラウドプロバイダーはGoogle Cloud Platform（GCP）であり、HashiCorp Terraformを使用してインフラをコードとして管理しています。Platform Infraチームは、すべてのTerraformワークフローを安全に管理するための社内CIサービスを提供しています。 Terraformはリソースプロビジョニングのためにクラウドプロバイダーのクレデンシャルを必要と
インフラ未経験エンジニアがGCPで爆速構築する奮闘記 - カミナシ エンジニアブログ
こんにちは、株式会社カミナシのエンジニア @imu です。 はじめに 私はインフラに対して苦手意識（詳しく知らない）があり、issueに対して率先して改善しようとしませんでした。このまま深く触ることはないかなと思っていた矢先、新規プロダクトのインフラ構築をお願いされました。 めちゃくちゃ不安しかなかったのですが、最初から構築する機会なんて滅多にないのでチャレンジすることに！ （内心はやりたくないなと思ったけど…） 私自身は知らない領域にチャレンジすることは好きなので、楽しんでやろうと思いました。 苦手意識がある私がどのように、リリースできる環境を構築したか共有できればと思います！ 注意）本内容はα版という位置づけで構築しており、正式リリース時には都度変更をしていきます。 Day 1（技術選定） 弊社はカミナシレポートというサービスを提供しています。このプロダクトはAWSを利用しており、その
この記事はMercari Advent Calendar10日目の記事です。昨日は@syu_creamのメルカリのデータ分析基盤の紹介〜BigQuery周辺の話〜でした。 本日はUSサンフランシスコのサーバサイドエンジニア@deme0607が、今年2017年にリニューアルしたUS版Mercariのサーバサイドについてご紹介します。 現在のアーキテクチャ Brand new US Mercari (Android 編)でもご紹介したように、US版Mercariは今年、より一層USマーケットにフィットしたアプリを提供しUSでの成長を加速すべく、大きなリニューアルが実施されました。前述の記事はAndroidアプリのリニューアルに関するものですが、iOSアプリやAPIサーバも同様にリニューアルしています。 以下の図は、リニューアル後のUS版Mercariのサーバサイドアーキテクチャです。 ここでは
※この投稿は米国時間 2021 年 6 月 25 日に、Google Cloud blog に投稿されたものの抄訳です。 ML システムを構築および運用化する成熟した MLOps 手法の確立に際しては、適切な手法が得られるまで数年の歳月を要する場合もあります。Google ではこのほど、この重要な作業の時間短縮を支援する MLOps フレームワークを公開しました。 MLOps の使用を開始する際に、これらのプロセスと機能を必ずしもすべて実装する必要はありません。ワークロードのタイプおよびそれにより生み出されるビジネス価値や、プロセスもしくは機能の構築または購入にかかるコストとのバランスによって、プロセスや機能の中で優先順位の差が生じます。 フレームワークを実用的手順に変換しようとする ML 担当者を支援するため、このブログ投稿では、お客様をサポートした経験を元に、何から始めるべきかを左右す
こんにちは、データ基盤の開発、運用をしていた谷口（case-k）です。最近は配信基盤の開発と運用をしています。 ZOZOではオンプレやクラウドにあるデータをBigQueryへ連携し、分析やシステムで活用しています。BigQueryに連携されたテーブルは共通データ基盤として全社的に利用されています。 共通データ基盤は随分前に作られたこともあり、様々な負債を抱えていました。負債を解消しようにも利用者が約300人以上おり、影響範囲が大きく改善したくても改善できずにいました。 本記事では旧データ基盤の課題や新データ基盤の紹介に加え、どのようにリプレイスを進めたかご紹介します。同じような課題を抱えている方や新しくデータ基盤を作ろうとしている方の参考になると嬉しいです。 データ基盤の紹介 旧データ基盤の紹介 旧データ基盤の課題 変更があっても更新されないデータ 性質の異なるテーブルを同じ命名規則で管理
Google App Engineを使ったWebアプリケーションのアプリ内課金チュートリアル·iap-hello-world MOONGIFT
iap-hello-worldはWebアプリケーションにおけるGoogleチェックアウトを使ったアプリ内課金を行うデモです。 Androidアプリの販売に際してGoogleチェックアウトが日本でも使えるようになりました。そしてそのGoogleチェックアウトを使ったWebアプリケーション内における課金方法について参考にしたいソフトウェアがiap-hello-worldです。 最初に認証をします。 ここはいわばゲームのダッシュボードです。左側のリンクをクリックしてゲームを行います。 Androidのキャラクターを動かすゲームです。 そしてアプリ内課金にトライできます。 iap-hello-worldはWebアプリケーションとしてゲームを提供し、その中でアプリ内課金を使うためのチュートリアルになっています。Androidのみならず、Webアプリケーションでもアプリ内課金を扱ってみたいと考えた際に
Kubernetes を利用したコンテナベース機械学習基盤の構築 - LIVESENSE Data Analytics Blog
データプラットフォームチームの野本です。機械学習基盤の構築やその周辺アプリケーションの実装を行っています。以前は DOOR 賃貸の開発運用をしていてこんなことなどしてました。 機械学習システム運用の課題 リブセンスでは 2014 年ごろから機械学習システムの開発導入を行っており以降様々な機械学習システムを各サービスに導入してきました。また自社でのデータ分析基盤の運用も行うようになってから機械学習システムの開発の幅が広がり導入の要望も次第に増えてきました。(参考:リブセンスのデータ専門組織のこれまでとこれから) 当初は機械学習システムに対する運用知見などが少なかったため、専用のインフラというものは保持せず各サービスのインフラに相乗りし、サービスのアプリケーションと密に連携し機械学習システムを実装運用することが多かったです。各サービスは元々オンプレミスで運用されていたものが多かったのですが、現
システムの一部をAWSからGCPへ Sansanのクラウドアーキテクチャの裏側 名刺データ化システムにおけるAWSとGCPのマルチクラウド活用 2018年11月10日、Sansan株式会社が主催するイベント「Sansan Builders Box」が開催されました。Sansan史上初となるサービス開発に携わるものづくりのメンバーを中心とした本カンファレンスでは、ソフトウェア開発やプロダクトマネジメント、UXデザイン、研究開発など、様々な分野での活動の成果が発表されました。プレゼンテーション「名刺データ化システムにおけるAWSとGCPのマルチクラウド活用」に登場したのは、Sansan株式会社DSOC（Data Strategy & Operation Center）Development Group、インフラエンジニアの大澤秀一氏。名刺データ化システムのアーキテクチャと、AWSからGCPへの
こんにちは。SRE部MA基盤チームの川津です。 私たちのチームでは今年サービスを終了した「IQON」の10TBを超える大規模データをBigQueryからS3へ移行しました。本記事ではデータ移行を行った際に検討したこと、実際にどのようにデータ移行を行ったかを紹介します。 データ移行の経緯 IQONは2020年4月6日をもってサービスを終了しました。そのIQONではデータ分析にBigQueryを利用していましたが、Amazon Web Services(AWS)上にもIQONに関するリソースが存在します。そのため、IQONはGCPとAWSの2つのクラウドで運用していました。 しかし、サービス終了に伴いGCP・AWSどちらかにリソースを統一する必要が出てきました。統一する意図としては、終了したサービスが利用する取引先を減らし、請求対応などの事務的なコストを減らしたい意図がありました。そのためGC
Cloud AutoML Vision は、画像とその分類ラベルをクラウドにアップロードするだけで画像認識の機械学習モデルを作成できるサービス。ラーメン二郎のどんぶり画像から 95% 精度で店舗を当てたりできる高性能だけど、機械学習のディープな知識や経験がなくても使える。 で、これでまず試してみたかったのが、音の認識だ。画像じゃなくて音。 2 年くらい前に、画像認識用の CNN を使って音声を認識する論文が Microsoft Research から出てて、へぇーっと思った。スペクトログラムっていう、よく犯罪捜査で出てくる声紋のアレを使って音を画像にして、その模様から音の特徴を認識する。 CNN で音声認識（Microsoft Research）なるほどなあ。。つまり、世の中のどんなデータでも、捉えたい特徴を画像の特徴として表せれば、画像認識で識別できる……ってことだ。 そして、AutoM
クラウド「AI」API入門：AWS／Cognitive Services／Google Cloud／IBM Watsonの比較
クラウド「AI」API入門：AWS／Cognitive Services／Google Cloud／IBM Watsonの比較：AI・機械学習のクラウドサービス 「AWS AIサービス」「Azure Cognitive Services」「Google Cloud AIビルディングブロック」「IBM Watson API」という主要AIサービスの一覧表を示し、各サービスを1行程度で説明する。自分でAI／機械学習モデルを作る前に、既存のAIサービスがないか（カスタマイズできないか）を、これで確認しよう。
2018/08/07 Firebase Meetup#5 登壇資料 -------------------------- 追記: Blazeプラン限定ですがデータのimport/exportできるようになりました https://firebase.google.com/docs/firestore/manage-data/export-import
Google Kubernetes Engineがサービスメッシュ「Istio」を統合、マネージドサービスを提供開始 － Publickey
Google Kubernetes Engineがサービスメッシュ「Istio」を統合、マネージドサービスを提供開始 GoogleはGoogle Kubernetes Engineにサービスメッシュを提供する「Istio」を統合し、マネージドサービスとして提供することを発表しました。ベータ版として提供されます。 Dockerの登場によってコンテナ型仮想化が注目されるようになり、その次に注目されるようになったのは多数のコンテナをクラスタとして管理するオーケストレーションツールの「Kubernetes」でした。 そしてその次に注目されようとしているのが、クラスタの上で実行される分散アプリケーションのノード間のトラフィック管理やルーティング、ロードバランシング、暗号化通信や認証サービス、モニタリングなどを提供するサービスメッシュです。「Istio」はその標準になると目されています。 Istioは
使い方 Coderは様々なクラウドサービスで利用できますが、AWSでの使い方について紹介します。 詳細は公式サイトに詳しく記載されているので簡単に紹介します。 1.Coderが提供しているAMIからインスタンス(管理サーバー)を起動する Coderを使うためには、管理サーバーが必要になります。 ブラウザで管理サーバーに接続し、開発環境を立ち上げたりアクセスできるユーザーを管理したりすることができます。 2.管理サーバーにログインする 3.テンプレートを作成する デフォルトでDocker, AWS EC2, AWS ECSなどのテンプレートが用意されています。今回はEC2を選択しました。 4.ワークスペースを起動する。 ワークスペースが実際に開発を行うための環境になります。 5.開発環境に接続する 起動が成功するとVSCode Desktopとcoder-serverが選択できるようになりま
Nuxtアプリを無料で公開するときに試した5つの環境まとめ(Firebase/GAE/Netlify/Heroku) - Qiita
最近Nuxtでいろいろ作っているけど、無料で使える環境をいろいろ試してる。 いろいろメリデメあるけど、SPAならNetlify/SSRならHerokuがよさそう。 いままで試したものをまとめてみた。 ほしかったもの 主に開発してるのがCGM系のWebサービスなので、 動的なOGP画像などが設定できる(OGP芸) カスタムドメインが使える 日次のランキング集計などの定期実行ができる が、無料でできて、なるべく実装が楽で、そこまで遅くないのがうれしい。 試した5つのパターン 試したのは以下の5パターン。試してみた順で記載。 Nuxt(SSR) + Cloud Function 起動がかなり遅かった。。実装も大変なのでNG Nuxt(SPA) + Firebase Hosting 構築はかなり楽。ただ、OGP芸が大変でFunctionsが必要 Nuxt(SPA) + Netlify プレレンダリ
Where should you run your workload? It depends...Choosing the right infrastructure options to run your application is critical, both for the success of your application and for the team that is managing and developing it. This post breaks down some of the most important factors that you need to consider when deciding where you should run your stuff! What are these services?Compute Engine - Virtual
Google Cloud が、デジタル庁ガバメントクラウドの利用を促進するサーバレスの Web アプリケーション開発を支援 | Google Cloud 公式ブログ
Google Cloud が、デジタル庁ガバメントクラウドの利用を促進するサーバレスの Web アプリケーション開発を支援 デジタル庁ガバメントクラウドの利用を支援する Web アプリケーション「GCAS（Government Cloud Assistant Service：ガバメントクラウド活用支援サービス）」が開発され、Google Cloud は、クラウド サービスやアーキテクティングの面からこの構築をご支援しています。GCAS はデジタル庁内製主導で開発され、2023 年 4 月より提供開始されています。 ガバメントクラウド移行の本格化に向け、今後、省庁や 1,741 ある地方公共団体、準公共と呼ばれる領域からのクラウド利用申請が急激な勢いで増加していくことが予測されています。これを自動化・効率化し、デジタル施策推進を支援する仕組みが GCAS です。従来は必要な書類をメール添付な
CI/CDサービスのOpenID Connect対応 Dive Into - Lento con forza
これははてなエンジニアアドベントカレンダー2022 39日目の記事です。 昨日は id:nakaoka3 の ミーティングの時間になると勝手に議事録を開いてほしいでした 先日あった、CircleCIのインシデントのAdditional security recommendationsとして、OIDC Tokenを使うことが推奨されていました。GitHub ActionsやCircleCIなどのCI/CDサービスでは外部サービスへの認証を行うために、OpenID Connectに対応しています。OpenID Connect対応がされていることは知っていたのですが、OpenID Connectといえば、外部サービス連携をしてログインに使うイメージだと思います。たとえば、Googleの認証情報で、はてなアカウントにログインするなどといったようにです。僕の中で、ユーザー認証に使うOpenID Co
13. 課金の対象 ストレージ - $0.020 per GB / month クエリ - $5 per TB processed (scanned) ストリーミングインサート - $0.01 per 100,000 rows until July 20, 2015. After July 20, 2015, $0.01 per 200 MB, with individual rows calculated using a 1 KB minimum size. 注目すべきはストレージ 14. 簡単な例 1TBのテーブルを毎日ロード、それぞれを一ヶ月間保持 日々のデータを毎日5回スキャンして集計 ストレージ : 1TB * 30 (tables) = $0.020 * 1000 * 30 = $600 クエリ: 1TB * 5 (Queries) * 30 (days) = $750
Google Cloud、高性能化したPostgreSQL互換「AlloyDB」のオンプレミス向けソフトウェア「AlloyDB Omni」発表。開発環境での利用は無料
Google Cloud、高性能化したPostgreSQL互換「AlloyDB」のオンプレミス向けソフトウェア「AlloyDB Omni」発表。開発環境での利用は無料 Google Cloudは、同社がPostgreSQL互換の高性能なマネージドデータベースサービスとして提供している「AlloyDB for PostgreSQL」と同じデータベースサーバを、オンプレミスやノートPCなどで実行できるソフトウェア「AlloyDB Omni」のテクニカルプレビュー版を発表しました。 Get a preview of AlloyDB Omni, a downloadable edition of #GoogleAlloyDB designed to run on premises, at the edge, across clouds, or even on developer laptops ↓
BigQueryの新機能を使ってクエリ料金を1/1000にする - Kaizen Platform 開発者ブログ
こんにちは、エンジニアの大迫です。 Kaizen Platformでは、以前からGoogle BigQueryを利用して、ウェブサイトの行動ログや広告の配信レポートなど様々なデータを保存・活用できるような仕組みを整え、お客様のウェブサイトや広告クリエイティブの改善に取り組んできました。特にここ最近では、非エンジニア向けにBigQueryやSQLの社内勉強会が行われたり、 @ikedayu によりProduction以外のメンバーでも気軽にデータ分析ができる仕組みが作られたりして全社的にBigQueryの利用が広がっています。 その一方で、データを活用できる人が増えた結果として、BigQueryのクエリ料金も増えていく傾向になっています。 せっかくエンジニア以外でも分析できる仕組みがあるのに、クエリコストが気になってクエリ書くのが怖くなってしまってはもったいないので、こちらの記事にあるように
GCPで基本に戻って始める実践 Infrastructure as code再入門#1 - VISASQ Dev Blog
こんにちは！ 2020年2月からSREチームにJoinしました木村です! 仕事をする上での座右の銘は「明日交通事故にあってもシステムと仕事を回せるようにすること」です。 基本に戻って始める。と表題では書いていますが、私元々はAWS職人でGCPに本格的にコミットしてからまだ3ヶ月位です! なのでヒィヒィ?言いながらGCPのキャッチアップに努めているわけですが今回は過去にAWSで得たInfrastructure as Codeの知識とビザスクに入社してキャッチアップで培ったGCPの知識を元に基本に戻って始めるGCPのInfrastructure as Code再入門ということで書かせていただきます。 尚実際に書き始めたら量が膨大になってしまったのでいくつかパートに分けて 書いていきたいと思っております。 今回やること GCPのCompute Engineをスコープとして Terraformを使
グーグルとVMwareが、クラウドとオンプレミスのJava互換実行環境を実現。SpringとGWTの統合ツールも提供
グーグルとVMwareが、クラウドとオンプレミスのJava互換実行環境を実現。SpringとGWTの統合ツールも提供 グーグルがクラウドでのJava実行環境を提供する「Google App Engine for Java」は、これまでデータベースやJavaライブラリなどの制限から、独自のJavaアプリケーションを開発する必要がありました。 グーグルは5月19日（現地時間）、米サンフランシスコで開発者向けのイベント「Google I/O」でVMwareとの協業を発表。Springフレームワークに対応することで、オンプレミスとクラウドで互換性のあるJava実行環境を実現するとともに、データ構造などを設定するとユーザーインターフェイスまで揃った基本的なアプリケーション（スカッフォルド）まで自動的に生成してくれる統合開発ツールの提供を明らかにしました。 これまでのクラウドでのJavaアプリケーショ
Google Cloud FunctionsがGo言語のサポートを発表。イベントをトリガーとするだけでなく、HTTPリクエストもトリガーとして対応
Google Cloud Platformにおけるサーバレスコンピューティング環境を提供するGoogle Cloud Functionsで、Go言語のサポートが発表されました。 Google Cloud Functionsは2016年2月に発表され、2018年8月に正式版となりました。 これまでNode.js/JavaScriptとPythonをサポートしてきており、Go言語は3つ目のサポート言語となります。 対応するGo言語のバージョンは1.11。モジュール機能などを備えています。 参考：Go 1.11がリリース。WebAssembly対応を実装、モジュール機能も追加 Go言語で記述されたファンクションには、HTTP functionsとBackground functionsの2種類があります。 HTTP functionsはHTTPリクエストをトリガーとしてファンクションを起動するこ
2018年10月4日、株式会社メルカリが主催するイベント「Mercari Tech Conf 2018」が開催されました。メルカリグループ各社が、今後目指す方向や、これから取り組む技術的なチャレンジなどを語るエンジニア向けカンファレンス。2度目の開催となる今回は「Evolution（変化）」をテーマに、エンジニアたちがメルカリの技術のこれからを語ります。プレゼンテーション「Microservices Platform at Mercari」に登壇したのは、株式会社メルカリ、テックリードの中島大一氏。メルカリのアーキテクチャをモノリスからマイクロサービスに分割した理由について語りました。講演資料はこちら メルカリがマイクロサービスを選んだ理由 中島大一氏（以下、中島）：マイクロサービスプラットフォームチームでテックリードを務めています、中島です。よろしくお願いします。 今年のMTCのメインテ
クラウドの登場によって新たな種類のデータベース、NoSQL（Not Only SQLの略）と呼ばれる非リレーショナル型のデータベースが注目を浴びています。アマゾンのAmazon Web Servicesで利用可能なSimpleDB、グーグルのGoogle App Engineで利用可能なBigTable、Apacheで開発が進められているCouchDB、MemcachedやBerkeley DBなどよく知られたものもありますし、商用製品としてはOracle Coherence、IBM WebSphere eXtreme Scaleなどもあります（参考：NoSQLデータベースを40種類以上リストアップ、キーバリュー型にもいろいろある）。 NoSQLデータベースはリレーショナルデータベースとは異なり、スケーラビリティやアベイラビリティをトランザクションやデータ一貫性よりも優先させた実装が多いの
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
運用4年目のサービスのインフラをGCPへ移設した裏側 | CyberAgent
【k8s合宿】 Kubernetesのログ分析環境を作る - Uzabase for Engineers
分散Key-Valueストアの本命「Bigtable」
AWSとマイクロソフトとグーグルのクラウド、38項目で徹底比較
社内で提供しているマイクロサービスの参考実装について - DMM inside
Google BigQueryで今期アニメに関するツイートを分析するぞい！ - Qiita
少人数での爆速開発を目指してgolang×GCPの技術選定をした話
TerraformモノレポCIのセキュア化 | メルカリエンジニアリング
US版Mercariのリニューアルと今後 (サーバサイド)
MLOps の利用を開始: ユースケースに適した機能の選択 | Google Cloud 公式ブログ
全社共通データ基盤を廃止して新しいデータ基盤に引越した話 - ZOZO TECH BLOG
システムの一部をAWSからGCPへ Sansanのクラウドアーキテクチャの裏側
10TB超えのBigQuery巨大データを高速にS3に同期する - ZOZO TECH BLOG
AutoML Vision と RasPi でリビングのいろいろな音を認識する
Firestoreを本番運用して得た知見と事件簿 / manga-village
AWS上にVSCode対応の開発環境を簡単に構築できるOSSのCoderがすごい！ - Qiita
elixir-phoenix-on-google-app-engine
BigQueryの課金、節約しませんか
1年間で開発中のマイクロサービスは1→73に メルカリのプラットフォームチームがやったこと - ログミーTech
進化するNoSQLデータベース、SimpleDBやBigTableで一貫性やトランザクションを実現