インフラエンジニア／リモートワーク可
インフラエンジニア／リモートワーク可 グリー株式会社 @gree Amazon Web Services Google Cloud Kubernetes Containers I want to hear a detailed 業務内容 グリーグループの多種多様な事業ドメイン（ゲーム・アニメ事業、メタバース事業、コマース事業、DX事業など）のインフラ運用を事業横断の立ち位置でご担当いただきます。 「サービスの安定運用をいかに低コストで実現させるか」という終わりのないテーマに取り組んでおり、そのために必要なことは線引きなく全て担当していただきます。 具体的な業務内容 インフラの安定運用のために必要な、ありとあらゆる作業を主体的に行っていただきます。 グリーでは新しい考え方や技術を積極的に取り入れてより効率的なサーバサイド運用を目指しています。 環境構築 新規サービスにおける商用環境の設計およ
Google Kubernetes Engine（GKE）を徹底解説 - G-gen Tech Blog
当記事は みずほリサーチ&テクノロジーズ × G-gen エンジニアコラボレーション企画 で執筆されたものです。 G-gen の佐々木です。当記事では、Google Cloud (旧称 GCP) でマネージドな Kubernetes クラスタを使用することができる Google Kubernetes Engine (GKE) を解説します。Amazon Elastic Kubernetes Service (EKS) や Azure Kubernetes Service (AKS)など、kubenetes をマネージドに提供するサービスは存在しますが GKE はそれらの中でもよい評判を耳にします。例えばマスターノードの料金が不要、起動が早いといった具合です。GKE は Google Cloud 採択の理由たりえるサービスのため、優先的に仕様を調査することにしました。 Google Kube
任天堂：新しい汎用ゲームサーバーを Google Kubernetes Engine、Cloud Spanner などを駆使して構築 | Google Cloud 公式ブログ
任天堂：新しい汎用ゲームサーバーを Google Kubernetes Engine、Cloud Spanner などを駆使して構築 世界中で愛好されている任天堂株式会社（以下、任天堂）の家庭用ゲーム機「Nintendo Switch」。そのオンライン マルチプレイを担う汎用ゲームサーバーの動作基盤に新たに Google Cloud が採用されました。多くのユーザーとの通信を処理しなければならないこの仕組みを、なぜ Google Cloud 上に構築したのか。どのような工夫を施すことで、安定性・可用性と運用負担の軽減を両立させたのか。構築に携わったエンジニアのお二人に話を伺いました。 利用しているサービス： Google Kubernetes Engine、Agones、Anthos Service Mesh、Cloud Spanner、Cloud Load Balancing、Cloud
商品数の増加を見据えて商品情報作成処理をPythonからBigQueryに移行した話 | SQLによるバッチ処理で工夫した3つのポイント - MonotaRO Tech Blog
こんにちは、EC基盤グループ 商品情報基盤チームの江村です。今回は私が所属している商品情報基盤チームで構築、運用を行っているシステムについてお話します。 モノタロウでは以前から記事になっていますが、検索システムの移行を行っており、現在商品検索ページの裏側の検索システムのSolrからElasticsearchへの切り替え*1が完了しました。 私が所属している商品情報基盤チームではElasticsearch、Spannerに入れるための商品情報の作成とSpannerおよび、Spannerからデータを取得するAPIの運用を行っています。今回はその中でもElasticsearch、SpannerのためのBigQueryでの商品情報作成処理について取り上げます。（詳しい検索部分の構成については以前の記事を参照ください） システム移行の背景 移行による設計ポイント 「MySQL + Python」の処
Cloud Run東京リージョンにカスタムドメインをマッピングするとどのくらいのレイテンシが発生するのか
調査結果まとめ 日本の真ん中あたりから東京リージョンのCloudRunにアクセスしたときのTTFB（Time To First Byte）のざっくり計測結果。詳細は後述。 Cloud Runのデフォルトドメインに直接アクセスした場合: 28msくらい Cloud Runにカスタムドメインをマッピングした場合: 99msくらい さらにCloudflareからCNAMEで指した場合: 114msくらい Cloudflare WorkersでCloud Runのデフォルトドメインをプロキシした場合: 44msくらい Cloud Run + Cloud Load Balancing（CDNなし）: 31msくらい Cloud Runの東京リージョンで「カスタムドメインのマッピング」を利用するとレイテンシが発生する 2023年1月現在、Cloud Runのドキュメントの既知の問題には以下の記載があり
BigQueryを分かりやすく！ ハンズオンで始めるGoogle Cloudのデータ分析サービスと可視化ツールの使い方｜ハイクラス転職・求人情報サイト AMBI（アンビ）
ハイクラス求人TOPIT記事一覧BigQueryを分かりやすく！ ハンズオンで始めるGoogle Cloudのデータ分析サービスと可視化ツールの使い方 BigQueryを分かりやすく！ ハンズオンで始めるGoogle Cloudのデータ分析サービスと可視化ツールの使い方 Googleの高度な技術を利用できるGoogle Cloudにおいて、BigQueryは大規模データをスケーラブルに分析できるフルマネージドなデータウェアハウスとして提供されています。株式会社タイミーでデータエンジニアを務める土川稔生さんが、初心者向けのハンズオンとともにBigQueryの基本を解説します。 はじめまして。株式会社タイミーでデータエンジニアをしている土川（@tvtg_24）です。 タイミーでは、Google Cloudのデータ分析サービスであるBigQueryを中心に、データ基盤を構築しています。BigQu
GitLab GCPに 移行した（後編） - pixiv inside
こんにちは、インフラ部の id:sue445 です。 GitLabのGCP移行3部作の最後になります。 前回までの記事はこちらになります。余談ですが前編・中編・後編で合計約4万字になりました。 inside.pixiv.blog inside.pixiv.blog 今回の目次 今回の目次 やったこと5: 移行時の作業の洗い出し やったこと6: 直前の作業を実施 GitLabをcloneするサーバに対してssh configを配置 やったこと7: 実際の移行作業 やったこと8: 移行後の対応 主要サービスで実際にGitLabをcloneしてデプロイできるかを確認（残り） 社内ドキュメントなどで旧URLになってるものを新URLに変更 移行直後のトラブル対応事件簿 OneLoginのロール付与漏れ 移行して3日後に急にデプロイサーバでcloneできなくなった 対応内容1: 踏み台サーバが詰まって
GCPに構築したシステムを安全に運用するための一時権限付与の仕組みについて - TVer Tech Blog
データシステム担当の黒瀬です。 こちらは、TVer Advent Calendar 2022の9日目の記事です。 この記事では、TVerで運用しているデータシステムの基本的な権限管理ポリシーについてご紹介します。 大まかな内容 GCP上に構築しているデータシステムをメンテナンスする際の権限を、従来は管理者が手動管理していたが、この運用にはリスクがありました。 そこで、権限を付与するためのサービスアカウントを経由する仕組みおよびその趣旨を明確にするルールを導入しました。 結果、管理者に依存せずにメンテナンスができる運用が可能になりました。 背景 TVerでは、主にBigQueryに視聴ログなどのデータを集約し、その上で集計や分析をするという方針をとっています。 ログを収集するシステムはAWSやGCPなど要件に合わせて各所に構築されていますが、これらからBigQueryへデータを収集・集約する
GCPサービスで構築したインフラをAWSと比較してみる
こんにちは、GMOアドマーケティング インフラ開発部のhakumaiです。 前回の記事「AWSエンジニアから見たGCPサービス(コンピューティング編)」を読んでいただいた方々、ありがとうございます。 こんにちは、GMOアドマーケティング インフラ開発部のhakumaiです。前回の記事「AWS SAPを取得したら視野が広がった話」を読んでいただいた方々、ありがとうございます。今回のテーマは「AWSエンジニアから見たGCP」第2弾として、代表的なGCPのコンピューティング系サービスについてAWSと比較し感じた点についてお話いたします。 (第1弾の記事はこちら↓)IaaSCompute EngineAWSではEC2に相当するサービス。各種インスタンスタイプや提供OSイメージ、インスタンス向けのストレージ機能、オートスケール機能など、インスタンスのアーキテ... 今回は「GCPサービスで構築された
BigQueryによる最大内積検索の実装
はじめに 機械学習エンジニアの本田志温です。最近担当した類似アイテム推薦の案件で、BigQueryを使って最大内積検索（MIPS; maximum inner-product search）1 を実装したので、その方法と高速化のテクニックを紹介します。 類似アイテム推薦は「多数のアイテム候補から、クエリとなるアイテムに最も類似したK件を抽出する」というタスクなので、MIPSないし近傍探索の枠組みで解くことが一般的です。 一定の規模を持つサービスでMIPSを実装しようとすると、アイテム数×特徴量次元の行列が何かと厄介です2。第一に、MIPSを素朴な行列積で実装すると、時間・空間計算量がアイテム数の2乗でかかってきます。典型的には空間計算量の方がボトルネックになりやすく、RAMの制約に収めるための工夫が必要になるでしょう。第二に、アイテム数が膨大な場合、特徴量マートから全アイテムの特徴量を転送
AI・機械学習チームでのインターンでBigQueryのローカルテスト基盤を作った話 - エムスリーテックブログ
こんにちは、10月後半の2週間、エムスリーのAI・機械学習チームでインターンをしていた後藤です。 今回は私の行ったタスクと、インターン生からみてエムスリーはどのような会社なのかについて書いていこうと思います。 他の学生の方々のインターン選びやBigQueryのテスト手法に悩んでいるエンジニアの方々の参考になれば幸いです。 BigQueryのローカルテスト基盤を作った話 背景 BigQuery Emulatorの登場 bqemulatormanagerの作成 スキーマの自動取得 並列処理への対応 テストコードの導入 BigQuery Emulatorを使用する際に気をつけるべきポイント インターンの話 進め方について AI・機械学習チームについて 終わりに BigQueryのローカルテスト基盤を作った話 背景 AI・機械学習チームでは、BigQueryに日々蓄積されている大規模データから所望
Amazonが「なぜ我々が政治的に腐敗した契約に抗議し続けるのか」を説明 - GIGAZINE
事業者のコンピューター機能をネットワーク経由で使用するクラウドコンピューティングには、Amazon Web Services(AWS)とGoogle Cloud Platform(GCP)が代表的なものとして挙げられます。この2つの信頼性を、エンジニアのピアース・フリーマン氏が検証しました。 AWS vs GCP reliability is wildly different | Pierce Freeman https://freeman.vc/notes/aws-vs-gcp-reliability-is-wildly-different 必要な時にサービスを使い、使った分だけ料金を支払うという2つのサービスにおいて、「必要な時に使えない」というのはリソースの可用性の問題につながる可能性があるとフリーマン氏は指摘。そこで、両サービスを一定回数利用し、アクセスにかかる時間やエラー率を測り
Vertex AI AutoML で作成した機械学習モデルを Cloud Run にデプロイする - G-gen Tech Blog
G-gen の佐々木です。当記事では Google Cloud（旧称 GCP）の機械学習サービスである Vertex AI の AutoML で作成した機械学習モデルを、サーバーレスなコンテナ実行基盤である Cloud Run にデプロイしていきます。 Vertex AI および Cloud Run とは？ Vertex AI で作成したモデルのデプロイについて 当記事で Cloud Run にデプロイするモデル Vertex AI Model Registry からモデルをエクスポートする ローカルの Docker コンテナで予測を実行する Artifact Registry にモデルをアップロードする Cloud Run にモデルをデプロイする Cloud Run サービスに予測リクエストを送信する Vertex AI & Cloud Run Vertex AI および Cloud R
Googleのサービス終了癖が発動、今度はIoTデバイス管理サービス「Cloud IoT Core」
Googleは2013年には「Googleリーダー」を終了、2018年には「Google＋」を終了といったように多数のユーザーを抱えるプロジェクトをバッサリ終了してきました。新たに、IoTデバイス管理サービス「Cloud IoT Core」のサポート終了がひっそり告知されています。 Cloud IoT Core release notes | Cloud IoT Core Documentation | Google Cloud https://cloud.google.com/iot/docs/release-notes Cloud IoT Coreは、Googleのクラウドプラットフォーム「Google Cloud」を用いてIoTデバイスを管理できるサービスで、IoTデバイスのモニタリング機能やメッセージの双方向通信機能を提供していました。しかし、Cloud IoT Coreは
バーチャルライブ配信アプリ「REALITY」のサーバサイドエンジニアを募集！
バーチャルライブ配信アプリ「REALITY」のサーバサイドエンジニアを募集！ REALITY株式会社 @REALITY I want to hear a detailed 会社概要 REALITY株式会社（グリー100%子会社） 代表取締役 荒木 英士（グリー株式会社 取締役 上級執行役員） Vision「なりたい自分で、生きていく。」 誰もがアバターを持ち"なりたい自分で生きていく"ことのできるメタバースの世界の実現を目指しています。 REALITY Metaverse Trailer 2021（コンセプトムービー） 事業内容 ・バーチャルライブ配信アプリ「REALITY」の開発・運営（BtoC事業） ・バーチャルライブ/イベント制作プラットフォーム「REALITY XR cloud」の開発運営（BtoB事業） 参考リンク ・会社紹介資料 ・アート職お仕事紹介資料 ・REALITY no
Cloud Functions の最大実行時間に収まらない処理をどうする？ - Adwaysエンジニアブログ
こんにちは菊池です。 今回は以前紹介した、サーバーレスで実装したデータ基盤のデータ収集システムについての記事になります。 以前紹介した記事はこちら： データ基盤をサーバーレスで構築したので概要を紹介 Google Cloud Workflows でサーバレスなワークフローを構築したので概要を紹介 このデータ収集基盤をサーバーレスで構築する際に、とある処理が Cloud Functions の最大実行時間をオーバーしそうになりました。正確に言うと実装時はオーバーしていないものの、今後オーバーする可能性がありそうな状況です。この状況をどうやって回避したのかについて書きましたので、参考になれば幸いです。 Cloud Functions の最大実行時間 最大実行時間をオーバーしそうな処理 実装の選択肢 インスタンスを立ち上げて実行する 取得したデータを Cloud Storage に保存して Cl
ミクシィの大規模サービスを支えるSREとしてキャリアを積みませんか？
ミクシィの大規模サービスを支えるSREとしてキャリアを積みませんか？ 株式会社MIXI @mixi I want to hear a detailed なにをやっているのか ミクシィグループは、1997年の創業以来、国内有数のSNS「mixi」やスマホアプリ「モンスターストライク」など、友人や家族といった親しい仲間と一緒に楽しむコミュニケーションサービスを提供してきました。 《主な事業領域》 【デジタルエンターテインメント】 世界累計利⽤者数5,500万⼈を突破した「モンスターストライク」や共闘ことばRPG 「コトダマン」などのサービスを展開しています。これらはコミュニケーションツールとして、親しい友人達と一緒に遊べるスマホアプリとなっているのが特長です。また、アプリの枠に留まらず、マーチャンダイジングやリアルイベントをはじめ、動画・アニメの配信、そして他社IPや異業種とのコラボレーション
ビジネス向けメタバース構築プラットフォームのサーバーエンジニアを募集！
ビジネス向けメタバース構築プラットフォームのサーバーエンジニアを募集！ REALITY株式会社 @REALITY I want to hear a detailed 会社概要 REALITY株式会社（グリー100%子会社） 代表取締役 荒木 英士（グリー株式会社 取締役 上級執行役員） Vision「なりたい自分で、生きていく。」 誰もがアバターを持ち"なりたい自分で生きていく"ことのできるメタバースの世界の実現を目指しています。 REALITY Metaverse Trailer 2021（コンセプトムービー） 事業内容 ・バーチャルライブ配信アプリ「REALITY」の開発・運営（BtoC事業） ・バーチャルライブ/イベント制作プラットフォーム「REALITY XR cloud」の開発運営（BtoB事業） 参考リンク ・会社紹介資料 ・アート職お仕事紹介資料 ・REALITY note（
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【7月7日(木)】「BigQuery とスプレッドシートで始める機械学習を使った売上予測」ウェビナーを開催します - 株式会社G-gen（ジージェン）
https://mercari.wd3.myworkdayjobs.com/ja-JP/mercari_external/job/Roppongi/Software-Engineer_JR-000000014?source=APPLICANT_SOURCE-3-137&tf_type=high-potential&tf_ch=gcp