マイクロサービス / Kubernetes 入門！シャレオツWebアプリで未来を味わおう！【Hipster Shop 導入編】 - okadato の雑記帳
面接官「えーではまず『マイクロサービス』とはなにか、あなたなりの言葉で説明してみてください」 ぼく「アッアッ、マイクロ、アッ、マイクロサービスアッアッ、マイクロサーッアッアッ」 ※ ラッパーではなくテンパっている様子です 手に汗握る展開ですね。 マイクロサービスとはなにか。こう聞かれたときに ぼく「はい、私の考えるマイクロサービスとは（ペラペラペラペラ）」 こうなりたくはないですか！？！？ というわけで今回からしばらく マイクロサービス is ナニ？？ を勉強していきます！ はじめに なにはともあれまずは Google 先生に聞いてみましょう。 「マイクロサービス 勉強」で検索してみると、お、1ページ目から良さそうなサイトが見つかりました！！ ぼく「アッアッ、カックさアッ、ブログメンタッアッ、今週のノルマアッアッ」 閑話休題。 我が師、カックさんが書かれた上記の記事では、Sock Shop
二極化する世界 世の中はコンテナ時代がそこまで近づいていまして、ただレガシーとモダンの間には得体のしれない溝のような壁のような物体があることを感じています。 コンテナ知るか、って完全無視して相変わらずの3層アプリケーションを作る現場はたくさんあるでしょう。もちろんCOBOLだってメインフレームだって残っているくらいですから、モダナイゼーションがすべての現場に行き渡ると思ったら大間違いです。 一方で、Kubernetesありきでマイクロサービス化をどんどん進めて、現場のサービスがデプロイだロールバックだと次世代な運用を行っている現場もあります。モダナイゼーションというよりは、もう今までのレガシーな運用自体が無理ゲーと化していたのでギャンブル的にGoogleライクにやってみたらうまく行った、ということだと理解しています。もう、イノベーションと言うよりは、よそでうまく行っているらしいからうちも、
LLMを活用したサービスを社内外でリリース・運用した経験のある3社のエンジニアが登壇し、実運用を経たからこそ見えた課題やその解決策、運用を見据えた設計・実装の知見などについて語る「LLM in Practice -3社の実例から見るLLM活用サービスを運用した課題と学び -」。ここで株式会社HRBrainの鈴木氏が登壇。ChatGPTを活用してコードの行数を400行から54行に圧縮した事例を紹介します。 本セッションの概要 鈴木悠大氏（以下、鈴木）：鈴木です。よろしくお願いします。オフラインはそんなに人がいなくて、オンラインにいっぱいいるので超不安です。思ったより聞いている人がいるんだろうなと思いながら話すのが不安です。 HRBrainの鈴木です。大学では経営工学を学んでいて、コードは今も昔もたくさん書いています。HRBrainでは、今はプロダクトチームのテックリードとプラットフォームチー
Istio で実現する A/B テスト基盤
本記事は リクルートライフスタイル Advent Calendar 2019 1日目の記事です。 CETチーム の寺下です。 本日は 2019 年 12 月 1 日ですが、12 月といえば Advent Calendar ですね。 リクルートライフスタイルも Advent Calendar をやっていきます。 さて、初日となる本日は Istio 検証で得られた知見について書いていきます。 我々のチームでは 2015 年頃から基盤開発に Kubernetes を利用しており、 最近では Observability や Traffic Management のために Kubernetes 上に Istio の導入も行っています。 Istio は Kubernetes 上のトラフィック管理やテレメトリを行ってくれる Service Mesh であり、 例えば Istio の Traffic Ma
バージョン情報 OpenTelemetry for Go: 1.16.0 OpenTelemetry exporter for Cloud Trace: 1.15.0 こんにちは！Google Cloudでオブザーバビリティを担当しているものです！今日は同僚から「Pub/Sub経由での処理の分散トレースを取得したいんだが」と質問されたので、サンプルを作ったついでに記事を書きました！ TL;DR Pub/Subのメッセージの中にトレース情報を埋め込ん（Injectする）で、各サブスクライバーはメッセージの取得の際に取り出す（Extractする）ことになります。 デモの構成 今回はGKEのクラスターにpublisherとsubscriberのpodを展開します。 このデモでは1:NのPub/Sub構成でトレースが取得できることを見せるために、publisherが1つ、subscriberが2つ
GCPで完結させたゲームプラットフォームのアーキテクチャ 開発期間は短くしつつ、自由度を失わないための工夫 これが新しいデザインパターン - mspoを支えるGCP&Looker 2019年11月18日、グーグル・クラウド・ジャパン合同会社にて「第9回 Google Cloud INSIDE Games & Apps」が開催されました。ゲーム業界で活躍するインフラ、サーバーアプリケーションエンジニア、テクニカルリーダーを対象に開催される本イベント。今回は、GCPを活用するさまざまな企業が集まり、最新の活用事例を語りました。プレゼンテーション「これが新しいデザインパターン - mspoを支えるGCP&Looker」に登壇したのは、アイレット株式会社代表取締役社長の齋藤将平氏と、ガンホー・オンライン・エンターテイメント株式会社CTOの菊池貴則氏。ガンホーの子会社であるmspo株式会社
［速報］Google Distributed Cloud発表。Google Cloudの機能をオンプレミスやエッジロケーションに拡大。Google Cloud Next '21
［速報］Google Distributed Cloud発表。Google Cloudの機能をオンプレミスやエッジロケーションに拡大。Google Cloud Next '21 Googleは、Google Cloudの能力をオンプレミスやエッジロケーションにまで拡大して提供する「Google Distribute Cloud」として、 「Google Distribute Cloud Edge」と「Google Distributed Cloud Hosted」を発表しました。 日本時間で13日未明に開幕する同社のオンラインイベント「Google Cloud Next '21」で詳細が説明される予定です。 Google Distributed Cloud Hostedは、オンプレミスのデータセンターに置いたサーバ上でGoogle Cloudが提供しているデータベースや機械学習、コンテナ管
Googleのサービスが軒並みダウン？ 日本以外でも（UPDATE:9月25日午前11時ごろ、ほぼ復旧） 米Googleの一連のサービスが日本時間の9月25日午前10時ごろから使えなくなっている。本稿執筆現在、Googleからはまだ正式な発表はないが、世界中の主要なサービスの障害状況を把握し、表示しているDowndetector.comによると、Google検索、Googleドライブ、Gmail、YouTube、YouTube Music、Nest、Google Play Store、Googleカレンダー、Stadia、Google Analytis、Google Cloudなどがほぼ同時にアクセスしにくくなっているようだ。 Google自体のステータスダッシュボードにはまだ問題は報告されていないが、Twitter上には#googledownで多数の投稿が寄せられている。 本稿筆者もYo
面倒なアプリのログイン機能を超簡単に実装する on GCP
この記事は Google Cloud Japan Customer Engineer Advent Calendar 2019 の 16日目の記事です。 tl;dr「Google アカウントを使ったログイン機能を簡単に実装したい！」 Identity-Aware Proxy を使えば、ログイン画面すら作ることなく Google アカウントによるログイン機能を実装できます。ログイン可能なユーザを制限した社内向けアプリ等にも最適です。 「Google アカウント以外のソーシャル ログインもサポートしたい！」 Identity Platform で簡単に実現することができます。Firebase Authentication と共通の SDK が提供されており、ログイン画面も FirebaseUI により簡単に作ることができます。メールアドレスによるユーザリンク機能、マルチテナント対応、SLA も
WINTICKET Web の GKE 脱却と Cloud Run の採用 | CyberAgent Developers Blog
WINTICKET の Web 版（以降 WINTICKET Web）のテックリードを担当している @dora1998 です。 サービス開始以来、WINTICKET Web は Google Kubernetes Engine（以下 GKE）へデプロイして稼働していました。2022 年 10 月に Cloud Run を採用した構成へリアーキテクチャを行ったので、この記事ではその背景や具体的な構成、付随して行った改善について紹介します。 抱えていた課題 WINTICKET Web ではリアーキテクチャ前のバックエンド構成について、大きく 3 つの課題を抱えていました。 リリースの安定性 これまでのリリースフローでは段階的なリリース手段がなく、リリース内容に不具合が含まれていた場合にほぼ全てのユーザーが影響を受ける問題がありました。 加えて、WINTICKET はレース情報を提供する競輪シス
https://hasura.io/ が使ってみたらめちゃくちゃ便利なのですがあまり使ってる人が多くないようなので、hasura のいいところを挙げていきます。 hasura って何？ hasura は PostgreSQL サーバーから自動的に GraphQL サーバーを建てられるツールです。 Docker イメージとして配布されていて、対象となる PostgreSQL サーバーのアドレスや PW を設定して起動すればすぐに GraphQL サーバーとして使えます。（実際は hasura コンソールから公開するテーブルを選択したりします。詳しくはdoc） ローカルで起動するならこういう感じです。 docker run -d -p 8080:8080 \ -e HASURA_GRAPHQL_DATABASE_URL=postgres://username:password@hostname
教育改革で協議会設立へ 与野党幹部が参加
教育改革で日本再建を目指す「教育立国推進協議会」の設立に向けた発起人総会が１５日、東京都内で開かれた。超党派の国会議員らが発起人で、会長に自民党の下村博文元文部科学相、会長代行に日本維新の会の馬場伸幸共同代表や国民民主党の玉木雄一郎代表らが就任した。関係者によると安倍晋三、野田佳彦両元首相を顧問に迎え、来年１月に設立総会を開く。 定期的に会合を開催し、政府に教育改革案を提起する方針だ。会長代行には立憲民主党の中川正春元文科相と公明党の浮島智子元文科副大臣も就いた。
Kubernetesエキスパートが注目する「Platform Engineering」とは何か？ 一体何が新しいのか？ 近年、多くの企業が取り組もうとしている「クラウドネイティブ」なインフラ構築やアプリ開発の領域では、コンテナやKubernetes、アジャイルやDevOpsなど、新しいテクノロジーやコンセプトが次々と登場し、進化を続けています。組織がそうした進化に追従しながら、継続的に「クラウドネイティブ」のメリットを得られるようにするための考え方として、今「Platform Engineering」が注目されています。今回は、ヤフーとサイバーエージェントでKubernetesのエキスパートとして、社内のプライベートクラウド整備に尽力する2人に、Platform Engineeringの考え方や、それに基づいて、実際に自社のプラットフォームをどう進化させているか、今後どうしていきたいかとい
Amazon EKS (Elastic Kubernetes Service) の環境を簡単に構築できるコマンドラインツール「eksctl」の使い方を解説します。 みなさん、こんにちは！ AWS事業本部の青柳＠福岡オフィスです。 今回は「Amazon EKS (Elastic Kubernetes Service)」の入門記事をお送りします。 EKSの入門記事と言うと、当ブログ(Developers.IO)でも何度か紹介されましたし、巷にはKubernetesの入門書や初心者向けWeb記事が多く出版・公開されています。 それらの入門記事・書籍では、EKS(あるいはGKEやMinikubeなど)を使ったKubernetes環境構築から、構築したKubernetes環境の上で「Pod」や「Service」等のリソースを起動するところまでを一通りやってみる、という流れが多いようです。 一方、今回
EngineeringUsing GitHub Actions for MLOps & Data ScienceBackground Machine Learning Operations (or MLOps) enables Data Scientists to work in a more collaborative fashion, by providing testing, lineage, versioning, and historical information in an automated way. Because the… Background Machine Learning Operations (or MLOps) enables Data Scientists to work in a more collaborative fashion, by provid
The Winding Road to Better Machine Learning Infrastructure Through Tensorflow Extended and Kubeflow - Spotify Engineering
The Winding Road to Better Machine Learning Infrastructure Through Tensorflow Extended and Kubeflow When Spotify launched in 2008 in Sweden, and in 2011 in the United States, people were amazed that they could access almost the world’s entire music catalog instantaneously. The experience felt like magic and as a result, music aficionados dug in and organized that content into millions of unique pl
Google Cloud Next '23 参加レポート 〜Google本社にも行ったよ！〜 - ZOZO TECH BLOG
こんにちは、MA部MA開発1ブロックの齋藤（@kyoppii13）です。 8/29-8/31に開催されたGoogle Cloud Next '23へ参加してきました。今年は4年ぶりとなるオフライン開催で、アメリカ・サンフランシスコで開催されました。弊社からはMA部の齋藤・松岡・中原の3名が参加しました。 今年は生成AIにフォーカスした内容がとても多く、それに関連する新サービスの発表も多くありました。本記事では、現地での様子と特に興味深かったセッションをピックアップして紹介します。 現地での様子 3日間に渡って開催されたGoogle Cloud Nextの会場はモスコーニ・センターという大きな展示施設で、メインルームではキーノート、他ルームでセッションが発表されるというものでした。発表以外にもワークショップやたくさんの企業ブースがあり大変賑わっていました。 Moscone Center Ma
Google Cloud Next '19 in Tokyo & Leaders Circle - エムスリーテックブログ
こんにちは、CTO の矢崎(id:Saiya)です。 先日、Google Cloud Next '19 in Tokyo とその中で開催される Leaders Circle という会に参加してきました。 かつてないクラウドを体験しよう。 イベント全体の内容などは 公式サイト をご覧いただくとして、ここでは私個人の主観として印象に残った点や、エンジニア・アーキテクト観点での気になりどころなどをご紹介いたします。 Kubernetes と オンプレミスからの移行 個人的には、今回の Cloud Next では以下の 2 つのトピックが多く語られていた印象があります: Kubernetes の活用や実戦投入 オンプレミスの既存システムの移行 Kubernetes 今回の Cloud Next では、信頼性の要求やロジックの複雑性が高いシステムにおける Kubernetes の導入事例や、そういっ
Google Cloud Platform (GCP)サービスの正式名称・略称・読み方まとめ#5(コンテナ) - Qiita
Google Cloud Platform (GCP)のサービスで正式名称や略称はともかく、読み方がわからずに困ることがよくあるのでまとめてみました。 クラウド コンピューティング サービス | Google Cloud https://cloud.google.com/?hl=ja Amazon Web Services (AWS)のまとめはこちら！ Amazon Web Services (AWS)サービスの正式名称・略称・読み方チートシート - Qiita https://qiita.com/kai_kou/items/cb29d261c8acc49fd22a Amazon Web Services (AWS)サービスの正式名称・略称・読み方まとめ #1 (コンピューティング) - Qiita https://qiita.com/kai_kou/items/a6795dbab7e
｜目次 1. はじめに 2. MLOpsとは 3. VertexAIの概要 4. Vertex Pipelineについて -概要 -コンポーネントの実装例 -パイプラインの実装例 -Vertex PipelineでのKubeflow Pipelineの実行 5. まとめ 6. 参考資料 ｜1. はじめに 株式会社CAMで機械学習エンジニアをしています原 和希です。 データ分析から機械学習モデルの作成、そしてMLOps基盤の構築を担当しています。 今回はMLOps基盤の構築をトピックとして、弊社で導入している「VertexAI」という、GCP 上で MLOps 基盤を実現するためのサービスを紹介します。 本記事は前編と後編に分かれています。 この前編ではMLOpsについてと機械学習パイプラインを実現するためのサービスであるVertex Pipelineについて詳しく解説をします。 後編では、
GoogleとHugging Faceが戦略的提携、Hugging FaceユーザーがNVIDIAのH100やGoogleのTPUなどの強力な計算資源を利用可能に
機械学習モデルの配布やデモの実行が可能なAI開発プラットフォーム「Hugging Face」がGoogle Cloudと戦略的パートナーシップを提携しました。この提携により、Hugging FaceのユーザーはGoogle Cloudの強力な計算資源を手軽に利用可能となります。 Hugging Face and Google partner for open AI collaboration https://huggingface.co/blog/gcp-partnership Google Cloud and Hugging Face Announce Strategic Partnership to Accelerate Generative AI and ML Development - Jan 25, 2024 https://www.googlecloudpresscorner.
MonotaROのMLOps〜バンディットアルゴリズムの効果を最大化するリアルタイムデータパイプライン〜 - MonotaRO Tech Blog
はじめに 皆さん、こんにちは。MonotaROTechBlogをご覧いただきありがとうございます。データサイエンスグループ所属の植村です。今回の記事では、MonotaROで取り組んでいるバンディットアルゴリズムを用いた施策を支える、データパイプライン*1を紹介したいと思います。リアルタイムな情報を用いて最適化を行う基盤を提供する方々の参考になれば幸いです。 はじめに 本記事でお伝えしたいこと MonotaROのデータサイエンスチームの環境について MonotaROとバンディット MonotaROにバンディットを導入する際の課題や必要な要件 実際に構築したデータパイプラインの紹介 こぼれ話(負荷テストで驚いたお話) データパイプラインによって変わったこと 終わりに(まとめ) 本記事でお伝えしたいこと MonotaROの推論APIの裏で動くデータパイプラインの紹介。 バンディットをMonota
退職と転職。人生の振り返り - tellme.tokyo
お久しぶりです。 2021年12月末でメルカリを退職しました。在籍期間は5年8ヶ月でした。2022年1月からは 10X で SRE をやっています。メルカリはファーストキャリアで第1期新卒としての入社でした。メルカリで働いたことは自分の人生に大きな影響があったこと、退職したことは大きな決断だったので振り返りを残します。 2016年 2016年に新卒としてメルカリに入社しました。GitHub 採用というやつです。当時は相当前衛的でヤバイ組織だなという印象を持ちました。 配属先は「JP チーム」という名前のチームで、バックエンドエンジニアとしてでした。JP チームの API 開発エンジニアとしては3人目の入社で、当時の JP チームはデザインメンバーからプロデューサー (当時の呼称) までが10人前後集まった集団でした。プロダクトサイドのメンバーとしてはもっといたのですが、当時は「US ファー
ファンコミュニティのUGCを効率的に届けるためiALSベースの協調フィルタリング推薦システムを作った話 - Gaudiy Tech Blog
はじめまして。GaudiyでMLエンジニアをしているMomijiと申します。主に推薦システムの開発を担当しています。 今年4月から、Gaudiyが開発・提供するプロダクト「Gaudiy Fanlink」に協調フィルタリングベースの推薦機能を追加したので、本記事ではそのロジックとシステムアーキテクチャについて書いてみたいと思います。 1. 「Gaudiy Fanlink」における推薦 2. 協調フィルタリングによるパーソナライズ推薦 2-1. 学習 2-2. バッチ推論 2-3. リアルタイム推論 3. システムアーキテクチャ 4. これから 1. 「Gaudiy Fanlink」における推薦 Gaudiy Fanlinkは、IPファンが集う、SNS型のコミュニティプラットフォームです。そこにおける「推薦」の役割は、ユーザーとコンテンツのマッチングを促進し、コミュニティ内の活動総量を増加させ
GCP を試す$300 分の無料クレジットと 20 以上の無料プロダクトがある Google Cloud で構築を始めよう 無料トライアル ※この投稿は米国時間 2021 年 12 月 7 日に、Google Cloud blog に投稿されたものの抄訳です。 GitHub Actions は Google Cloud の多くのお客様とデベロッパーの間で人気があるサードパーティ CI / CD ソリューションです。GitHub Actions ワークフローで Google Cloud 上でのリソースの読み取りや変更が必要な場合（Artifact Registry へのコンテナの公開や Cloud Run での新しいサービスのデプロイなど）、最初に認証をしなくてはなりません。 GitHub Actions から Google Cloud への従来の認証では、有効期間が長い JSON サービス
BeyondCorp Remote Accessを支える技術 #1 GCP Cloud IAP connectorを試してみた | DevelopersIO
ども、ゲストのソラコム大瀧です。 在宅勤務のニーズが高まる昨今、Googleが提唱したBeyondCorp Remote Accessが話題ですね。 BeyondCorp Remote Access | Google Cloud VPNに代わって組織のシステムにセキュアにアクセスする手段をという触れ込みですが、「この製品を使えばBeyondCorp Remote Accessだ！」というものではなく、トラディショナルな境界セキュリティモデルに囚われずよりモダンなセキュリティソリューションを組み合わせてやっていこうというコンセプトモデルであり、Google社内のリモートアクセス構成をお手本にしつつ、日進月歩でその様相は移り変わるものと言えます。BeyondCorpのベースとなるセキュリティモデルであるZero Trust Networkを解説するネットワンさんの記事がわかりやすいです。 新解
Golden paths for engineering execution consistency | Google Cloud Blog
Light the way ahead: Platform Engineering, Golden Paths, and the power of self-service Imagine that you're a Java developer who has just joined a new company, and you're tasked with creating a small Java service. In a DevOps model, the shared responsibility between Development and Operations teams might mean that you'll not only be expected to write Java code, but also operations code like build p
Google Cloud now supports buildpacks | Google Cloud Blog
How do buildpacks work?Buildpacks are distributed and executed in OCI images called builders. Each builder can have one or more buildpacks. The builder of the Google Cloud buildpacks that we are releasing today is available gcr.io/buildpacks/builder. Builders have the ability to auto-detect the language of your source code. This is accomplished by a `bin/detect` executable in the buildpack. The de
SREチームの前多です。以前、Google Cloudが提供するサービスメッシュのAnthos Service Meshの入門記事を書きました。 caddi.tech この記事のまとめで私は、Istio (Anthos Service MeshのベースのOSS) を詳しく知るには、envoyのことをもっと知る必要があると書きました。 そしてサービスメッシュで何かエラーが起きているとき、それはサービスメッシュ自体ではなく インフラやアプリケーションのバグや設定ミスがサービスメッシュによってあぶり出されるということも述べました。 先日、サービスメッシュ上でPod間のgRPC通信が特定条件で失敗し、サイドカーがない場合のみ通信が成功するという事象が起きていました。 gRPCのライブラリのアップデートやIssueの調査しましたが、原因がわからずサイドカーを外すしかないかと思っていました。 最終手段
ワグネルが反乱か 正規軍と衝突の恐れ モスクワも警戒強化
２３日に公開された動画で話すプリゴジン氏（Ｐｒｉｇｏｚｈｉｎ Ｐｒｅｓｓ Ｓｅｒｖｉｃｅ提供、ＡＰ＝共同） ウクライナ侵略にロシア軍側で参戦している露民間軍事会社「ワグネル」トップのプリゴジン氏は２３日夜、交流サイト（ＳＮＳ）を通じ、ワグネルの宿営地が露軍のミサイル攻撃を受け、多数の戦闘員が死亡したとする声明を発表した。その上で「露軍上層部がもたらす悪を止め、正義を回復すると決めた。戦闘員や何万もの露軍兵の命を奪った者は罰せられる。抵抗する者は破壊する。これは軍事クーデターではなく、正義の行進だ」と述べた。 プリゴジン氏は具体的にどのような行動に出るかは明言していないものの、武力を背景に露軍上層部を刷新することを示唆した形。プリゴジン氏は２４日未明、ウクライナとの国境に近い露南部ロストフ州に「ワグネル部隊が入った。われわれを止めようとする者は破壊する」と表明した。 プリゴジン氏は宿営地への
米Google（グーグル）が2022年10月11～13日（米国時間）にクラウドの年次イベント「Google Cloud Next 2022」を開催し、数十件の新サービスを発表した。それらの中から筆者にとって印象的だったものを3つランキング形式で紹介しよう。 1位：コンフィデンシャルコンピューティングをデータ共有にも適用 もったいぶらずに1位から始めよう。筆者にとって最も印象的な新サービスは、コンフィデンシャルコンピューティングの考え方に基づいたデータ共有サービスの「Confidential Space」だ。複数の組織やユーザーにまたがってデータを共有する際に、その使い方をワークロード単位で限定できるとする。 コンフィデンシャルコンピューティングとは、データを保存中や転送中だけでなく処理中も暗号化することで、データの所有者以外はたとえパブリッククラウドの運営側であっても読み出せなくする技術で
この記事は「連載：技術基盤強化プロジェクト「RFS」の現在と未来」として書かれたものです。 メルカリ JP の CS Tool チームの @AHA_oretama です。 私たちのチームでは、CS Tool (Custmer Service Tool)の開発を長年の間行ってきました。その中で積み重なった負債を解消するために、フロントエンドのリプレイスプロジェクトを立ち上げ、PoC（Proof of Concept）として3か月ほどの期間で1画面のリプレイスを行ってきました。今回の記事は、CS Toolのフロントエンドのリプレイスプロジェクトの成り立ち、リプレイスの開発とその成果を紹介していきたいと思います。 CS Tool チームの他の取り組みは、 @hukurou さんによる「メルカリCSツールにおけるDBの疎結合化への取り組み」 @monkukui さんによる「GKE 移行を進める上で
ZOZO Technologies Meetup は、「ZOZOテクノロジーズの大規模データ活用に興味のある方」を対象としたイベントです。ZOZO研究所の渡辺氏からは大規模データを対象とした画像検索システムのワークフローについての事例を紹介しました。前半は「MLエンジニアがMLしやすくする」というのがテーマについて。 フリーランスを経てZOZO研究所へ 渡辺慎二郎氏：「大規模データをAIに活かすワークフローツールの紹介 約300万画像を画像検索システムで検索可能にした事例紹介」ということで、ZOZO研究所 福岡・渡辺慎二郎が登壇いたします。よろしくお願いします。 最初に簡単に自己紹介します。株式会社ZOZOテクノロジーズ ZOZO研究所 福岡、研究開発エンジニアの渡辺慎二郎です。Twitterでは「@shikajiro」でやっています。 すごく簡単に経歴も紹介しますと、2010年から8年ぐ
【週刊 Kubernetes 連載】ミニマリストのための CI/CD パイプライン！！ - Zeals TECH BLOG
こんにちは！！ 8月からZEALSにジョインしたぱんでぃーです！TypeScriptとAureliaを愛するバックエンドエンジニアとして、現在はGolangでMicroservices化を目指したAPIを開発しています！ このAPI開発のプロジェクトについても、近いうちにブログで公開していきたいのですが、今回はKubernetes環境でのCI/CDについてご紹介します。（おもにCD） このトピックについては、以前、CTO島田のエントリーでも少し紹介していましたが、さらに進化させた内容となっております！ tech.zeals.co.jp TL;DR KubernetesエコシステムのCDツールの現状 できるだけミニマムスタックでスタートするためには？ Gitブランチ戦略 アプリケーションの実行環境 目指すゴール ZEALSの実際のCI/CDパイプラインを紹介 今後の伸びしろ さいごに TL;
GCP 導入事例 - ドラゴンクエストウォークを支える GKE と Cloud Spanner | Google Cloud 公式ブログ
シリーズ累計の出荷・ダウンロード販売本数 7,800 万本（ 2019 年 6 月末時点）を突破した「ドラゴンクエスト」シリーズ。その新作スマホ向けタイトルである「ドラゴンクエストウォーク」は株式会社スクウェア・エニックスが企画・制作、株式会社コロプラが開発を担いプロジェクトを進めてきました。人気シリーズであり、かつてない規模のユーザー数に対応することが求められたことから、Google Cloud Platform を採用。Google Kubernetes Engine（GKE） と Cloud Spanner といったフルマネージドサービスを活用し、高性能、高可用性、高いスケーラビリティを備えたゲームサービス基盤を実現しています。 ドラゴンクエストウォークにおける GCP 採用の背景やねらい、導入効果について、両社のキーパーソンに語っていただきました。 イベントのご案内Google C
GMOアドマーケティングのT.Nです。 Google Cloud 主催の G.I.G. プログラムに参加し、 Google Cloud Professional Cloud Architect 認定資格も取得したため、 プログラムの内容や感想を記事にしました。 G.I.G. について G.I.G. は Google Cloud Innovators Gym の略で、 Google Cloud が主催する、 Google Cloud Platform のスキル習得のための招待制のプログラムです。 Google Cloud のエンジニアによるセッションが定期的に開催され、 期間中は Google Cloud が提供する Coursera のコースを全て受講することができます。 また、 Google Cloud 認定資格試験の受験の支援もあります。 セッションについて 3ヶ月にわたり、月に1回ハ
Capital Oneデータ漏洩経路の考察
2019年8月に発生した Capital Oneのデータ漏洩事件に関する各種報道等の情報からそのデータ漏洩経路を考察する。FBIの起訴状、CapitalOneの公式発表のほか、インターネット上で報道されている各種情報から考察をしており、内容には推測も含まれる。 なお本考察は個人的な調査に基づくものであり、いかなる公式発表でもなく、技術的な観点から事象や対策について検討したものである。 漏洩したデータS3バケットに保存されていたデータが漏洩した。また非公式な情報では、Twitterで犯行を告知しているメッセージから読み取るに、EBS Volume Snapshotも漏洩した可能性がある。 取得したというデータのリスト (KrebsOnSecurityより)主な漏洩の流れ構成ミスがあったWAF (Reverse Proxyとも)を利用され、その後にS3バケット内にあったデータなどが漏洩した。
私が個人で開発・運用している Qoodish という Web サービスは、主要なコンポーネントを Google Kubernetes Engine (GKE) 上にホスティングしています。 大規模なサービスを展開するために使われるイメージが強い Kubernetes (k8s) ですが、個人開発で作るような小規模なサービスでも様々なメリットがあります。 参考: Kubernetes は辛いのか？ 運用コストの削減 開発も運用も基本的に一人で行う個人開発においては、いかに運用コストを下げてアプリケーションの開発やサービスの設計に時間を割いていくかというのは重視されるポイントだと思います。 k8s を使うことで、必然的に Infrastructure as Code が実現され、アプリケーションをコンテナ上でステートレスに運用するということが可能になります。 k8s 導入以前は VM の状態管
今年もbuildersconに参加してきました。 builderscon.io 参加したセッション内容のメモと簡単な所感、全体所感を書き残しておきます。資料が公開されているものはリンクを張っておきました。 ※一部、私個人の解釈でメモしているものもあり、発表者の方の本来の意図とズレているものがあるかもしれませんがご了承下さい。 昨年と一昨年の参加レポートのリンク。 builderscon 2018に参加してきた - braitom's Tech Memo builderscon tokyo 2017 1日目 ~アウトラインメモ~ - braitom's Tech Memo builderscon tokyo 2017 2日目 ~アウトラインメモ~ - braitom's Tech Memo 本編1日目 Open SKT: メルペイ開発の裏側 - builderscon tokyo 2019
第688回と第690回では、カーネルのトレーシングツールとして注目されているeBPFを活用するためのツールとしてBCCを紹介しました。 また第692回ではBCC以外のeBPFを活用したツールの利用方法も紹介しています。 今回は一般的なコンパイラのようにバイナリを生成でき、移植性が高く、そして近い将来eBPFを使うための本流のひとつとなりそうなBPF CO-REについて紹介しましょう。 BPF CO-REの登場 BPF CO-RE（Compile Once - Run Everywhere）については第692回でも軽く紹介しました。改めてまとめると、次のような機能を実現する仕組みです。 BPFを利用したバイナリを実行環境とは異なる環境でビルドできる カーネルバージョン間の違いもある程度は吸収してくれる 実行バイナリのサイズはそれなりに小さくなる コンテナ内部などターゲットと異なるカーネルが動
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
マネージド「マネージドKubernetes」という憂鬱 - orangeitems’s diary
文法を知らぬまま、ChatGPTとの会話で作り上げたコード コード行数を13.5パーセント圧縮させた、やりとりの流れ
Cloud Pub/Sub経由でトレースを取得する
GCPで完結させたゲームプラットフォームのアーキテクチャ 開発期間は短くしつつ、自由度を失わないための工夫
Googleのサービスが軒並みダウン？ 日本以外でも（UPDATE:9月25日午前11時ごろ、ほぼ復旧）
Hasuraがめちゃくちゃ便利だよという話 - Qiita
Kubernetesエキスパートが注目する「Platform Engineering」とは何か？ 一体何が新しいのか？
「eksctl」コマンドを使ったAmazon EKS構築入門 | DevelopersIO
Using GitHub Actions for MLOps & Data Science
Vertex AIを活用したMLOpsの実現【前編】 | 株式会社CAM
GitHub Actions からのキーなしの認証の有効化 | Google Cloud 公式ブログ
Istioのenvoyサイドカーをデバッグする - CADDi Tech Blog
グーグルがクラウド新サービスを大量発表、「GAFA深読み」記者が注目したトップ3
CS Toolのフロントエンドのリプレイスプロジェクトについて
MLエンジニアがMLしやすくするために ZOZO研究所 研究開発エンジニアが語るビッグデータ活用術
G.I.G.プログラム参加とProfessional Cloud Architect試験について
個人開発で使う GKE｜yusuke-suzuki
#builderscon 2019 参加レポート - braitom's Tech Memo
第694回 libbpfとclangでポータブルなBPF CO-REバイナリ作成 | gihyo.jp