ECS FargateでSeleniumを実行する
はじめに こんにちは、GMOソリューションパートナーのTKです。 当社には、AWSの学習用のアカウントがあります。 今回はそれを活用して、ローカルのdocker環境上で動かしていたSeleniumを ECSのFargateで動作させてみることにしました。 構成 root ├ python │ └ Dockerfile │ └ requirements.txt │ └ script.py ├ selenium │ └ Dockerfile └ docker-compose.yml コード pythonディレクトリ配下 FROM python:3.12 ENV TZ Asia/Tokyo RUN apt-get update && \ apt-get install -y sudo vim && \ apt-get clean COPY ./ /app RUN pip install -r /
Dataflow(batch)でZONE_RESOURCE_POOL_EXHAUSTEDが発生した話
こんにちは。 GMO NIKKOのT.Cです。 今回は、Dataflowで、特定のゾーンにあるリソースが一時的な不足(= ZONE_RESOURCE_POOL_EXHAUSTED)により、間欠的にJobが失敗した内容について話したいと思います。 ※ 本ブログで発信される情報は、個人の見解でドキュメントで直接言及されてない内容も含まれているため、実際とは異なる可能性もあるので、参考までにしてください 1日何回も、Cloud FunctionでDataflow(batch・dataflow shuffle)を動かしてGCSにあるログを処理していますが、ゾーンのリソース不足により、Jobが失敗する現象が数日にわたって間欠的に発生していました。 Startup of the worker pool in zone us-central1-a failed to bring up any of th
Google AI Studioを使ってみる
こんにちわ。 GMO NIKKOのT.Mです。 Google AI Studioとは Google AI Studioは、GoogleのAIモデルであるGeminiを使ってプロンプトの検証やモデルのチューニングなどが行える開発ツールです。Gemini APIのAPIキーの取得もできます。 Google AI Studioの始め方 Googleアカウントがあれば始められます。 企業などでGoogle Workspaceを使っている場合は、「早期アクセスアプリ」を有効にする必要がありました。システム管理者に相談してみましょう。 Google AI Studioの起動 Google AI Studioの公式ページから「Google AI Studioにログイン」ボタンを押せば、画面が開きます。 ログインするとGoogle AI Studioが開きます。 クイックスタート クイックスタートのドキュ
【Git】新規ローカルブランチ作成時に自動でFirst Commitを行う for Four Keys
この記事は GMOアドマーケティング Advent Calendar 2023 5日目の記事です。 皆さん、お久しぶりです。GMOアドマーケティングのGood!Apps開発担当のharuです。 最近、弊社の開発部ではFour Keysを導入し、開発者体験や生産性の向上に注力しています。今回は、Four Keysの計測に必要な処理の一部を自動化しましたので、その詳細についてお話しできればと思います。 Four Keysとは まず、Four Keysについて簡単に説明します。 Four Keysは、GoogleのDevOps Research and Assessmentチームが提唱した、ソフトウェア開発チームのパフォーマンスを評価するためのフレームワークです。このフレームワークは以下の4つの指標で構成されています。 デプロイの頻度: 本番環境へのリリースの頻度を示します。頻繁なリリースは、ア
AWSエンジニアから見たGCP(データ分析編)
こんにちは、GMOアドマーケティング インフラ開発部のhakumaiです。前回の記事「AWS SAPを取得したら視野が広がった話」を読んでいただいた方々、ありがとうございます。今回のテーマは「AWSエンジニアから見たGCP」第2弾として、代表的なGCPのコンピューティング系サービスについてAWSと比較し感じた点についてお話いたします。 (第1弾の記事はこちら↓)IaaSCompute EngineAWSではEC2に相当するサービス。各種インスタンスタイプや提供OSイメージ、インスタンス向けのストレージ機能、オートスケール機能など、インスタンスのアーキテ... DWH BigQuery BigQueryはフルマネージドなサーバレスDWHサービスで、Googleが開発した大規模データ向けの分散システムであるDremelを基にしておりSQLクエリを使用して大規模データの分析を行うことができる。さ
GCPのロードバランサでTLSバージョンや暗号スイートを確認する
こんにちは。GMOアドマーケティングのH.Tと申します。 担当しているプロダクトでセキュリティチェックの一環として現在受け付けているリクエストのTLSバージョンや暗号スイートを洗い出す必要がありました。 GCPのロードバランサのカスタムヘッダという機能から確認できたのでご紹介します。 システム構成は以下のような感じです。 External HTTP(S)load balancer → サーバレスNEG → Cloud Run(Goアプリ) 以下Cloudコンソールでの手順になります。 先に公式ドキュメントを読みたい方はこちら 1. ロードバランサ一覧より対象のロードバランサ名をクリックして詳細を開く。 2. 「ロードバランサの詳細」画面から「編集」を開く。 3. 「バックエンド サービス」で対象バックエンドの鉛筆アイコンから「バックエンド サービス」の編集を開く。 4. 下の方にスクロール
GKE1.26を利用するためgke-gcloud-auth-pluginをインストール
こんにちは。 GMOアドマーケティングの@zakisanbaimanです。 GMOアドマーケティングのDMPサービスであるMinervaはGKEを利用しているのですが、Googleから以下のメールが届きました。 Kubernetes v1.26 以降にて GKE クラスタに引き続きアクセスするためには、gke-gcloud-auth-plugin という新しいバイナリを Kubectl（および Kubernetes カスタム クライアント）とともにインストールする必要がございます どうやら1.25以前で利用していた認証方法が利用不可になり、代わりに新しいプラグインを利用して欲しいとのことのようです。 なぜ認証方法が変わるのか？ 背景を知ることは作業の精度を上げるためにも重要です。 KubernetesはOSSであり、OSSをそのまま使ったりサービスプロバイダー（GCPのGKE、AWSのEK
ファシリテーションで意識していること
この記事は GMOアドマーケティング Advent Calendar 2022 8日目の記事です。 こんにちは。GMOアドマーケティングのT.Mです。 はじめに ファシリテーションと聞くと何をイメージしますか？ミーティングの進行役？参加者の発言を促す人？結論を導くこと？ 僕は、ミーティングを上手く回す方法くらいのイメージでした。 ミーティングで感じた課題点 ミーティングの進行役をよくするのですが、色んな課題を感じていました。 時間内に結論が出ない。話があちこちに飛ぶ。意見の対立が起こり、解決しない。話さない人がいる。 これらの課題をどうやったら解消できるか考えた結果、ファシリテーションを意識してみようと思いました。 参考書籍 下記の書籍を参考にしました。興味ある方はぜひ読んでください。 ザ・ファシリテーター 人を伸ばし、組織を変える(森時彦 著、ダイヤモンド社)ファシリテーションの教科書(
AWSエンジニアから見たGCPサービス(DB/ストレージ編)
こんにちは、GMOアドマーケティング インフラ開発部のhakumaiです。 前回の記事「元AWSエンジニアがGoogle Cloud Professional Cloud Architectを取得した話」を読んでいただいた方々、ありがとうございます。 こんにちは、GMOアドマーケティング インフラ開発部のhakumaiです。前回の記事「PostgreSQLのメモリアーキテクチャを知る」を読んでいただいた方々、ありがとうございます。先日、Google Cloud のProfessional Cloud Architect(以下PCA)を取得する機会があったので今回はその合格までの道のりについてお話しいたします。きっかけきっかけとなったのは、Google Cloudが主催している特別トレーニング「G.I.G.」に参加する機会が巡ってきたことです。GMOアドマーケティングに入社して約1年が経つと
Railsで作った脆弱性をBurp Suiteで診断してみる
こんにちは、GMOアドマーケティングのR.Yです。 今回はBurp Suiteによる脆弱性診断をしていきます。前回OWASP ZAPを使って自動でテスト用のサイトを診断し、複数の脆弱性を確認することができました。そして、今回はそこで検出された「SQLインジェクション」の脆弱性についてBurp Suiteを使って詳しく確認していきます。 このブログは前回投稿したこちら↓の続きになります。 この記事は GMOアドマーケティング Advent Calendar 2020 14日目の記事です。はじめにこんにちは、GMOアドマーケティングのR.Yです。今回はタイトルの通り、Railsで作った脆弱性をOWASP ZAPで診断してみたいと思います。自分は主にRailsを使ったWebアプリの開発やWebアプリの脆弱性診断を行うことが多いので、この記事を書くことによってRailsのセキュリティ周りや脆弱性診
DMP（Data Management Platform）開発を担当した際の所感
こんにちは。 GMOアドマーケティングの@zakisanbaimanです。 この度弊社のDMPであるMinervaのバックエンドを兼任することになり、その際の所感をまとめておきます。 DMP（Data Management Platform）とは 一言でいうと「インターネットユーザをセグメント化し、管理できるプラットフォーム」です。 ここで言うセグメントとは「車好き」や「ジャニーズ好き」、「30代」などの属性のことであり、それらをユーザ1人1人のCookieに付与してインターネット広告のターゲティングに役立てることを目的としています。 自身のアドテク開発歴 2017年夏にGMOアドマーケティングにジョインし、現在（2021.04）までアドネットワークであるAkaNeのバックエンドを担当。 AkaNeの主な採用技術として、Java、Apache、サーブレット、GCPが挙げられます。 担当着任
大量のトラフィックとの付き合い方
GMOアドマーケティング GMOSSP開発担当の@KazuakiMです。 アドテクに携わり早い事で4年、もうじき5年目となります。 私が弊社に入社した動機はいくつかありますが、アドテクに携わってみようと思い、多くの企業を見てきました。 その理由の1つとして、日頃から見るニュースサイトでは常に広告が表示されているが、どのように表示されているのか? また、どのような仕組みで配信されているのかが気になったのがきっかけでした。 実際に入社し、5年目目前という事で少しはアドテクについてわかってきたように思います。 入社した当時と現在ではアドテクをとりまく環境も大きく変わり、 GDPR、FLoC、Privacy Sandbox、ITPなどプライバシーを意識した配信が求められています。 そんな状況下でもアドテク業界は成長中で、日々トラフィックが伸びています。 大量のトラフィックの先には大量のログがある
Rubyのデバッガ「Ruby Jard」についてご紹介
この記事は GMOアドマーケティング Advent Calendar 2020 18日目の記事です。 こんにちは。GMOアドマーケティングのH.Tと申します。 RubyJardについてご紹介したいと思います。 Ruby Jardとは RubyJardはbyebugをベースとして開発されたCUIで動作するRubyデバッガです。 RubyJardは公式サイトによると2020年の7月から開発が始まったとあり現在(2020年11月)最新バージョンがV0.3.1になっています。 開発が始まってまだ一年も経ってないようですが今後様々な機能の実装が予定されておりロードマップを確認できます。 普段の業務の開発環境ではbetter_errorsとbinding_of_callerで画面上でデバッグができるようになっているのですがbyebugやRubyJardのようにコンソール上で動くデバッガは使ったことがな
エンジニア組織のリファクタリングの話
この記事は GMOアドマーケティング Advent Calendar 2020 1日目の記事です。 はじめに こんにちは、 GMOアドマーケティング 開発本部 本部長のクリスです。 今回はエンジニア組織のリファクタリングについてお話しします。 組織作りは手段であって、目的、会社の規模、事業内容、またトップの考え方などによって 変わります。 現在の開発体制 弊社はアドテク事業としてSSPのGMOSSP、アドネットワークのAkaNe、DSPのReeMo、レコメンドエンジンのTAXEL、メディア事業としてめるもなど、幅広いプロダクトを自社開発で提供しています。 体制としてはプロダクトごとにエンジニアがアサインされ、チームにてそのプロダクトの開発を行う、いわゆるプロダクトチーム制となります。また、ほとんどのチームはスクラムを用いて開発をしています。 図で表すとこんな感じ よく見られる開発体制で良い
新卒研修でDevOpsの歴史を語った件
こんにちは、GMOアドマーケティングのmizkichです。 アドテクなマイクロサービスをGCPのKubernetesで運用しています。 GMOではグループ全社の新卒エンジニアに向けて、技術力向上・適性判断を目的とした研修プログラム「GMOテクノロジーブートキャンプ」を毎年実施しています。 今年度は非常勤講師として「DevOpsで必要とされるエンジニアスキルの変化」というタイトルで登壇させて頂きました。 「DevOpsと継続的デリバリーの関係性」や「技術の進化によりエンジニアの担当領域の変化」などを踏まえ、DevOps時代のエンジニアの技術スタックの広さを解説しています。 この記事では、この講義を作る事になった顛末や発表資料の共有などをしたいと思います。 ・GMOテクノロジーブートキャンプとは 社内では略してGTBと呼んでいます。 GTBの内容を端的に言うと、一ヶ月の集中講義で新卒に成果物を
PHP7.4の変更点
はじめに こんにちは。 GMOアドマーケティングのKONCEです。 定期的にPHPバージョンアップ調査を行うのが恒例となってきました。 今回はPHP7.4のマイグレーションに関して掻い摘んで紹介します。 過去記事はこちら↓ はじめにこんにちは。GMOアドマーケティングのK.Kです。前回のPHP7.2の記事に引き続き、今回はPHP7.3の変更点に関して掻い摘んでご紹介させて頂きます。（引用元｜https://secure.php.net/download-logos.php）目次PHP7.3に関して新機能2-1. 関数の引数の末尾にコンマを許可新しく追加された関数3-1. array_key_first(), array_key_last()3-2. hrtime()3-3. is_countable()下位互換性のない変更点, 推奨されなくなる機能4-1. フレキシブルなヒアドキュメント4
【在宅勤務レポート】社内のエンジニアに工夫している点や困っている点を聞いてみました
GMOアドマーケティングの石丸(@thomi40)です。 新型コロナウイルスの影響で在宅勤務や時差出勤を取り入れる企業が増えていますが、GMOインターネットグループも2020年1月27日から在宅勤務体制へ移行しました。 当初は2週間をめどとした在宅勤務でしたが、2020年2月10日以降も在宅勤務の継続やオフィス出社時の感染予防対策を拡充させるといった体制へ移行しております。 詳細の取り組みは以下のページをご覧ください。 弊社GMOアドマーケティングでも2020年1月27日から在宅勤務を中心とした体制へ移行したので、 今回は社内の6名のエンジニアに、在宅勤務について 良かったこと 困っていること 工夫していること ランチはどうしてる？ 在宅勤務を支えるお気に入りのアイテムは？ デスクはどんな感じ？ などを聞いてみました。 在宅勤務に取り組んでいる方、今後在宅勤務体制になる方の参考になれば幸い
GCP初心者がGoogle Analytics API叩いてみた
はじめに GMOアドマーケティングのあおんたです。 今回は、ほぼオンプレシステムを担当していたエンジニアが、Google Analytics APIを叩くまでの手順を紹介します。 Google Analytics APIを叩いて、自分の管理下にあるGAタグが埋め込まれたサイトのセッション数を取得したりできます。 手順 ほぼ、公式ドキュメントの手順通り実施します。 ただ、Googleの公式ドキュメントって、直訳調というか、なんか日本語が不自然でいまいち何が言いたいかわからなかったりしますよね…。 というわけで、公式ドキュメント読んでもいまいちわかりづらかったところを補足しながら書こうと思います。 サービスアカウント作成 「サービスアカウント」とは、GCPのあるサービスにアクセスするためのアカウントです。 サービスの利用権限を個人アカウントごとに設定しなくても、ある目的のためにサービスアカウン
GoogleのJava用Logging API「Flogger」を使ってみた
/Library/Java/JavaVirtualMachines/jdk1.8.0_144.jdk/Contents/Home/bin/java -Dfile.encoding=UTF-8 -classpath /Library/Java/JavaVirtualMachines/jdk1.8.0_144.jdk/Contents/Home/jre/lib/charsets.jar:/Library/Java/JavaVirtualMachines/jdk1.8.0_144.jdk/Contents/Home/jre/lib/deploy.jar:/Library/Java/JavaVirtualMachines/jdk1.8.0_144.jdk/Contents/Home/jre/lib/ext/cldrdata.jar:/Library/Java/JavaVirtualMachines
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Colabでpysparkを利用する方法