Google Cloudのサーバレスなイベント駆動処理 - Cloud Runアプリをいい感じにTerraformで管理する - Lean Baseball
元・野球エンジニア*1, 現・Google Cloud Partner Top Engineer 2024*2の人です. 相変わらず仕事も趣味もGoogle Cloudで何かをやっているのですが, この年末年始に以下の絵のようなシステムを作りました（正確には「元々あった別システムを作り直しました*3」）. この記事の全体像 Baseball Savantから取得*4した投打のデータ（トラッキングデータ）のCSVをBigQueryのテーブル（事前に定義済み）に突っ込むシステムなのですが, こちらを作る過程で, Cloud RunをPub/Subのメッセージをトリガーとしたイベント駆動で動かす アプリケーション（Goで実装）を純然たるWeb APIとして実装（Pub/Sub専用のアプリではない） 上記の構成をサービスアカウントなどの権限設定含めてTerraformでIaC（Infrastruc
はじめにこんにちは。HealthCare Innovation Group(HIG)1所属の清水です。 秋のブログ週間2023、3週目・12本目の記事です。 Kubernetesクラスタ上で構築された学習基盤2を業務で利用することをきっかけに、「Dockerコンテナ開発・環境構築の基本」という書籍を読んでみました。 https://book.impress.co.jp/books/1120101031 これまでDocker・Kubernetesをあまり触ったことがないエンジニアが、書籍を読んだ感想を書いていきます。 Wikipediaによると、「クバネティス/クバネテス/クーべネティス」と読まれているようです。 「クーベネティス」だと予測変換にKubernetesが出てくる（手元のiOS、macOS）ため、「クーベネティス」と打っています。 感想本書は、Dockerをベースにコンテナ技術の
OpenAI APIを使って議事録作成Botを作ってみよう！
はじめに これまでの連載で、サーバーレス技術の解説とそれを用いたAIシステムの実装例について紹介をしてきました。前回の記事では物体検知を行うモデルを学習の段階から用意し、AWSを利用しながらサーバーレス環境でのシステム構築を行った実装例について解説をしました。 最終回となる今回のテーマも、今までと同じくサーバーレス技術を用いて手早くプロトタイプのAIシステムを作る方法を紹介していくものとなります。今回はOpenAIが公開しているAPIの中でもChatGPTとWhisperを利用して、Google Meetで行なった会議の議事録を自動で作成してくれるSlack Botを作っていきます。また、前回はサーバーレス環境にAWSを利用しましたが、今回はGCPを利用した開発を紹介していきます。 自動議事録作成Slack Bot OpenAI APIを利用すると、自動で会議の議事録を作成してくれるシステ
Looker StudioレポートごとのBigQueryクエリ課金額を調べる方法 - G-gen Tech Blog
G-gen の杉村です。Google Cloud (旧称 GCP) の BigQuery と BI ツールである Looker Studio のネイティブ統合機能である BigQuery native integration in Looker Studio が2023年10月2日に Private Preview (申込制) で公開されたため、その機能を活用して Looker Studio レポートごとの BigQuery 課金額を調査してみました。 はじめに やること 調査方法 留意事項 情報取得方法を理解する INFORMATION_SCHEMA.JOBS の構造 クエリ ID からのレポート特定 検索ボックス URL 集計クエリ その他の Tips はじめに やること 当記事では、Looker Studio レポートごとに、そのレポートからのクエリが BigQuery 課金のうちの
ChatGPT、Vertex AI等の生成AIを簡単にカスタマイズして自社用に使いこなせるオープンソース"Skeet"がGPT-3.5のファインチューニングにも対応しました
ChatGPT、Vertex AI等の生成AIを簡単にカスタマイズして自社用に使いこなせるオープンソース"Skeet"がGPT-3.5のファインチューニングにも対応しましたSkeet では、GPT-3.5 Turbo を使用したファインチューニングを簡単に実行でき、出来上がったモデルをアプリケーションに組み込む準備はできています。 Skeet は GCP (Google Cloud) と Firebase 上にフルスタックアプリを構築できるオープンソースの TypeScript 製サーバーレスフレームワークです。 API サーバーから Web・iOS・Android アプリまですべてを TypeScript で爆速開発することができます。 今回のアップデートにより、Skeet では TypeScript を使って GPT-3.5 の Fine-tuning を簡単に実行できるようになりまし
ユーザー向けプロダクトだけが全てじゃない、テクノロジーで事業にレバレッジを掛けるプレックスのコーポレートエンジニア - PLEX Product Team Blog
eye-catch こんにちは、プレックス コーポレートエンジニアチームの石塚です。 はじめに みなさんは「コーポレートエンジニア」という単語を聞いたことがあるでしょうか？ 情シスや社内SEのようなイメージを持たれる方が多いかと思いますが、わざわざ別の単語を用いて表現しているからには、若干違うニュアンスが込められているはずです。 プレックスにおいても2022年中頃からコーポレートエンジニアというポジションをオープンし、採用を進めてきました。 その際、候補者やエージェントの方にコーポレートエンジニアのニュアンスが間違って伝わっていることが少なからずあり、今回のエントリーを書いてみようと思いました。 本ブログでは、他社のコーポレートエンジニアの事例を見ていった後に、プレックスにおけるコーポレートエンジニアの定義や実際に直近で取り組んでいる課題、技術スタックをご紹介します。 はじめに 他社のコー
ものづくり現場で使える軽量Rubyが熱い！ RAM使用量5KB強で動く「mruby/c」について聞いてみた - Qiita Zine
労働力人口の減少に伴ってものづくりの現場でもDXの必要性が叫ばれている中、管理ソフトウェアならともかく、現場となる工場などでのハードウェアを動かすプログラムに関しては、モダンな環境にするのは至難の業でしょう。 というのも、そのようなハードウェアは小さなマイコン（電気機器を制御するための電子部品）上にプログラムが組まれているわけですが、そこで使われている言語は非常にレガシーで、拡張性に乏しく可読性も低いためです。 そのようなものづくり現場の課題を解決するアプローチとして開発されたのが、組込みシステム向けの軽量Rubyの開発言語「mruby/c」（読み方：エムルビー・スラッシュ・シー）です。mruby/cはRAM使用量わずか5KB強で動くことから、小さなマイコンであっても、Rubyのもつ生産性・表現力の高さを引き継ぐことができると言います。 具体的にどのような形で実装が進められているのか。今回
IoT系のプロダクト開発の裏側って？ 知られざる開発・運用ノウハウを2社のエンジニア6名が徹底解説！ 電化製品や産業用機器など、あらゆるコンピューターやデバイスがインターネットを介して通信し、相互にやりとりする。そんな、IoT（Internet of Things）の技術を用いたサービス・ビジネスが注目を集めています。 2023年12月22日に開催されたイベント「IoT系のプロダクト開発の裏側って？知られざる開発・運用ノウハウを2社のエンジニア6名が徹底解説！」では、IoT技術を事業に活用するENECHANGE株式会社と株式会社スマートショッピングのエンジニア合計6名が登壇。プロジェクトから得られた知見を紹介しました。今回はそのレポートをお届けします。 今回登壇した発表者の集合写真 高度なモノの管理を実現：SmartMatのエンジニアリング紹介 はじめに登壇したのは、スマートショッピ
【書き起こし】メルコインのインフラ設計・構築と、信頼性のあるサービスをリリースするためのSREの取り組み – Masaki Iino / Takaaki Yuhara【Merpay & Mercoin Tech Fest 2023】 | メルカリエンジニアリング
Merpay & Mercoin Tech Fest 2023 は、事業との関わりから技術への興味を深め、プロダクトやサービスを支えるエンジニアリングを知ることができるお祭りで、2023年8月22日（火）からの3日間、開催しました。セッションでは、事業を支える組織・技術・課題などへの試行錯誤やアプローチを紹介していきました。 この記事は、「メルコインのインフラ設計・構築と、信頼性のあるサービスをリリースするためのSREの取り組み」の書き起こしです。 @m-iino：本セッションでは、「メルコインのインフラ設計・構築と、信頼性のあるサービスをリリースするためのSREの取り組み」についてお話しします。 まずは、プレゼンターの紹介です。私はIinoと申します。2019年5月にメルチャリに参画し、インフラとバックエンド担当。2020年2月からメルペイSREチームに参加。2021年からメルコインSR
動的クレデンシャルで Terraform Cloud から Google Cloud を楽に＆安全に 利用しよう
TL;DR Terraform Cloud から Google Cloud を扱うときに、動的クレデンシャルを使うと、サービスアカウントの秘密鍵を厳重管理やローテーションをする必要がなくなります。 動的クレデンシャルの実体は、Google Cloud 上の Workload Identity を使った、OIDC トークンです。これによって、Terraform Cloud は直接 Google Cloud の秘密鍵を扱いません。 Workload Identity 連携の導入にあたって、構築用の Terraform スクリプトが便利です。 はじめに Terraform Cloud は、自動的に terraform plan や terraform apply をするパイプラインや、チームで共有可能な状態管理を提供してくれるサービスです。Google Cloud だけで、同様のパイプライン機能
オープンソースアプリフレームワーク "Skeet" が ChatGPT だけでなく Google AI にも対応。より柔軟なカスタマイズが可能に。
オープンソースアプリフレームワーク "Skeet" が ChatGPT だけでなく Google AI にも対応。より柔軟なカスタマイズが可能に。今回のアップデートにより、Skeet は OpenAI 社の ChatGPT(GPT-4 等)に加えて、Google 社の Vertex AI にも対応いたしました。 Skeet は GCP (Google Cloud) と Firebase 上にフルスタックアプリを構築できるオープンソースの TypeScript 製サーバーレスフレームワークです。 API サーバーから Web・iOS・Android アプリまでを TypeScript で一貫して超速開発することができます。 今回のアップデートにより、Skeet は OpenAI 社の ChatGPT(GPT-4 等)に加えて、Google 社の Vertex AI にも対応いたしました。 V
本記事は Google Cloud Japan Advent Calendar 2022 の 通常版 22 日目の記事です。 皆様、いかがお過ごしでしょうか？ Google Cloud パートナーエンジニアの山中です。 本記事では Google Cloud Next'22 で一般利用（GA）としてアナウンスされました Analytics Hub を用いたデータ共有方法についてご紹介します。 Analytics Hub とは Analytics Hub は組織間でデータを効率よく安全に共有可能とする BigQuery を基盤としたデータシェアリング サービスです。データを共有することに主眼をおいたサービスとなっており、例えばグループ会社間でのデータ共有やオープンデータの公開などのユースケースに適用できます。 Analytics Hubの 仕組み Analytics Hub の仕組みは非常にシ
エキスパートとしても育っていける構想を用意する 今村雅幸氏（以下、今村）：次に評価ですね。エンジニアの評価は、ただ給料を決めるためのものではありません。「エンジニアを成長させるための羅針盤ですよ」と言っています。キャリアパス、評価制度、行動評価みたいなところがあります。 エンジニアのキャリアパスですね。これは最近各社で多くなってきていると思いますが、マネージャーコース1本だけではなく、しっかりとエキスパートとしても育っていける構想を用意してあげる。かつここも給与レンジとしては同じようにするということが非常に重要かなと思っています。 BuySellの場合は、S1、S2みたいなメンバー層もあれば、M1からM3のマネージャーもあれば、エキスパートのE1からE3もあるのですが、このM1からM3、E1からE3は給与のレンジとしては同じ感じになっています。 エンジニアは成果評価と行動評価の2軸で評価す
iOS開発におけるGitHub Actions self-hosted runnerを利用したオンプレ CI/CD のすゝめ | CyberAgent Developers Blog
iOS開発におけるGitHub Actions self-hosted runnerを利用したオンプレ CI/CD のすゝめ 昨今のiOSのCI /CD環境において、マシンスペックと実行コストのトレードオフや、それに伴うクレジット管理に悩まされることが増えています。 6月27日〜28日にかけて開催した「CyberAgent Developer Conference 2023」では「iOS開発におけるGitHub Actions self-hosted runnerを利用したオンプレ CI/CD のすゝめ」というタイトルで下記についてご紹介しました。本ブログでは、そのセッションの様子をお届けします。 ————————— サイバーエージェントではCyberAgent group Infrastructure Unit（CIU）がMac OSの物理マシンを運用管理し、GitHub Action
G-gen 又吉です。Google の提供する最新の生成 AI モデルである Gemini を用いて、マルチモーダルな生成 AI チャットアプリを簡単に開発できましたので、ご紹介します。 概要 当記事の内容 デモ動画 前提知識 Gemini とは 使用するモデル Gradio Cloud Runサービスへのアクセス制御 準備 ディレクトリ構成 app.py requirements.txt Dockerfile デプロイ 動作検証 認証 テキストのみ 画像① 画像② 動画 利用状況の可視化 概要 当記事の内容 Google の提供する最新の生成 AI モデルである Gemini を用いて、テキスト、画像、動画の入力に対応したマルチモーダルな生成 AI チャットアプリを作ってみたので、当記事ではその開発の経緯をご紹介します。 実行環境として Google Cloud（旧称 GCP）の Clo
This post is an exploration of the supply and demand of GPUs, particularly Nvidia H100s. We’re also releasing a song and music video on the same day as this post. This post went mega viral. It was on the frontpage of HN, techmeme, many email newsletters, got tweets from Andrej Karpathy and others, comments from Mustafa (who will have $1B of GPUs online soon) from Inflection and Emad from Stability
DOMDOMトークス #1 about me Pasta-K / @pastak 京都で主にJavaScriptを書いて暮らしています 京都サンガF.C.サポーター Kyoto.jsオーガナイザー Kyoto.js 21の宣伝 https://kyotojs.connpass.com/event/311584/ イタリアのローマのJavaScriptコミュニティRomaJSよりコミュニティマネージャーをされているMatteo Manchiさんが京都に旅行に来られるそうなので、それに合わせて開催します！！！！！MatteoさんにはReact NativeについてとRomaJSやイタリアにおけるJavaScriptコミュニティについてトークをして頂きます！ 良ければ、東京にお住まいの皆さんも観光がてらどうぞ 3月13日なので、まだ桜とか咲いてなくて(桜の時期などのハイシーズンと比べると)空いて
Google Cloud、始めてみませんか？ この記事は Google Cloud Japan Advent Calendar 2023 (入門編) の 1 日目の記事です。 この記事では、「Google Cloud を始めてみたいけど、何から手をつけて良いのか分からない」「ドキュメントの見方もよくわからないぞ？」という方々にとって、お役に立ちそうな情報を記載していきます。 全体像を学ぶ方法から、最新情報をキャッチアップする方法まで、自分の今の状況に合わせて、記事で紹介しているコンテンツを活用いただければと思います！ 全体像を学ぶ プロダクトや機能について学ぶ前の段階として、そもそも Google Cloud で何ができるのか、どんなラインアップがあるのかを掴みましょう。 ここでは、全体像を掴むためのリソースを紹介していきます。 他社クラウドの知識をベースに学ぶ 既に他社クラウドの知識があ
テキスト生成 AI 利活用におけるリスクへの対策ガイ ドブック（α版） 2024（令和 6）年 5 月 29 日 デジタル庁 〔ドキュメントの位置付け〕 参考資料。今後、デジタル社会推進標準ガイドラインへの編入を検討予定 〔キーワード〕 テキスト生成 AI、生成 AI、サービス開発者、サービス提供者 〔概要〕 テキスト生成 AI を利活用し、行政サービスや職員業務の改善の重要度が高まる中、リ スクを特定し、そのリスクを受容できるレベルまでに軽減する対応もまた重要になってい る。テキスト生成 AI に関連するリスクは多岐にわたるが、その多くはテキスト生成 AI 固有 でない AI システム全般に共通するものである。そこで、本文書では政府情報システムを対 象に、テキスト生成 AI 固有と見られるリスクに焦点をあて、留意点を紹介する。現段階 （2024 年 5 月現在）では、実践的なフレームワー
皆さまは、GA4のデータはどのような手段で確認していますか？ Universal Analytics（以下、「UA」）と違って、GA4では標準レポートでは基本的にサンプリングがかからないので実数を把握するのに便利ですよね。ただ、ディメンションと指標の組み合わせやフィルタ等に制限があり、データの深掘りには向いていません。 そうなると、次に挙がるのが探索レポートでしょうか。ですが、こちらは自由度が高い分析ができるかわりに、サンプリングがかかる確率が高く正確なデータを見ることが難しいです。 弊社で推奨しているのはBigQueryです。BigQueryは、無料ではないですしSQLの知識も必要であるため導入ハードルは高いですが、その分、正しく扱うことができればサービス改善に最短で近づけるツールです。 弊社のブログでは、いくつかの記事にわたって、具体的なSQLやBigQueryを利用するかどうかの判断
こんにちは、DRAWER Enabling QAチームの猿渡です。 この記事ではDRAWER QAチームで進めているE2Eテスト自動化についてご紹介します。 課題 CADDi DRAWERにはQAチームがあります。品質保証業務は、開発エンジニアや外部パートナーなど様々な方と連携し行っています。 現在QAが行っているテストは、システム全体をスコープにしたエンドツーエンド（E2E）テストです。。 CADDi DRAWERでは、DRAWER Product Testing Guidelineにより、以下のテストカテゴリを定義しており、E2Eテストでは、Test Size: Largeの「Story Tests」と「Scenario Tests」のCategoryに対してソフトウェアテストライフサイクル（STLC）を行っています。 [DRAWER Product Testing Guideline
GKEクラスタ内部であってもイベントを直接転送できるEventarcの意外な落とし穴 - Assured Tech Blog
こんにちは。エンジニアの岩松です。たまにVisionalグループの軽音部でベースを弾いています。最近エフェクターを買ってみたのですが、欲しいものが次々と増えてきて困っています。 この記事はGCP(Google Cloud Platform) Advent Calendar 2023 15日目の記事となります。( Assured Tech Blog でアドベントカレンダーは初参加！ 🎉 ) TL;DR Eventarcを使えばイベントドリブンなリソース連携をマネージドかつ手軽に管理できる イベント転送先にはGKEクラスタ内部のエンドポイントも直接指定できるのでPub/Subや Cloud StorageのイベントをPush型で処理しやすくなる Terraform経由だとEventarcが作成ができず、関連リソースが🧟♂️になるバグと遭遇したが、サポートとやりとりを続けて解消できた やり
個人開発がおすすめな理由6選
個人開発がおすすめな理由6選 株式会社NoSchool CTO / meijin ※slidevで発表したスライドをほぼそのまま投稿しています 目次 自己紹介 私が個人開発しているツール 個人開発がおすすめな理由 1）使ってみたい技術を試す場になる 2）不確実性に投資できる 3）作ったことのあるサービスの種類が増える 4）Webサービスの全体感が見える 5）要件定義の経験と視座が得られる 6）汚いコードを書けばどんな目に遭うかわかる まとめ 宣伝 自己紹介 名人 Twitter(X): 名人｜マナリンクCTO Zenn: https://zenn.dev/meijin 株式会社NoSchool CTO オンライン家庭教師マナリンク(https://manalink.jp/) 個人開発 テストメーカー(https://test-maker.app/) 好きな言語はTypeScript、好きな
こんにちは、ホシイです。 貧乏性なので、仕事中はたいてい費用のことを考えています。 今回は、機械学習インフラにも関連する記事です。AI に関しては SQUARE ENIX AI 技術ブログ もありますので、ご興味がありましたらぜひご覧ください！ GPU をお安く、好きなときに好きなだけ利用したい AI の話題花盛りの昨今、アプリケーションで GPU を利用する機会も増えてきました。GPU の用途もいろいろとありますが、最近でわたし周辺の需要として特に多いのは、機械学習です。ざっくり言うとタスクに対してパラメーターやデータを与えてある程度の時間、計算処理をするものです (なんでもそうと言えばそうですが)。ここでの問題は、GPU は基本的に高価で購入することに敷居があるうえに、それをホストに組み込んでかつ共有リソースとして利用するというのはなかなか難しいというものです。 今回の記事ではこれをス
AIの発展を妨げる、エネルギーの問題 メンタリストDaiGo氏（以下、DaiGo）：ここまでは、今みなさんが（AIを）どう使っているかとか、2024年に何が起きるかという話をしました。今回は専門家の方もいらっしゃるので、ここからは、例えば3年とか5年、10年先にどうなっていくのかというお話をちょっとお聞きしたいと思います。どうでしょうか？ 茶圓将裕氏（以下、茶圓）：じゃあ、サンフランシスコニキからいきましょうか。 あおちゃんぺ氏（以下、あおちゃんぺ）：サンフランシスコニキから（笑）。 DaiGo：たぶん3年だとあれだと思うんですけども、5年とか10年とか先で考えると、けっこう予測が当たりやすくなる気がするんですよ。 渡辺圭祐氏（以下、渡辺）：どう使うかですよね。今の段階で言うと、AIを作るにしろ、動かすにしろ、やはりコンピューティングの制限があって、そこの供給がありますよねという話があって
ゼロからはじめるPython(111) Googleカレンダーの予定を読み込んでカウントダウンしよう（上）カレンダー編
Googleカレンダーを使ってスケジュール管理をしている人も多いことだろう。Googleカレンダーの予定はPythonを使って取得できる。今回は、予定一覧を取得してカウントダウンするプログラムを作ってみよう。 今回作るカレンダー Googleカレンダーについて Googleが基本的に無料で提供するWebカレンダーが「Googleカレンダー」だ。スマートフォンアプリも提供されており、家族やチームで共有もできるので、利用しているユーザーは多いことだろう。 Googleカレンダー そして、プログラマーにとって、嬉しい点だかが、このGoogleカレンダーにはAPIが用意されており、自作のプログラムからカレンダーを制御できるようになっているという点だ。簡単なプログラムを利用して、予定の一覧を取得したり、イベントを追加したりすることができる。 今回と次回で、カレンダーから重要な予定を取得して、予定まで
こんにちは、Enterprise Cloud部 ソリューションアーキテクト1課 宮形 です。今年に入ってガバメントクラウドのブログを書くようになりまして、どの記事も前向きでポジティブな内容を心がけておりましたが、今回は一転して後ろ向きなタイトルになります。 本BLOGではガバメントクラウドにおいてAWSに各システムをリフト＆シフトした後に、AWSから抜け出す方法 について検討した内容を記載させていただきます。 このBLOGを書こうと思い立った理由 AWSから抜け出す方法を各サービス毎に検討する 仮想サーバー EC2 データベースのマネージドサービス RDS、Aurora コンテナの実行環境 ECS、Fargate ファイルサーバーのマネージドサービス FSx for Windows File Server オブジェクトストレージ S3 サーバーレス実行環境 Lambda ファンクション デ
こんにちは、ホシイです 👋 今回は、記事タイトルを見てもぱっとイメージしにくい話題です。ちょっと複雑で、うまく説明できるか自信がないですが、ひとつずつ順を追って書いてみます。 ちなみに (いつもそうですが) 記事の内容は弊社すべてのシステムで採用している技術・ポリシーではなく、ひとつの解決案としてお考えください。 外部 API 呼び出しをするサーバーでのよくある悩み web アプリケーションなどで、リクエストを受けたサーバーがさらに外部の API 呼び出しをすることってよくありますよね。そして、このインターネット時代、そういった API 呼び出しは失敗することもあればタイムアウトすることもよくあります。エラーが返ってきたならまだしも、うまくいったかどうかもわからない場合は、どうしたらいいでしょうか? 今回はここをスタート地点にして、どういった解決が考えられるかを見ていきます。 ちなみに今
クラウド認定資格の活用方法を解説！うまいキャリア形成にはクラウド資格を取得する ARC100 #GoogleCloudNext | DevelopersIO
セッション内容 概要 Google Cloudの学習プログラム、認定資格、スキルバッジに関する情報をディスカッション形式で行うセッションでした。 セッションで重点的に語られたのは、Google Cloud認定資格とスキルバッジがいかに専門知識を証明し、個人のキャリア展望を広げ、今日のクラウドとAIテクノロジーの現場に活かすチャンスを与えてくれるかというものでした。 よって、いかに効率よく認定資格を取得し、それを活かしていくか？に焦点を当てた内容であったとも言えます。 登壇者の方々は、クラウド資格の取得に関する個人的な体験談やアドバイスを紹介し、継続的な学習、コミュニティサポートの活用、ソーシャルメディアやネットワーキングを通じたスキルの紹介などの利点を強く話されていました。 クラウド資格の価値 Google Cloud 認定資格は、5年連続で業界内で最も給与の⾼いIT認定資格の上位にランク
ガバメントクラウドGCAS移行に備えAWS IAM Identity Centerを理解する - サーバーワークスエンジニアブログ
こんにちは、Enterprise Cloud部 ソリューションアーキテクト1課 宮形 です。 仕事柄デジタル庁のホームぺージを見る機会が多いのですが、個人的な所感でレイアウトがシンプルで見やすいうえに先進的・未来的でカッコいいなと思っていました。文字フォントはオープンソース書体であるGoogle Noto Sans なのだそうです。Apache License 2.0 のライセンスルールのもと無償利用・再配布が認められているとのことで、弊社BLOGでも安心して表記することが出来るんですね。 www.digital.go.jp 本BLOGは 令和6年度ガバメントクラウド早期移行団体検証事業 から移行検証となった GCAS についてと、その認証統合に利用する AWS IAM Identity Center について自分の理解を整理したくまとめた内容となります。デジタル庁の資料にもキーワードとし
こんにちは。株式会社メルペイのSolutionsチームのデータエンジニアの@orfeonです。 この記事は、Merpay Advent Calendar 2023 の22日目の記事です。 Solutionsチームは、社内向けの技術コンサルや技術研修、部門を跨いだ共通の問題を発見して解決するソリューションの提供などを行っています。 私は主に社内のデータ周りの課題を解決するソリューションを提供しており、一部の成果はOSSとして公開しています。 過去の記事では全文検索OSSであるApache SolrをCloud Run上で利用して手軽に検索APIを構築する構成を紹介しました。 社内向けのソリューションの一つとして社内向けの検索APIを使ったサービスなど小規模な検索システムの構成に役立てています。 前回の記事の時点では、検索対象として搭載できるデータサイズなどにいくつかの制約がありました。 今回
Terraformを使って、GCP上にプロジェクトを作成していきます。今回はCloudRunとCloudSQLをPrivateIP接続する構成を作成します。Private IP接続のために、VPCにはServerless VPC Access ConnectorとPrivate Service Accessを設定します。
2023年にVisual Regression Testingを始めるならどんな選択肢があるか | ログラス Productチーム アドベントカレンダー 2022
本記事は「株式会社ログラス Product チーム Advent Calendar 2022」12 日目の記事です。はじめにフロントエンドのテスト手法の 1 つに Visual Regression Testing（以下、VRT）があります。 これは、アプリケーションの画面を画像として保存し、画像の差分比較をすることで意図せぬ変更が生じていないかテストする方法です。 ここ数年で広く普及し、用語としても一般的になったように思います。 私も以前、とある OSS に reg-suit & Storycap を使った VRT を導入したことがあるのですが、その後もいくつか VRT のためのライブラリが登場したもののキャッチアップできていませんでした。 そこで今回は知識のアップデートを目的として、ここ最近登場した（と思われる）VRT のライブラリをいくつかご紹介します。 なお、今回紹介するツールはす
株式会社パルケの悩めるCTO、みつるです パルケでこれまでリリースしたプロダクトは、Render.comというクラウドベンダー上に構築しました。 Render.comは、2022年の頭頃からTwitterなどのSNSで名前を目にするようになりました。 半年ほど前から実際に運用してみたところ、他のサービスへの乗り換えが考えられないぐらい素敵が溢れていました。 私は悩めるCTOなのですが、Render.comのおかげで、クラウドサービスについてほとんど悩む必要がありません。 この記事でRender.comの素敵さが少しでも伝われば幸いです。 Render.comとは何なのか 公式より（意訳） Rnder.comは、あなたのアプリやウェブサイトをビルド・実行する統合クラウドサービスです。無料のTLS認証、グローバルなCDN、DDoS防御、プライベートネットワーク、Gitからの自動デプロイが利用で
計算基盤チームの仕事紹介 - Preferred Networks Research & Development
Preferred Networks 計算基盤担当VPの土井です。 ちょっと最近ばたばたしていて、あまり何をやっているか紹介できていませんでした。その結果「PFNって何やってるの?」と聞かれてなかなかお答えできない。またPFNで計算機をやっているといってもピンとこない、というお話も増えてきました。先日のJANOGに行ったメンバーからも、PFNが何をしているのかイマイチ知られていないと聞いて、冷や汗を流しております。 なので、チーム的に露出に力を入れることにしました。今後blogを、あるいはネタによってはQiitaなども含めて、シリーズ的に書いていければと思います。まずは、土井が担当している計算基盤領域およびその周辺について概観する記事を書かせて頂こうと思います。 端的に言うと、PFNはあまりオンプレインフラのイメージがないかもしれませんが、上から下までかなりがっつりやっていますし、こんな場
【速報】Google Cloud NextでGemini in BigQueryが追加されました | DevelopersIO
Google Cloudデータエンジニアのはんざわです。 ラスベガスで開催中のGoogle CLoud Next '24でGemini in BigQueryがプレビューとして追加されました。 本記事では、Google Cloud Blogの内容を要約しつつ、公式ドキュメントの内容も簡単に紹介したいと思います。 Google Cloud Blogの情報 Google Cloud Blogによると、Gemini in BigQueryには新しくデータキャンバス機能が追加され、自然言語のサポートと埋め込まれたビジュアライゼーションによる新たなノートブック機能を提供するようです。 以下は公式のブログでも取り上げられているGemini in BigQueryのデモンストレーション動画の一部を切り抜いた画像です。 (実際の動画を確認したい方は是非、参考元にある公式のブログを確認してみてください) 参
こんにちは、SlalomのD&Aチームに所属するRyoです。LinkedInプロフィール 昨年から弊社のMLチームでは、技術研鑽を目的としてLLMに関する勉強会などを行っています。それに関連して、今年から自分自身が興味のある分野(AI/MLだけでなく)を少しずつ記事としてアウトプットしていこうと思い、本取り組みを始めました。 記念すべき第1回目は、GCP上でGeminiを用いてMulti-Modal RAGを構築した事について書いていきます。 対象読者 ・本記事は、GCPでGeminiを使ってMulti-Modal RAGを動かしてみたいな。という読者向けに書きましたので、アカデミックな内容やOps周り、本番レベルの実装を想定している方は、本記事をスキップしてください。 紹介する内容 ・今回紹介する内容は、昨年末にGoogleからGeminiの利用が可能となったので、GCP上でGemini
メディア企業でプロダクトセキュリティをやっています。 CISSP/GCIH/GCFR/SANS FOR610, FOR572(Coin holders)/AWS CLF/GCP ACE,PCA,PSE /セキスペ
こんにちは、今年の4月に新卒で入社したデータエンジニアの中村です。 この記事はEnigmo Advent Calendar 2023 の11日目の記事です。 入社してからは、社内のデータを利用者がより使いやすくなるように、データ基盤の整備・データ連携を進めております。 最近弊社のデータ基盤をTerraformによる管理に移行するタスクに取り組んでいるので、どのようなディレクトリ構成を採用したか説明していこうと思います。 データ基盤をこれからTerraform化しようとしている方に有益な情報となれば幸いです。 目次 背景 ディレクトリ構成 構成の説明 各ディレクトリの役割 stateファイルの分割粒度 工夫したポイント 環境差分の切り出し BigQueryのリソースはyamlで管理 今後の展望 最後に 背景 弊社のデータ基盤はGCP上にあり、BigQueryをはじめとした様々なサービスを活用
【連載45】国内発のパブリッククラウドを開発する、さくらインターネット社の長野氏が語る「インターネットの力で社会を良くしていきたい想い」とは - TECH Street (テックストリート)
こんにちは！TECH Street編集部です。 連載企画「ストリートインタビュー」の第45弾をお届けします。 「ストリートインタビュー」とは TECH Streetコミュニティメンバーが“今、気になるヒト”をリレー形式でつなぐインタビュー企画です。 企画ルール： ・インタビュー対象には必ず次のインタビュー対象を指定していただきます。 ・指定するインタビュー対象は以下の2つの条件のうちどちらかを満たしている方です。 “今気になるヒト”吉野さんからのバトンを受け取ったのは、さくらインターネット株式会社の長野 雅広さん。 ご紹介いただいた吉野様より「長野 雅広 さんを紹介したいと思います。私が新卒でMIXIに入った時の先輩の一人で多くのことを学ばせていただきました。MIXIだけではなく多くの会社で活躍してきた方です。」とご推薦のお言葉をいただいております。 長野 雅広 さん さくらインターネット
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
アプリエンジニアがコンテナ開発の基本を読んで学ぶ | フューチャー技術ブログ
IoT系のプロダクト開発の裏側って？ 知られざる開発・運用ノウハウを2社のエンジニア6名が徹底解説！ | gihyo.jp
Analytics Hub で加速するデータシェアリング
「エンジニアの評価は、給料を決めるだけのものではない」 “評価＝成長させる羅針盤”だからこそ大事にすべきこと
Geminiでマルチモーダル対応の生成AIチャットアプリを爆速で作ってみた - G-gen Tech Blog
Nvidia H100 GPUs: Supply and Demand
フルページスクリーンショットとDOMとCSSと - pastak-pub
Google Cloud をゼロから学ぶならこれ! おすすめの学習リソース
テキスト生成 AI 利活用におけるリスクへの対策ガイドブック（α版）
GA4とBigQueryを連携する際におさえておくべきポイント5選 | 株式会社プリンシプル
CADDi DRAWERにE2Eテスト自動化の導入を進めています - CADDi Tech Blog
必要なぶんだけ GPU を使いたい。Kubernetes でやってみよう
進化したAIの姿は「美少女とゆるキャラとネコ」？ 深津貴之氏が想像する、未来のAIエージェントの生存戦略
AWSから抜け出す方法も考えておく【ガバメントクラウド】 - サーバーワークスエンジニアブログ
外部機能に依存する処理を非同期イベント機構とリトライで解決する
お手軽な検索API構築 その2 ~マルチコア・ベクトル・分散検索 | メルカリエンジニアリング
Terraformで始めるGCP【CloudRun・CloudSQL】
Render.comが素敵過ぎるのでもっと知られて欲しい
GeminiでMulti-Modal RAGを実装した話
新卒エンジニア研修2023（セキュリティ）- 日本経済新聞社 | ドクセル
データ基盤のTerraformディレクトリ構成 - エニグモ開発者ブログ