エンジニア1人で4年間プロダクトを開発。ミニマムな体制で効率的な価値検証を行う知見 - what we use（技術スタックデータベース）
「サービスがPMFするまで、どのような体制で開発を進めるか」というテーマに、わかりやすい正解は存在しません。企業の創業メンバーの内訳や各々のスキル、会社の資金、世の中や他社の動向など、さまざまな変数が「開発組織のあり方」に影響します。CTOやVPoEといった企業の技術リーダーたちは、そうした変数を鑑みつつ自社の方針を決める重要な役割を担っています。 営業活動支援のSaaS事業およびコンサルティング事業を展開するSALESCORE株式会社のCTOを務める成澤克麻さんは、MVP開発開始から4年間は「エンジニア1人でフルスタックにサービス開発すること」を選びました。そして事業が軌道に乗った現在は方針転換をし、人を増やしながらスケール可能な体制作りを目指しているのです。今回は成澤さんに、SALESCOREがこれまで選択してきた開発組織の方針について聞きました。 KPIを可視化し、営業組織の実行力を
Cloud Run 上のページが一部の Chrome 環境で文字化けする謎を探るべく我々は Google Cloud の奥地へと向かった
この記事は 2024 年 2 月 28 日に執筆されました．今後この問題が Cloud Run 側で修正された場合，再現しない可能性がありますのでご留意ください． TL; DR Cloud Run は執筆時現在 zstd による圧縮に対応していない ヘッダの Content-Encoding: zstd のみが削除され，ボディは圧縮されたまま応答される ブラウザはこの応答を正しく解釈できないため文字化けのような表示となる zstd による圧縮は，執筆時現在 Chrome に実装されているもののデフォルトでは無効だが近い将来に有効化される 悲劇は突然訪れる 弊社では，コーポレートエンジニアリングチーム [1] [2] において，社内向けにいくつかのサービスを提供しています． これらのサービスはもともと AWS でホストされていましたが，アクセス制限に Identity-Aware Proxy
Open Interpreterは、ChatGPTのAdvanced Data Analysis（旧Code Interpreter）と同様の機能をローカル環境で動かせるオープンソースのツールです。 自然言語でのプログラミングを実現し、Python、Javascript、Shellなどの言語に対応しています。また、データ分析、ネットアクセス、テキスト、画像、動画などの編集ができます。 【参考】日本語公式解説 １．Google Colabでの利用法以下のコードをColabノートにコピーして、GPUを設定し、セルを実行すると、チャットが開始します。 なお、事前に「sk-」で始まるOpenAIのAPIキーを取得して、「自分のOpenAIのAPIキー」のところに貼り付けてください。 !pip install open-interpreter import interpreter interpret
Google Cloud Run と AWS Lambda のコールドスタート時間を言語別に観察してみる - Qiita
コンテナをリクエスト処理時間ベースの料金体系で実行できるサーバレス環境としては、Google の Cloud Run（2019年11月GA）と AWS Lambda（2020年12月にコンテナに対応）が特に有名でしょう。 これらの環境は、一度起動したコンテナインスタンスをしばらく生かしておき、その後のリクエストに使いまわします。しかし、生きているインスタンスが足りない場合は新たなコンテナの起動から始めるいわゆる「コールドスタート」となり、応答のオーバーヘッドが大きく増加します。用途によっては、このコールドスタートにかかる時間が問題になります。 Cloud Run と Lambda でのコールドスタートの様子を観察するため、いくつかの言語で "Hello, World!" を返すだけのWebアプリコンテナを作り、コールドスタートの時間を「雑に」観察してみました。 注意: コストや性能は考慮し
New RelicのSLOモニタリング+バーンレートアラートをCDK for Terraform(cdktf)でIaC管理する - Uzabase for Engineers
こんにちは、ソーシャル経済メディア「NewsPicks」でSREをしている飯野です。 今回はSREで行ったNew RelicをCDK for TerraformでIaC管理する話を紹介したいと思います。 SLOモニタリングをSREチームだけで行うのは難しい CDK for Terraformとcdktf-newrelic-provider 追記 IaCで作成する内容 CDK for Terraformで実装していく -1. cdktf init 0. @cdktf/newrelic-provicerの初期化 1.DataNewrelicEntityの作成 2.ServiceLevelの作成 3.AlertPolicyの作成 4.AlertCondition（バーンレートアラート）の作成 5. NotificationDestinationの作成 6. NotificationChannel
Google Cloud Operations Suite で実現する "頑張らないオブザーバビリティ" - KAYAC engineers' blog
SRE チームの市川恭佑です。 先日、CloudNative Days Tokyo 2023 のプロポーザルを提出したのですが、残念ながら採択に至らなかったので、今回は宇宙最速の（？）供養エントリになります。 シェア・投票など、ご応援をくださった皆様にはこの場でお礼を申し上げます。ありがとうございました。 event.cloudnativedays.jp 背景とか、経緯とか 筆者は、カヤックの SRE チームにちょうど2年ほど在籍しています。とは言っても半年ぐらいは学生アルバイトだったので、正社員としては1年半ほどです。カヤックに入る前も、いくつかの会社で IT エンジニアとしてインターンやアルバイトをしていました。 という訳で、何だかんだ仕事で使うプログラムを書き始めてトータル4年半ほどになりますが、そのうち3年半ほどは全て Amazon Web Services（AWS）でホストされる
【コラム】GA4標準レポート、探索レポート、Looker Studioの使い分け 株式会社JADE 郡山 亮 発信元：メールマガジン2023年9月27日号より こんにちは！ 株式会社JADEでコンサルタントとして活動している郡山と申します。 普段はお客様がGA4を活用するための様々なコンサルティング、サポートをしています。 また、自社で開催しているウェビナーや、Search Central Live TokyoなどでGA4を活用するためのナレッジを発信しています。 TwitterやGoogle アナリティクス コミュニティでも個人的に活動していますので、どこかでご縁があればよろしくお願いいたします。 今回は「用途や目的に応じて、GA4のデータを、どのようなレポート・機能で集計すると使いやすいのか」というお話をさせていただきます。 GA4でデータを集計する機能や手法は様々あります。 どのよう
全社データ活用基盤をTreasureDataからBigQueryへ移行しました - Leverages データ戦略ブログ
はじめに こんにちは。データエンジニアリンググループの森下です。今回は、私がプロジェクトマネージャーとして約3年間かけて実施した、TreasureDataからBigQueryへの全社データ活用基盤移行プロジェクトについてお話します。このプロジェクトは、全社で1日あたり数千件のクエリが実行されるデータ基盤を移行するという大規模なもので、関係者の数は200〜300人に上りました。プロジェクト期間中は、データ活用基盤の技術調査から始まり、関係者への説明や調整、データ移行、クエリ移行、ETLやReverse ETLに使用する各種ツールの導入など、本当に多くのタスクがありました。 プロジェクト背景: TreasureData導入とその課題 TreasureData導入の背景 2024年時点ではGoogle BigQueryを使用していますが、その前の環境が導入された背景を説明します。 2018年12
『パルワールド』ネットワーク担当者がワンオペで180万人以上さばいて対処したサーバー代7000万円の真相。今後はサーバーの最適化を行って、もっと大人数で遊べるようにしたり、クロスプレイも実現したい | ゲーム・エンタメ最新情報のファミ通.com
グーグル・クラウド・ジャパンは2024年8月1日と2日、神奈川県のパシフィコ横浜ノースにてGoogle Cloud Next Tokyo '24を開催した。これはGoogle Cloudから提供されているサービスについて、基調講演やセッションなどさまざまなプログラムが用意されているIT技術者向けのカンファレンスだ。いま話題の生成AIを始め、各製品のアップデート情報やサービスの利用方法などのセッションが2日間にわたって行われた。
全社横断データ基盤における部分的セルフサービス化への取り組み - Sansan Tech Blog
研究開発部 Architect Groupの大澤秀一です。ブログ寄稿は約2年ぶりです。半年ぐらい前からランニングを始めて、先日フルマラソン完走してきました。おかげで足はボロボロです（笑）。 さて、私たちはBigQueryを中心とした、全社横断データ基盤（以下、データ基盤）の構築とデータ基盤をもとに社内のデータ利活用を推進しています。データ利活用の推進についてチームメンバーが最近登壇した資料をご参照ください。 speakerdeck.com speakerdeck.com データ基盤を拡大していくにあたって、社内の利用者から自部門のデータをアップロードしてデータ基盤上でアドホックに分析したいという要望がありました。また、利用者自身が自由にテーブルとビューを作りたいという声があがりました。 今回は、そうしたことができる環境を構築したので仕組みについてご紹介します。 なお、本記事はSansan
AIで商品名をクレンジングする、Llama2や、Google Cloud Gemini-proとVertex AIを活用した商品名の最適化
ECサイト上の商品名は、「送料無料」や「ポイント5倍」、「母の日」といった宣伝文句が付加され、本来の商品名が分かりづらくなっています。 これらの不要なキーワードは、自然言語モデルを作成する際の妨げとなり、精度を上がりづらくしている一つの要因となっています。 そこで、本記事では、これら不要なキーワードを効率的に除去する方法について、具体的な手法と事例を紹介します。 データクレンジングの例、LLMオープンモデルを活用したアプローチ、さらにはGoogle Cloud PlatformのVertex AIやGemini-proを用いた解決策について触れます。 3行まとめ ・商品名から頻出単語のリストを作成し、商品名から不要なキーワードを検索して除去する ・オープンモデルでプロンプトを実行し除去する ・Google Cloud Platform のVertex AI、Gemini-proで除去する
誕生から20年近く経つクラウド・コンピューティングは、今や社会で重要な役割を果たすようになっている。2024年現在、注目するべきクラウドの動向とは一体何なのか。そしてこれから先、企業がクラウド戦略を立てる上では、どのような点を意識するべきなのか。ガートナー ジャパン ディスティングイッシュトバイスプレジデント、アナリストの亦賀忠明氏が解説した。
Cloud RunとCloud PubSubでサーバレスなデータ基盤2024 with Terraform / Cloud Run and PubSub with Terraform
Google Cloudのサーバレスなサービスでデータ基盤を作った話.
AWS環境を可視化できるソリューション【Lucidscale】を使って構成図を自動生成してみた | DevelopersIO
こんにちは。 繁松です。 はじめに AWS,Azure,GCPなどのクラウド環境を可視化できるサービス「Lucidscale」を使ってAWSの構成図を自動生成してみたのでブログにしました。 Lucidscaleを使うことで以下のような構成図を自動で生成することができます。 やってみた アカウント作成 Lucidscaleのアカウントを作成します。 https://lucidscale.com/ja 料金 2週間は無料で利用できます。 無料期間以降も継続利用する場合の料金は以下です。 インディビジュアルプラン（個人利用プラン） 1ユーザー（作成者）：￥269,000/年 チームプラン（チーム利用プラン） 1ユーザー（作成者）；￥269,000/年 1ユーザー（エクスプローラー）：￥54,900/年 https://lucid.app/ja/pricing/lucidscale#/pricin
GitHub Actions から AWS や GCP などのクラウドリソースを操作するときは、 OIDC を使用することが主流だと思いますが、手順に沿って設定はできるもの仕組みがよく分かっていない方も多いと思います。 この問題は厄介で、様々な"分からない"が絡まりあって生まれている問題だと思います。 例えば、 どんな仕組み・流れでAWS・GCPを操作できるようになっているのか分からない（私） そもそもなぜOIDCを設定すると嬉しいのか分からない（私） 色々な設定をしたけど何をしているのか分からない（私） などが挙げられると思います。 これらを解消し、OIDCを利用したGitHub ActionsとGCPの連携の流れ・仕組みを探求するのがこの記事の目的です。 ※Google CloudのことはGCPと書きます。 ※記事で触れないこと GitHub Actions - Google Clou
この記事は新野淳一氏のブログ「Publickey」に掲載された「Google Cloud、顧客のシステムを間違って全削除した大規模障害の原因を報告。プライベートクラウドの期間を1年と設定ミス」（2024年5月28日掲載）を、ITmedia NEWS編集部で一部編集し、転載したものです。 米Google Cloudは、同クラウドユーザーであるオーストラリアの年金基金「UniSuper」で発生した大規模障害の原因について報告する記事「Sharing details on a recent incident impacting one of our customers」を公開しました。 今月（2024年5月）初旬、Google Cloud上で稼働していた数百の仮想マシン、データベース、アプリケーションを含むUniSuperのプライベートクラウドが突如として原因不明のまま削除され、復旧されるまでの
TL;DR 無駄な買い物チェッカーを作ったよ！緊急度,重要度,欲求度,代替可能度の４軸から無駄かどうかを判断するよ フロントエンドではRemixで開発、フォームライブラリはConformがよかったよ Cloudflareは最高でした。 はじめに どうも、やまぐちです。 エンジニアの皆さん、技術のキャッチアップってどうやってますか？ とりあえずチュートリアルやってみますか？ 技術ブログを読むだけで済ましていますか？ この辺りどうもモチベーションが湧かないんですよね。チュートリアルやっても身についている感覚がないんですよ。 最近Xのタイムラインを眺めていると、React界隈では今はRemixが流行りらしいし、ついでにCloudflareも、安い、速い、便利、で個人開発でめっちゃナウくてイケてるらしいじゃないですか。 んー、モダンでナウい、イケてる技術スタックを使えるようになりたい！！ そんな時
コミュニティプラットフォームの投稿レコメンド機能を支える機械学習基盤 - Commune Engineer Blog
こんにちは，コミューンで一人目の機械学習（ML）エンジニアとして働いている柏木（@asteriam_fp）です． 入社して５ヶ月ほど経ちましたが，今回漸く最近の取り組みを紹介できそうです．ML エンジニアは僕一人なので，専らの相談相手は ChatGPT 君の今日この頃です笑 はじめに コミューンでは，企業とユーザーが融け合うコミュニティサクセスプラットフォームである commmune を提供しています．今回のブログは先日のプレスリリースでも発表された投稿レコメンド機能を commmune に導入したので，その機能を裏側で支えている機械学習基盤に関する内容を紹介します． エンドユーザーに対して提供される機械学習システムを導入するのは初めての試みになり，まさにゼロからの出発なので，これから徐々に大きく育てて行く予定です！ はじめに コミュニティプラットフォームにおける機械学習の可能性 投稿レコ
グローバルのクラウドインフラ市場シェア、この3カ月でマイクロソフトのシェアが2％増加。2023年第3四半期、Synergy Researchの調査結果
グローバルのクラウドインフラ市場シェア、この3カ月でマイクロソフトのシェアが2％増加。2023年第3四半期、Synergy Researchの調査結果 調査会社のSynergy Research Groupは、2023年第3四半期のグローバルにおけるクラウドインフラのシェアを発表しました（これまで四半期ごとにクラウドインフラのシェアを発表していたCanalysの調査結果は、今四半期はまだ発表されていません）。 クラウドインフラとは、IaaS、PaaS、ホステッドプライベートクラウドを合わせたものを指します。 発表によると、第3四半期の前年同期比成長率は18％で、前2四半期とほぼ同水準だったとのことです。 マイクロソフトがシェアを2％伸ばす クラウドベンダ別に見るとマイクロソフトとGoogleが比較的順調にシェアを伸ばしており、特にマイクロソフトはこの四半期、つまりこの3カ月でシェアを2％伸
はじめに こんにちは！ テラーノベルでサーバーサイドを担当している@yuhasです。 テラーノベルには作品や作家さんの検索機能があり、ユーザーさんの読みたい作品や興味のある作家さんを提示できる検索機能は重要な機能の一つです。 直近でその検索まわりを一新することになり、Cloud RunでElasticsearchを運用することになりました。 Cloud Runで運用することでオートスケールなど多くの恩恵を受けられる一方で、状態をもつElasticsearchをコンテナで動かしていくのは単純なことではありません。 今回はどのようにしてCloud RunでElasticsearchを運用しているのかをお話しできればと思います。 モチベーション もともと外部の検索サービス（SaaS）を利用して検索機能を提供していましたが、インフラ面でのコストを下げたいという話があり、代替手段を模索していました。
はじめに Linuxの良い所の一つにsuやsudoと言った特権管理の仕組みがあります。普段は通常アカウントで入って、例えばインストールなどの特権作業が必要な時だけsu/sudoで一時的な権限昇格が可能ですし、/etc/pam.dで誰がどのユーザにスイッチ出来るかなどは細かく制御できます。 一方で、クラウドの権限管理は悩みの種で、誤操作が怖いので普段はRead Onlyの権限にしておきたいのですが、手軽に権限を昇格する方法がありません。なので、別の管理者ユーザを作って、そちらでログインしなおしたり、それを半自動化するCyberArkやBeyondTrustといったPAM系ソリューション、あるいは最近流行りのCIEM(PAM機能を持つもの)を導入する必要がありました。 Azureでは結構以前からPIM(Privileged Identity Management)がネイティブで組込まれており非
アーキテクチャ図だけ描いてTerraformはGoogle Cloud Developer Cheat Sheetに書いてもらおう
アーキテクチャ図だけ描いてTerraformはGoogle Cloud Developer Cheat Sheetに書いてもらおう 初めての方は、初めまして。そうでない方も、初めまして。クラウドエース SRE 部で Professional Cooking Architect をしている zeta です。私はドンドコ島の充実度をオンライン1位(多分)にしましたが皆さんいかがお過ごしでしょうか。 はじめに クラウドエースの SRE 部は Google Cloud のインフラの面倒を見ることが主な業務です。世の中の多くの企業の似たような役割を持つ部署でもそうだと思いますが、インフラの設計・構築・運用といったフェーズを行っていきます。こういったインフラエンジニア的なことをやっていると、みなさんも一度ぐらいは「設計だけやったら勝手にインフラ構築されねーかな〜」なんて思ったことはあるのではないでしょ
Google、Stack Overflowを「Gemini for Google Cloud」に統合する戦略的提携
プログラマー向けQ＆Aサービス「Stack Overflow」を運営する米Stack Exchangeは2月29日（現地時間）、米GoogleのGoogle Cloudとの戦略的提携を発表した。 Google Cloudは、Stack Overflowに15年もの間蓄積されてきた知識とコードを「Gemini for Google Cloud」に統合する。Gemini for Google Cloudは既にオープンソースおよびサードパーティのプラットフォームで公開されているコードやデータでトレーニングされているが、今後、Stack Exchangeが公開した「OverflowAPI」を使ってStack Overflowの提案、コード、回答をGoogle Cloud上の開発者に直接提供することになる。 一方、Stack Exchangeは、Google CloudのAI機能を活用してコミュニテ
関東大震災の朝鮮人虐殺追悼文をやめた小池百合子、なんと朝鮮人虐殺否定右派団体「そよ風」（毎年追悼式の隣で虐殺否定集会開催）の講師をしていた。(TBS『報道特集』6/8) - kojitakenの日記
栃木県鹿沼市長選でも自公候補が負けた。新人同士の争いで立民候補が勝ったようだ。 鹿沼市長選で自公系敗北確実 － 茂木幹事長の地元栃木https://t.co/gCP64vudPG — 共同通信公式 (@kyodo_official) 2024年6月9日 あの保守が強かった北関東でもこういう結果が出る。 いや、先の衆院補選の島根1区もそうだが、地方でこれまで自民党が強かった地域だからこういう結果が出やすいのかもしれない。 問題は東京や大阪といった大都市だ。これらの大都市ではかつて革新都政や革新府政の時代を経験していてかつては革新政党が強かったが、それがいわゆる「リベラル」政党に引き継がれているわけではなく、第三極が強まり、特に大阪では維新の事実上の独裁体制が確固として築かれている。同様の経緯をたどりつつあったのが東京で、都ファが一時は都議会の第一党を占め、現在も自民に次ぐ第二党になっている。
How it works: The novel HTTP/2 ‘Rapid Reset’ DDoS attack | Google Cloud Blog
Hear monthly from our Cloud CISO in your inboxGet the latest on security from Cloud CISO Phil Venables. Subscribe A number of Google services and Cloud customers have been targeted with a novel HTTP/2-based DDoS attack which peaked in August. These attacks were significantly larger than any previously-reported Layer 7 attacks, with the largest attack surpassing 398 million requests per second. The
こんにちは、VPoEの北川です。 今回はトレタで現在使用している技術スタックについて紹介します。 創業時から稼働している予約・顧客台帳サービス「トレタ」から現在の注力事業のモバイルオーダーサービス「トレタO/X」までをあらためて振り返ってみると、まるで異なる技術スタックになっているので歴史的な背景などを辿りながら紹介していきます。 技術スタックの変遷 予約・顧客台帳「トレタ」 会社名にもなっている予約・顧客台帳の「トレタ」は創業当時から稼働している築11年ほどのシステムです。 サーバーサイドにはRubyとRubyOnRailsで作られた巨大なコードベースのAPIサーバーがあり、予約台帳のiOSアプリやウェブ予約などのWebアプリケーションなどが利用しています。 長年このモノリシックなシステムを成長させてきたので、以前からトレタを知ってくださっている人にはトレタはRubyの会社と認知されてい
はじめに こんにちは！！@Sicut_studyです！ クラウド破産しかけました！ギリギリ払えるくらいやばかったです！！ 普段サービスを Firbese でデプロイしているのですが、この度自分でサービスをリリースした時に破産しそうになった話を共有していきます。 自分が使うためのサービスとみんなに利用してもらうためのサービスではこの点が大きく違うんだなとしみじみ感じたので、自分以外が使うサービスをリリースする方には参考になるかと思います 0. アラートは突然に とあるメールが自分のもとに届きました !?!??!??!??!?!!!?? やばいまだ11月始まって6日なのに予算の半分を使ってしまっただと！？！ とくにリリースなどは行っていなかったのでなぜか今月になって請求額があがるようになっていました 仕事中にメールが来たのですが、気になりすぎてまったく集中できませんでした😅😅😅😅 1.
【インフラ】xDS API の EDS に手を加えて動的に Envoy で weight 調整できるようにした - Mirrativ Tech Blog
こんにちは、ミラティブのインフラを担当している清水です。 ミラティブではクラウドに Google Cloud を利用しているのですが、稀にインスタンスの性能劣化が発生し動かしているアプリケーションの応答時間が長くなることがあります。 非同期な処理の場合は一時的にタスクキューの時間あたりの処理数が減るものの、遅延を許容できる機能であれば時間経過で回復するのでシステムを継続稼働できます。 一方で、web サーバのように同期処理の場合はリクエストを時間内に返すことができずに timeout したりだとか、worker が埋まって新たにリクエストが返せなくなったりと、正常にリクエストを返すことができずにユーザのクライアントにエラーが返ってしまします。 そこで、今回はクラウドが不調になったときに web サーバへ流れるリクエストの流量を動的に制御し、一時的にリクエスト数を減らしてユーザのクライアント
Fluentdのプラグインを作ってBigQueryにログを挿入するコストを1/3にした話 - pixiv inside
こんにちは。 機械学習チームにてレコメンドの改善を行っているgumigumi4fです。 この記事では、Fluentdにて収集したログをBigQueryに挿入する際に使用しているプラグインを置き換えることによって、高スループットかつ低コストを実現した話について紹介します。 背景 pixivではアクセスログやアプリケーションログ等をBigQueryに収集し、分析できるような仕組みを構築しています。 BigQueryへアクセスログを挿入する際はFluentdとそのプラグインであるfluent-plugin-bigqueryを用いて直接BigQueryへ書き込むようになっていたのですが、その際にログ欠損が起こることが問題となっていました。 ログの欠損はピークタイムで発生しており、そのピークタイムのログの流量は概ね毎秒30000logとかなり多く、実際Fluentdのworkerプロセスが1work
本業の傍ら、「クリアコードをいい感じにする人」として働いているたなべです。「クリアコードをいい感じにする人」とは何かについては過去に『「クリアコードをいい感じにする人」の採用を開始』という記事や採用情報の『「クリアコードをいい感じにする人」』にて解説されています。 今回はその活動の中で最近取り組んでいる「共有するほど皆が得するモデルをつくりたい」という取り組みを説明します。興味を持ってくれる人・助けてくれる人と話すきっかけになることも期待しているので、記事を読んで話を聞いてみたい・してみたいと思った方は sunao.tanabe@gmail.com 宛に連絡をください。 「共有するほど皆が得するモデル」とはなにか 「共有するほど皆が得するモデル」とは、ソフトウェアに関わる人が増えれば増えるほど、そのソフトウェアに関わる人が得をするという、関わる人の増加と得られる恩恵に正の相関がある状態のこ
Megatron-LMとGKEで作るMixtral 8x7Bを語彙拡張継続事前学習 Part1 ~学習コードとモデルの先行公開~ - ABEJA Tech Blog
こんにちは！ABEJAでデータサイエンティストをしている大谷です。 ABEJAは国立研究開発法人新エネルギー・産業技術総合開発機構（以下「NEDO」）が公募した「ポスト5G情報通信システム基盤強化研究開発事業／ポスト5G情報通信システムの開発」に当社提案の「LLMの社会実装に向けた特化型モデルの元となる汎化的LLM」が採択されたことを受け、LLMの事前学習を実施しました。 以降、本LLMプロジェクトをGENIAC（Generative AI Accelerator Challenge）と表記します。 開発内容は表題の通り、Mistral社のMIxtral 8x7Bをベースにした日本語の語彙拡張版継続事前学習です。弊社が調べた限り、Megatron-LMでMixtralモデルを継続事前学習するソースコードは2024年4月12日時点（執筆時）では存在していません。 GENIACの計算資源提供の
Run your AI inference applications on Cloud Run with NVIDIA GPUs Developers love Cloud Run for its simplicity, fast autoscaling, scale-to-zero capabilities, and pay-per-use pricing. Those same benefits come into play for real-time inference apps serving open gen AI models. That's why today, we’re adding support for NVIDIA L4 GPUs to Cloud Run, in preview. This opens the door to many new use cases
［速報］「Gemini for Google Cloud」発表。Google Cloudでの開発から運用、セキュリティなど利用シーン全体をAIが支援。Google Cloud Next '24
［速報］「Gemini for Google Cloud」発表。Google Cloudでの開発から運用、セキュリティなど利用シーン全体をAIが支援。Google Cloud Next '24 Google Cloudは、日本時間4月10日未明から開催中のイベント「Google Cloud Next '24」で、最新のAIによるGoogle Cloudを用いたアプリケーションの開発から運用、セキュリティなどライフサイクル全体をAIが支援する「Gemini for Google Cloud」を発表しました。 「Gemini for Google Cloud」は、同社の最新AIモデルである「Gemini」を用いた複数のサービスの統合的なブランドです。コーディング支援のGemini Code AssistもGemini for Google Cloudの傘下と位置づけられています。 それぞれの機
背景 結論 手法の検討 実験 実験概要 実験1 : 単純なPromptを投げる 実験2 : Promptを工夫してみる 実験3 : 間違った分類を回避するには？ まとめ 参考文献 補足 DROBEで機械学習エンジニアをしております、藤崎です。 背景 商品のトップ画像はユーザーへの最初のタッチポイントとして機能し、購入を促進します。そのため、適切なトップ画像の選定は重要です。しかしながら、この選定は現在、手動に依存しており、複数の商品画像から最も効果的なものを選ぶ作業は、多大な時間と労力を消費しています。 商品の品揃えが拡大する中で、この作業のコストは切実な課題となっています。そこで、機械学習技術を用いてトップ画像の選別を自動化するアプローチを検討しています。これにより、商品登録時間の削減や業務の効率向上が期待されます。 本記事では、商品のトップ画像の自動選別に焦点を当て、画像分類手法を調査
AWSでElastic Cloudを利用する 2024年版（構築編） - Taste of Tech Topics
こんにちは、Elastic認定資格３種(※)を保持しているノムラです。 ※Elastic社の公式認定資格（Elastic Certified Engineer / Elastic Certified Analyst / Elastic Certified Observability Engineer） 皆さんはElastic Cloudを利用されたことはあるでしょうか？ Elastic CloudはElastic社が提供しているSaaSサービスで、クラウドプロバイダはAWS、Azure、GCPをサポートしています。 最新バージョンのクラスタ構築や、既存クラスタのバージョンアップを数クリックで実施できるため、導入がお手軽です。 しかし実際に利用するとなると アクセス制限やCognito連携など、考慮すべきことが多くあります。 意外にハマりどころが多い所だと思うので、手順や注意事項などをまとめ
さて、だいぶ久しぶりとなりますが、新著が出ます。序文を掲載しますので、購入にあたっての参考にしていただければと思います。初版は14刷りを数えたロングセラーで、第2版では主にクラウド対応や古くなった部分の最新化を行いまいした。 本書の初版が刊行されて10年以上が経過しました。その間にシステムとビジネスの世界にも予想だにしていなかった大きな地殻変動が起きました。ビッグデータという言葉はバズワードの域を脱して、企業の意思決定に使われるようになり、データ分析を専門に行うデータサイエンティストという職種も登場しました。クラウドの利用はもはや当たり前になり、むしろその応用方法を考えるハイブリッドクラウドやマルチクラウドの時代へと入りつつあります。そして何より、生成AIを中心とするAIの波があらゆる業界に押し寄せています。しかし、その中でも変わらなかったことがあります。それがデータベースの重要性です。変
登壇者の自己紹介とアジェンダの紹介 sugasuga氏：こんにちは。今日は、ピクシブの機械学習基盤に関する発表をいたします。 まずは自己紹介から始めさせてください。自分は、機械学習チームでエンジニアをしているsugasugaといいます。サブで採用・広報活動にも関わっています。最近の趣味は、トレーニングです。 今日お話しすることは、（スライドを示して）こちらを予定しています。機械学習基盤について。そして、基盤で使われている技術について。運用してみて感じたメリットとデメリットについてお話しします。 大規模なデータの効率的な処理、機械学習サービスの展開のしやすさ、効率的な開発などに課題があった 本題に移る前に、導入として、どういったところで機械学習が活用されていて、なぜ機械学習基盤が必要かについてお話しします。 活用されている場面としては、違反検知、レコメンド、広告、3Dなど多岐にわたります。こ
Google Cloud のログ管理サービスである Cloud Logging は JSON で出力されたログを構造化ログとして認識します。その際に特別な JSON フィールドを使うとログに特別な属性を与える事ができます。本記事ではそれらの特別な JSON フィールドを用途ごとにまとめて紹介します。 本記事の技術的な内容はほぼすべてこのドキュメント 1 ページに書いてありますが、「実際に UI でどう表示されるのか」と「その特別な JSON フィールドにどんな価値があるのか」はドキュメントにないので参考にしていただけると思います。 Cloud Logging へのログ書き込み Cloud Logging へログを書き込むには大きく 2 つの方法があります。API で LogEntry を直接書き込むか、それ以外かです。 API で直接書き込む方法の場合、メジャーな言語であれば各言語のライブ
Google Cloudに移行したSmartHRがその後、どういう形でサービスを活用しているかご紹介します
trocco・BigQuery・Tableauを採用。アソビューがデータ分析基盤の再構築に挑んだ理由 - what we use（技術スタックデータベース）
はじめまして、アソビューでデータ基盤チームに所属している霧生です。 近年、モダンデータスタックの登場などによりデータ分析基盤は一層盛り上がりを見せています。選択肢も増えてできることが多くなった反面、どう構築していくか迷う場面も多いのではないでしょうか。今回はアソビューのデータ分析基盤の構成と現状の課題、将来的な改善をどう考えているのかなどを解説しますので、ご参考になれば幸いです。 現在のアソビューのデータ分析基盤アソビューは創業10周年を超えており、当然ながら今までもデータを分析して事業やサービスに役立ててきました。しかし、コードやインフラの継ぎ足しを重ねたことにより秘伝のタレのような状態と化してしまい、多くの課題が生まれています。そこで、アソビューではこの問題を解消するために、昨年から株式会社DATALEさんとともにデータ分析基盤の再構築を行いました。 データ分析基盤を構築するにあたり、
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Google ColabでOpen Interpreterを試してみた｜IT navi
【コラム】GA4標準レポート、探索レポート、Looker Studioの使い分け - コラムバックナンバー - アナリティクス アソシエーション
AWSなどクラウド「3強」時代はもう終わり？ガートナーが予想する2030年の未来
GitHub ActionsとGoogle CloudのOIDCの仕組みを理解する
Google Cloudによる「顧客のシステムを間違って全削除」、発生の原因は？ 報告記事が公開に
最近流行りのRemixとCloudflareをキャッチアップするために一個アプリ作った話
【Cloud Run】ElasticsearchをCloud Runで運用する
クラウドでもsuが出来る! GCPにPAM(特権管理)がついに登場
Next.jsとGoを使っていきます - トレタ開発者ブログ
Next.jsをFirebaseにデプロイしたら高額請求がきて貯金がなくなりかけた話 - Qiita
共有するほど皆が得するモデルをつくりたい話 - 2024-06-17 - ククログ
Host your LLMs on Cloud Run | Google Cloud Blog
Vision-Language Modelsを使った商品のトップ画像選定 - DROBEプロダクト開発ブログ
新著が出ます - 『達人に学ぶDB設計徹底指南書 第2版』｜ミック
ピクシブ社エンジニアが語る、機械学習基盤とその技術 「GCPバッチ基盤」「リアルタイムの推論基盤」「ノートブック開発環境」整備の裏側
Cloud Logging 構造化ログの特別な JSON フィールドまとめ
Google Cloudへ大半を移行した SmartHRにおける活用事例紹介