1ヶ月でSnowflakeのPoC検証から報告までを実現した効率化の取り組み - ぐるなびをちょっと良くするエンジニアブログ
こんにちは。データ・AI戦略部 SREチームの小野です。2020年8月に入社してから早3年。SREエンジニアとして、日々業務改善に励んでいます。 私の所属するデータ・AI戦略部は、クラウドやSaaSの活用を積極的に行っています。私自身も「業務に役立ちそうなサービス」を見つけたら上長に相談するようにしています。 今回は、「1ヶ月でSnowflakeのPoC検証から導入提案まで行った話」をお伝えしたいと思います。ちなみにこのブログの執筆時点では、Snowflakeの導入はまだ実現していません。 <書くこと> 「PoC検証の取り組み方から提案までの手法」を中心に執筆します。今後ChatGPTのような技術革新がますます活発化した時、新しいサービスの検証や提案を「より高品質」に「よりスピーディ」に行うことが必要になってくると思います。そういったニーズの参考になれば幸いです。 <書かないこと> Sno
社内向けStreamlitのデプロイの現実解
結論 社内データを扱うアプリケーションを安全にデプロイするならCloudflare Tunnel,Cloudflare Accessを使う。要件次第ではStreamlit in Snowflakeも使える。 はじめに Streamlitはデータアプリケーションを短時間で作成できる便利なツールですが、社内データを扱うアプリケーションをデプロイする際は外部からの不正アクセスを防ぐように厳重な注意が必要です。 にもかかわらず、Streamlitを安全にデプロイする成熟した方法はまだありません。 本記事では、最も単純なStreamlitのデプロイ構成の例から問題点を再確認し、それらを解決する方法を順に説明します。ただし、本記事で紹介する構成を使うにはドメインのネームサーバーがCloudflareである必要があることに注意してください。 単純な構成はどう危険なのか？ まずは非常に単純なStreaml
完全に自分目線の歴史です。時系列は適当なこともあるよ。 2022/8 モデルが公開されましたが、学習を始めた人は一部だけでしょう。 Stable Diffusionリリース 22日 これまでの画像生成AIと違いモデルがオープンになったことで、誰でも自由に学習できるようになりました。StabilityAIが公開したコードには学習コードも含まれていたので、技術力さえあればこの時点で学習できたのかな。コードやモデルファイルはStabilityAIによるコードと、HuggingfaceのDiffusersライブラリの二つに分かれており、今でも混乱の原因になっている気がします。 Textual Inversion論文自体はStable Diffusionの公開直前くらいに出たもののようですね。学習方法として最初に流行った方法で、27日には日本語記事が出てますね。はやい。 この頃はStabilityA
私が日本で働いている時に頻繁に出会った存在が「〇〇だから出来ない」おじさんだ。誰かが新しい事に挑戦しようとしているのに「やめておきなさい」とか「〇〇だから無理」とか「弊社は特殊なので無理」とかともかく出来ない理由を探すことにかけて天下一品の人の事だ。 私は今アメリカのクラウドプラットフォームの開発者としてアメリカのレッドモンドというところで勤務しているのだが、ふと気づいたのが、日本であれだけ頻繁に見かけた「〇〇だから出来ない」おじさんに出会ったことが無い事に気づいたのだ。「そういえば全然いないぞ！」と。 今回はなぜ今の職場環境だとそういう人に出会わないかということを周りの人を観察して、考えてみて、少なくとも自分がそういう風にならない方法を考えてみた。 先日ふとX (旧Twitter) を見ていると、高齢からでもプログラマ挑戦できるはずがない。証拠をあげてみろ！という人がいて今の職についたの
米Uber、1エクサバイト超のデータ量を持つ世界最大規模のHadoopシステムを、オンプレミスからGoogle Cloudへ移行すると発表
米Uber、1エクサバイト超のデータ量を持つ世界最大規模のHadoopシステムを、オンプレミスからGoogle Cloudへ移行すると発表 米Uberは、オンプレミス上に構築した数万台ものサーバによる1エクサバイト超のデータ容量を持つ世界最大級のHadoopエコシステムを、Google Cloudへ移行すると発表しました。 UberはGoogle Cloudへの移行のメリットを次のように説明しています。 Modernizing with GCP will enable big gains in user productivity, engineering velocity, improved cost efficiency, access to new innovation, and expanded data governance. GCPによるシステムのモダナイズで、ユーザーの生産性、
G-genの田中です。当記事では、Cloud Storage を利用する中で、意図していない高額の請求が発生してしまった事例について解説していきます。 はじめに 背景 Cloud Storage とは Cloud Storage の料金 Storage Transfer Service とは 事件のあらまし 背景 落とし穴 莫大な課金の発生 後日譚 はじめに 背景 今回、G-gen でサポートさせて頂いているお客様が Storage Transfer Service を利用して Cloud Storage へデータ移行を行ったところ、3日間で数十万円の課金が発生してしまったという事件があり、注意喚起のために記事化させて頂くことになりました。 本記事は、お客様名の許諾を得た上で、実際に起きた内容を少し改変して記事化しました。お客様の社内事情のため数値等を事実とは違うものにして記載していますが
GoとCobraを用いた新規マイクロサービス用ボイラープレートの自動生成CLIツールでコスト削減した話 - Gaudiy Tech Blog
こんにちは。ファンと共に時代を進める、Web3スタートアップ Gaudiy でソフトウェアエンジニアをしている ryio1010です。 私は弊社が提供するファンコミュニティプラットフォーム「Gaudiy Fanlink」の開発において、フィーチャーチームの一員として、主にバックエンド開発を担当しています。 バックエンドのアーキテクチャにはマイクロサービスを採用していますが、会社のフェーズ的に試行錯誤の段階であることや、それに伴うチーム体制の変更がよく起きていることもあり、新しいマイクロサービスの立ち上げも頻繁に行われています。 私自身もこれまでの業務で2〜3つの新しいマイクロサービスを立ち上げる経験をしてきました。 今回は、これらのマイクロサービスの立ち上げと運用の経験から、特に立ち上げフェーズにフォーカスし、改善を行った事例をご紹介したいと思います。 1. マイクロサービスの概要とGau
あえて手動アップグレードを選ぶ〜マネージドサービス(GKE)で手作業による対応をした話〜 - MonotaRO Tech Blog
こんにちは。データ基盤グループ データエンジニアリングチームの宮口です。 この記事ではGoogle Cloud Platform（以下、GCP）のサービスの1つであるGoogle Kubernetes Engine（以下、GKE）のクラスタを手動アップグレードした話を紹介します。 私が所属するデータエンジニアリングチームでは、社内システムに保存されたデータをGCPのBigQueryにニアリアルタイムで同期するシステムや、BigQueryに保存されている大容量のデータを低レイテンシなAPIとして提供するシステムなど、モノタロウのビジネスを裏側で支えるシステムの管理を行っています。それらのシステムは全てのコンポーネントをコンテナ化しており、その実行環境としてGKEを採用しています。 また、それとは別に社内でGKE共通環境と呼んでいる、マルチテナント方式のクラスタによるアプリケーション実行基盤を
こんにちは、後藤です。 Terraform開発を進める中で「こんなことできるのか」と思った機能があったので、備忘録も兼ねて紹介します。 それはローカルのファイルを操作できる、という機能です。 TerraformではAWSやAzure、GCPなどのパブリッククラウドプロバイダを扱えますが、localやarchiveといったHashiCorp社によるプロバイダがあります。 このプロバイダを使えば、Terraformを実行するローカル環境のファイル操作が可能になります。 当記事では、よく使われるであろう方法を3つ紹介していきます。 ※Terraformバージョン1.5.6で検証しております。 1つ目：local_file local_fileリソースを記述すればローカル環境にファイルを作成できます。resourceブロックによってファイルを作成し、dataブロックによってファイルを読み込むことが
Google Cloudの生成AI(PaLM2)で社内LLM Webアプリを爆速で作ってみた - G-gen Tech Blog
G-gen 又吉です。Google Cloud (旧称 GCP) の生成 AI (Generative AI) である PaLM 2 を用いて、Cloud Run 上に社内 LLM Web アプリを構築してみました。 はじめに 前提知識 Vertex AI PaLM API Gradio Cloud Runサービスへのアクセス制御 準備 ディレクトリ構成 app.py requirements.txt Dockerfile デプロイ 動作検証 はじめに 今回は、Google Cloud の生成 AI である Vertex AI PaLM API を用いて、社内向け LLM Web アプリを Cloud Run 上にデプロイします。 また、Cloud Run サービスの認証には Identity-Aware Proxy (IAP) を用いることで、社内ユーザーのみがアクセスできる状態を構成で
AWS・GCP・Azure・Hetzner・Linodeなど各クラウドのリージョンごとにPingを一括で計測し速度順に自動で並べて見せてくれる「Cloud Ping Test」
クラウドサービスでは「リージョン」としてさまざまな場所に分散してサーバーが設置されていますが、特にバックアップ目的で第2のリージョンを使用する場合などにどのリージョンを選択するべきなのかを迷いがちなもの。「Cloud Ping Test」はリージョン選択の判断材料の一つとしてさまざまなリージョンと自分のPCとのレイテンシーであるPingを計測してくれるサイトです。 Cloud Ping Test (Latency) for different providers like AWS, Azure, GCP https://cloudpingtest.com/ サイトにアクセスするとこんな感じ。記事作成時点では「AWS」「Azure」「GCP」「Hetzner」「Linode」「ngrok」「Oracle Cloud」「OVHCloud」「Vultr」という9個のクラウドサービスに対応していま
現地参加してきたGoogle Cloud Next '23で発表されたBigQuery data clean roomsを紹介します！ - TVer Tech Blog
こんにちは。データエンジニア 遠藤（TVerにJOINしてまだ3ヶ月）とアドテクエンジニア 鶴貝です。 2023年8月29日～31日にGoogle Cloudの技術カンファレンスGoogle Cloud Next '23がサンフランシスコで開催されました。（4年ぶりのオフライン開催） 弊社では、民放公式テレビ配信サービスTVer・TVer広告のデータ分析で用いるビッグデータ基盤にGCPを採用しています。そこで、先述したエンジニア2名がGoogle Cloud Next '23に現地参加させて頂きました。 Next '23ではGCPの新機能リリースや世界中での活用事例が多く紹介されました。本記事では、Next '23で発表された話題のうち、BigQuery data clean roomsを重点的に報告します。 さらに、サンフランシスコまではるばる出向きましたので、撮って出し写真と共にGoo
Professional Machine Learning Engineer試験対策マニュアル - G-gen Tech Blog
G-gen の佐々木です。当記事では Google Cloud（旧称 GCP）の認定資格の一つである、Professional Machine Learning Engineer 試験の対策や出題傾向について解説します。 基本的な情報 Professional Machine Learning Engineer とは 難易度 試験対策 機械学習の一般的な知識 代表的な機械学習アルゴリズム 評価指標 回帰問題における評価指標 分類問題における評価指標 ヒューリスティック 機械学習モデルの開発、運用における課題の解決 データの前処理 欠損値の処理 カテゴリカル変数の扱い 不均衡データの対策 過学習の対策 正則化 早期停止 トレーニングの改善 ハイパーパラメータの調整 トレーニング時間の改善 交差検証 モデルのモニタリングと改善 スキューとドリフト モデルの軽量化手法 Google Cloud
これなに？ モチベーション 使った技術 工夫ポイント 配布形式をどうするか GoでGoogleライクな検索クエリで文字列マッチするような関数を作った 取得したフィードを一瞬だけキャッシュする バイナリにviewを同梱する 最近のエコシステムに乗っかる 2024/06/14 13:28 追記：ブコメレス これなに？ RSSフィードを任意のキーワードで絞り込んだ結果をさらに別のフィードとして返すためのproxy的なウェブアプリです。 github.com モチベーション 僕はSlackで色々なRSSフィードを購読しています。 YouTubeのチャンネルにもRSSフィードが存在しているのでSlackで購読しています。 例えば 東映アニメーション公式YouTubeチャンネル - YouTube にはプリキュアをはじめとして様々な動画が公開されています。その中でプリキュアに関係する動画だけをSlac
Microsoftやウィスコンシン大学マディソン校などの研究チームが開発し、2023年4月17日に公開した「LLaVA」は「視覚」を持つAIで、画像を入力するとその画像に基づいて返答を行うことができます。2023年10月5日に登場したLLaVA-1.5はさらにクオリティが向上しているとのことなので、実際にGoogleのクラウドコンピューティングサービス「Google Cloud Platform(GCP)」上で動作させてみました。 LLaVA/pyproject.toml at main · haotian-liu/LLaVA https://github.com/haotian-liu/LLaVA 2023年4月にリリースされた旧バージョンの性能や、デモサイトの使い方については下記の記事で確認できます。 画像を認識して年齢推測可能＆人名クイズにも正答できる無料の高性能チャットAI「LLa
G-gen の佐々木です。当記事では、Google Cloud (旧称 GCP) のサーバーレスコンテナサービスである Cloud Run の Direct VPC Egress 機能について解説します。 前提知識 Cloud Run とは サーバーレス VPC アクセスコネクタとは 概要 Direct VPC Egress とは 使用方法 サーバーレス VPC アクセスコネクタと Direct VPC Egress の比較 コスト パフォーマンス 構成図 比較表 ユースケース 制限事項 スケーリングの上限 サポートされているリージョン サブネットに十分な IP アドレスが必要 その他の制限事項 ロギング・モニタリングに関する制限事項 セキュリティに関する制限事項 Cloud Run jobs の実行時間に関する制限事項 Cloud Run 前提知識 Cloud Run とは Cloud
ストレージとコンフィグでデータベースのグリッチを探す - Software Transactional Memo
AIに描いてもらったストレージで作ったレース会場 はじめに この記事はデータベース・システム系 Advent Calendar 2023の一日目の投稿である。今年読んだ論文（今年書かれた論文とは限らない）の中で驚きや納得があって良かったなぁと思った論文をいくつか紹介していきたいと思う。 論文の本文そのものは機械翻訳なりチャットAIなりに叩き込めば誰でも内容の抽出はできるので、こちらのブログ内では何故これが良いと思ったかについて僕の主観に基づいて書いていく。僕の解釈が厳密に正しいことは一切保障しないし、気になって読んでみたら全然内容違うやんけ！と驚くところまでがセットくらいの気軽なつもりで読んで欲しい。 最初に紹介する論文は「When Database Meets New Storage Devices: Understanding and Exposing Performance Mism
マルチテナントのAWSアカウントとKubernetesにおけるコストの可視化 - ZOZO TECH BLOG
こんにちは、カート決済SREブロックの飯島と、ECプラットフォーム基盤SREブロックの織田です。 本記事では複数チームで運用する共通のAWSアカウントとKubernetesにおけるコストの可視化についてご紹介します。 背景 コスト可視化に対する課題 課題解決へのアプローチ AWSリソースのコスト可視化 AWSコスト配分タグ タグの定義と運用ルール タグの付け方 AWS Cost Explorer AWSコスト配分タグの活用例 Kubernetesクラスタのコスト可視化 Kubecost 比較検討 カスタムバンドル採用の決め手 アーキテクチャ 可視化の仕組み ダッシュボード 効果 コスト可視化の活用事例 最後に 背景 現在、ZOZOTOWNはモノリスなサービスを機能ごとに分け、マイクロサービスに移行しながらモダンアーキテクチャへのリプレイスを実施しています。マイクロサービスの移行先としてクラ
こんにちは！ techtekt編集部です。 パーソルキャリアではたらくエンジニア、デザイナー、データサイエンティストなどの専門職が集う「テクノロジー本部」。これまでも数多くのインタビューやレポートを通じて、さまざまな側面をお伝えしてきました。 中でも、2020年に公開した社員アンケート調査記事、「数字から見る！テクノロジー本部ってどんなところ？」は、当時の社員の生の声を反映した記事になっており、多くの皆さまにご覧いただきました。 あれから3年、組織も人も大きく変わり、さまざまな変化がありました。そこで今回は3年ぶりにテクノロジー本部社員にアンケート調査を実施。ぶっちゃけ回答も含めて、リアルな“はたらく”を聞いてみました！ 調査期間：2023/5/8～2023/5/19 調査対象：テクノロジー本部所属社員（エンジニア、ITコンサルタント、デザイナーなど） 有効回答数：232 調査方法：アンケ
この記事は「Happy Elements Advent Calendar 2023」および「AWS for Games Advent Calendar 2023」12月15日の記事です。 はじめに Happy Elements 株式会社でインフラグループのグループリーダーを務めております、長谷川です。 普段は全社横断で AWS, GCP, Azure といったクラウドでのサービス設計・構築・運用を担当するグループのリーダーを担当しています。 Happy Elements カカリアスタジオでは、少人数かつ限られた期間内でゲームを企画から開発まで行うチャレンジプロジェクト「SuperLite アプリ」という取り組みを始めました。 Super Lite アプリでは、新しいチャレンジを希望するメンバーでチームを結成し、およそ1ヶ月程度の作業時間を使って1つのゲームを作り上げます。 限られた作業時間
33歳になりエンジニア4年目を終えた。 例年通り1年の締めくくりとして、2023年の振り返り記事を書いていく。 過去の振り返り 開発 本業 副業 個人サービス OSS Contribution 英語 プライベート 育児 ゲーム まとめ 過去の振り返り エンジニア1年目 2020年総括 - Yuki Watanabe's Blog エンジニア2年目 2021年上期総括 - Yuki Watanabe's Blog エンジニア2年目 2021年下期総括 技術編 - Yuki Watanabe's Blog エンジニア3年目 2022年振り返り - Yuki Watanabe's Blog 開発 本業 1年前にプロダクトをリードできるエンジニアになりたいという目標を立てたのだけど、この1年間で近づけて来たように思う。 7月からシニアメンバーが異動したため、その後の自分の役割や担当領域が広がってい
※2024/5/11 13:29追記DifyのLuyu Zhang CEOから直接コメントをいただきましたので、この記事の最後に追記いたしました。 Difyはテンセント系企業？使用して大丈夫？最近注目を集めているLLMOpsプラットフォームのDify.aiですが、中国のテンセントがバックにいるのではないかとの憶測がネット上で広がっていました。以下はXで話題の投稿です。 Difyは中国のテンセントがバックです。 DifyのWEB版（サブスク版）は使うべきではありません。裏側からあなたの作ったシステムも、プロンプトも、APIキーも丸見えですから。Gitからシステムをおろし、ローカルで開発し、GCPなどのクラウドで運用するなら、ありと思います。 — 平岡 憲人(HIRAOKA, Norito) Stand with Ukraine (@onokoro48) May 9, 2024 この記事では、
Cloud BuildでDockerのマルチプラットフォームイメージをビルド - Mirrativ Tech Blog
こんにちは、バックエンドエンジニアの藤井脩紀です。 今回は表題の通りCloud Buildを活用してDockerのマルチプラットフォームイメージをビルドする方法をご紹介しようと思います。 マルチプラットフォーム is 何 まず、マルチプラットフォームイメージとは何かから説明すると、複数のCPUアーキテクチャやOSに対応したイメージのことです。 より具体的にはDockerの公式ドキュメントとブログが参考になるかと思いますので挙げておきます。 Multi-platform images | Docker Docs マルチプラットフォームドッカービルド | Docker 動機 そしてマルチプラットフォームのイメージが必要となった背景ですが、Appleシリコンの登場によりローカルでの開発ではARM、サーバー上ではAMDのイメージが欲しいというニーズが生まれました。これに応えるべくマルチプラットフォ
GCPの権限管理に関する自動化について
イベント Product Security Casual Talk vol.1 ジョブディスクリプション セキュリティエンジニア（Product Security） ソフトウェアエンジニア(Product Security Ops) カジュアル面談 カジュアル面談フォーム ブログ記事 ソフトウェアエンジニア(Product Security Ops)を募集します
公開論文から学ぶ Google のテクノロジー : パート 3：データベース技術編 | Google Cloud 公式ブログ
Google Cloud のサービスは、Google が長年にわたって構築してきたグローバルネットワーク、そして、世界各地のデータセンターによって提供されています。これは、Google 検索をはじめとするさまざまな Google のサービスを支えるインフラでもあり、その上では、Google 独自の技術を活用したさまざまなミドルウェアが稼働しています。 Google のエンジニアは、自分たちが開発した技術の詳細を論文として公開しており、これまでに公開された論文は、Google の研究チーム、Google Research の Web サイトにある Publication Database で検索できます。このブログシリーズでは、次の4つの分野に分けて、Google Cloud の技術に関連の深い論文を紹介していきます。 分散処理基盤（コンテナ技術）とデータセンター ネットワーク技術 データベ
【開発プロセス/検証編】LLMプロダクト開発にLangSmithを使って評価と実験を効率化した話 - Gaudiy Tech Blog
こんにちは。ファンと共に時代を進める、Web3スタートアップ Gaudiy のエンジニアの Namiki ( @ruwatana ) です。 ここ1〜2年くらいで、生成AI / LLM界隈の盛り上がりは非常に加速してきており、それをいかに活用して新たな価値を提供するかということに集中している方も少なくないことかと思います。 弊社Gaudiyも比較的早期からこの分野に可能性を見出し、積極的に挑戦してきました。そんなLLMプロダクト開発を行なっていく中で、発生した課題に対して蓄積されたナレッジを活かして日々改善できるよう昇華しています。 今回はこの分野の開発に切っても切れないプロンプトチューニングの業務プロセスにフォーカスし、よく起こりうるであろう課題に対してどのように効率化・解消していっているのか、その一端をユースケースとともにご紹介できればと思います。 ※なお、本稿は「技術選定/OSS編」
なお、今回作ったRerankerの技術的な話は、日本語 Reranker 作成のテクニカルレポートに記載しているので、興味のある方はそちらをご覧ください。 そもそも Reranker とは？ Reranker とは、名前の通り再ランク付け(rerank)するもので、質問文に対して関連する順に文章を並べ替えます。文ベクトル(文章のembeddings)で類似度を測って並べ替えするものと何が違うのか？と思われるかもしれませんが、実際、文ベクトル類似度でも同じように並べ替えが可能です。 しかしながら、大きく二つの点で異なります。 Reranker は再ランク性能が高い 文ベクトルは、質問文と文章を同じベクトル空間上の表現として類似度を測ります。そのため大規模なデータに対しても事前に文章のベクトルを算出しておくことで、効率的な計算が可能です。 しかしながら、Reranker は再ランクに特化してお
久しぶりの執筆です。 最後の執筆から大分ブランクもあり、以前やっていたエンジニアリングにも大分変化があったため、振り返りをしつつ、サーバサイドからクライアントをやるようになっての心境の変化を執筆できればと思います。 時系列から読み解く 2021年 ~ 2023年前期 現在の会社に入社。入社した会社に配属された部署では、社内サービスを中心にRailsを用いたサーバサイドの開発を行っていました。 当時、2022年後半から上手くいっていない時期があり、かなり煮詰まっていた時期でもありました。 2023年後期 ~ 現在 ここから、クライアントの事をやるようになりました。正直、2022年後半から煮詰まっていた時期から、諸事情によりクライアントのことをやることになり、かなりの危機感もありました。 作業内容から読み解く サーバサイド Rails、JavaScript中心の新機能開発やサイトの保守 社内サ
クラウド本番環境で発生するインシデントをAIが検出、自動で原因特定、修復まで行う「Shoreline.io」をNvidiaが買収したとの報道
クラウド本番環境で発生するインシデントをAIが検出、自動で原因特定、修復まで行う「Shoreline.io」をNvidiaが買収したとの報道 GPUベンダとして知られるNvidiaが、スタートアップのShoreline.ioを買収したと米Bloombergが報道しています。 本番環境の自動修復を行うShoreline.io Shoreline.ioはAWSなどのクラウド上に構築した本番環境のシステムのログを継続してモニタリングし、何らかのインシデントが発生した場合に自動的にチケットを発行、自動修復が可能な場合には自動修プロセスなどをAIが実行してくれるサービスを提供します。 Shoreline.ioにはさまざまな障害、例えばRAIDストレージが壊れた場合、GCPのインスタンスのCPU利用率が高すぎる場合、MongoDBがデッドロックした場合、PostgreSQLへのデータインポートが失敗し
新米Google Cloud管理者の奮闘記のその後 〜Organizationの秩序を維持する試み〜 - ZOZO TECH BLOG
こんにちは、技術本部ML・データ部データ基盤ブロックの塩崎です。最近の気になる論文は、こちら1の動物病院での猫のストレスが音楽によって低減されるというものです。 さて、2年前にGCPの新米管理者になり色々と頑張っていますという内容のブログを公開しました。当時は対応が後手に回ってしまっていた内容でしたが、その後2年が経ったので、最近のGoogle Cloud管理者事情も紹介いたします。 この記事はGoogle Cloud Next'23 Tokyoの発表内容をブログにしたものです。イベント終了後にスライド公開が解禁されるため、終了し次第スライドも本記事に貼り付ける予定です。 前回のおさらい まずは、前回に公開した記事を軽く振り返ります。2年前に以下の記事を公開しました。幸いなことにSNSで多くの反応を頂き、弊社だけでなく多くの会社が管理業務に苦労している事がわかりました。 techblog.
自身のモデムがハッキングされたことを契機に、モデムを運用しているプロバイダのシステムに脆弱(ぜいじゃく)性があることを突き止めたセキュリティエンジニアのサム・カリー氏が、「どのように突き止めたのか」についてブログに投稿しました。 Hacking Millions of Modems (and Investigating Who Hacked My Modem) https://samcurry.net/hacking-millions-of-modems 事の発端は2年前で、カリー氏は自宅のPCからAWSのインスタンスにアクセスした際に「謎のIPアドレスから同じリクエストがリプレイされる」という奇妙な現象に遭遇しました。下のログファイルに残されている記録のうち、「98.161.24.100」はカリー氏のPCのIPアドレスですが、「159.65.76.209」という謎のIPアドレスから同じリ
ストリートファイター6 のゲーム体験を最良にするため、拡張性と安全性を備えた Google Cloud を採用 ※この投稿は米国時間 2023年 8 月 28 日に、Google Cloud より発表された Google Cloud Press Release の抄訳です。 【サニーベール発- 2023 年 8 月 28 日】 - Google Cloud は本日、家庭用ゲームの企画、開発、製造、販売、配信会社である 株式会社カプコン （以下、カプコン） との新たなパートナーシップについて発表しました。すでにカプコンは、拡張性と安全性を備えた Google Cloud を活用して開発した新たなゲーム 「ストリートファイター6」を世界中で配信しています。 ライブゲームが成功するかどうかは、ゲームの発表当日にスムーズに運用できたかどうかで決まるといわれています。ゲーム会社にとって、プレイヤー
お久しぶりです。GMO NIKKOのharuです。 私が担当するサービスGood!Appsは、GCPを用いて本番環境をクラウド上に構築しております。当然データベースもCloud SQLを使用しているのですが、次のような用途でローカルからCloud SQLに接続したいことがあります。今回は、公式が提供しているCloud SQL Auth ProxyというCloud SQLコネクタを使用した方法をお伝えします。 主な用途 データ確認: 開発中にCloud SQL内のデータを確認したい場合。 データ修正: 何らかの理由でCloud SQL内のデータを直接修正する必要がある場合。 データベースマイグレーション: Cloud Runなどのコンテナ環境からCloud SQLにデータを移行したい場合。 注意点 本番環境のデータベースに接続するため、操作は慎重に行ってください。 不要な時は接続を閉じること
それぞれ微妙にできることや制限に違いがあり、ここを捉えた上で選択する必要があります。 Batchの強みはおそらくタイムアウトがないことによって長時間実行ができ、かつシンプルに実装できることだと思います。 （タイムアウト最大値に関して、Batchにおいては存在しないと公式動画の方で説明していますが、Cloud Composerについては不明でした。） Batch単体でもジョブ定義ファイル内で各タスクの依存関係（順次実行、並列実行）はできますが、Cloud ComposerやWorkflowsのように複雑なジョブネットを書くことは難しそうです。 ジョブネットのように動かしたい場合には公式ドキュメントにもあるようにWorkflowsなどからBatchジョブを実行するのが良さそうです。 動かしてみよう 実際にジョブを作って動かすまで試してみたいと思います。 GCP公式がBatchのサンプルコードを
Why Elixir Is the Best Language for Building a Bootstrapped, B2B SaaS in 2024 | SleepEasy Website Monitor
Why Elixir Is the Best Language for Building a Bootstrapped, B2B SaaS in 2024 [This article is the companion to my presentation for CodeBEAM America 2024, Elixir is the One-Person Stack for Building a Software Startup. You can download the slides as a PDF or view them in Google Slides.] I’d like to share why I chose Elixir as the programming language (and really, as we’ll discuss, the full stack)
はじめに 背景 タスクランナーを導入するモチベーション パラメータ管理ツールを導入するモチベーション 実現したいこと モデルや環境に依存しないタスクによるパイプラインの操作 共通部分と環境特有部分を分離したパラメータ定義 パラメータ定義の構造化 実装方法 利用するツール パラメータファイル 構造化パラメータのマージ処理の実装 おわりに はじめに enechain データサイエンスデスク エンジニアの藤村です。 enechainでは市場活性化を目的として、機械学習や最適化アルゴリズムを用いて電力や燃料などの商品に関する指標を算出し、社内外に提供しています。本稿では、これらを算出するモデルの構築・運用を効率化するために作成した、タスクランナーinvokeとパラメータ管理ツールhydraを一体化したシステムを紹介します。 背景 タスクランナーを導入するモチベーション 機械学習モデルの構築・運用に
７月6日〜14日の9日間、ABCIの主催で 第1回大規模言語モデル分散学習ハッカソン が開催されました。自分はいいだしっぺ 兼 チューターとして参加したのですが、今回のイベントは個人的な学びも多かったし、なにより楽しかったので、忘れないうちに振り返っておこうと思います。 いいだしっぺというのは、3月に上記の tweet をしたら NVIDIA の @sfuruyaz さんが拾って諸々進めてくれた、という話です。自分はイベント内容の案をだしたり、技術検証やサンプルプログラムを作成したりしました。 イベント概要 イベント概要は以下の通りです 期間: 2023/07/06 - 2023/07/14 （9日間） 場所: オンライン（初日・最終日はオフラインとのハイブリッド開催） 参加数: 20チーム 提供リソース: Vノード（1000 ABCIポイント） サポート: チューター（言語モデルや機械学
ChromeのサードパーティCookieは結局どうなる？ ChromeのサードパーティCookieのサポート廃止は、代替策として考案されたGoogleのアドレッサビリティテクノロジーであるプライバシーサンドボックスがCMA（イギリスの競争・市場庁）の審査を経て、仕様確定するかどうかに影響されます。 今回で3度目の延期となりますが、過去2回と比べると、Googleはもちろんのこと、CriteoやRTB Houseなどの技術協力パートナー、IABのプライバシーサンドボックスのタスクフォース（60社強のアドテク企業が参加）、CMA、ICO、そしてアドテク業界各社など、エコシステムの多くの関係者の努力もあり、プライバシーサンドボックスの技術仕様に関してはかなりのところまで進んでいます。 延期の背景としてはざっくりと以下のような状況になります： Google Ad Manager、GCPなどを中心に
こんにちは。エムスリーエンジニアリンググループのコンシューマチームでアーキテクトをしている園田です。 本日はコンシューマチームのブログリレー 1 日目です。 2023/11/20 (日本時間だと本日) に AWS の Amplify Hosting で Next.js/Nuxt.js 以外の SSR サポートが発表されました。 aws.amazon.com aws.amazon.com さっそく Astro の node アダプターを使った SSR な Web サイトを Amplify Hosting できるかやってみました。 現在公式でサポートされているのは Nuxt のみですが、以下のドキュメントに他の SSR フレームワークにも適用できるようにディレクトリ構成などの仕様が記載されています。 docs.aws.amazon.com このドキュメントを参考に Astro SSR を構築し
Stockmark-100b: ビジネスドメインに対応した1000億パラメータ規模の大規模言語モデルの事前学習 - Stockmark Tech Blog
ストックマークは最近、ビジネスドメインに対応した1000億パラメータ規模の大規模言語モデルであるStockmark-100bの開発を行い、事前学習モデルと指示学習モデルをオープンソース（MITライセンス）として公開しました。この記事では事前学習における弊社の取り組みを紹介させていただきます。 プレスリリース: stockmark.co.jp 事前学習モデル： huggingface.co 指示学習モデル： huggingface.co 背景 2024年2月に国立研究開発法人新エネルギー・産業技術総合開発機構（NEDO）が実施する「ポスト５Ｇ情報通信システム基盤強化研究開発事業／ポスト５Ｇ情報通信システムの開発」に採択されました。これは、経済産業省の国内の生成AIの開発力強化を目的としたGENIACプロジェクトと連携して行われており、国内事業者に対して生成AIの開発に必要な計算資源の確保と利
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Stable Diffusion学習の歴史｜gcem156
「〇〇だから出来ない」おじさん対策と自分がそうならない方法｜牛尾 剛
Cloud Storageへのデータ転送で課金爆死してしまった件 - G-gen Tech Blog
Terraformでローカルファイルを操作する方法 ～よくある使い方3選～ - NRIネットコムBlog
feed_squeezerを作った - くりにっき
画像を見て質問に答えられるオープンソースなGPT-4レベルのAI「LLaVA-1.5」をGCP上で動作させてみた
Cloud RunのDirect VPC Egressを解説 - G-gen Tech Blog
3年ぶりに帰ってきた！数字から見るテクノロジー本部2023 前編 - techtekt
Unity 製 WebGL ゲームを AWS でお手軽公開
エンジニア4年目 2023年振り返り - Yuki Watanabe's Blog
Difyは使用して大丈夫？テンセント系企業？安全なの？｜Kyutaro
日本語最高性能のRerankerをリリース / そもそも Reranker とは? - A Day in the Life
サーバサイドからクライアントをやるようになっての心境の変化 - Qiita
数百万台のモデムを自由に書き換え可能な脆弱性を見つけるまでの経緯をセキュリティエンジニアが報告
Google Cloud、カプコンとの新たなパートナーシップを発表 | Google Cloud 公式ブログ
ローカルからCloud SQLに接続する方法 by Cloud SQL Auth Proxy
GCPのバッチ処理サービス「Batch」を試してみる
タスクとパラメータの一元管理で実現するMLOps - enechain Tech Blog
ABCIの大規模言語モデル分散学習ハッカソンを振り返る
さまよえるサードパーティCookieとオープンインターネットは何処へ
世界最速で Astro SSR を Amplify Hosting で動かしてみた - エムスリーテックブログ