2024年 SREチームの Google Cloud コスト削減を振り返る - Uzabase for Engineers
なぜコスト最適化することになったか？ Active Assist Cloud Storage ストレージサイズの削減 ストレージクラスの変更 ロケーションの検討 結果 Cloud SQL コスト削減のため、Dev環境の停止を行なった 不要なリソースの削除 結果50%くらい削減することができた テスト環境の削除 テスト環境が起動しっぱなし問題 テスト環境を削除した 不要なテスト環境は削除していこうという啓蒙 結果 BigQuery CUDの購入 Compute Engine Bigtable まとめ なぜコスト最適化することになったか？ 私たちは、株式会社ユーザベース スピーダ事業 Product Division SREチーム として Google Cloud を利用したシステムの構築運用を担っております。 弊社では年々サービスを運用し続けるにつれて、為替の影響も受けてGoogle Clo
コネクテッドシートによるBigQueryのコスト爆発を未然に防ぐ #Googleスプレッドシート #FinOps
この記事は、Money Forward Engineering 1 Advent Calendar 2023 7日目の投稿です。 6日目は kikuchi.kodai さんで「Gradle Pluginの作成のすゝめ」でした。 本日は私が「コネクテッドシート周りのコスト管理」について書いていきたいと思います。 はじめに 初めまして、株式会社MoneyForwardのCTO室分析基盤部でデータエンジニアを行っているNakamoriです。 私は22新卒でこの分析基盤部に配属されてから1年半の間、データ分析基盤の開発と運用を行っています。 今回はGoogleスプレッドシートの1機能であるコネクテッドシートのコスト管理を行ったのでそれについてお話ししたいと思います。 この記事が想定する読者 コスト管理を始めたいがどこから始めていいかわからない人 社員がコネクテッドシートを使い始めたのは嬉しいが、管
2024年9月13日の集会で中間貯蔵施設（福島県双葉町・大熊町）に運び入れられた東京ドーム11杯分の除去土壌を、今、環境省がどうしようとしているのかについて話をした。こちらでも共有しておきたい。長いのでまず前半。 PPT表紙 原発事故→避難させずに除染2011年3月11日の東日本大震災により、福島第一原発（１F）1〜3号機がメルトダウン、メルトスルー、そして、12日 1号機が爆発、14日 3号機が爆発、15日4号機が爆発。東日本の土壌は広範囲にわたり、汚染された。 同年、汚染地域から人々を避難させるのではなく、除染をさせて居住させ続ける政策「放射性物質汚染対処特措法」（以後、特措法）が制定された。 市町村に除染させる地域と、国が除染を行う１Fに近い（高い放射線で汚染された）地域で膨大な汚染土が生じた。 帰還させるための除染2012年には福島復興再生特別措置法が制定された。 今度は、住民が避
nor*****さんのページ | Yahoo!ニュース
「教育なめてる」文部科学省の五輪アスリートを『免許なしで教員』方針にネット猛反発「何のための教員試験？」
藤本茂 - Google 検索
テクニカル分析に経験と勘を織り交ぜ、巨額資金を運用する機関投資家とも対峙。毎朝2時起きで相場に挑む投資歴68年、87歳の現役デイトレーダー。初の著書『87歳、現役 ...
Google Cloud データエンジニアのはんざわです。 BigQuery のリモート関数は非常に便利な機能ですが、使い方によっては思わぬ落とし穴があることをご存知でしょうか？ 本ブログでは、とある案件で遭遇したリモート関数の落とし穴について紹介します。 筆者はこの落とし穴により、約 10 万円の課金が発生しかねない状況に陥りました。 幸い課金は免れましたが、この経験から学んだリモート関数使用時の注意点と対策方法を紹介します。 注意事項 本ブログでは、リモート関数の詳細については紹介しません。 リモート関数を否定するつもりは全くありません。 SQL だけでは実現できないような処理もリモート関数であれば可能であり、非常に有用な機能だと思います。しかし、今回の件を通じて、使用する際には注意が必要だと感じました。 落とし穴の詳細 まずは、筆者が当時やりたかったこととその過程で発生した現象を簡単
【BigQuery・Geo Viz】地理情報をPythonでBigQueryにデータを入力したり、可視化してみる｜aaron(β)
【BigQuery・Geo Viz】地理情報をPythonでBigQueryにデータを入力したり、可視化してみる BigQueryってなんですか？概要Google Cloudの列志向なデータウェアハウス データウェアハウスってのはデータを保存したり、検索したりできるサービスのことです データベースと比べるとデータの蓄積に主眼が置かれていて、ビッグデータ志向なサービスになっています SQL文をサポートしている 爆速で検索できる データウェアハウスだけどACID特性がある(Google Cloud) 何に使える？一般的にはData Analytics用途に使われることが多いようです とにかく爆速なので理にかなった使い方ですね 使ってみる・前準備Python側の準備次の環境で作業しました python = "^3.9" Flask = "^3.0.1" numpy = "^1.26.3" goo
読み込み中です... __編集__Edit__ __履歴__History__ -> __最初にジャンプ__Jump to oldest__ __元に戻す/Undo__Undo__ __やり直し/Redo__Redo__ __最後にジャンプ__Jump to latest__ __盤面__Board__ -> __チェック__Check the Answer__ __解答消去__Erase answer__ __補助記号消去__Erase auxiliary marks__ __ブロックの位置__Blocks position__ -> __ブロックを落とす__Drop blocks__ __ブロックを上げる__Raise blocks__ __旗門上の数字__Number on gates__ -> __一時的に表示する__Show temporarily__ __仮置きモード__Tri
k-codeで日本語入力のためにGoogle IMEで使用しているローマ字テーブル。 Google日本語入以外のIMEでもローマ字表をいじれるなら以下のデータ構造を修正してファイル形式を変更して合わせれば利用可能かも。以下のデータ構造、ファイル形式はTSV。 macOS、Windows、Linux等のmozcではもちろんそのままで利用可能。 注意点は平仮名、カタカナ、漢字等に変更前の英数字の入力のキー配列はk-dvorakである必要があること。 h は t す n 。 s と d し - い g う c の r っ l で f を u 、 e る o が a て i な p に . た , か U れ E ら O こ A り I だ /u そ /e ン /o さ /a 「 /i 」 P け > ・ < ど " つ Y え /p お /. ス /, わ /' ） /y （ K め J ル Q
置換表2024 - 思うだけで学ばない日記 2.0
今日わXORベースのハッシュの衝突確率についてチョットイイ話をする、 定義 ここでハッシュとは、n種類中のr個のシンボルで表せる何かであるところのX（簡単のためrが一定として、最大C(n, r)種類の何かのﾌﾞﾂ。ここでC(n, r)はコンビネーション)を、0～C(n, r)-1よりかなり小さい値域の整数に対応付けたものを指す。 さらに、ハッシュはハッシュでもXORベースのハッシュとは、以下の手段で作ったハッシュH(X)を（ここでは）指す。 ハッシュシード HS(s(k)) n種類のシンボルs(k) (k=1..n)それぞれに互いに異なるランダムなm bitの整数を割り当てたもの。 ハッシュH(X) r個のシンボルs(k(i)) (i=1..r) で構成されるXに対し、次式で計算した値： H(X) = HS(s(k(1))) (+) HS(s(k(2))) (+) HS(s(k(3)))
Mercari Dataflow Template を使って、BigQueryからPubSub Topicへデータを転送する - ひらめの日常
はじめに Dataflow Templateとは 前準備 関連リソースのセットアップ Service Account の設定 設定ファイル等の作成 Protoファイルの用意 Jsonの設定ファイルの作成 実行 まとめ はじめに Cloud Dataflow に興味があったため、休日を使って少し遊んでみました。 この記事では、0の状態から、Mercari社が提供している Dataflow Template を使って、BigQueryからPubSub Topicへとデータを転送することをゴールとしています。 具体的には次のようなことを行います。 Mercari Dataflow Templateを利用し、BigQueryからPubSub Topicへとデータを転送する PubSub TopicへはProtobufの形式で送信する Dataflow Job用のService Accountを作成
Short-Ass Movies
'); doc.close(); } if (!doc) throw Error('base not supported'); var baseTag = doc.createElement('base'); baseTag.href = base; doc.getElementsByTagName('head')[0].appendChild(baseTag); var anchor = doc.createElement('a'); anchor.href = url; return anchor.href; } finally { if (iframe) iframe.parentNode.removeChild(iframe); } }()); } // An inner object implementing URLUtils (either a native URL // ob
Matillion ETL for BigQueryで構築からデータ連携まで簡単に実装！｜テクニカルブログ｜日本情報通信株式会社
様々な場所に散在しているデータを統合して分析に活用したいという要望は、非常に多いです。 今回はそのような要望に対して、Matillionをご紹介し、簡単なデータ連携の手順についてご説明したいと思います。 Matillionとは Matillionはクラウドデータウェアハウス向けに構築されたデータインテグレーションツールで、Amazon Redshift、Google BigQuery(以下BQ)、Snowflake、Azure Synapseなどのクラウドデータベースプラットフォーム用に特別に構築されています。 様々なオンプレミスやSaaSのデータをクラウド上へロードするフローを簡単に作成することが可能で、分析等に向けて、散在しているデータを統合し一元管理したいという方におすすめのツールとなっています。 公式ドキュメントはこちら 構築 今回はGoogle Cloud Platform(以下
その場を通る不特定多数の人に、情報を発信する方法として、いつの時代も貼り紙は有効な手段。 目立つ場所に掲示しておけば、人件費などを使うこともなく、案内や注意などを呼びかけることができます。 しかし、その効果を発揮させるには、条件があります。そう、『誰でも読める』必要があるのです…。 トイレ前の『解読不能な貼り紙』にツッコミの嵐 ある日、新潟県内にある温泉施設を訪れた...
![「日本人なのに全然読めん」 貼り紙をよ～く見ると？「どうしてこうなった」 (grape [グレイプ])](https://cdn-ak-scissors.b.st-hatena.com/image/square/104fc09ce8fb34398ed93d5a4e6fd65e3ae5033e/height=288;version=1;width=512/https%3A%2F%2Fthumbnail.smartnews.com%2F%3Furl%3Dhttps%253A%252F%252Fsmartnews-assets.s3-ap-northeast-1.amazonaws.com%252Fus-marketing%252Fadcreative%252Fb6a99f65a4114d7c6ebd1b5ad2e7b45a-SMARTNEWS_LOGO.png){kind=logo}
中間層がワーキングプアになるシナリオがいくつかあるようです最終回 民営化 ハゲタカ売国奴が沢山知れる本です！ - 自由を知るブログ (二枚看板🙇♀️✨ 新着記事は３つ目です)
新札見ないなぁ...もう大分立つけど。 このタイトルは止めるってだけ。 岸田首相何してるんだ？問題山積だろ！能登の復興支援早くして！ 立憲見習え！余りに無責任！ 総理の中では長期政権だろ！あんたの実績、自慢党代表の意見のべろ！ 逃げ足早いですね(怒)無責任だ！ 所詮自公維新こんなもんだよな！ 『』は私の意見、いつもと同じで線なしもタイトルタップで記事が読めます。知らない人は多くの記事を読んでね😊日本は傀儡独裁政府なのか？ 本を漁れば真実を知れるでしょう！ 当たり前、常識を知るには本もいい！ それから更に調べよう🎵 選ばないと駄目だけどね。10年前はマスコミも頑張っていた？が、国民の関心が無い事やショックドクトリンでやりたい放題許せません‼️ 不正選挙だ！アメリカでも話題に！ 私は日本が好きです。米国追随迫るアメリカ大統領はどちらも期待しません。でも、トランプ政権での暴露で世界が変わる？
2024年09月15日 お前らの欲しい軽自動車って「見た目はジムニー」「燃費はアルト」「値段はワゴンR」よな？ カテゴリ車 Comment(41) 1: 名無しさん 2024/09/13(金) 23:02:36.91 ID:LvV68MQi0 そんな夢のような軽自動車を望んでるんやろ？ スポンサーリンク ▽おすすめ 2: 名無しさん 2024/09/13(金) 23:03:35.64 ID:Q4y2KPKL0 積載はエブリイで走りはスイスポも良いかな 4: 名無しさん 2024/09/13(金) 23:04:34.65 ID:LvV68MQi0 >>2 欲張りさんやな 3: 名無しさん 2024/09/13(金) 23:03:44.43 ID:nDp+3de80 値段は原付が良いんだけど🥺 5: 名無しさん 2024/09/13(金) 23:04:46.98 ID:LvV68MQi0 >
2024年度8月分のGIGAZINEのアクセス解析結果
この記事はGIGAZINEシークレットクラブの有料メンバー限定ですが、2024年10月31日までは誰でも閲覧可能です。 お知らせその1、GIGAZINEから不適切な広告を排除して健全化するためのコミュニティーのベータテストを実施中。まずは読者アンケートで協力表明をしてくれた一部の人たちを招待し、水面下で着々と広告の健全化が進んでいます。現段階で「ベータテストに招待されてないんだが！」という人も、GIGAZINE下部の「その他のお問い合わせ」から不適切広告の報告をしてもらえれば確認して対応するので、ご協力いただけるとうれしいです！ なお、「その他のお問い合わせ」から不適切広告を報告する際には、ブロック作業をスムーズに進めるために「広告のリンク先URL」を添えて報告いただくようよろしくお願いします。 お知らせその2、2024年夏プレゼント大放出企画のプレゼント発送が全て完了しました。今回残念な
Xから動画をダウンロードする 5000円以上お買い上げで齋藤飛鳥さん限定カタログプレゼント!! ※無くなり次第終了となります。 #GRL #グレイル #齋藤飛鳥 #あしゅ #乃木坂46 今すぐチェック 5000円以上お買い上げで齋藤飛鳥さん限定カタログプレゼント!!💓 ※無くなり次第終了となります。#GRL #グレイル #齋藤飛鳥 #あしゅ #乃木坂46 👇今すぐチェック👇https://t.co/uvlIfOxi13 pic.twitter.com/sonICPY2V8 — GRL グレイル (@GRL_official) October 30, 2021 2021年10月17日 齋藤飛鳥 再生時間: 0:15 Xから動画をダウンロードする 齋藤飛鳥さんがアンバサダーとして着こなす グレイルの2021 A/W COLLECTION 流行のアイテムが何でも手に入る通販サイトGRL #
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
集中管理中の放射能汚染土の行方｜まさのあつこ 地味な取材ノート
知らないと危ないかも？BigQuery リモート関数の意外な落とし穴 | DevelopersIO
ぱずぷれv3
k-codeの日本語をGoogle 日本語入力で使う方法 - ローマ字テーブル - 計算機科学のブログ
「日本人なのに全然読めん」 貼り紙をよ～く見ると？「どうしてこうなった」 (grape [グレイプ])
お前らの欲しい軽自動車って「見た目はジムニー」「燃費はアルト」「値段はワゴンR」よな？ : 登山ちゃんねる
【動画】乃木坂46 GRL グレイル(2021)(佐藤楓・山下美月・与田祐希 他)【Twitter】