情報を発信する人のところに情報が集まることを日々実感しているので、Linuxのメモリ管理に特に詳しいわけではないのですが最近遭遇した問題について自分の理解を書いておきます。ざっと調べても同じことを書いている人を見つけられなかったので、公開には意義があると考えています。識者の方がフィードバックをくださると嬉しいです。 ※ AIの出力をベースに書いているのでいつもと少し文体が違います。 背景 要約 調査 再現の難しさ Goアプリケーションの調査 pprofによる分析 GCログの調査 Linuxの調査 Goランタイムの調査 GoのGCとTHP khugepagedの問題 Goランタイムにおける回避策 回避策の削除 max_ptes_noneのデフォルト値について MADV_NOHUGEPAGEをやめた理由 調査内容まとめ 解決策 検証 C言語 Go言語 まとめ 背景 Go言語で書かれたOSSのア
AWS IAM Identity Center の棚卸しで権限クリープを防ぎたい 初寄稿の @wa6sn です。8/3-4 に開催される SRE NEXT 2024 が楽しみですね。筆者の所属する 株式会社ギフティ も、GOLD スポンサーとしてブースを出しています。ノベルティも配っているので、ぜひお立ち寄りください。 さて本題ですが、今回は AWS IAM Identity Center で付与したアクセス権限の棚卸しについて述べます。SRE をやっていると、こうした AWS アカウントに対するセキュリティ対策に関わる機会も多いのではないでしょうか、ということで書いてみました。なお、筆者の環境では Control Tower を利用して全アカウントで CloudTrail を有効化しつつログを一元保管しているという前提があります。 権限クリープ マルチアカウント運用が広まっている昨今では
「Gemini in BigQuery」「Spanner Graph」など、Google Cloudが多数の新機能を発表（アスキー） - Yahoo!ニュース
Google Cloudは2024年8月2日、データベースやデータレイクハウス、アナリティクス、AI/ML、BIといった同社“Data Cloud”領域のサービスについて、多数の新発表を行った。 【もっと写真を見る】 Google Cloudは2024年8月2日、データベースやデータレイクハウス、アナリティクス、AI/ML、BIといった同社“Data Cloud”領域のサービスについて、多数の新発表を行った。 メディア向けの説明会では、AIおよびデータ分析関連の新発表をプラットフォーム＆テクニカル インフラストラクチャ VP兼GMのブラッド・カルダー氏が、データベース関連の新発表をデータベース VP兼GMのアンディ・ガットマンズ氏が、それぞれ紹介した。 本記事では「生成AI」「モダナイズ」「開発者」という3分類で、主な新発表をまとめる。なお、今回の新発表には一般提供開始（GA）となったもの
Why CSV is still king
Report issues, suggest features or give any general feedback. Thank you in advance! In the world of data, CSV is the cockroach of file formats. It's simple, resilient, and seemingly impossible to kill off. While flashier formats have come and gone, CSV quietly reigns supreme in the data processing kingdom. But how the hell did this happen? Let's dive into the fascinating history of this accidental
Azure Data Lake Storage Gen2 の使用に関するベスト プラクティス - Azure Storage
アカウントは、あらゆる分析シナリオで必要とされるスループットを提供するようにスケーリングできます。 既定では、Data Lake Storage Gen2 対応アカウントは、広範なカテゴリのユース ケースのニーズを満たすのに十分なスループットを既定の構成で提供します。 既定の制限に達した場合、Azure サポートに連絡して、さらに高いスループットを提供するようにアカウントを構成することができます。 構造体のデータセット データの構造を事前に計画することを検討してください。 ファイル形式、ファイル サイズ、ディレクトリ構造は、すべてパフォーマンスとコストに影響します。 ファイル形式 データはさまざまな形式で読み込むことができます。 データは、JSON、CSV、XML などの人間が判読できる形式、または .tar.gz などの圧縮されたバイナリ形式で表示できます。 データのサイズもさまざまです
「Gemini in BigQuery」「Spanner Graph」など、Google Cloudが多数の新機能を発表（アスキー） - Yahoo!ニュース
Google Cloudは2024年8月2日、データベースやデータレイクハウス、アナリティクス、AI/ML、BIといった同社“Data Cloud”領域のサービスについて、多数の新発表を行った。 【もっと写真を見る】 Google Cloudは2024年8月2日、データベースやデータレイクハウス、アナリティクス、AI/ML、BIといった同社“Data Cloud”領域のサービスについて、多数の新発表を行った。 メディア向けの説明会では、AIおよびデータ分析関連の新発表をプラットフォーム＆テクニカル インフラストラクチャ VP兼GMのブラッド・カルダー氏が、データベース関連の新発表をデータベース VP兼GMのアンディ・ガットマンズ氏が、それぞれ紹介した。 本記事では「生成AI」「モダナイズ」「開発者」という3分類で、主な新発表をまとめる。なお、今回の新発表には一般提供開始（GA）となったもの
# Athenaデータベースの作成 resource "aws_athena_database" "cloudtrail" { name = "cloudtrail" bucket = "クエリ結果を保存するバケットを指定する" force_destroy = true } data "template_file" "cloudtrail" { template = file("${path.module}/cloudtrail.tpl.sql") vars = { # DDL側に渡す変数 table_name = "cloudtrail" account_id = "XXXXXXX" s3_bucket = "CloudTrailのイベントが入っているバケットを指定する" region = "ap-northeast-1" } } resource "aws_athena_named_q
機能要件と非機能要件の違いとは？それぞれの要件定義の流れや重要なポイントを徹底解説！ | 株式会社G-gen（旧 株式会社トップゲート）
削除する Google Service TGカルチャー アプリケーション開発 コンサルティング セミナー テックブログ デザイン デジタルプロダクト開発 開発実績 ニュース 2025年の崖(1) 5G(1) AI(39) AI Hub(1) AI Platform(1) AlloyDB(12) AlloyDB for PostgreSQL(6) AlphaZero(1) Analytics HUB(1) Android(11) Android アプリ(1) Anthos(6) API(12) API エコノミー(1) APP(2) App Engine(2) App Maker(2) AppServer(1) AppSheet(3) arduino(1) Authentication(1) AutoML(4) AWS(12) AWS (Amazon Web Services)(1) AWS
日本ビジネスシステムズでデータエンジニアをしてる土井です。 データエンジニアとしてデータマート作成等を行う際に、SQLでデータ変換処理を実装することがあります。上記処理の実装に際して、ウィンドウ関数は非常に便利でよく利用されるオプションの一つかと思います。 今回はそんなウィンドウ関数を用いたクエリの可読性向上に使える、SnowflakeのQUALIFY句を検証してみました。 本記事は2024年4月26日時点の以下の公式ドキュメントの記載に基づいて執筆しております。 docs.snowflake.com QUALIFY句とは？ QUALIFY句を試してみる データ準備 QUALIFY句を使わない場合 QUALIFY句を使った場合 まとめ QUALIFY句とは？ 公式ドキュメントでは以下のように説明されています。 SELECT ステートメントでは、 QUALIFY 句はウィンドウ関数の結果をフ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Goで解放したメモリが少しずつ戻ってくる現象 - knqyf263's blog
AWS IAM Identity Center の棚卸しで権限クリープを防ぎたい
TerraformでCloudTrailのAthenaのテーブルを作る、日付とリージョンのパーティション付き
SnowflakeのQUALIFY句を試してみる - JBS Tech Blog