BigQueryのテーブルでパーティション数の上限が増えました | DevelopersIO
Google Cloudデータエンジニアのはんざわです。 2024年5月29日のアップデートにより、パーティション分割されたテーブルにおけるパーティション数の上限が増加しました。 これにより、これまで以上に長期間のデータをBigQueryに保存できるようになりました。 BigQuery release notes： 5月29日 2024 個人的には大きなアップデートだと思うので早速ブログを執筆しています！ どれくらい増えるのか 今回のアップデートでパーティション数の上限が4000から10000に増加しました。 これにより、アップデート前後のパーティション数の上限と日次パーティションの対応年数を表で示すと次のようになります。 項目 アップデート前 アップデート後
いいね欄を公開する
Twitter でいいね欄が全員非公開になってしまった。 わたしはブラウザの Location Bar に tw なり x. なりを入力すると …/likes な URL がいくつかならぶ程度には他人の Likes をたくさん巡回していたし、なんなら相互に Likes 見てるな…という関係もある程度には Likes タブに依存してついった〜を楽しんでいたので大変悲しいニュースだった。 自分が読んでいたアカウントの皆さんが追従するかはともかくとして、一旦自分の Likes を公開する手筈を考えて https://like.sorah.jp/ としてデプロイした。 https://github.com/sorah/publikes にコードを置いてあるので、お手元の AWS アカウンへ terraform apply をすればみなさんも追従できます。 いいねしたツイートを集める 類似事例では
ヨドバシポイント払い最適化研究
ゴールドポイント このご時世にボールペン1本でも送料無料で迅速に届けてくれるヨドバシ、ちょっと心配になるくらいですが一般庶民の強い味方です。そして他の量販店の例にも漏れず、ヨドバシにもポイントシステムがあるのは皆さんもご存じでしょう。 買い物をするとその額の、例えば 10% 相当のゴールドポイントがもらえます。貯めたポイントは次回以降のお買い物で 1ポイント 1円として使えちゃいます。これがゴールドポイントシステムです。 でもポイントを利用した場合、その利用分にはポイントは付きません。新たに支払った現金相当部分(電子マネーやクレジットカード払い etc.)にだけポイントが付きます。このようなシステムはそれほど珍しいものではなく、世の多くのポイントシステムはこうですね。楽天ポイントみたいな例外もありますが。 ポイント還元まで考えるとお安い商品でも、ポイントで払ってしまうともらえるポイントが目
大規模なRedis運用で生き残る方法
以下のように、できるだけ簡潔に単一ページですべてを解決できるように構成し、ユーザーだけでなく私たちも使用量を追跡・管理するために、管理者ダッシュボードも構成しました。 ユーザーダッシュボード 管理者ダッシュボード 今回のキャンペーンは大規模なRedisが対象で、リリース時期や開発関連の特定イベントを避けるなど、開発者のスケジュールも考慮しながら実施したため、長期間にわたって展開しました。深く考えて準備したためか、多くの開発者がキャンペーンに参加し、おかげさまで成功裏に終えることができました。以下は、2023年の1年間、Redisが使用していたリソースの変化を示したグラフです（サービス数ではありません！）。 ここで重要なのは、サービス数にはほとんど変化がなかったということです。むしろ、終了するサービス数が開始するサービス数に追いつくことができませんでした。それでも、上のグラフのようにリソース
大規模データ管理 第2版
今日では、データを素早く価値に変換することが求められています。一方、人工知能、クラウド化、マイクロサービスといった新しいソフトウェア提供モデルが、データ管理の方法を根本から変革しようとしています。組織は、分散化が避けられない現実に直面し、責任の分散、データの管理手法、そしてデータの他者への提供方法に関する変革を迫られています。 本書では、将来にわたり堅牢かつスケーラブルなデータ管理を実現するために、組織のニーズを踏まえた次世代データアーキテクチャの設計方法について説明します。また、法規制、プライバシーに関する懸念、データメッシュやデータファブリックなどの新しい技術動向を紹介し、クラウドデータランディングゾーン、ドメイン駆動設計、データプロダクトといった最先端のデータアーキテクチャについて解説します。さらに、データガバナンス、データセキュリティ、マスターデータ管理、セルフサービス型データマー
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://rugcareer.com/
