自動バックアップを有効にしているものは、バックアップウィンドウを以下のように設定しています。 RDS DBインスタンス : UTC 21:00 - 21:30 Aurora DBクラスター : 自動割り当て (Aurora DBクラスターをマネジメントコンソールで作成する際はバックアップウィンドウを明示的に指定することはできない) メンテナンスウィンドウについてはいずれもJST 9:00 - 9:30 で設定をしています。 また、AWS Backupのバックアッププランではいずれも1時間に一度動作するようにしています。 作成したAurora DBクラスターとRDS DBインスタンスは以下のとおりです。 aurora-1 aurora-2 rds-1 rds-2 rds-3 rds-4 rds-5 RDSで自動バックアップを有効にしていつものについては作成時にスナップショットが取得されるよう

BigQuery アンチパターンレコメンデーションツールで、パフォーマンスの悪い SQL を使っていないか確認してみる。 こんにちは、みかみです。 本州も梅雨入りの季節になってまいりましたが、沖縄はそろそろ梅雨明けです！ やりたいこと BigQuery で実行している SQL のパフォーマンスチューニングをしたい BigQuery のアンチパターン SQL を使っていないか確認したい どんな DWH を使うにしろ、SQL チューニングは避けて通れない道ではないかと思います。 実行計画確認して、データ処理エンジンの思想に思いを馳せて・・・。 というのも、特に顕著な改善効果が得られた時にはこの上ない喜びを感じられる作業ですが、SQL が複雑だったり、大量の SQL を確認しないといけない場合は、心折れそうになる場合もあります。 BigQuery でも、クエリプランを確認しながら SQL をチュ

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

オラクル、マイクロソフト、OpenAIの3社は提携を発表し、OpenAIにさらなるAIインフラのキャパシティを提供するために、OpenAIが利用するプラットフォームをMicrosoft Azureに加えてOracle Cloudへ拡大することを発表しました。 もともとOpenAIとマイクロソフトは複数年にわたる長期的なパートナーシップにより、Microsoft AzureがOpenAIの独占的なクラウドプロバイダーとして、研究や製品、APIによるサービスなど、OpenAIのすべてのワークロードを支えることを発表しています。 今回の3社の提携は、このOpenAIを支えるクラウドプロバイダーにOracle Cloudが加わることを意味します。 OpenAIのサム・アルトマンCEOはこの提携に当たり、次のようにコメントしています。 We are delighted to be working w

TOPフォーカス「もっと読みやすくできるはず」。白源、Bizin Gothic作者が日本語入りプログラミングフォントを手がけ続ける理由【フォーカス】 「もっと読みやすくできるはず」。白源、Bizin Gothic作者が日本語入りプログラミングフォントを手がけ続ける理由【フォーカス】 2024年6月12日 プログラミングフォント制作者 たわら プログラミングフォント制作者。コーディングに適した欧文・英数字フォントと、日本語フォントを合成し、新たなフォントを生み出す手法に定評がある。2019年5月に「白源（HackGen）」を公開したのを皮切りに、毎年のペースで合成フォントを手がけている。本業ではインフラエンジニアやWebプログラマなどを経て、現在ではSaaS企業にてSREを担う。自身の息子に「プログラミングを教えて」と頼まれた時、まずはプログラミングフォントの重要性を説いた。 X GitHu

最近いろんなところで採用事例が増えてきたRustですが、Webサービス開発でのAPIサーバーを書くのにRustは向いてないと言われたりします。Rustの第一のターゲットはシステムプログラミングでありGCがないためAPIサーバー開発でシビアなメモリ管理はしたくないというのは一理あるのですが、RustでAPIサーバーの開発を実際にやってみるとむしろ開発体験が結構いいなと感じます。パフォーマンスのために難しい所有権を無理にがんばるみたいなマイナスのイメージはほとんど当てはまらなかったです。 Rustの難しいライフタイム、所有権があまり出てこない Rustにおいて難しいとされるライフタイム、所有権といった概念があり私も書く前はかなり身構えていたのですが、これに苦しむことは思ったよりも少ないです。その要因はWebサーバーで扱う処理のほとんどがリクエスト・レスポンスモデルでデータの流れが一方向でシンプ

はじめに 以前紹介させていただき、2022年Qiitaのいいねランキング18位、ストックランキング20位を記録したこちらの記事の続編です！ DevToysはリリース後しばらく定期的なバージョンアップが続けられていましたが、去年の7月からぱったりとアップデートが止まっている状態でした。 リポジトリや作者のXを見るとバージョン２の開発を行っているようで、今か今かと待ち続けていましたが数日前リリース予告のポストを見つけて、今日ついにプレリリースされました！ ということで早速紹介していきます！ DevToysとは DevToysは「開発者のためのスイスアーミーナイフ」の紹介文の通り、開発時によく使うツールを十徳ナイフのようにまとめたアプリとなっています。 JSONの整形とかエンコードデコードetc... プログラミングや保守運用の調査でやりがちな作業をいちいち変換サイトを探したり、エディター拡張機

TeamとBusinessはプランによって１セッションリプレイあたりの料金に変わりはないものの、支払い方式や総セッションリプレイ数によって変動する仕組みとなっています。 今回は、セッションリプレイのコストを大幅に抑えた設定や運用方法の紹介をしたいと思います。 削減しようとした背景 私が携わっているプロジェクトが他のプロジェクトより100倍セッションリプレイが送信されている報告を受け調査してみると、期待通りの使用量でないことがわかりました。月々のコストも嵩んでいることから早急に設定や運用を見直すことにしました。 原因 結論から言うと、デバッグ目的でSentryに送信していたアプリケーションログと一緒に意図せずセッションリプレイが送られていたことが原因でした。 過剰に送られている原因としては、上記の送信していたエラーは（業務影響はないが）ユーザー側で高頻度で起こるものであったことと、エラーの際

はじめまして。ナレッジセンスの門脇です。生成AIやRAGシステムを活用したサービスを開発しています。本記事では、RAGの性能を高める手法である「HippoRAG」について、ざっくり理解します。 この記事は何 この記事は、RAGの新手法として最近注目されている「HippoRAG」の論文[1]について、日本語で簡単にまとめたものです。 「そもそもRAGとは？」については、知っている前提で進みます。確認する場合は以下の記事もご参考下さい。 本題 ざっくりサマリー HippoRAGは、RAGの性能を高めるための新しい手法です。オハイオ州立大学の研究者らによって2024年5月に提案されました。HippoRAGを使うメリットは、複数の知識を組み合わせて回答する必要があるような、複雑な質問に強くなることです。HippoRAGが従来のRAGに比べて、複雑な質問に強い理由は、ナレッジグラフと、それを継続的に

現場で重宝するSQLリファレンス。ソフトウェア開発の現場では、「SQLの構文をすぐに確認したい」「データベースによって異なるSQLの書き方を知りたい」「久しぶりにSQLを使うので簡単に復習したい」といったことがよくあります。本書では、仕事でSQLを利用しているプロの開発者を対象に、主要な5つのデータベース――MySQL、SQL Server、Oracle、PostgreSQL、SQLite――で使われるSQLの構文およびデータベースの基本を簡潔に解説します。PythonやRからSQLを利用する方法も解説しているので、データアナリストやデータサイエンティストなど、開発者以外のSQLユーザーにも有用でしょう。 まえがき 1章　SQL速修講座 1.1　データベースとは何か？ 1.1.1　SQL 1.1.2　NoSQL 1.1.3　データベース管理システム（DBMS） 1.2　SQLクエリーとは何

こんにちは。LINE Plus（韓国にある、LINEヤフー株式会社の子会社）のRedisチームでDBA業務を担当しているJeonghoon Kimです。私たちのチームはその名の通り、代表的なキーバリューストア（key-value store）Redisを研究し、社内に導入しています。また、国や法人を問わずに独自で運営しているサービスを除く、LINE関連サービスで使用されるすべてのRedisに対して技術サポートを担当しています。 その間、新しいサービスが生まれ、既存のサービスも成長してRedisの規模も徐々に大きくなってきました。この記事では、2023年の1年間、大規模なRedisを運用してきた私たちのチームの経験についてお伝えしたいと思います。まず、私たちが運用しているRedisのおおよその規模と、HA（high availability）をどのように構成したかを簡単に説明し、クラウドリソ

お知らせ 2024年9月1日よりconnpassサービスサイトへのスクレイピングを禁止とし、利用規約に禁止事項として明記します。 9月1日以降のconnpassの情報取得につきましては イベントサーチAPI の利用をご検討ください。 お知らせ connpassではさらなる価値のあるデータを提供するため、イベントサーチAPIの提供方法の見直しを決定しました。2024年5月23日(木)より 「企業・法人」「コミュニティ及び個人」向けの2プランを提供開始いたします。ご利用にあたっては利用申請及び審査がございます。詳細はヘルプページをご確認ください。

仕様変更で強制ログアウト状態に 最近Amazonを開いたらいつも勝手にログアウトされている…と困っていませんか? 実はこれは過去価格の確認などができる拡張機能、Keepa – Amazon Price Trackerを入れている環境で起こる現象です。 サードパーティーCookieの扱いが変わった影響でログイン情報を保存したCookieを毎回削除するのと同じような状態になっているため、ブラウザーを立ち上げる度にAmazonにログインし直さないといけなくなっています。 この問題を解決するには、chrome://settings/ でChromeの設定を開いて「プライバシーとセキュリティ」→「サードパーティ Cookie」を開いてください。 「サードパーティ Cookie の使用が許可されているサイト」の欄にある「追加」ボタンを押して[*.]amazon.co.jpを追加すれば解決します。 米A

こんにちは。 機械学習チームにてレコメンドの改善を行っているgumigumi4fです。 この記事では、Fluentdにて収集したログをBigQueryに挿入する際に使用しているプラグインを置き換えることによって、高スループットかつ低コストを実現した話について紹介します。 背景 pixivではアクセスログやアプリケーションログ等をBigQueryに収集し、分析できるような仕組みを構築しています。 BigQueryへアクセスログを挿入する際はFluentdとそのプラグインであるfluent-plugin-bigqueryを用いて直接BigQueryへ書き込むようになっていたのですが、その際にログ欠損が起こることが問題となっていました。 ログの欠損はピークタイムで発生しており、そのピークタイムのログの流量は概ね毎秒30000logとかなり多く、実際Fluentdのworkerプロセスが1work

C言語（C++を含む）を習得したい人，ポインタを勉強したい人はgcc-14を使いましょう．難しいところは gcc-14 が丁寧に解説してくれます C言語の難しいところ 例を示します．C言語で記述された，たった６行のソースコードです int main() { int buf[10]; buf[10] = 0; return 0; } このソースコードには問題があります．初見でわかるでしょうか？ : : : 問題があるのは buf[10]=0 の部分です．C言語でやりがちなミスですが，これがバグやセキュリティホールの原因になります． C言語が難しい理由は二つあります．この手の問題を見逃しやすい点と，この手の問題を理解することが難しい点の二つです gcc 14 に解説してもらいましょう 上記の６行のソースコードをgcc14を使ってコンパイルしてみます ソースコードのファイル名は test.c と

Amazon CloudWatch Application Signals, for application monitoring (APM) is generally available Today, AWS announces the general availability of Amazon CloudWatch Application Signals, an OpenTelemetry (OTeL) compatible application performance monitoring (APM) feature in CloudWatch, that makes it easy to automatically instrument and track application performance against their most important business