AWS Glue を使用した個人情報の検出・マスキング・編集および Amazon OpenSearch Service へのロード | Amazon Web Services
ユースケース: OpenSearch Service への読み込み前の個人情報バッチ検出 このアーキテクチャを実装しているお客様は、さまざまな分析を大規模に実行するために、Amazon S3 上にデータレイクを構築しています。このソリューションは、OpenSearch Service へのリアルタイム取り込みが不要で、スケジュールで実行される、またはイベントによってトリガーされるデータインテグレーションツールを使用することを計画しているお客様に適しています。 Amazon S3 にデータレコードが到着する前に、データレイクにすべてのデータストリームを信頼できる形で安全に取り込むための取り込みレイヤーを実装します。 Kinesis Data Streams は、構造化および半構造化データストリームの高速な取り込みのための取り込みレイヤーとして導入されます。これらの例としては、リレーショナルデ
アラート対応やSLI/SLO、エラーバジェットの運用を学ぼう (2024/01/30 19:00〜)
アラート対応やSLI/SLO、エラーバジェットの運用を学ぼう！ 今回は「チームとコミュニティで監視を育てる」をテーマに、SREのはじめ方やシステムの信頼性、SLI/SLO、エラーバジェットの運用方法、アラート対応などが学べるトークやパネルディスカッションをお届けしたMackerel Meetup #15をふりかえるコンテンツをご用意しています。奮ってご参加ください！ 下記の開催レポートを事前にお読みいただいた上でご参加いただくとよりお楽しみいただけます（一部を抜粋します） 【開催レポート】チームとコミュニティで監視を育てる 〜Mackerel Meetup #15 Tokyoを開催しました！ 話題は、アラートが来たときのアプローチ、SREを立ち上げるにあたって会社の理解を得るヒント、障害対応のノウハウや経験、エラーバジェットが余っている状況への向き合い方、バッチシステムへのSLI/SLO適
「レイヤードアーキテクチャパターン」の長所と短所
コード構造を設計するときは、ソフトウェアスタック内で機能を分離する方法を検討すると役立つことがしばしばある。その方法の一つとして、アプリケーションのレイヤーをその上下に存在する他のレイヤーから抽象化することが挙げられる。これは、「レイヤードアーキテクチャパターン」と呼ばれることが多いアプローチだ。 レイヤードアーキテクチャパターンはどのように機能するのか レイヤードアーキテクチャの各レイヤーは、特定のアプリケーションまたはビジネス目標に合わせて設計される。そのため、レイヤーとレイヤーが管理する機能の間には、明確な抽象化が存在する。例えば、アプリケーションは、ユーザービューをレンダリングするレイヤー、Web APIへの応答を中継するレイヤーおよびファイルシステムまたはデータベースへのデータの保存を担当するレイヤーを維持しているかもしれない。 関連記事 開発者が注意すべき「マイクロサービスの問
｢頭がいい人｣の頭の中を再現! ChatGPT活用法
ChatGPTはいまだに、単なる作業代替ツールと捉えられがちだ。 しかし、これはChatGPTの真の能力を過小評価している。ChatGPTの最大のメリットは、実は「認知限界の拡張」にある。 ChatGPTの本質は「認知拡張」にある 読者の中には、脳の「ワーキングメモリ」という概念をご存じの方もいるだろう。ワーキングメモリは、新しい情報を一時的に保持し、処理する脳の能力を指す。 心理学者のジョージ・A・ミラーは、彼の著名な論文「魔法の数字7±2」で、人間が一度に処理できる情報の単位（チャンク）の数は約7つと提唱した。これがワーキングメモリの容量の限界を示すものとされている。 認知心理学の研究によれば、この限界を超えると、情報の処理と保持が困難になり、思考や判断の効率が低下する。 複雑な問題の解決や難しい意思決定をする際には、多くの要素を考慮しなければならない。しかし、情報過多になると思考が停
ヘルスケアデータをGrafanaで見たくない…？〜健康 Reliability Engineering〜
はじめに まずはこちらをご覧ください。 これは私のApple Watchで計測されたヘルスケアデータです。Apple Watchをつけていると、心拍数や歩数、睡眠時間などのデータが自動的にiPhone内に記録されます。 SREなら健康を維持するためにもSLIとSLOを設定して可視化するべきですよね？ SREなら健康エラーバジェットが無くなりそうだったら「今すぐ寝ましょう！」と架電が来て欲しいですよね？ 普通にやるとiOSアプリを用いて直接ヘルスケアデータを確認することになりますが、Web系のSRE的なエンジニアとしてはやはり業界標準の技術で可視化したいところです。 また、iOSアプリを開発するのは専門知識が必要となり非常に骨が折れる作業です。そもそもMacがないとできないですし。 そこで、今回は Apple Watchのヘルスケアデータを 全自動で良い感じにデータベースに保存し Grafa
完全未経験が半年で個人サービスをリリースした話 - Qiita
はじめに この度、転職とスキル向上を目的に個人サービス(Football League)をリリースしました。 ITに関する学習は約1年ほど、その内の半年でサービスの開発をしました！ まだまだ修正箇所はあるものの、ひとまず形にはなったのでサービスの使用技術や開発過程を共有したいと思います。 私自身、独学で学習してきたのでそういった方々にとって少しでも参考になれば幸いです。 自己紹介 商業高校卒(サッカー部⚽️) 25歳 青森住み🍏 職業はトマト農家です🍅 どのようなサービスか 本サービスは、欧州5大リーグのサッカーの試合結果やチーム情報などを閲覧することができるWebサイトです。 ただ情報を閲覧できるだけでは面白みがないので、お気に入りのチームやリーグを追加することもできます。 なぜ作ろうと思ったか 私自身、小学生の頃から社会人になった現在までサッカーをやっています。 サッカーだけではな
｢頭がいい人｣の頭の中を再現! ChatGPT活用法
ChatGPTはいまだに、単なる作業代替ツールと捉えられがちだ。 しかし、これはChatGPTの真の能力を過小評価している。ChatGPTの最大のメリットは、実は「認知限界の拡張」にある。 ChatGPTの本質は「認知拡張」にある 読者の中には、脳の「ワーキングメモリ」という概念をご存じの方もいるだろう。ワーキングメモリは、新しい情報を一時的に保持し、処理する脳の能力を指す。 心理学者のジョージ・A・ミラーは、彼の著名な論文「魔法の数字7±2」で、人間が一度に処理できる情報の単位（チャンク）の数は約7つと提唱した。これがワーキングメモリの容量の限界を示すものとされている。 認知心理学の研究によれば、この限界を超えると、情報の処理と保持が困難になり、思考や判断の効率が低下する。 複雑な問題の解決や難しい意思決定をする際には、多くの要素を考慮しなければならない。しかし、情報過多になると思考が停
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
