AWS Observability Best Practices
Home Home Guides Data types Tools Curated recipes FAQ Contributors What is observability¶ What it is¶ Observability is the capability to continuously generate and discover actionable insights based on signals from the system under observation. In other words, observability allows users to understand a system’s state from its external output and take (corrective) action. Problem it addresses¶ Compu
高木浩光さんに訊く、個人データ保護の真髄 ——いま解き明かされる半世紀の経緯と混乱
（語り手）JILIS副理事長 高木 浩光 （聞き手）JILIS出版部 編集長 小泉 真由子 （撮影）宇壽山 貴久子 この1年、過去の海外文献を調査していたという高木浩光さん。これまでの研究の一部は情報法制レポート創刊号の特集として掲載されましたが、高木さんに言わせると「あれはまだ序の口」とのこと。本日お伺いする内容は近々高木さん自身が論文にされる予定とのことですが、まだ時間がかかりそうということで、急ぎ、インタビューとしてお話しいただくことになりました。なお、このインタビューは大変長くなっております。ぜひ、最後までお付き合いいただければと思いますが、時間のない方は、目次を参照していただき、気になるトピックからお読みください。 —— 今日は、高木さんがどうしても今すぐみなさんに伝えたいことがあるとのことで、インタビューでお話を聞くことになりました。 高木： はい、よろしくお願いします。話はと
Terraform AWS Provider Version 4がリリースされました | DevelopersIO
2022/2/11に Terraform AWS Provider Version 4がリリースされました。2/22現在、もうVersion 4.2まででています。実際に触ってみて何が変わったのか確認したいと思います。 aws_s3_bucketの大規模リファクタリング 要は「aws_s3_bucketがデカくなりすぎて大変だから、細かく分けようぜ！」ということです。 御存知の通りS3は非常に多機能です。そしてTerraformではその機能の殆どをaws_s3_bucketのattributeで設定していました。 以下はaws_s3_bucketのコード例です。 resource "aws_s3_bucket" "v3" { bucket = local.bucket_name acceleration_status = "Enabled" acl = "private" cors_rul
【保存版】オープンデータ・データセット100選 -膨大なデータを活用しよう！ | AI専門ニュースメディア AINOW
最終更新日： 2020年3月4日 AIの高まりとともにデータの大切さが再認識される今、オープンにさまざまなデータが公開され、気軽に活用できるようになっています。 オープンデータの存在は、膨大なデータから学習を行う機械学習にとって不可欠で、構築したいAIに合わせてオープンデータを選択し、活用することが必要です。 一方、オープンデータのみでは競合優位性のあるAIは構築できません。マクロなオープンデータと、独自に収集したミクロなデータを組み合わせて、独自のAIを構築していくことが重要です。 オープンデータを活用したサービスを構築する際には、サービスのUX（ユーザー体験）を高め、いかにユニークなデータを取得できるかが勝負なのでオープンデータに頼りすぎないようにしましょう。 今回、オープンデータ・データセットを6カテゴリに分類し、100個選出しました。自身のサービスやAIの構築に活かせそうなデータを
AWS ALB vs API Gateway cost
API Gateway and Application Load Balancer (ALB) are both great ways to route and serve requests from wherever your services live. Both services can be used in tandem with Lambda, EC2, Fargate, and VPCs. However, the trade offs are opaque. Most people believe that API Gateway is under powered and expensive, while ALB is really powerful and cheap. About this price comparison While both services diff
Git clone: a data-driven study on cloning behaviors
EngineeringGit clone: a data-driven study on cloning behaviors@derrickstolee recently discussed several different git clone options, but how do those options actually affect your Git performance? Which option is fastest for your client experience? Which option is fastest for your build machines?… @derrickstolee recently discussed several different git clone options, but how do those options actual
モノリス分割はこうやる！「How to break a Monolith into Microservices」を読んだ - kakakakakku blog
研修中に「マイクロサービス」の解説をしていると，たまに「モノリス分割」に関する質問が出てディスカッションをすることがある．当然ながら万能な分割アプローチはないけど，例えば DDD (Domain-driven design) などのアプローチを選択するなど，選択肢はいろいろある．そして最近「モノリス分割」に役立つアプローチを紹介した martinfowler.com の記事「How to break a Monolith into Microservices」を読んだ． 具体的には以下の「計8種類」のアプローチが紹介されている．原著を翻訳するのではなく，あくまで個人的なメモとしてまとめる．なお，日本語も個人的に載せているため，参考程度にしてもらればと！ Warm Up with a Simple and Fairly Decoupled Capability（シンプルかつ分離された機能で準
Grafana dashboard best practices | Grafana documentation
Solutions All end-to-end solutions Opinionated solutions that help you get there easier and faster
複数の Terraform state を結合する tfstate-merge を書いて20個以上の state を大統一した - 酒日記 はてな支店
あるところに、ひとつの Web サービスの本番環境が 20 個以上の Terraform state で管理されているリポジトリがありました。 おもに AWS 上で動いている、大変年代物かつ巨大なモノリスのサービスです。最初は何もコード管理されていない状態から徐々に Terraform を導入したのですが、その際に「一度に全部管理はできないから、徐々に Terraform 化していこう」という方針で管理を始めたところ… 新機能を追加するのでそのリソースを別 state で管理 改修があるのでそれらのリソースを別 state で管理 を繰り返すうちに、中に数個程度しかリソースがない state がどんどん増殖し、いつの間にやら20個以上になってしまったという状態です。ちなみにリソース定義は合計で 500 程度ありました。 さすがにここまで分割されてしまうと相互参照はできないし、VPC / S
CPU.fail
ZombieLoadThe ZombieLoad attack resurrects your private browsing-history and other sensitive data. It allows to leak information from other applications, the operating system, virtual machines in the cloud and trusted execution environments. RIDLThe RIDL attack allows to leak information across various security domains from different buffers, such as line-fill buffers and load ports, inside Intel
Lambda + Python3.7のログをJSON形式で出力してみる（行ごとに分割されない形で） | DevelopersIO
どうも！大阪オフィスの西村祐二です。 LambdaのログはCloudWatch Logsに出力されますが、別のサービスで参照するときや見やすくするためにJSON形式で出力したいときってあると思います。 簡単にできると思ったら少しハマってしまったので、ブログにしておきます。 はじめ、下記ブログを参考にloggingを使ったのですが、ログが行毎に分割されてしまいました。 【小ネタ】AWS Lambdaで複数行のログを送るときの挙動を調べてみた 環境 Python 3.7 最終的なコード 最終的なコードは下記のようなコードになりました。見せ方の関係で一つのファイルに記載していますが、別ファイルから呼び出すなどして使いやすくしてください。 下記リンク先を大いに参考させていただきました。 https://stackoverflow.com/questions/50233013/aws-lambda-
studybyyourself » SQL Course
This course is intended for anyone with an interest in SQL. No prerequisites are needed. First, we are going to cover the concepts of entity, database schema, table, record, attribute, primary key, association, foreign key and data type. Second, we’ll see how to retrieve stored data from a database. For the latter, we need to make use of SQL queries. A database is an organized set of data. Those d
October 21 post-incident analysis | The GitHub Blog
EngineeringProductOctober 21 post-incident analysisIn-depth analysis of the incident that impacted GitHub services on October 21 and 22. Last week, GitHub experienced an incident that resulted in degraded service for 24 hours and 11 minutes. While portions of our platform were not affected by this incident, multiple internal systems were affected which resulted in our displaying of information tha
大規模環境向けパケット解析ツール「Moloch」を使ってみる | さくらのナレッジ
オープンソースのパケット監視ツールとしてはWiresharkが有名だが、常時パケットを収集して異常を検出する、といった用途にはWiresharkはあまり適していない。そこで今回は、大規模なネットワークパケット監視向けに開発されているパケット収集・分析ツール「Moloch」を紹介する。 常時パケットをキャプチャして分析する用途に向いている「Moloch」 ソフトウェアが外部とどのような通信を行っているのかを調べたり、不正な通信が行われていないかといった調査を行ったりする際には、ネットワークに流れるパケットを取得・記録して分析できるパケットキャプチャツールが利用される。パケットキャプチャツールとして有名なものとしては、以前にも紹介したWiresharkやtcpdumpなどがある。 Wiresharkやtcpdumpは指定したネットワークインターフェイスが受信したパケットを表示したり保存したりで
SION, a data serialization format a little more expressive than JSON - Qiita
SIONというシリアライゼーションフォーマットを提案します。Swiftによるレファランス実装はこちら。 https://github.com/dankogai/swift-sion SIONという名前は Swift Interchangeable Object Notation からとりました。名前の通りSwiftのリテラルが元になっています。以下はSIONで表現されたデータの一例です。 [ "array" : [ nil, true, 1, // Int in decimal 1.0, // Double in decimal "one", [1], ["one" : 1.0] ], "bool" : true, "data" : .Data("R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7"), "date" : .Da
EU一般データ保護規則(GDPR)への対応に向けたやるべき事まとめ – 週休７日で働きたい
EUの個人情報保護に関する新しい法律(General Data Protection Regulation)が2018年5月25日から施行される。EUの居住者に対してサービスを提供していて個人情報を取り扱っている業者は、たとえ個人であろうとも遵守義務が課せられる。 最近多くのサービスがプライバシーポリシーの改定を行っているのはそのためである。個人で作っている自分のサービスにもEUのユーザが沢山いるので、そろそろ対応しなければならない(遅い)。 今回はEUの法律によるものだが、内容は至極真っ当な、客観的に見れば当たり前のルールだ。将来的には事実上のデファクトとなり、アメリカや日本もこの法律に倣うのは時間の問題だろう。だから「日本人向けのサービスだから大丈夫」とほったらかしにしている業者は後々痛い目に遭うだろう。 Twitter社がパスワードをログに記録していた件は記憶に新しいが、今これが公に
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
[社内勉強会]ELBとALBと数万スパイク負荷テスト![[社内勉強会]ELBとALBと数万スパイク負荷テスト](https://cdn-ak-scissors.b.st-hatena.com/image/square/2d66722d28b188f243f0cd881f7598f699791ab1/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2Felbalb-160822022623-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)
総務省「インターネットトラヒック研究会」資料
Atomic Architecture
GitHub - cube2222/octosql: OctoSQL is a query tool that allows you to join, analyse and transform data from multiple databases and file formats using SQL.
