このエントリは、2018年、2019年に公開したAWS全サービスまとめの2020年版です。これまではいくつかに分割して公開していましたが、1エントリにまとめてほしいという要望をもらっていたため、今年は1エントリに集約してみました。 こんにちは。サービスグループの武田です。 このエントリは、2018年、2019年に公開した AWS全サービスまとめの2020年版 です。これまではいくつかに分割して公開していましたが、1エントリにまとめてほしいという要望をもらっていたため、今年は1エントリに集約してみました。どちらがいいのか正直わからないので、フィードバックなどあれば参考にさせていただきます。 2020-01-08 リクエストがあったためAmazon Mechanical Turkを追加。 2018年まとめ 【2018年】AWS全サービスまとめ その1（コンピューティング、ストレージ、データベー
こんにちは、いちび( @itiB_S144 )です。 2021年12月25日にWindowsイベントログ解析ツールとして「Hayabusa」がリリースされました🎉 Hayabusaは事前に作成したルールに則ってWindowsイベントログを調査し、インシデントや何かしらのイベントが発生していないか高速に検知することができるツールです。 私も開発を微力ながらお手伝いさせていただきました。 本記事では多くの方にHayabusaを触っていただきたいため、簡単な使い方を紹介していきます。 We just released two Windows event log analysis tools: Hayabusa and WELA: https://t.co/nFHxSgUl2q #yamasec— Yamato Security Tools (@SecurityYamato) 2021年12月2
組み込み端末のアプリケーションに Electron を採用し開発・運用を行っています。 継続的な機能追加やトラブルサポートを行いながら 3 年が経過したので、Electron を採用した経緯や結果を経験を交えながら共有したいと思います。 組み込み案件自体が初めてでしたのでその話も入っています。 約 700 台ほど導入されており、なかなか大きな案件での採用と思いますので参考になれば幸いです。 ※Electron の基本的な説明は割愛します。 システムについて 一般的に「受付精算機」などと呼ばれ、店頭に何台か並べて設置して自動で受付・精算を行うシステムです。 ホテルの受付端末のイメージです。ハード的にはセルフレジにも近いです。 筐体自体は他社が用意し、弊社はその上に載せる GUI アプリケーションのみを担当しました。 機能 主な機能として 来店受付・整理券発行 予約チェックイン チェックアウト
独学で個人開発を始めて5年が経ちました。これまでには収益化に成功したサービスもあれば、鳴かず飛ばずでお蔵入りになったサービスも数多くあります。それらの経験から、成功したサービスはなぜ上手くいったのか、マーケティングや収益化において押さえておくべきことは何か、その要点が少しずつ見えるようになりました。 今回は私が開発〜集客〜収益化を行うプロセスと、各工程で気をつけているポイントを順を追って書き出してみます。上手く言語化できているか分かりませんが、暖かい目でお付き合いください。 収益化した3つのサービス 私はこれまでにWebサービスを20個以上開発しており、現在はポモドーロタイマー（月間100万ユーザー）やYouTubeのループ再生ツール（月間10万ユーザー）などを運営し、そこからの収入で生活しています。 基本は海外向けのBtoCで、以下のようなツール系が中心です： 収益化済みサービス： Po
こんにちは。サービスグループの武田です。このエントリは、2018年から公開しているAWS全サービスまとめの2021年版です。 こんにちは。サービスグループの武田です。 このエントリは、2018年から毎年公開している AWS全サービスまとめの2021年版 です。昨年までのものは次のリンクからたどってください。 AWSにはたくさんのサービスがありますが、「結局このサービスってなんなの？」という疑問を自分なりに理解するためにまとめました。 今回もマネジメントコンソールを開き、「サービス」の一覧をもとに一覧化しました。そのため、プレビュー版など一覧に載っていないサービスは含まれていません。また2020年にまとめたもののアップデート版ということで、新しくカテゴリに追加されたサービスには[New]、文章を更新したものには[Update]を付けました。ちなみにサービス数は 205個 です。 まとめるにあ
すぐに役に立つものはすぐに陳腐化してしまうから方法ではなく設計の本を読む - API Design Patterns の読書感想文 - じゃあ、おうちで学べる
あなたがさっきまで読んでいた技術的に役立つ記事は、10年後も使えるでしょうか？ほとんどの場合でいいえ はじめに 短期的に効果的な手法や知識は、ソフトウェア開発の分野において、急速に価値を失う傾向があります。この現象は、私たちが何を重点的に学ぶべきかを示唆しています。最も重要なのは、第一に基本的な原理・原則、そして第二に方法論です。特定の状況にのみ適用可能な知識や即座に結果を出すテクニックは、長期的には有用性を失う可能性が高いです。これは、技術や手法が時間とともに進化し、変化していくためです。 learning.oreilly.com 「API Design Patterns」は、このような考え方を体現した書籍です。しかも480 ページもあります。本書は単なる手法の列挙ではなく、Web APIデザインの根幹をなす原則と哲学を探求しています。著者のJJ Geewax氏は、APIを「コンピュータ
ログ・モニタリングのやること AWS CloudTrail の設定 CloudTrail は AWS リソースに関して「誰が」「いつ」「何に」対して「どうような」操作をしたのかのイベントを記録するサービスです。イベント履歴から 90 日間分のイベントを確認することはできますが、イベントログの長期保管の設定（証跡の作成を行い、S3 に保管）をしておくことで、トラブル発生時の解析やインシデント発生時の調査などに利用できます。 有料です（無料利用枠もあります）。 [YouTube] AWS CloudTrail を触ってみた CloudTrail Insights イベントを利用することで、機械学習により異常なアクティビティを検出することもできます。通常の操作で検出されることがあるため、始めに試してみて、あまり活用しないようであれば無効化を検討でも良いと思います。 イベントログは S3 と Cl
歴史・年表でみるAWS全サービス一覧 －アナウンス日、General Availability(GA)、AWSサービス概要のまとめ－ - NRIネットコムBlog
小西秀和です。 Amazon Web Services(AWS)に関する情報や魅力を様々な観点から記事にしてみていますが、技術史が好きなこともあって今回はAWSサービスの発表の歴史を年表でまとめました。 AWSからもWhat's Newとして公式アナウンスは発表されていますが、アナウンス日、GA日(一般提供開始日)、サービス名、サービス概要といった情報に圧縮して時系列でAWSサービス一覧を一枚もので確認できる記事が今まで欲しかったので自分で作成してみることにしました。 AWS全サービスの歴史年表の作成方法 AWS全サービスの歴史年表の対象となるAWSサービスは次の手順で選定しました。 AWSサービス・製品一覧「Cloud Products(英語版)」にあるサービスのうち「～ on AWS」といったサードパーティー製品がメインとなるサービスを除いたリストを作成 AWSサービス・製品一覧に記載
この記事はPySpa Advent Calendar 2021の14日目のエントリーとして書かれました。昨日のエントリーは冷凍食品でウキウキ引きこもり生活 でした。ちなみに私も70ℓの冷凍庫を購入しましたが本当にライフチェンジングでした。 総論: なぜログが必要か 可観測性 たとえ目的は自明でも、その動作までが自明なアプリケーションというものはほぼ存在しません。現実の世界のアプリケーションというものは、動作パラメータだったり実行環境だったり、起動時点でのさまざまな要因によって挙動を変えるものだからです。そして、そうしたアプリケーションにはライフサイクルというものがあります。ここでいうライフサイクルは、アプリケーションの処理が実行されるにつれ、アプリケーションの内外との情報のやりとりで生じる大局的な状態の変化のことです。アプリケーションが並行処理を行うようなものであれば、個々の並行処理の単位
セキュリティ研究者のJonas L(@jonasLyk)氏が、たった1行でNTFS形式のストレージを破壊させうるコマンドの存在を明らかにしました。Jonas氏とIT系ニュースサイトBleeping Computerの調査の結果、このコマンドを利用した「見ただけでストレージが壊れるショートカット」も確認されています。 Windows 10 bug corrupts your hard drive on seeing this file's icon https://www.bleepingcomputer.com/news/security/windows-10-bug-corrupts-your-hard-drive-on-seeing-this-files-icon/ 問題のコマンドが以下。以下は報道のために記載しているもので、実際にコマンドプロンプトから実行するとストレージが破損してア
Railsで秒間1000コミットを捌くにはどうすればいいのか (Kaigi on Railsのフリースペースより) - joker1007’s diary
先日のKaigi on Rails中の雑談として @ima1zumi さんから、RDBに対して秒間1000コミットぐらいで処理が詰まってる場合ってどうするのが良いのか、という質問を受けまして、雑談の中で色々答えてたんですが、せっかくだから記事にまとめておこうと思います。 ちょっとしたKaigi Effectって感じですね。 今回のKaigi on Railsのトークの中では、 数十億のレコードを持つ5年目サービスの設計と障害解決 by KNR - Kaigi on Rails 2023 の話なんかは割と関連がありますね。ユーザーの行動履歴というのは、ユーザー数 * N * タイムスパンで増えていくレコードなので、書き込みとデータ量が爆発しがちです。トランザクションで堅牢に処理しなければいけないケースもそこまで多くないので、RDBだと書き込みに対する処理が過剰なケースが多い。実際のところこの
こんにちは。サービスグループの武田です。このエントリは、2018年から公開しているAWS全サービスまとめの2022年版です。 こんにちは。サービスグループの武田です。 このエントリは、2018年から毎年公開している AWS全サービスまとめの2022年版 です。昨年までのものは次のリンクからたどってください。 AWSにはたくさんのサービスがありますが、「結局このサービスってなんなの？」という疑問を自分なりに理解するためにまとめました。 今回もマネジメントコンソールを開き、「サービス」の一覧をもとに一覧化しました。そのため、プレビュー版など一覧に載っていないサービスは含まれていません。また2021年にまとめたもののアップデート版ということで、新しくカテゴリに追加されたサービスには[New]、文章を更新したものには[Update]を付けました。ちなみにサービス数は 223個 です。 まとめるにあ
2020年6月9日、ホンダがサイバー攻撃を受け工場稼働に影響が及ぶシステム障害が発生したと複数のメディアが報じました。ここでは関連する情報をまとめます。 PC動かず休暇取得呼びかけ サイバー攻撃によりホンダへ生じた影響は以下の通り。（6月10日時点） 社内ネットワーク ・メール送信やファイルサーバーへの接続ができない状況が発生。 ・9日もメール使用不可の状態継続のためPC使用制限を実施。(10日までに制限解除) ・間接部門社員はPC使用できないため6月9日当日は有給休暇の取得を呼び掛け。*1 ・社内サーバーに接続するPCを中心にマルウェア感染が確認されている。社内サーバーにはマルウェアをばらまくプログラムが仕掛けられており、この対応に約2日を要した。*2 ・対策として多くのPC初期化を実施、一部データを損失。*3 国内工場 完成車出荷前検査システム障害により次の2工場での出荷が一時停止。
Sophosは8月22日(英国時間)、「Qilin ransomware caught stealing credentials stored in Google Chrome – Sophos News」において、ランサムウェア「Qilin」による侵害を調査する中で、Google Chromeに保存された認証情報を大量に窃取する攻撃を確認したと伝えた。2024年7月に確認されたこの事案では、Active Directoryのドメインコントローラからグループポリシーオブジェクト(GPO: Group Policy Object)を使用して悪意のあるスクリプトをドメイン参加端末すべてに配布して実行したとされる。 Qilin ransomware caught stealing credentials stored in Google Chrome – Sophos News 侵害経路 初期ア
JPCERT/CCは、Internet Week 2016 ~ 2019にて「インシデント対応ハンズオン」と題し、標的型攻撃を受けた際のセキュリティインシデント（以下、インシデント）調査手法に関するハンズオンを行ってきました。受講者の方から高く評価していただいていた「インシデント対応ハンズオン」ですが、公開の要望が多かったため、この度、GitHub上でコンテンツを公開することとしました。コンテンツは以下のURLから確認できます。 Log Analysis Training https://jpcertcc.github.io/log-analysis-training 本コンテンツは実際の標的型攻撃の事例をもとに作成しており、攻撃者のネットワーク侵入時にどのような痕跡がログに残るか、また、侵入の痕跡を発見するためにどのようなログ取得設定が必要か、をシナリオに沿って理解できる内容になっていま
ドメインコントローラーがのっとられる脆弱性 Zerologon（CVE-2020-1472）についてまとめてみた - piyolog
2020年8月に修正された脆弱性 CVE-2020-1472はドメインコントローラーが使用するNetlogon リモートプロトコルに欠陥が見つかったもので、その内容からZerologonとも呼称されています。Microsoftをはじめ、セキュリティ組織は深刻な脆弱性であることから早急な対応を行う様呼び掛けています。ここでは関連する情報をまとめます。 Zerologonって何？ Windows が実装する Netlogon リモートプロトコル （MS-NRPC）に発見された脆弱性の名前。 脆弱性悪用を通じてパスワードが変更されドメイン管理者権限の取得が行われる恐れあり。 9月11日に技術情報と実証コードが公開され、9月24日には攻撃に悪用されたとMicrosoftが注意喚起。 8月12日に脆弱性に対応するセキュリティ更新プログラムが公開済。非Winデバイス互換性への考慮から2段階に分け対応が
tl;dr オブザーバビリティにはあなたの直感よりもお金がかかるかもしれない。でもそれはアジリティを上げるために必要なコストである。同時にオブザーバビリティ関連ベンダーには、それらをリーズナブルに提供してもらうことを期待します。 オブザーバビリティ・エンジニアリング輪読会 8月からVPoEになりました。id:Songmuです。 社内の勉強会で輪読形式でオブザーバービリティ・エンジニアリングを読んでいます。毎週30分、参加者の中から発表者を割り当て、1~2章を読み進めるスタイルです。 ちなみに、ヘンリーではActive Book Dialogue(ADB)というフォーマットも取り入れて輪読会が運営されています。社内で同時並行で数本走っており、先日、CEOの逆瀬川が書いたソフトウェア見積もりに関する輪読会も同様の形式で実施しています。 発表者は、事前に社内のNotionにその章のアウトラインや
公開日 2024/09/12更新日 2024/09/13データアーキテクチャ特集 データ利活用を推進する8社の技術選定 毎回ご好評頂いているアーキテクチャ特集の今回のテーマは、データ分析基盤です。 データ活用に特に力を入れている日本のIT企業8社にご協力頂き、それぞれの技術選定の裏側と今後の展望についてご寄稿頂きました。 ※ご紹介は企業名のアルファベット順となっております 株式会社朝日新聞社 アーキテクチャ選択の背景や意図 これまでは、朝日新聞デジタル（朝デジ）のサービス開発・運用において、データを収集する基盤が存在せず業務ごとに Adobe Analytics や AWS QuickSight、 内製のツールなど様々なBIツールが乱立している状態でした。そこで、複数のシステムのデータソースを統合的に可視化・分析を可能にするために、分析基盤の構築に着手しました。 まず、データを集積・加工す
デジタル時代の企業にとって、システムの安定稼働と迅速な問題解決は、競争力を維持するための重要な要素です。21社にご寄稿頂いた「Amazon CloudWatch」「Datadog」「Grafana」「New Relic」「Prometheus」「Sentry」「Splunk」の各ツールレビュー記事を参照・抜粋し、それぞれの企業がどのようにシステムの健全性を確保し、未来の課題に備えているのかをアーキテクチャを通してご紹介します。 ※ツール名・ご寄稿企業名共にアルファベット順で掲載しております Amazon CloudWatchAWS CloudWatchは、AWSのクラウドリソースとアプリケーションの監視と管理を行うためのサービスです。メトリックス、ログ、イベントなどを収集、追跡し、可視化することで、システム全体の状態を把握し、問題の早期発見と解決をサポートします。 ▼Amazon Clou
こんにちは、SRE部MA基盤チームの谷口（case-k）です。私達のチームでは、データ連携基盤の開発・運用をしています。 データ基盤には大きく分けて2種類あり、日次でデータ連携してるものとリアルタイムにデータ連携しているものがあります。本記事ではリアルタイムデータ連携基盤についてご紹介します。 既存のデータ連携基盤の紹介 リアルタイムデータ連携基盤の紹介 なぜ必要なのか 活用事例の紹介 データ連携の仕組みと課題 リプレイス後のリアルタイムデータ連携基盤 SQL Serverの差分データの取り方を検討 アーキテクチャ概要と処理の流れ Fluentdのプラグインを使った差分データの取得 Dataflowでメッセージの重複を排除 Dataflowで動的にBigQueryの各テーブルに出力 Pub/Subのメッセージ管理 イベントログ収集基盤 個人情報の取り扱い ビルド・デプロイ戦略 監視 データ
詳解 インシデントレスポンス
インシデント対応には、様々な専門分野の知識が必要です。優れたインシデント対応担当者は、ログ分析、メモリフォレンジック、ディスクフォレンジック、マルウェア解析、ネットワークセキュリティ監視、スクリプトやコマンドライン技術などに精通している必要があり、様々な分野のトレーニングを継続的に受ける必要があります。 本書は、セキュリティ侵害を試みる攻撃者の活動に対し、日常的に予防・検知・対応を行う実務家によって書かれた、実務家のための書籍です。それぞれの専門分野のエッセンスを凝縮し、読者の環境ですぐに応用できるインシデント対応の効果的な技術を紹介します。侵害や情報漏洩がより速いペースで発生し、これまでとは異なる動的なアプローチを必要とする現代の脅威に合わせた最新技術を解説していきます。インシデント対応の理解を深めたいIT専門家、初めてインシデント対応を学ぶ学生、クイックリファレンスガイドを探しているセ
Amazon ECS タスクのイベントとログを時系列で出す tracer を作った - KAYAC engineers' blog
SREチームの藤原です。KAYAC Advent Calendar 2021 4日目の記事です。 早速ですが Amazon ECS をお使いの皆様、何か新しく起動したい ECS タスクがあって、タスク定義を書き起こして(もしくはマネージメントコンソールで定義して)、一発で起動に成功できますか？？ ……なかなかこれが難しいんですよね。 ということで、とある ECS タスクに関連するイベントとログを全部時系列で出力するツールを書きました。どうぞご利用ください。 github.com 以下はそこに至るまでの背景です。 ECS タスクが立たない。なぜだ！ 自分は Amazon ECS を業務で使い始めて早4年になります。新規プロダクトはもちろん、かつて EC2 で動いていたワークロードもほぼ全て ECS に移行しました。 ECS デプロイツール ecspresso の開発者でもあるため、日々機能ア
Microsoftセキュリティチーム、「Azure」で仮想マシンを保護するためのベストプラクティスを紹介
Microsoftのセキュリティインシデントレスポンスチームは2020年10月7日（米国時間）、クラウドセキュリティに関するベストプラクティスを紹介した。 Microsoftの検知／対応チーム（DART）とカスタマーサービスサポート（CSS）のセキュリティチームはユーザーのインシデントを調査する際、インターネットから攻撃を受けた仮想マシン（VM）を目にすることが多いのだという。 クラウドセキュリティの責任共有モデルでは、クラウドプロバイダーとユーザーがどのレイヤーに責任を持つのか理解しておく必要がある。 今回のベストプラクティスでは、クラウドプロバイダーと顧客の責任共有モデルが適用される対象の1つとしてVMを取り上げ、「Microsoft Azure」でVMを含むワークロードを保護するための7つの手法を紹介した。 （1）Azure DefenderのAzureセキュリティスコアをガイドとし
SendGridでメールを配信するまでに知っておきたいことをまとめてみた - SMARTCAMP Engineer Blog
こんにちは、スマートキャンプでBiscuetを開発している井上です。 今回はSendGridでメール配信をするときにやったこと、知っておきたいことなどをまとめてみました！ SendGridとは? SendGridでメールを配信する理由 メールに必要な機能が充実している 送信実績 日本語ドキュメントの充実感 料金プランについて検討する 共有IPと固定IPの違い 共有IPの場合 固定IPの場合 共有IPと固定IPでの作業の違い IPを育てる なぜ, IPを育てる必要があるのか？ レピュテーションとは？ IPウォームアップ とは？ IPウォームアップのやり方 レピュテーションを維持するための宛先のクリーニング 宛先のクリーニングとは？ 宛先のクリーニング対応方法 SendGrid側でやってくれる対応 オプトアウトの対応をする オプトアウトとは？ SendGridのオプトアウト機能 メールイベント
シンジです。情報セキュリティの方針として参考にされることの多い「情報セキュリティ10大脅威2021」がIPAから発表されました。情報セキュリティの脅威や被害は時代背景をうつしたものが多く、パンデミックによる影響も見て取れます。そんな時代に最適解のゼロトラストアーキテクチャで、ランキングの大半がゼロトラストによってカバーできることを具体的に説明します。 ざっくり書くと、こうです。 その前にゼロトラストアーキテクチャを理解しよう シンジ自体はパンデミックよりも前から会社まで作ってこのアーキテクチャを実践してきたので、最近では数少ないゼロトラスト警察のひとりとして、ネットニュースや各所のWebサイト、オンラインイベントで「ゼロトラスト」の単語が出るもののほぼ全てを確認してきましたが、基本的に「わかってない」ので、改めておさらいしておきましょう。 情報セキュリティを実践する＝IT環境をシンプルにす
AWS 上で大規模な GitHub Actions のセルフホステッドランナーを使用する際のベストプラクティス | Amazon Web Services
Amazon Web Services ブログ AWS 上で大規模な GitHub Actions のセルフホステッドランナーを使用する際のベストプラクティス 注記: お客様は自身の GitHub ランナーを管理する必要がなくなりました。AWS CodeBuild を使用すると、管理された GitHub Actions セルフホストランナーを利用できるようになり、強力なセキュリティ境界と低い起動レイテンシーを備えた一時的でスケーラブルなランナー環境を提供します。CodeBuild を使えば、独自のインフラストラクチャを維持したり、スケーリングロジックを構築する必要がありません。すべてが CodeBuild によって完全に管理されます。開始するには、単に Webhook を作成して、CodeBuild で GitHub Actions ジョブを自動的にトリガーするだけです。 概要 GitHu
はじめに ZOZO研究所ディレクターの松谷です。 ZOZO研究所では、イェール大学の成田悠輔氏、東京工業大学の齋藤優太氏らとの共同プロジェクトとして機械学習に基づいて作られた意思決定の性能をオフライン評価するためのOff-Policy Evaluation（OPE）に関する共同研究とバンディットアルゴリズムの社会実装に取り組んでいます（共同研究に関するプレスリリース）。また取り組みの一環としてOPEの研究に適した大規模データセット（Open Bandit Dataset）とOSS（Open Bandit Pipeline）を公開しています。これらのオープンリソースの詳細は、こちらのブログ記事にまとめています。 techblog.zozo.com 本記事では、ZOZO研究所で社会実装を行ったバンディットアルゴリズムを活用した推薦システムの構成について解説します。バンディットアルゴリズムを用い
はじめに 皆様、はじめまして。Findyでプロダクト開発部/SREとしてジョインしました安達（@adachin0817）と申します。今年の6月に入社し、ちょうど3ヶ月が経ちました。本日は、SREチームの立ち上げに関する0から1のプロセスと、今期の取り組みについてご紹介させていただきたいと思います。 SREチーム発足 2023年までは、バックエンドチームがインフラを担当していました。しかし、サービスの拡大に伴い、バックエンドチームのリソースが不足し、SRE的な改善が十分に行えない状況が続いていました。そこで、昨年からSREの大矢とチームリーダーの下司（@gessy0129）がジョインし、現在は3名体制で活動しております。 SREチームの位置づけとミッション SREチームは横断的なSRE活動をしており、これを「横断SRE」と指しています。一方で、各プロダクトにおいてSRE的な役割を担っていたメ
マイクロサービスのための分散データ 〜 イベントソーシング vs チェンジデータキャプチャ - 赤帽エンジニアブログ
インテグレーションのためのミドルウェア製品のテクニカルサポートを担当している山下です。 今回は レッドハットのシニアアーキテクトである Eric Murphy さんによる「マイクロサービスのための分散データ 〜 イベントソーシング vs チェンジデータキャプチャ(CDC)」の翻訳記事です。この記事では、イベントソーシング、CDC、CDC + Outboxパターン、CQRSをそれぞれ簡単に説明しながら、それらの特性の違いを比較します。また、イベントソーシングとCQRSの簡易な説明がなされている他、あまり明確に語られることが少ないもののソフトウェアの設計に大きな影響をおよぼすドメインイベントとチェンジイベントの違いにも触れられています。 [原文] Distributed Data for Microservices — Event Sourcing vs. Change Data Captur
書き手：@takegue (分析チーム) Rettyのデータ活用の多くにはBigQueryが現在利用されており、その活用の方法についてこれまでこのブログでもいくつかとりあげさせていただきました。 engineer.retty.me そのほか分析チームの記事一覧 これらの記事はおかげさまで好評いただいております。いつもありがとうございます。 しかしながら、我々が初期からこのようにBigQueryを使い続けてきかというと、実はそうではありません。 事業の成長とともにデータ基盤を変化させてきた経緯があり、今の成果は過去のトライアンドエラーの賜物であり、数多くの苦労を背景にしてできあがっています。 ほんのつい最近まで、Rettyで構築されていたデータ基盤は表立って見える実態よりもかなり複雑なパイプラインで構成されていました（以降で触れますが、4種類のデータパイプラインが共存しているカオスな状態でし
AWS環境をセキュアにセットアップする方法と、その運用方法を詳細に紹介します。秘伝のタレである具体的な設定も書いてます。みんな真似していいよ！ こんにちは、臼田です。 みなさん、安全にAWS使えていますか？(挨拶 今日は全てのAWSユーザーが安全にAWSを活用し、セキュアに運用できるようにナレッジを大量にダンプしたいと思います。 弊社サービスに関連させて書く部分もありますが、基本的にどのようなAWS環境でも適用できると思います。 ちょっと長い背景 クラスメソッドでは長いこと様々なAWSを利用するお客様を支援しています。私は特にセキュリティ周りについて支援させていただくことが多く、最近はAWSのセキュリティサービスが充実していることから、これらの初期導入や運用設計、あるいはインシデント対応やその後の組織としてのセキュリティ体制づくりなどいろんな関わり方をしてきました。 どのようにセキュリティ
![[安全なAWSセキュリティ運用ナレッジ2022]セキュアアカウントの使い方 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/75550513d830c21b153b85859fb4fdabd295d23d/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2022%2F08%2Fsecurity-identity_Compliance.png)
こんにちは。サービス開発室の武田です。このエントリは、2018年から毎年公開しているAWS全サービスまとめの2024年版です。 こんにちは。サービス開発室の武田です。 このエントリは、2018年から毎年公開している AWS全サービスまとめの2024年版 です。昨年までのものは次のリンクからたどってください。 AWSにはたくさんのサービスがありますが、「結局このサービスってなんなの？」という疑問を自分なりに理解するためにまとめました。 今回もマネジメントコンソールを開き、「サービス」の一覧をもとに一覧化しました。そのため、プレビュー版など一覧に載っていないサービスは含まれていません。また2023年にまとめたもののアップデート版ということで、新しくカテゴリに追加されたサービスには[New]、文章を更新したものには[Update]を付けました。ちなみにサービス数は 247個 です。 まとめるにあ
このブラウザーはサポートされなくなりました。 Microsoft Edge にアップグレードすると、最新の機能、セキュリティ更新プログラム、およびテクニカル サポートを利用できます。 Microsoft では、コントロール プレーンとして ID を利用した多層防御原則により、実績のあるゼロ トラスト セキュリティへのアプローチを成功させてきました。 組織はスケール、コスト削減、セキュリティを追求し、ハイブリッド ワークロード環境を受け入れ続けています。 Microsoft Entra ID は、ID 管理の戦略において非常に重要な役割を果たします。 最近では、ID とセキュリティの侵害に関するニュースにより、企業の IT 部門は、ID セキュリティ態勢を、防御的セキュリティ成功の指標として捉えるようになりました。 さらに組織はオンプレミスとクラウドのアプリケーションを組み合わせて使用する必
CloudWatch Logsの料金が高い原因はコレだった。CloudTrailとの微妙な関係 - クラウドワークス エンジニアブログ
こんにちは。crowdworks.jp SREチームの田中（kangaechu）です。先日RubyKaigi2023に参加するため、松本に行きました。街を歩いていると目線の先に山が見えたり、温泉が近くにあったりなど松本の自然が近くにある感じがとてもよかったです。ちょっと住みたくなって不動産屋さんで家賃を眺めたりしておりました。 今回は小ネタとして、AWSのCloudWatchの料金が高くなったことで見つけたCloudTrailの設定についてです。 あなたのCloudWatch LogsとCloudTrailの料金、高くないですか？ 先日、AWSのコスト異常検知サービスのCost Anomaly Detection からCloudWatchとCloudTrailのコストが跳ね上がっているとの通知が来ました。 Cost Anomaly Detectionで通知されたCloudWatchとClo
侵入型ランサムウェア攻撃の被害発生時の初動対応で難しいのは、侵入経路の特定です。昨今のセキュリティインシデントの傾向からVPN機器の脆弱性が悪用される可能性が高いことはご存じのとおりかと思いますが、被害発生時に想定される侵入経路は複数あることが多いため、調査に時間を費やしてしまうことが多々あります。そのため、被害端末に残っている暗号化されたファイルの拡張子や脅迫文が書かれたランサムノート等をもとに攻撃グループを推定し、その攻撃グループが過去に使用していた侵入経路を把握した上で、侵入経路の調査にあたることが、スムーズな初動対応を進める上で重要です。ただ、これまでのJPCERT/CCの経験では暗号化されたファイルの拡張子やランサムノートだけでは攻撃グループを特定できなかったことも複数あります。 今回は、そのような攻撃グループ特定のサポートとしてWindowsイベントログの情報が使用できる可能性
実務で生成AIサービスを開発してわかったこと
生成AIを使ったサービスを開発してわかったことをメモしておきます。 開発したもの 業種 SaaS 課題 提供サービス内でユーザーがアイディアを考えることが難しかった。様々なデータを人力で集めてくる必要があった 解決策 アイディア起案に繋がりそうなデータを自動で集めてきて提示する。手法はベクトル検索、AIによる要約生成。 その他 チャットUIは作っていない。ユーザーの入力は最初の検索テキスト入力文のみ。 開発前の検証・プロトタイピング 開発する前に生成AIの出力を検証することが必要 生成AIの出力の質はサービスの肝だから 生成AIの出力は事前の予想と違うこともあり早い段階で出力を確認しておかないと後々の仕様変更があったときにキツイから AIに渡すデータの中身を確認しておく 例えばRAGを使って社内ドキュメントやDBを検索する場合、それらのデータの中身を吟味する必要がある 必要なデータと不要な
オブザーバビリティ（可観測性）とは何か？を学べる「Distributed Systems Observability」を読んだ - kakakakakku blog
2019年頃から「オブザーバビリティ (Observability)」もしくは「可観測性」という言葉をよく聞くようになった（本記事では「オブザーバビリティ」という表記に統一する）．「マイクロサービス」と同じように「バズワード」の側面があり「オブザーバビリティとは何か？」という質問に対して様々な回答が考えられると思う． 今回は「オブザーバビリティ」の理解を深めるために「Distributed Systems Observability」を読んだ．本書は O'Reilly Media で読むこともできるけど，Humio のサイトから無料でダウンロードすることもできる（メールアドレス登録は必要）．著者は Cindy Sridharan となり，肩書は「Distributed Systems Engineer」と書いてあった． www.humio.com 目次 本書には「オブザーバビリティ」をテー
先日 LINE が開発するライブラリ Decaton が OSS として公開されました。 Decaton は Kafka を利用したジョブキューライブラリで、LINE 社内で幅広く利用されています。 GitHub - line/decaton: High throughput asynchronous task processing on Apache Kafka 今回の記事では、LINE で Decaton がどのように利用されているか、実際に利用されているプロダクトの実例を交えて紹介します。 Decaton とは? Decaton は LINE 社内で非同期処理を行う際のジョブキューとして利用されているライブラリで、データストアとして Kafka を利用しています。 Kafka には、ストリーム処理を扱う公式のライブラリとして Kafka Streams があります。しかし、Kafka
セキュリティ主要７分野・脅威の進化と対応 - RAKUS Developers Blog | ラクス エンジニアブログ
はじめに こんにちは、技術広報の菊池です。 セキュリティの確保は技術的な課題にとどまらず、お客様の満足、さらには企業の存続に直結する重要なトピックスです。 私たちSaaS企業も例外なく、常に変化する脅威にさらされており、日夜対策のアップデートが求められますので、 私も自身の理解を深めるためにキーワードと各分野の歴史をまとめてみました。 本記事で取り上げるセキュリティ主要７分野では、新しい技術の登場と共に、新たな脅威が絶えず発生し、その対策の進歩も伺えました。 今回は、アプリケーション、ネットワーク、エンドポイント、データ、クラウド、アイデンティティとアクセス管理、インシデント対応と復旧のセキュリティについて、 その概要と1980年代〜現代に至るまでの歴史、脅威と対応策の進化を総括しました。全てはカバーしきれませんでしたが、代表的なツールも紹介しています。 それぞれの分野では個別の発展があり
ChatGPT Bot を new Slack Platform で動かしてみた - LayerX エンジニアブログ
こんにちは、LayerX の Enabling Team の suguru です。 ChatGPT のAPIが公開されて、ものすごい勢いで Slack へのインテグレーションが始まりそうです。 API 利用する場合は、会話の内容が学習などに使われることはない、ということで、安心して利用できそうです。 LayerX でも、早速ChatGPTが応答してくれるボットを作ってみることにしました。 今回は new Slack Platform を使うことにしました。new Slack Platform は、Slack Cloud と呼ばれる Slack 側のサーバーでコードを動かす機能があります。Slack にコードをデプロイするだけで、サーバーの準備等をしなくても ChatGPT を自分たちの SlackBot として埋め込むことができます。 注 - new Slack Platform は執筆時
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【2020年】AWS全サービスまとめ | DevelopersIO
Windowsイベントログ解析ツール「Hayabusa」を使ってみる - itiblog
Electronで組み込み端末向けアプリケーションを開発し3年間運用してみて
Webアプリを作って収益化する、僕の個人開発ルーティン
【2021年】AWS全サービスまとめ | DevelopersIO
【資料公開】AWSアカウントで最初にやるべきこと 〜2022年6月版〜 | DevelopersIO
Goのロギングライブラリ 2021年冬 - moriyoshiの日記
たった1行でストレージを即時破損させうるコマンドが見つかる、「見ただけでストレージが壊れるショートカット」の存在も
【2022年】AWS全サービスまとめ | DevelopersIO
国内外の工場に影響したホンダへのサイバー攻撃についてまとめてみた - piyolog
Chromeに保存された認証情報を大量に窃取するサイバー攻撃確認、注意を
ログ分析トレーニング用コンテンツの公開 - JPCERT/CC Eyes
オブザーバビリティにはお金がかかる - 株式会社ヘンリー エンジニアブログ
データアーキテクチャ特集 データ利活用を推進する8社の技術選定 - Findy Tools
21社の監視・オブザーバビリティ アーキテクチャ特集 - Findy Tools
ZOZOTOWNを支えるリアルタイムデータ連携基盤 - ZOZO TECH BLOG
2021年IPA10大脅威とゼロトラスト | ロードバランスすだちくん
バンディットアルゴリズムを用いた推薦システムの構成について - ZOZO TECH BLOG
SREチーム発足と今期の取り組みについて - Findy Tech Blog
Rettyのデータ基盤の歴史と統合 - Retty Tech Blog
[安全なAWSセキュリティ運用ナレッジ2022]セキュアアカウントの使い方 | DevelopersIO
【2024年】AWS全サービスまとめ | DevelopersIO
Microsoft Entra セキュリティ運用ガイド - Microsoft Entra
侵入型ランサムウェア攻撃発生時に残るWindowsイベントログの調査 - JPCERT/CC Eyes
Kafkaを利用したジョブキューライブラリ「Decaton」の活用事例