July Tech Festa 2021 winter E2セッションの資料です ITシステム監視とは何か 監視エンジニアの未来 監視エンジニアのトレーニング 次世代MSPの役割
Ruby on Railsの作者として知られるDavid Heinemeier Hansson(DHH)氏が自身のブログに5月4日付けで投稿した記事「Even Amazon can't make sense of serverless or microservices」(Amazonでさえサーバレスやマイクロサービスを理解できない)が話題になっています。 これはAmazon Prime Videoの技術部門が3月に自社ブログに投稿した記事「Scaling up the Prime Video audio/video monitoring service and reducing costs by 90%」(Prime Videoの音声映像監視サービスにおけるスケールアップと90%のコスト削減の実現)で紹介された、AWS Lambdaのサーバレスで作られたPrime Videoの監視サービス
このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」(シームレス)を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 Twitter: @shiropen2 米国の研究機関であるAperture Internet Laboratoryは、Linuxで動作する中国のインターネット検閲システム「グレートファイアウォール」(Great Firewall、GFW、金盾)をオープンソースで実装したシステム「OpenGFW」を発表した。このシステムは家庭用ルーターで使用可能なほど柔軟で使いやすく、GFWを個人レベルで実現することを目指している。 OpenGFWは、IPとTCPのデータを完全に再構築する能力を持ち、HTTP、TLS、DNS、SSHなどのネットワークプロトコルを解析できる。特に、Shadowso
この記事は2017/11の以下のブログ記事の翻訳です。 blog.itaysk.com まずはじめに、翻訳を快く許可していただいた@itayskさんに感謝いたします。 3年前の記事ですが、デプロイ戦略についてここまで網羅的にまとめられた記事が日本語で見つけられなかったので翻訳してみようと思いました。 初めての翻訳記事であり、かつ翻訳時に多少の意訳を含んでいます。私の翻訳ミスがある可能性も十分にご了承ください。 何か間違いやわかりにくいところがあれば、コメントいただけますと幸いです。 無謀なデプロイ (Reckless Deployment) ローリングアップグレード (Rolling Upgrade) ヘルスチェックと監視 ロールバック 後方互換性 ちなみに ブルーグリーンデプロイ (Blue/Green Deployment) ドレイン スイッチバック ステージ ちなみに カナリアデプロ
このエントリーについて このエントリーを書き始めた経緯は下記にあります。 inductor.hatenablog.com 上記の理由の通り、目的は論文を翻訳することだけではなく、最終的にこれを踏まえて自分の見解をつらつらと書いていくところにもあります。 おそらく一番時間がかかるのはそれなので、一旦は翻訳を一通り終えた上で更に頑張っていきます。ゆっくりお待ちいただければと思います>< 1. Introduction(まえがき) Borgが内部的に呼び出すクラスター管理システムは、Googleが実行するすべてのアプリケーションを許可、スケジュール、起動、再起動、および監視します。この論文ではその方法を説明します。 Borgには3つの主な利点があります。 リソース管理と障害処理の詳細を隠すため、ユーザーは代わりにアプリケーション開発に集中できます。 非常に高い信頼性と可用性で動作し、同じことを行
はじめに どもども、インフラ案件で奮闘中の井上弥風(いのうえみふう)です。 現在プロジェクトでELB(Elastic Load Balancing)を使用しており、その内部機能を完全に理解したいと思い、この記事を書きました。 この記事について この記事の最終的な目標は、「ELBとは何か?」を深く理解し、それを自信を持って説明できるレベルになることです。 しかし、ELBを完全に理解するためには、まず基本的なロードバランサーの概念を押さえる必要がありました。 そこで、この記事ではELBの根底にあるロードバランサーとは何かという点に焦点を当てていきます。 ELBの詳細については、この記事の後に公開予定の「ELBってなんやねん」という記事で詳しく取り上げます。 ELBに興味のある方は、ぜひそちらもご覧ください。 記事のゴール この記事を通じて、ロードバランサーがどのようにしてトラフィックの負荷分散
東京・渋谷の街中にAIカメラを100台設置し、通行人が「どこで何をしたか」の行動履歴を収集する――。そんなIT企業の取り組みが、SNS上で物議をかもしています。 渋谷でAIカメラ100台設置、IT企業の取り組みが物議(画像はニュースリリースから) 物議をかもしているのは、ITベンチャー・Intelligence Design(東京都渋谷区)による「渋谷100台プロジェクト」。同社はこれまで、商業施設や交通管理会社と連携し、渋谷のセンター街や宮下パークなどにAIカメラを設置してきました。同プロジェクトでは、7月から渋谷駅周辺に100台のカメラの設置を進め、リアルタイムで利用者の人流データを取得。集めたデータは「より多くの事業者に利用いただくことを目指します」としていました。 同社はAIカメラが100台あると「通年の行動データがリアルタイムで蓄積」されると説明。その一例として、渋谷を訪れる人の
2020年4月5日に閉幕した技術書典 応援祭では、たくさんの技術同人誌が頒布されました。 本記事ではAWS・コンテナ・CICDをテーマにしたオススメの技術同人誌を紹介します。 個人的な趣味趣向から、特定領域について広く網羅している本ばかりになりました。 なお本記事で紹介している本はすべてBOOTHから購入できます。 リンクも貼ってあるので、気になる本はぜひ買いましょう。 どの本も1000円か1500円でとってもお安いので、全部買ってもいいぐらいですよ! クラウド破産を回避するAWS実践ガイド いきなり自著の紹介からスタートしますが、『クラウド破産を回避するAWS実践ガイド』ではAWSアカウントのセキュリティについて解説しています。「AWSなんか怖い…」を「AWSなど恐るるに足らず!」に変える本です。AWSは気になってるけど勇気が出ないという人・AWSアカウントは持ってるけどセキュリティが放
いそめしちかこ @iso_meshi 日立の冷蔵庫のマニュアルを作った人に感謝したい話をします。 昨日冷蔵庫に巨大な白菜を入れた後から「ピピッピピッピピッピピッピピッ」というアラームが2分おきぐらいに鳴り続けるようになったんです。 閉め忘れ防止アラームかな?と思って扉を何度も確認したけど、音が止まず。もしや壊れた?→ 2021-12-19 09:13:34 いそめしちかこ @iso_meshi と思って説明書を出してきました。そしたら、「ピピッ」5回のアラームについては記述がない。 その代わりに「近くに音の出る家電はありませんか?」って項目があったんですよね。 それで、冷蔵庫から少し視点を外してみたら、なんと、ガスコンロのグリルが空焚き状態になってたんです…😱→ 2021-12-19 09:13:35 いそめしちかこ @iso_meshi 屈んだ時に腰が当たってうっかりスイッチがオンにな
「入門 監視」を読んだ フロントエンド監視 なぜフロントエンド監視が必要なのか どうやってフロントエンド監視をしているのか Runbookを作ろう なぜRunbookが必要なのか Runbookをどう使っていくか 監視の民主化 勉強会開催 今後 こんにちは!インフラチームの小林です。 今回はインフラチームが現在取り組んでいる、運用環境の改善施策を紹介します。 「入門 監視」を読んだ 2019年01月 に「入門 監視」という本が O'Reilly Japanから出版されました。 www.oreilly.co.jp 『システムをどう監視したらよいのか』『監視の仕組みをどう作ったらよいのか』について紹介している本です。 実践したい事、反省する事だらけですが、フロントエンド監視とRunbook作成から始めています。 フロントエンド監視 なぜフロントエンド監視が必要なのか Webサイトの表示スピード
一年半ぐらい前にアプリケーションエンジニアからSREにコンバートした筆者が、いま役に立ってるなぁっていう本を紹介します。アプリケーションコードを書いてるときは下のレイヤの技術に興味なかったんですが、改めて勉強してみると楽しいです。 コンピュータシステム クラウド全盛とはいえ、コンピュータの仕組みはおさえておくと役立ちます。コレ系の本はわりと小難しいものが多いですが、個人的に楽しく読めた本を紹介します。 Raspberry Piで学ぶコンピュータアーキテクチャ Raspberry Piと銘打たれてますが、コンピュータアーキテクチャの歴史的な背景も踏まえて解説されています。プロセッサ・メモリ・ストレージ・ネットワーク・OS・プログラミングなど、コンピュータ単体の基本的な知識を学べます。 歴史をあわせて知ることができるため、知的好奇心がおおいに刺激され、楽しく読むことができます。この本が難しく感
はじめに 先日、下記のようなツイートを見つけて、そういえば趣味で個人開発してたときには然程気にしてなかったけど、仕事で運用するようになって先輩たちから学んだり自分で身につけたチップスってちょこちょこあるよねー、とふと思ったので、Webアプリケーション開発に関わるものをいくつかまとめてみました。 特に体系的/網羅的という程でもないですし、最近はFWや色々な仕組みでカバーされてるものも多いですが備忘録として。 Tips 機械が読めるログを作る これは割と重要なのですが、ログは人間が読むものではなく機械が読むものです。それはZabbixだったりDatadogだったりSplunkだったりgrep/awkだったりツールは何でも良いのですが、古の時代はさておき現代ではログは機械が読めることが最重要です。 まず大前提として構造化されている必要があります。言うまでもないですが「フリーフォーマット」のログの
はじめに この記事では、モノタロウの基幹系を構成するシステムの一つである、商品情報管理システム(PIM:Product Information Management システム)の導入プロジェクトで、商品情報を基幹系と同期するシステム(商品情報同期機能)の性能や運用環境の改善を行った話をご紹介します。 背景 モノタロウの基幹系は、長年内製のシステムで支えられてきました。基幹系のシステムは、少数のWebアプリケーションと多数のバッチから構成されています。中でも商品情報の管理に関するシステムは、在庫や仕入先に関するシステムと一体化していて、商品情報に関する数多くのマスタメンテナンス画面を備えたやや複雑なシステムです(図1)。 図1 基幹系の概略図 当社のシステムは、もともと自分たちのビジネスに必要な機能を提供する手頃なパッケージ製品がなかったため、すべてを内製でまかなってきたという経緯があります
システム障害が起こったときにどういう体制で望むか、エンジニア個人が障害に直面した時にどのような役割を受け持つのが良いのか。組織によって色々なパターンはあるでしょう。しかし、幸いにも「入門 監視」やSRE本に書かれている4つの役割分担が浸透しているので、それをベースに考えるのがファーストステップとしては良いのではないでしょうか。 入門 監視 ―モダンなモニタリングのためのデザインパターン 作者:Mike Julianオライリー・ジャパンAmazon SRE サイトリライアビリティエンジニアリング ―Googleの信頼性を支えるエンジニアリングチーム オライリージャパンAmazon ただ、小さな組織では障害時に4人もすぐに揃わない場合もあるでしょうし、そもそも4人もスタッフがいない、と言う場合もあるでしょう。そういった場合にもどうすればいいのか考えていきます。 役割分担の基本 「入門 監視」に
はじめに 本稿は、オープンソースの可観測性(Observability)プロジェクトである OpenTelemetry を取り上げた書籍「Learning Opentelemetry」の読書感想文です。従来の可観測性の課題であったデータの分断を解消し、トレース、メトリクス、ログなどの様々なテレメトリデータを統合的に扱うことができる OpenTelemetry は、可観測性の分野における革命的な存在と言えます。 過去10年間で、可観測性はニッチな分野から、クラウドネイティブの世界のあらゆる部分に影響を与える数十億ドル規模の産業へと発展しました。しかし、効果的な可観測性の鍵は、高品質のテレメトリデータにあります。OpenTelemetryは、このデータを提供し、次世代の可観測性ツールと実践を開始することを目的としたプロジェクトです。 learning.oreilly.com 本書の想定読者は、
新型コロナ対応の遅れから政府への批判が高まる一方で、安倍官邸が別のことに熱心に取り組んでいたことがわかる“文書”を本誌・週刊ポストは入手した。 遡ること3月6日、内閣官房国際感染症対策調整室の公式ツイッター(現・内閣官房新型コロナウイルス感染症対策推進室公式ツイッター)の内容が注目を集めた。 〈3月5日のテレビ朝日「羽鳥慎一モーニングショー」で、「総理が法律改正にこだわる理由は、『後手後手』批判を払しょくするため総理主導で進んでいるとアピールしたい」というコメントが紹介されています〉 同番組では、コロナ特措法について政治アナリスト・伊藤惇夫氏のコメントを紹介し、コメンテーターの玉川徹氏が補足していたが、政府が番組を名指しして、その内容に異例の反論を行なったのだ。 〈法律改正をする理由はそうではありません。あらゆる事態に備えて打てる手は全て打つという考えで法律改正をしようとしています〉 この
この記事はLAPRAS Advent Calendar 2019の9日目の記事です 概要 LAPRASに入る前、業務の内容をDMでたくさん受け取って辛いという課題があった DMを受け取るとパブリックチャネルに優しく誘導してくれるDM警察というBOTを作ったがLAPRASに入ったら需要がなかった なんでや?じゃあLAPRAS関係ないやろ!? まとめ 課題 - 業務の内容をDMでたくさん受け取るのは辛い このような内容をDMで受け取ると少し困ります。 パブリックチャネルの発言であれば、僕がこの質問に答えられない場合でも「@知っていそうな人 さん、わかりますか?」とメンションするだけで事が足ります。たまたま会話を見ていて知っている人が能動的に答えてくれる事もあるでしょう。また、後々一連の会話をシェアしたくなったときでも、この会話へのリンクを貼れば経緯を伝えることができます。DMではいずれも叶いま
日産自動車前会長、カルロス・ゴーン被告(65)=会社法違反罪などで起訴=がレバノンに逃亡したのは、自身を監視していた警備業者について刑事告訴する方針を表明し、これを受け業者が監視を中止した直後だったことが3日、関係者への取材で分かった。東京地検特捜部は、ゴーン被告が監視をやめさせて逃亡を図りやすくするため刑事告訴を悪用した疑いもあるとみて調べている。 弁護人の弘中惇一郎弁護士は昨年7月、ゴーン被告が同4月に保釈されて以降、保釈条件で指定された東京都内の住宅周辺を何者かに見張られたり、外出先まで尾行されたりしていると明らかにし、「重大な人権問題」と訴えた。 その後、弘中氏は同12月25日、弁護団で調べた結果、行動監視していたのは東京都内の警備会社だと判明したと説明した上、ゴーン被告本人から委任状を受け、警備会社を軽犯罪法違反と探偵業法違反の罪で年内に刑事告訴すると表明。「日産が業者を使って保
こんにちは、イノベーションセンターの三島です。 本記事では、次世代の監視技術として期待されるTelemetry技術についてご紹介します。 この記事について 本記事では下記の3点を共有します。 従来の監視技術が抱える課題とTelemetryの可能性 Telemetryの技術概要と、各社の実装状況 NTT Comのネットワーク上で検証し得られた知見と、期待されるユースケース 従来の監視技術が抱える課題 ネットワーク運用においては、障害検知やパフォーマンス分析のため監視技術が重要となります。 従来のネットワークでは、SNMP(Simple Network Management Protocol)と呼ばれる技術が広く利用されています。 SNMPの仕組みを図1に示します。SNMPはUDPベースなネットワーク監視技術です。データモデルはMIB(Management Information Base)と
Amazon SES API についての補足の説明です。 From, To, Subject, Body のみ指定すれば、残りはすべて AmazonSES が適切にフォーマットした Eメールメッセージで簡単にメール送信できるのが SendEmail API です。 添付ファイルを使うなど、独自に細かく制御したフォーマットにカスタマイズしてメール送信をしたい場合は SendRawEmail API を利用します。 基本となるテンプレートメールを作成して、テンプレート内の変数に対してパーソナライズされた値に置換した内容で Eメールメッセージを送信できるのが SendTemplatedEmail および SendBulkTemplatedEmail のAPIです。 詳細については、AmazonSESのEメール送信方法 を確認下さい。 SESのSMTPエンドポイントを使ったメール送信例は下記ブログ
「しっかりと戦う準備はできている」。これは、自身の近しい友人でレバノン人デザイナーのメイ・ダウック氏がレバノンの首都ベイルートに持つ自宅で開かれた新年祝賀パーティーに現れた元日産会長カルロス・ゴーン氏の発言だ。 パーティーの出席者の1人は、ゴーン氏は元気そうだったと話す。大晦日のこの日、ゴーン氏は友人の執筆による自身の状況に関する本と、これをベースにした映画の制作に出資する計画を明らかにした。ゴーン氏は今後、生涯にわたって日本の司法制度を批判していくだろう。約20年間日本に愛されてきた同氏は、今後日本の最大の敵になるに違いない。 世界的セレブへの対応に不慣れだった 「ゴーンはどんな手を使ったのか?」 ゴーン氏の逃亡がわかってから、日本、レバノン、フランス始め、世界中でこんな疑問が浮かんだ。24時間体制の監視下にあり、自宅ドアには監視カメラがとり付けられていたゴーン氏は、日本で最もその動向に
先日のAmazon SQSの障害には色々と肝を冷やした人も多いのではないでしょうか。 classmethod.jp 今回のようなケースとは別に障害は大小あれど、みなさん日々戦っていることだと思います。 障害対応はエンジニアの花形であるものの、サービスに対する知識やソフトウェアの知識など経験と技術の両方が必要です。 そのため、どうしてもトラブルシューティングはエースエンジニアなどの一部の人に依存してしまう…などの問題が発生しがちです。 そこで今日は私の経験から障害対応のいろはを書いて行きたいと思います。 今回のスコープの外 実際に障害時の具体的な対応、例えば障害切り分けやRDBMSのボトルネックの探し方などの話はしません。 まずissueを作ると良い 本題です。 トラブルを認知したらまずはissueを作りましょう。 issueを作るときはtemplateが事前に設定されていると便利です。 g
「テレワークは生産性を下げる」は妄想か? 社員を監視したいリーダー層にMicrosoftが警鐘:ウィズコロナ時代のテクノロジー(1/3 ページ) COVID-19の終息傾向を受け、多くの企業がオフィスの再開・テレワークの縮小に踏み切っている。しかし「家族の介護があるために自宅にいられる時間を増やしたい」「遠隔地に住んでいるが希望の会社・職種で働きたい」などの理由から、パンデミック後もテレワークを継続する(あるいは通勤とテレワークを併用する「ハイブリッド型」で働く)ことを願う労働者も少なくない。 そのため事務職などテレワークと相性の良い職種や業界では、今後もある程度の企業がテレワーク制度を存続させるだろうと見込まれている。しかしテレワークを巡る議論に、Microsoftから新たな一石が投じられている。それは「生産性パラノイア」と名付けられた問題で「それがテレワークを阻害しかねない」と彼らは訴
ログ分析勉強会では、「ログ分析」に関わるすべての技術、事例、知見を共有し、日々の業務に役立てられる情報交換ができる場所を目的として活動。初のオンライン開催となった今回、NTTドコモサービスイノベーション部の千田拓矢氏が、AWS純正サーバーレスなログ分析基盤を構築する方法を解説しました。関連資料はこちら。 AWSのサーバーレスサービスでセキュリティのログ分析 千田拓矢氏:それでは始めたいと思います。AWSのサーバーレスサービスでセキュリティのログ分析をしようという話です。 簡単に自己紹介します。千田と申します。NTTドコモのサービスイノベーション部というR&Dの部署に所属していて、5年目社員です。 基本的に普段の業務では、クラウド、AWS、GCP、Azureのセキュリティに関わる仕事をしています。機械学習もちょっとわかるくらいに勉強していて、その関連でFPGAとかGPUみたいなハードウェアの
前回から間があいてしまいましたが、今回はRaspberry Piを使って動体検知で動画を記録する監視カメラを作ります。 動体検知の監視カメラに必要な材料 作り方 Motionのインストール motion.confの修正 daemon norm width height framerate threshold event_gap locate target_dir /etc/default/motionの設定(daemon onの場合のみ) 利用方法 Motionの起動 カメラ画像の閲覧と記録 大人の夏の自由工作としてカメラで遊んでみよう 動体検知の監視カメラに必要な材料 監視カメラを作るのに必要な部品は以下のとおり。 Raspberry Pi 本体 :660円~ ラズパイ用カメラモジュール :700円~ USBケーブル(電源用):100円~ MicroSDカード 600円~ ケース :0円
悪用されても気付けない 「駅名は明かせませんが、約110の駅のコンコースなどに設置したおよそ5800台の監視カメラの一部に、顔認証機能を搭載しました。マスクをつけていても、不審者の顔を判別できる能力があります」(JR東日本広報) JR東日本が、ひっそりと「顔認証監視カメラ」を導入したことをご存じだろうか。駅利用者の顔と、登録されている犯罪容疑者や不審者の顔をリアルタイムで照合し、検知しているというのだ。 五輪開幕に合わせて、7月から導入していた。顔データの出元や最終的な情報提供先は「答えられない」と言うものの、警察とみて間違いない。 先月24日夜、東京・港区で男性に硫酸をかけた男は、JR品川駅から新幹線に乗って逃走した。男は28日にスピード逮捕されたが、この捜査にも顔認証監視カメラが活用されたとみられる。 捜査に役立つなら、問題ないと思うかもしれない。しかし、顔の画像を無差別に収集されるの
2022年11月24日、高速道路を走行していたテスラ車が突如として減速・停止し、後続の車が追突する事故が発生しました。この事故の報告書が新たに公開されたことにより、事故を起こした車はテスラの完全自動運転(Full Self Driving:FSD)をオンにして走行していたことが分かりました。この日はFSDのベータ版が配信された当日であり、FSDの安全性が改めて問われました。 Exclusive: Surveillance Footage of Tesla Crash on Bay Bridge https://theintercept.com/2023/01/10/tesla-crash-footage-autopilot/ Newly Released Video Of Thanksgiving Day Tesla Full Self-Driving Crash Demonstrates
みなさん、監視作ってますか? システムを作ったら、そのシステムを監視していく必要がありますよね。どうやったら「いい監視」が作れるのでしょうか。「いい監視」とそうでない監視との違いとは、いったいなんでしょうか。 今の時代、「監視」ではなくて「可観測性」、 Observability (o11y) の時代になっていて、良いプラクティスや考え方が色々とあります。 この記事は、監視や o11y についての考え方を社内に共有するため書いたものを、社外共有用に調整し直したものです。新しい Observability の時代を、一緒に生きていきましょう。 監視を作ろう あなたはシステムを作りました。そのシステムに「監視」をつけようと思ったとき、最初にすることはなんでしょうか? まずは、システムを何らかのツールで監視するところから始めましょう。やらなきゃはじまらない。 Nagios, Cacti, Mun
SNSで大きな話題になった“身につけるだけで監視カメラに認識されなくなる服”が、10月27日まで渋谷PARCO(東京都渋谷区)で展示されています。実際に試したところ、確かにカモフラージュ柄のバッグを手にした人が人物として認識されなくなりました。興味深い「デジタルカモフラージュ」の展示として、一度体験してみてほしいと感じます。 噂の“身につけるだけで監視カメラに認識されなくなる服”、渋谷PARCOで10月27日まで体験できる “身につけるだけで監視カメラに認識されなくなる服”を展示しているのは、渋谷PARCO内のCOMINGSOONで開かれている展示会「Camouflage Against the Machines」。独自のカモフラージュ柄がプリントされた服やバッグ、スケートボードを並べているほか、購入もできます。 カモフラージュ柄がプリントされた服。販売もしている こちらはカモフラージュ柄
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く