原発って、未来人から見たらピラミッドみたいなオーパーツだと思う。「なぜこのレベルの文明が核エネルギーを利用できたのか?」って謎扱いされるだろう。「その時代の野蛮人は後始末できないのに手を出しました」って正解に到達できた人がいたとしても「そんな馬鹿な!」とトンデモ扱いされる。
[アップデート]CloudWatch Logsに異常検出とパターン分析の機能が3つ追加されました! #AWSreInvent はじめに CX事業本部の佐藤智樹です。 今回はCloudWatch Logsに異常検出とパターン分析のための機能が3つ追加されたため、それぞれを紹介いたします。CloudWatch Logsを見る際は基本開発中に正常動作しているかの確認や本番稼働中に不審な動作が起きているか確認する際の2パターンが多いかと思います。今回の機能は後者の通常とは異なるパターンが出た際に、障害箇所の特定や原因調査のために役立つ機能になるかと思います。 結論 今回のアップデートではCloudWatch Logs Insightsに1,2の機能が、CloudWatch Logsに3の機能が追加されたことだけ認識すれば大丈夫です。開発中や障害対応の訓練や発生時などに試してみて下さい。 パターンビ
これからマストドンのインスタンスを建てようと思っている鯖缶の人たちへ セキュリティに関して気をつけるべき事項をまとめます。 ドメイン Whois それぞれのドメインには管理者の情報が登録されており、迷惑行為があった場合などに管理者に連絡がとれるように情報が検索できるようになっています。 実際に whois コマンドを使って検索することができます。 [~] whois kantei.go.jp Domain Information: [ドメイン情報] a. [ドメイン名] KANTEI.GO.JP e. [そしきめい] f. [組織名] 内閣総理大臣官邸 g. [Organization] The Prime Minister's Official Residence k. [組織種別] 政府機関 l. [Organization Type] Government m. [登録担当者] MK
Djangoを使っていて、たまにsyncdb(モデルをデータベースに更新させる作業)をすると、応答がなくなる時があります。 MySQLは更新等のバイナリログを残していて、リストア(復旧)しやすいように設計されています。 バックアップ(スナップショット)をどこかの時点でとっておいて、そのあとの流れをバイナリログ等で補完するような運用が考えられます。 一方、更新が多いサービスは、このバイナリログを放置しておくと、データ容量が大きくなりすぎてしまいます。 今回は、この設定を変更して、適切なディスク容量を使えるようにしたいと思います。 応答がなくなるコマンド例(注:すぐデータベースのステータスを確認しましょう。) #python ./manage.py syncdb データベースの容量確認 その場合は利用しているデータベース(MySQL)のステータスを確認してみましょう。 データベースサーバに接続
Cloudwatch Logsの複数ロググループ参照に便利なツール「utern」を紹介します。 複数のLambdaのログ確認したい時とか、ECSによるマイクロサービスで、複数のCloudwatch Logsグループのログを確認する時に、困ってましたが、解決すると思います。 こんにちは、コカコーラ大好きカジです。 複数のLambdaのログ確認したい時とかECSによるマイクロサービスで、複数のCloudwatch Logsグループのログを確認する時に、aws cliでは面倒で困ってました。 同じ悩みを持った人いそうだなぁ...と思って調べたら解決していた人がいました。ありがとうございます。 uternとは Cloudwatch Logsのログ参照で以下のことが行えます。(MITライセンスです。) インストールが簡単 複数のロググループを指定可能 ロググループやログストリームごとに異なる色で表示
コンニチハ、千葉です。 ECSでは様々なログドライバーがサポートされています。(2017/8現在)※最新情報はこちらで確認 json-file syslog journald gelf fluentd awslogs splunk この中からCloudWatch Logsを試して見ました。また、ECSではIAMロールをサポートしているのでアクセスキーを払い出さなくんても様々なAWSサービスと連携が可能です。今回は、このCloudWatch LogsのログドライバーとIAMロールを利用してログを出力してみます。 やってみた コンテナへのIAMロールアタッチは不要 ECSインスタンス用のEC2には「AmazonEC2ContainerServiceforEC2Role」をアタッチしているかと思います。このIAMロールにCloudWatchへのログ出力権限が付与されています。そのため、タスク定義
タダです. システムの中で CloudWatch Logs に Apache のログを保存しているのですが,大量のログとなっています.このログの中から HTTP ステータスコードが4XX 系を抽出してエラー発生数をモニタリングしたい時に,「check-aws-cloudwatch-logs-insights」の Mackerel プラグインを使って検証してみたのでその内容をこの記事でまとめます. check-aws-cloudwatch-logs-insights とは プラグインの導入 監視の設定の実施 IAM ロールの設定 mackerel-agent のコンフィグ定義 アラートの設定確認 設定のよもやま話 まとめ 関連記事 check-aws-cloudwatch-logs-insights とは Mackerel の「check-aws-cloudwatch-logs-insigh
携帯端末による位置情報取得が面白いです。 GPS 携帯を購入したこともあり、今年は携帯向けのサービスを何か始めたいと考えております。 年頭の挨拶に書いたとおり、開発に取り組んできました。なかなか時間が取れなかったのですが、基本の部分が出来たので公開してみたいと思います。 ・位置情報取得 - 現在地表示 アクセスした端末に応じた位置情報取得リンクが表示されるようになっています。位置情報取得に未対応の端末(PC, W-ZERO3 etc...)でアクセスした場合は、キーワード検索用のフォームが出ます(Google Maps Geocoder を使用)。 ぜひ、手元の携帯端末でアクセスしてみてください。アクセス判定が怪しい場合は、気軽に「間違い報告」でお知らせください。わかる範囲で入力していただければ UserAgent を基に調査いたします。 DoCoMo のオープン i エリアを利用する場合
こんにちは、Mackerel 開発チームアプリケーションエンジニアの id:susisu です。 この記事では cloudwatch-logs-aggregator を使って、Amazon CloudWatch Logs に出力されたアプリケーションのログを集計して Mackerel にメトリックとして投稿し、監視・可視化を行えるようになるまでの過程を、実際の使用例と共に紹介します。 以下のようなアプリケーションのログからメトリックが生成され、Mackerel に投稿されている状態がゴールです。 { "level": "info", "msg": "query complete", "bytes_scanned": 51828, "records_scanned": 246, "records_matched": 120, ... } cloudwatch-logs-aggregator
Simple FON Maps というサービスを公開しました。その名の通り FON Maps をシンプルに表示するサービスです。オフィシャルは、情報量が多すぎて重いので…。 Simple FON Maps では、稼動している FON AP を中心に表示しています。 ・緑色のマーカー FON Access Points with Activity in the last hour 1時間以内にアクティブになった FON AP です。 ・黄色のマーカー All other FON Access Points 今までに1度でもアクティブになった FON AP です。 ・スター付き アクセスポータルのカスタマイズ 接続した後に表示されるトップページをカスタマイズしている FON AP です。ゲスト接続が可能である可能性が高いです。すなわち、ユーザ登録していなくても FON を楽しめる AP ですね
今回はキャバ嬢やホステスが活躍する漫画を独自形式でお届けしたいと思います。 夜の世界を描いた漫画は独特の魅力があり楽しめる作品が多いです。 ドロドロした水面下の争いを描いたホステス漫画、華やかな世界を描いたキャバ漫画、事実を描いたノンフィクション、ゆる~いタッチで描かれるギャグなど、幅広い作品をジャンル別にご紹介していきますよ。 ホステスやキャバ嬢をメインに描いた作品のほかに、水商売を絡めた女性が活躍する面白いマンガも紹介します。 一部の作品は読み放題サービスでも読むことができます。リンクも記載しておきますので是非ご覧になってくださいね。 ホステス・キャバ嬢や女性が活躍する水商売漫画101.ヒマチの嬢王 茅原クレセ (マンガワン新連載) 歌舞伎町の元『No.1』キャバ嬢・アヤネが帰郷後の地元で大活躍! キャバ嬢として2億円以上を稼ぎ『歌舞伎町の嬢王』と呼ばれた過去を持つ主人公・アヤネ。 都
どうも、森です。 AWSにはログを分析するための方法が様々ありますが、Athena,CloudWatch Logs Insightsをどう使い分ければ良いのか考える機会がありましたので執筆したいと思います。果たして結論は出るのか??? 各サービスについて どちらもサーバーレスな環境で、インフラストラクチャの設定や管理は不要です。 Athena,CloudWatch Logs Insightsについてドキュメントを参考にし、簡単にまとめてみました。 Athena Amazon Athena は、標準 SQL を使用して Amazon Simple Storage Service (Amazon S3) でのデータの直接分析を簡易化するインタラクティブなクエリサービスです。AWS マネジメントコンソールでいくつかアクションを実行するだけで、Athena にデータの保存先の Amazon S3
こんにちは、臼田です。 みなさん、Security HubでAWS環境のセキュリティチェックしてますか?(挨拶 今回は長いタイトルですが、Security HubのログをCloudWatch Logsに入れる話と、入れた後分析してみる話です。 背景 AWS Security HubのAWS基礎セキュリティベストプラクティスをよく使っていますが、たくさんのAWSアカウントを集約して運用しているとそのイベント記録の傾向を確認したいなーと感じました。 検知されるFindingsには、そのイベントが初めて検出されたCreatedAtあるいはFirstObservedAt、更新されたUpdatedAtあるいはLastObservedAtが記録されていますが、イベントの変更経過についてはトラッキングできません。そのため、イベント発生毎に記録をする必要があります。 イベント自体はEventBridgeを
TextFieldParser を使って CSV を読み込むのが割りと多いのかなと思います。かくゆう私も C# の仕事をしだしてから自前の CSV ファイル用のライブラリ使ってましたが、読み取りは TextFieldParser を内部で使ってました。ついでに言うと、そのライブラリはまだ .NET 2.0 が仕事のメインだった時代だったので、DataTable を経由して CSV の読み書きを行うようなデザインにしてました。 ただ、今や時代は (とっくにですが、、) 変わり、DataTable よりもオブジェクトでやり取りできないと立ちいかなくなったので、作りなおそうかなーとか思ってた所で、「いやいや、もうあるでしょ」と NuGet 探してたらよく使われてるっぽいのがあったという。 TextFieldParser の問題 単にオブジェクトとやり取りするインターフェースのが欲しかったのもある
MySQL のレコード取り出しの際に、ソートをランダムにできないものかと調べていたら、あった。 SELECT * FROM table ORDER BY RAND() こんな感じで。ソートを RAND にすれば良いという… 使い道としては、広告を表示したり、クイズを表示したりに使えるんじゃないかと思う。というか、そういう使い方をしたくて調べてた。 MySQL って深いなぁ。他にも面白い関数がありそうだ。 トラックバック このリストは、次のエントリーを参照しています: MySQL でランダム表示: » [開発]データベース側でランダムにしてもらう方法 from The dream is invincibility. これAccessにもないかなぁ.MySQL でランダム表示 MySQL のレコード取り出しの際に、ソートをランダムにできないものかと調べていたら、あった。あと,... [続きを読
CloudWatch Logsのデータを、Kinesis Data Firehose経由でS3に出力する手順です。 Lambda Functionなどで作り込みを行わず、CloudWatch LogsのログデータをS3に出力するには、Kinesis Data Firehoseが利用できます。 本エントリでは、Kinesis Data Firehoseを介して、CloudWatch LogsのデータをS3へ出力する設定を紹介しています。CloudWatch LogsからKinesis Data Firehoseへ出力するには、CloudWatch Logsのサブスクリプションフィルタの設定が必要になりますが、こちらの設定はマネジメントコンソールでは行えないので、関連する作業含めAWS CLIを利用して実施しています。さいごに、AWS CLIで構築した同様の構成を定義するCFnテンプレートも添
GA technologies SREチームの永冶です。 社内でログを集計した際にCloudWatch Logs Insightsが便利だと感じたので早速ブログにしました。 これからCloudWatch Logs Insightsを使用する方の助けになればと思います。 CloudWatch Logs Insightsとは CloudWatch Logsのログデータを分析する機能です。 専用のクエリ言語が用意されており、ログを簡単に集計することができます。 公式のドキュメントはこちらです。CloudWatch Logs Insights でログデータを分析する まずはコンソールで触ってみましょう CloudWatch Logs Insightsがどんなものなのかは実際に触ってみるのが一番です。 AWSコンソールでClloudWatchから左のナビゲーションバーの「インサイト」をクリックすると
僕は、ウェブアプリケーションの開発をサーバサイドで行うことが多いのですが、ローカルでも開発を行える環境をそろえてみることにしました。特にネットがつながらない場所にて、ノート PC で開発を行いたいので。 過去に XAMPP が良いという話を聞いていたので、入れてみました。そのインストールの流れを記録しておきます。 ActivePerl を入れていましたが、アンインストールしました。XAMPP の方で Perl の環境をインストールする予定だからです。というか、インストールしました。重複する環境は、予めアンインストールしておく方が良いです(Apache, MySQL, PHP, Perl etc...)。 公式サイトから XAMPP のパッケージをダウンロードしましょう。僕のダウンロードしたバージョンは 1.5.3a でした。また、標準では Perl がインストールされない(?)ので Add
AWS Toolkit for VS Codeに、CloudWatch Logsの直近ログデータを表示できる機能が追加されました! Amazon CloudWatch Logs features now available in the AWS Toolkit for Visual Studio Code VSCodeでLambdaのプログラムを書きつつ、Lambdaをデプロイして実行。CloudWatch Logsで実行結果を確認。なんて、場面で便利に使えるんじゃないかと思います。 こんな感じでVSCodeの画面でCloudWatch Logsのログを表示できます。さっそく試してみました! 環境 VERSION Visual Studio Code: 1.48.1 AWS Toolkit for VS Code: 1.13.0 前提 本ブログではAWS Toolkitのインストール、AW
今回はPSPのおすすめ名作ゲームソフトをご紹介していきたいと思います。 Play Station Portable(プレイステーションポータブル)は2004年に発売された『SCE(ソニーコンピュータエンタテインメント)』が開発した携帯ゲーム機です。 当時は最高のクオリティを誇っており爆発的に人気のあった機種です。発売後すぐに購入してやり込んだのを覚えています。 今プレイしても面白い『PSPのおすすめ名作ソフト』だけを厳選してお届けしますので是非参考にしてみてください。久し振りにPSPゲームをプレイしようかなという方にもおすすめですよ。 RPG、アクションRPG、シミュレーションなど、分かりやすいようジャンル別に面白い『PSP名作ソフト』をご紹介します。 ランキングは独自形式です。続編と合わせて1本扱いしている名作ソフトや、移植作品も含めてありますのでご了承ください。 PSPのおすすめ名作R
こんにちは、テクノロジーグループの矢田です。 我が家には猫が一匹おりまして、毎日のように窓から外を眺めて鳥が飛んでいるのを監視しています。今日も捗ってるな〜と思いながらそんな猫を眺めて仕事しているのですが、今日は監視の話をしたいと思います。 クラシコムでは「北欧、暮らしの道具店」の監視を行うためにMackerelを利用しています。 MackerelではサーバーのCPU・メモリなどのメトリック監視や外形監視、サービスメトリックを送っての監視など多方からサービスの状態を監視することができます。 今回は先日α版が公開されたMackerelのcloudwatch logs aggregatorについて紹介したいと思います。 このモジュールではアプリケーションからAWS CloudWatch Logsに吐き出したログをメトリック化しMackerelに送ることでアプリケーションログをメトリックとして監
Google AdSense の代替広告用の CGI を作っています。データは Amazon Web Services を使うことになると思うのですが、デザインを Google AdSense に似せてみようと思います。 Google AdSense は、枠線のカラーを決めると、自動的に Ads by Goooooogle のカラーを #000000 か #FFFFFF に決めてくれます。これは、どういう仕組みで判定しているのだろうかと、調べてみた。 結構、簡単な仕組みでした。 明るさ=R×0.30+G×0.59+B×0.11 この式で明るさが決まるらしい。明るさは、与えられる RGB の範囲で決まりますが、大概は 0〜255 だと思います。 Perl にて、サブルーチンも作成。 sub get_powered_link_color { my ($border_color) = @_; m
Lambda のログは自動的に CloudWatch Logs に保存されますが、他と連携する場合は S3 のほうが何かと都合がいいです。 CloudWatch Logs にはログデータを一括で Amazon S3 にエクスポートする機能があります。リアルタイム性が求められずバッチ処理で定期的にエクスポートする用途に向いています(リアルタイム性が求められる場合は、サブスクリプションを使用したログデータのリアルタイム処理が用意されています)。 というわけで Lambda と CloudWatch Events を使って、CloudWatch Logs から S3 へ自動的にエクスポートしてみます。 CloudWatch Logs API の CreateExportTask S3 へのエクスポートは CloudWatch Logs API の CreateExportTask を使います。
「技術者を育てる」ことを目的とした、エンジニアを目指す学生のための日本最大のオンラインカンファレンス「技育祭」。ここで株式会社 LIFULL(ライフル)の相原氏が「趣味と仕事の違い、 現場で求められる アプリケーションの可観測性」をテーマに登壇。まずは、仕事と趣味のアプリケーションの違いと、可観測性の基本的な3つのシグナルのうち2つの「Logs」「Metrics」について紹介します。 自己紹介と目次 相原魁氏:今日は「趣味と仕事の違い、現場で求められるアプリケーションの可観測性」について、僕の自室からお送りしようと思います。株式会社LIFULLの相原です。よろしくお願いします。 (スライドを示して)今日の目次ですが、「だいたい趣味のアプリケーションってこういうことをやりがちだよね」みたいな話をした後に、では仕事だとどういうことが求められるのか。その上で、どういう実装をすると可観測性を満たせ
This blog post is part two of two. Like part one, published Wednesday, this is a cross-post from Groupon’s engineering blog. Thanks again to Kyle Oppenheim at Groupon. In my last post, I described a solution for keeping the caches of a MySQL standby server hot using MySQL slow logs with long_query_time set to 0. Here are a some lessons we learned when logging a high volume of queries to the slow l
いつものように RSS Reader でブログを巡回していたら、こんな記述を見かけた。 「注目URL http://d.hatena.ne.jp/hoturl」を、はてなブックマークexist APIでマッシュアップするのはどうか そう、15日の otsune氏 のブログでした。 早速作ってみた。作成時間は、30分ほど。ソースは使い回しが多いのと、データを DB に保存せずに、更新時に 注目URL をチェックして、その後に ブックマーク数 を API を使って取得する処理を行い、そのまま hot.html に吐き出すようにしました。 なので、たまに 注目URL が空になったりします。エラー処理をまともに入れてないので… そのうち修正します。というか、修正しました。 最初は、単に一覧で表示しているだけだったんだけど、グラフがあるほうが面白いな。という追記を見かけたので、さくっと機能を追加。
FON に参加しよう!などと音頭を取っていましたが、やっとこさ La Fonera を設置しました。 12月5日に注文して、12月7日に届くというスピード配送でした。初日以外に注文した方は、結構時間がかかったみたいですね。 La Fonera が小さいのが印象的です。日本語マニュアルが、カラーレーザーで印刷した紙2枚というのも…。 マニュアル読まずに宅内ルータに La Fonera をつなげました。設置場所は、部屋の中ほどなのですが、出来れば窓際に設置したいところ。窓を電飾しようかと思っているので、そのときにでも。 マニュアルを見ながら La Fonera をアクティベートします。アクティベートしないと Linus にはなれないのだ。無料で他の FON AP を使うためには、必ずアクティベートしておきましょう。 FON_AP というアクセスポイントに接続します。 FONアクセス・ポータルで
yuco: seepassyouagain: 情報系の大学院生やポスドクに回ってくる非常勤の授業はほとんどが実習で、要するにPCの使い方やネットワークの組み方を教えるんだけれども、ときどき講義も担当する。 講義をすると、受講生は、 「実習はすぐ役に立つし就職にも必要だと思うけど、講義はぶっちゃけ何の意味があるのかわかんない」 と言う。 意味がわかんないのに教職や必修単位の都合で受講しなければならないわけで、あんまりやる気が出ないのも困るから、やる気の出る理屈をつけてくれということだろう。 そう言われても、人文学部出身の私が担当する情報論は、実際、就職の役に立たない。 PCスキルは多くの企業が採用の前提としているだろうし、Linuxが少しできればSEとして雇ってもらえるかもしれない。 でもマクルーハンやベンヤミンの議論を理解したところで、何かを生産できるわけではない。クーンやファイヤアーベン
はじめに Amazon CloudWatch Logs Insightsを利用して、送信元や送信先を特定のIPアドレスやCIDRに絞り込み、VPCフローログを分析しました。 VPCフローログは、VPC内のネットワークインターフェースを通過するIPトラフィックの情報をキャプチャする機能です。 VPCフローログは、CloudWatch LogsやS3に保存することができ、またKinesis Data Firehoseに送信することも可能です。 VPCフローログの作成と保存方法は、下記を参考にして下さい。 この記事では、サブネットに適用したルートテーブルのルーティング設定のうち、不要なルーティング設定かどうか判断するため、VPCフローログをCloudWatch Logs Insightsで分析する機会がありましたので、具体的なクエリを紹介します。 1つ送信元IPから1つの送信先IP 単一の送信元
Amazon Web Services ブログ AWS Cloudtrail Logs を AWS Glue と Amazon Quicksight 使って可視化する AWS CloudTrail ログを簡単に視覚化できることは、AWS インフラストラクチャがどのように使用されているかについてより良い理解を提供してくれます。また、AWS API コールの監査とレビューを行って、AWS アカウント内のセキュリティ異常を検知するためにも役立ちます。これを行うには、CloudTrail ログに基づいた分析を実行できる必要があります。 この記事では、Amazon S3 内の AWS CloudTrail ログを JSON 形式からクエリ用に最適化された形式のデータセットに変換するための AWS Glue と AWS Lambda の使用について詳しく説明します。その後、Amazon Athena
先日、ちょっと大げさに あなたのクリップボードが盗まれる というエントリーを作成しました。多くの方にブックマークしていただき、非常にうれしく思っています。 Ajax が流行っている今日こそ、今一度 JavaScript に隠されている(?)危険性を実感していただきたいという建前のもと作成しました。本音は違う。本音は、はてポ(はてなポイント)がどれくらい使われているのが知りたかったから。 予想通り、1ポイントも届かなかった。 はてなブックマークにはてなポイント送信機能が導入されてから、すでに3ヶ月たつわけですが、もう はてポ の話題なんかすっかり無くなって、誰も使ってないんじゃないか?と考えていたのです。 確かめる方法は簡単。有用なエントリーを書いて、ポイントが来るかどうか確かめればいい。有用なエントリーかどうかを僕が決めるわけにも行かないので、できる限りブックマークされそうな題材を選んでエ
上記の基本的なクエリ以外にも、一般関数や文字列関数などが使用できます。今回の記事では、上記7クエリの紹介に絞ってサンプルコードを使用して実際にCloudWatch Logsからデータを抽出してみます。 事前準備 事前準備としてLambdaで何件かログを出力し、例として作成したログを抽出することで具体的な使用方法を確認します。 Lambdaは「関数の作成」から「log-test」という関数名を指定し、ランタイムは「Node.js 12.x」でアクセス権限は特に変更せず「関数の作成」ボタンでLambdaを作成してください。 次に作成画面から「テスト」を押下してテスト設定を表示させます。イベント名を適当に「testEvent」と設定し「作成」を押下します。 コードを以下のように修正します。以下のコードをベースにクエリを試していきます。ログ出力はJSON.stringifyを使用してJSON文字列
HyperDX helps engineers quickly figure out why production is broken by centralizing and correlating logs, metrics, traces, exceptions and session replays in one place. An open source and developer-friendly alternative to Datadog and New Relic. Documentation • Chat on Discord • Live Demo • Bug Reports • Contributing 🕵️ Correlate end to end, go from browser session replay to logs and traces in just
最近は、徹夜しながら MySQL + Senna の Tritonn を試している。先日まで、Tritonn を利用した全文検索では、取り出した結果がスコア値でソート(適合度順)されるものだと思っていた。 すなわち、 SELECT * FROM table WHERE MATCH(col) AGAINST('*D+ 検索' IN BOOLEAN MODE); というクエリを発行した場合、結果は TF-IDF に基づく順序だと思っていた。 これは、単なる思い込みで、正しくない。 SELECT *, MATCH(col) AGAINST('*D+ 検索' IN BOOLEAN MODE) FROM table WHERE MATCH(col) AGAINST('*D+ 検索' IN BOOLEAN MODE); こうすればスコア値を表示できるので、スコア順でソートされていないことを確認できた。
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く