Dockerコンテナのpostgresqlがマルウェアに感染した件について - Qiita
背景 Dockerコンテナを立てたらマルウェアに感染したのでサイバーセキュリティの啓蒙を兼ねてメモ書きしてみました。 注意事項 マルウェアに感染した被害の対処方法を記述しています。マルウェア自体の機能や解析の解説ではなく一般利用者ユーザーの視点から感染経路と対応方法についての記述になります。 マルウェア感染状況 症状 Dockerコンテナを稼働させたホストのロードアベレージ(CPU負荷)が常時4を超える状況になっていました。つまり400%でホストがフル回転してた訳ですな。 例えるならエヴァンゲリオン初号機が暴走してマヤちゃんがコンソール画面に向かって叫んでいるところです（違） こうなるとクラウドサービスのAWSとかだと英文で警告アラートが飛んで来ますし毎日課金されで膨大な利用料金請求が来ることになります。恐ろしい！！ 状況の調査 CPUの利用状況やメモリの使用量などを調査するツール類があり
Apache Arrowの統計情報を使ったログ検索の爆速化 - KaiGaiの俺メモ
PostgreSQLにはBRINインデックス（Block Range Index）という機能があり、ログデータに付属するタイムスタンプ値など、近しい値を持ったデータが物理的に近接するという特徴を持っているとき、検索範囲を効率的に絞り込むために使用する事ができる。 この機能はPG-Stromでも対応しており、その詳細は以前のエントリでも解説している。 kaigai.hatenablog.com かいつまんで説明すると、時系列のログデータのように大半が追記（Insert-Only）であり、かつタイムスタンプ値のように近しい値同士が近接している場合、1MBのブロック((pages_per_rangeがデフォルトの128の場合、8kB * 128 = 1MB))ごとにその最小値／最大値を記録しておくことで『明らかに検索条件にマッチしない範囲』を読み飛ばす事ができる。 例えば以下の例であれば、WHE
EKS(Kubernetes)上にDigdag・Embulk・Redashで分析環境を構築する - Koichi Ishida blog
目次 ワーカーノードの作成 DigdagとEmbulkのDockerビルド KubernetesにDigdag/Embulkをデプロイ Redashの導入 まとめ Kubernetes上に分析環境を構築する機会があったのでどのように構築したかを紹介します。同じような構成でKubernetes上で構築するのは3回目になったので構築方法も洗練されてきました。構成は以下のようになっています。 MySQL(RDS): サービスのデータベース。ここのテーブルからBigQueryにEmbulkでデータをエクスポートします。 PostgreSQL(RDS): Digdagのデータベース。今回新たにつくりました。 Digdag: データベースのエクスポートなどを実行するタスクスケジューラ。失敗したときにリトライもできます。 Embulk: プラグインを使ってデータベースをMySQLからBigQueryにエ
新型コロナ感染箇所マップを作ってみる【FastAPI/PostGIS/deck.gl(React)】（データ加工編） - Qiita
新型コロナ…感染拡大が止まらないですね… 駆け出しGIS屋としては何かしらのデータを地図上に乗せて可視化したいなーとは思っていたんですが、公開されてるデータって大抵がPDFなんで収集するのめっちゃめんどいやん…と尻込みしていました。 が！！！！！！ 非営利目的であればデータの複製・引用・転載自由で素晴らしいデータを提供してくれているサイト様（https://gis.jag-japan.com/covid19jp/）を見つけたのでこのデータを使って地図上に表現していきたいと思います！！xf 今回は勉強がてらに多少冗長な構成（docker-composeでアプリケーションサーバーとDBサーバーを立ち上げて、わざわざGeoJSONをAPIで配信するなど）になっています。 データの取得 早速データを見てみましょう！ 上述のサイトにアクセスし、左上のcsvのリンクをクリックします。 すると以下のよう
postgresのデータを盗まれた話 - のんびりやの日記
はじめに さっぶ。どうも、だーやまんです。 この記事は、本番環境でやらかしちゃった人 Advent Calendar 2019 - Qiitaの11日目の記事です。 これは、中途半端な知識でサービスを運用していた結果、タイトル通りの大失敗をしてしまったお話です。個人開発での出来事なので、業務で起きたことかと胃薬を握られていた方はご安心ください。 語るのもすごい恥ずかしいレベルですが、戒めのために晒しておきます。 この記事を読んでほしい人 初めてインターネット上にサービスを公開しようとしている人 喋太郎の利用者様(この場をお借りして、改めてお詫び申し上げます。本当に申し訳ございませんでした。) 背景とか Discord読み上げBot 「喋太郎」にてやらかしました www.dayaman.work 利用者が約10万人 さくらのVPSにてAppサーバ2台、DBサーバ1台で運用 各サーバの死活監視
MacにPostgreSQLをインストールした際で詰まった箇所 - Qiita
HomebrewでPostgreSQLをインストールをしようとしたのですが、権限周りなどで詰まったので、備忘録として残しています。 自分がPostgreSQLをインストールする際に参考にしたURLも張っているので、併せて確認して頂ければです。 HomebrewでPostgreSQLをインストール $ brew install postgresql ==> Downloading https://homebrew.bintray.com/bottles/postgresql-11.1.mojave.bottle.tar.gz Already downloaded: /Users/suzuki_naoto/Library/Caches/Homebrew/downloads/0c14020ff4817a892c73344b81dbd6f31e0d6e83ca0778de6fe3b4d4ecba7
MacにPostgreSQLをインストール - Qiita
$ brew install postgresql : : ==> /usr/local/Cellar/postgresql/9.3.4/bin/initdb /usr/local/var/postgres ==> Summary ? /usr/local/Cellar/postgresql/9.3.4: 2921 files, 38M $ initdb /usr/local/var/postgres -E utf8 The files belonging to this database system will be owned by user "dai". This user must also own the server process. The database cluster will be initialized with locale "ja_JP.UTF-8". init
Scrapyでけ日記をクローリングする (2. PipelineでPostgreSQLに保存する) - け日記
前回に引き続き、Scrapyを使ってこの日記のクローリングを行います。 github.com 今回はクローリングで得られた値を、バリデーションしてPostgreSQLに保存するPipelineを実装します。Spiderの実装は前回の投稿も参考にしてみてください。 ohke.hateblo.jp こちらの書籍を参考にしてます。 Pipeline ScrapyにおけるPipelineは、Spiderがクローリング・スクレイピングした値に対して、バリデーションチェックや永続化などの後処理を行うための仕組みです。 Spiderが取得した値をItemに詰めて返すと、優先順位に従って複数のタスクが実行されます。 ここでは例として、前回作成したarchive_spiderを使い、取得した記事タイトル・投稿日のフォーマットをチェックするPipelineと、PostgreSQLに保存するPipelineを作
PostgreSQLの類似度(Similarity)検索と9.6での新機能 - Qiita
PostgreSQL9.6でcontrib/pg_trgmに入るword similarityについてのメモです。リリースノートはこちら。 Add support for "word similarity" to contrib/pg_trgm (Alexander Korotkov, Artur Zakirov) These functions and operators measure the similarity between one string and the most similar single word of another string. そもそもSimilarity検索とは？ 文書間の類似度(どれだけ似ているか)を算出して、指定した閾値以上の類似度を持った文章を選択するという検索です。 PostgreSQLのcontrib/pg_trgmを使うと利用できるsimila
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
SQL Chat
Simple ETL using Apache Spark & PostgreSQL
Fast IPv4 to Host Lookups
GitHub - octoproject/octo-cli: CLI tool to expose data from any database as a serverless web service.
Observe new subdomain (지속적으로 서브도메인 모니터링하기)
Subdomains Enumeration: what is, how to do it, monitoring automation using webhooks and…
How to make asynchronous database operations with Twisted?
GitHub - superlumic/ansible-role-postgresql: Ansible role to install and configure Postgresql on OSX. This role is part of the Superlumic project that aims to simplify repeat computer setups on OSX, 10.10 and up.
macOs Sierra + homebrewな環境でPostgresqlを導入する備忘録 - Qiita
[macOS High Sierra][Homebrew] PostgreSQL のインストールからDB作成まで - Qiita![[macOS High Sierra][Homebrew] PostgreSQL のインストールからDB作成まで - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/f2e9e500b2b4091f96756c523735f59c267c119c/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCbWFjT1MlMjBIaWdoJTIwU2llcnJhJTVEJTVCSG9tZWJyZXclNUQlMjBQb3N0Z3JlU1FMJTIwJUUzJTgxJUFFJUUzJTgyJUE0JUUzJTgzJUIzJUUzJTgyJUI5JUUzJTgzJTg4JUUzJTgzJUJDJUUzJTgzJUFCJUUzJTgxJThCJUUzJTgyJTg5REIlRTQlQkQlOUMlRTYlODglOTAlRTMlODElQkUlRTMlODElQTcmdHh0LWFsaWduPWxlZnQlMkN0b3AmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZzPWYzMGE2YjgwYjg4OTUzNWMwNWNlZjdlODc2MDRiZWM4%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBrc2gtZnRociZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9NWNiYmU4YzBkNjRjZGNhMDdjM2NmOWE0Y2I3MDQ3ZTY%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D16340681ff95bce6adc558a82e8414d5)
Certificate Transparency · GitBook