pushshift.io は、英語圏の巨大掲示板 reddit の過去の書き込みを蓄積し提供しているサイトです。ジェイソン・バウムガートナーさん(Jason Baumgartner)という個人の方による運営です。 FAQ ページを読むと、過去のデータを期間やキーワード、ユーザー等で一括取得したい時に使うサービスだということ。新規のコメントをリアルタイムで取得したい時は reddit 公式の API を使ったほうが良いとありますね。 reddit は巨大な掲示板なので、データ量も相当になると思いますが、 Pushshift は個人 + 寄付によって維持されているようです。 Pushshift API を使ったサービス 過去の膨大なコメントにAPIやCSVでアクセスできるということで、これを利用したサービスもいろいろ存在するようです。 revddit 任意の reddit ユーザーに対し、削除
背景 私の勤めている会社では脆弱性の情報収集はメーリングリストベースのサービスを利用しているが、提供される形がテキストベースであり、自動化には即していない形となっていて効率化が難しい状態。脆弱性情報の収集自動化のための試みとして、NVDのAPIを叩いてCVE情報を自動取得する。 (もうやられている方いるのは知っていますが勉強のため自分でやる) NVDのデータを自動取得するための手段はNVD Data Feedsに記載されている。その中でAPIの情報はこちらにある。APIは主にCVEとCPEの2つが用意されている。共通プラットフォーム一覧CPE(Common Platform Enumeration)は脆弱性をさすものではないので、今回はCVEのAPIを利用する。 CVEのAPI CVEのAPIはhttps://nvd.nist.gov/developers/vulnerabilities
背景 NVD (National Vulnerability Database) は、NISTが管理している脆弱性情報のデータベースであり、ソフトウェアやハードウェアの脆弱性情報を確認する際、NVDにお世話になることは非常に多いです。 そんなNVDですが、各CVEの脆弱性の情報が取得できればいいなあと思っていたところ、 NVDがREST APIを2019年9月に公開しているのを見つけました。 https://nvd.nist.gov/General/News/New-NVD-CVE-CPE-API-and-SOAP-Retirement 結構簡単に情報を取得できたので、情報共有も兼ねてプログラムを公開します。 実行環境 Ubuntu 18.04 LTS Python 3.9.1 ざっくりセキュリティ用語 厳密な意味はググれば出てくると思うので、ここではざっくりレベルで。 CVE (Comm
何を作るか?Python で GitHub API を利用するアプリケーションを作るときは、GitHub API を実行して情報取得する部分を、1 つのモジュールとして切り出しておくと全体のコードがすっきりします。 ここでは、実装例として GitHubApi というクラスを作り、次のようなことを行えるようにします。 get_members() や get_issues() といった直感的な API で GitHub の情報を取得できるようにするオプションでプロキシや Personal Access Token を指定できるようにするページネーションによる連続アクセスで、多くの情報を一度に取得できるようにするGitHub の REST API に関しては、下記の記事を参照してください。 GitHub の REST API を使用するGitHub の REST API で Issue 情報を取
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く