NVDのAPIを叩いて脆弱性情報を自動収集してみる - Qiita
背景 私の勤めている会社では脆弱性の情報収集はメーリングリストベースのサービスを利用しているが、提供される形がテキストベースであり、自動化には即していない形となっていて効率化が難しい状態。脆弱性情報の収集自動化のための試みとして、NVDのAPIを叩いてCVE情報を自動取得する。 （もうやられている方いるのは知っていますが勉強のため自分でやる） NVDのデータを自動取得するための手段はNVD Data Feedsに記載されている。その中でAPIの情報はこちらにある。APIは主にCVEとCPEの2つが用意されている。共通プラットフォーム一覧CPE(Common Platform Enumeration)は脆弱性をさすものではないので、今回はCVEのAPIを利用する。 CVEのAPI CVEのAPIはhttps://nvd.nist.gov/developers/vulnerabilities
NVD公開のREST APIを用いて脆弱性情報を取得する - Qiita
背景 NVD (National Vulnerability Database) は、NISTが管理している脆弱性情報のデータベースであり、ソフトウェアやハードウェアの脆弱性情報を確認する際、NVDにお世話になることは非常に多いです。 そんなNVDですが、各CVEの脆弱性の情報が取得できればいいなあと思っていたところ、 NVDがREST APIを2019年9月に公開しているのを見つけました。 https://nvd.nist.gov/General/News/New-NVD-CVE-CPE-API-and-SOAP-Retirement 結構簡単に情報を取得できたので、情報共有も兼ねてプログラムを公開します。 実行環境 Ubuntu 18.04 LTS Python 3.9.1 ざっくりセキュリティ用語 厳密な意味はググれば出てくると思うので、ここではざっくりレベルで。 CVE (Comm
Custom Search APIを使ってGoogle検索結果を取得する - Qiita
はじめに 業務要件で、あるキーワードのGoogle検索結果（検索順位）を毎日取得してモニタリングする必要が生じたため、Custom Search APIを使ってみました。 Googleの公式サイトはこちら Google Custom Search JSON API 検索結果を取得するまで 以下の流れで説明します。 APIキーの取得 Custom Search APIの有効化 Custom Search Engine（CSE）の取得 Google API Client Libraries（Python）のインストール APIでGoogle検索結果の取得 ※ Googleアカウントは既にある前提 ※ 1～4は特に順番はありません（どれを先にやってもよいです） ※ 1,4は既に他で実施済みであれば不要 1. APIキーの取得 ※既に取得済みであればこの項は不要です。 Google Develop
PythonでTwitterスクレイピング&データフレーム化 - Qiita
なぜこの記事を書いたか twitter感情分析に必要なデータの準備、すなわち 「(1)PythonでTwitterスクレイピング⇨**(2)スクレイピング結果をデータフレームとして出力**」をシームレスに解説している記事がなかったからです。 「Twiiterスクレイピング」や「Pythonで感情分析（ネガポジ分析）」、「データフレーム」はそれぞれポピュラーなテーマなので単体ではよく解説記事を見かけます。しかしどれも部分的で、当時初心者レベルの自分には痒いところに手が届かず、中々苦労しました。 本記事の内容 本記事のコードをコピペすればそのまま任意のキーワードやユーザーからツイートを取得、データフレームとして出力が出来ます。ただし、TwiiterAPIを取得していることが前提です。 TwitterAPI取得方法はこちら ##注意点 ・スクレイピングはTwiiter社の規約に則って行いましょう
AbuseIPDBのAPIを使ってみた - Qiita
AbuseIPDBって何？ これ https://www.abuseipdb.com/ 世界中のいろいろな人が悪いIPを晒上げるサイトで、怪しげなアクセスがあったときのIP調べるのに使ったする。 1個1個調べたり1個1個晒上げるならサイト上の検索やREPORTで十分だが、自動でブラックリストもらってきたり、まとめて晒上げたい場合WebAPIを使うことになる。 今回はこのサイトのWebAPIを使ってIPブラックリストとってきたり、悪いIPを晒上げてみるまでのことを書く。 WebAPI使うまでの準備 まずはアカウント作成 貧乏なのでFREEなアカウントを使う。 下記にアクセスして、INDVIDUALの下のSIGN UPを選択する。 https://www.abuseipdb.com/pricing 適当に入れるもん入れてアカウント作成すると、以下のような画面に遷移する。 しばらくすると登録した
[FastAPI] Python製のASGI Web フレームワーク FastAPIに入門する - Qiita
FastAPI PythonのWeb frameworkで、Flaskのようなマイクロフレームワークにあたります。 パフォーマンスの高さ、書きやすさ、本番運用を強く意識した設計、モダンな機能などが強みです。 FastAPIはStarletteの肩に乗る形で書かれており、非同期処理が扱いやすいです。 特に、以下の様な特徴があります。 ASGI websocketのサポート GraphQLのサポート バックグラウンドプロセスが扱いやすい python type hintによる自動ドキュメント生成 (Swagger UI) pydanticをベースとしたdata validation 率直に言って、responderに非常に似ています。(でた時期も近いですし、responderもStarletteがベースなので) ですが、下の2つはFastAPIの方がよっぽど使いやすく設計されています。 以下の
![[FastAPI] Python製のASGI Web フレームワーク FastAPIに入門する - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/7ac35c575214252e18b1f39cfafc14301087c817/backend=imagemagick;height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Farticle-ogp-background-afbab5eb44e0b055cce1258705637a91.png%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRnMzLWFwLW5vcnRoZWFzdC0xLmFtYXpvbmF3cy5jb20lMkZxaWl0YS1pbWFnZS1zdG9yZSUyRjAlMkYyNDY1NTIlMkZkYmY1N2MwZDY1YWExZjVjYzYzYWNiMDIyMTgzMzhlMjU5MGE4NzkyJTJGeF9sYXJnZS5wbmclM0YxNTc0MTI0NzEwP2l4bGliPXJiLTQuMC4wJmFyPTElM0ExJmZpdD1jcm9wJm1hc2s9ZWxsaXBzZSZiZz1GRkZGRkYmZm09cG5nMzImcz1jNmZlZTIzMGYyZjcxMGJmMzU0ZWRiZGE1Y2EyNzNmNQ%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253Da7c9c0eb49a9875bed3e6e7715a5cd69%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9JTVCRmFzdEFQSSU1RCUyMFB5dGhvbiVFOCVBMyVCRCVFMyU4MSVBRUFTR0klMjBXZWIlMjAlRTMlODMlOTUlRTMlODMlQUMlRTMlODMlQkMlRTMlODMlQTAlRTMlODMlQUYlRTMlODMlQkMlRTMlODIlQUYlMjBGYXN0QVBJJUUzJTgxJUFCJUU1JTg1JUE1JUU5JTk2JTgwJUUzJTgxJTk5JUUzJTgyJThCJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LXBhZD0wJnM9MTVjODU5MzZjMTM0Yzg0MzY0YzkzNjg4ZTQ3ZDJmY2Q%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDBiZWUyJnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LXBhZD0wJnM9MTZlYzZmMzM0ZGYxMDIzMTI0ZjhkZjk1ZDQ2MWVlMGY%26blend-x%3D242%26blend-y%3D480%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26s%3Def1ab98ee1fe2626d8ffc75141a04b3c)
Google Safe Browsing ListにCSVから取得したマルチバイト文字を含んだURLを渡す - Qiita
from urlparse import urlparse import urllib def toGSBL(str_url, character_code) scheme, netloc, path, params, query, fragments = urlparse(unicode(str_url, character_code, 'ignore')) netloc = netloc.encode('idna') path = urllib.quote_plus(path.encode('utf-8'), '') if len(path) > 0 else '/' query = urllib.quote_plus(query.encode('utf-8'), '') if len(query) > 0 else '' return scheme + '://' + netloc
Jupyter NotebookでGoogle Safe Browsing API - Qiita
Google Safe Browsing APIは特定のURLやバイナリが安全か否かをチェックするAPI。さっと調べるときに便利なようにJupyterから使えるようにしてみた。 普通のURLを入れると何も値が出てこないので「安全でないURL」を探したのと、ヒアドキュメントにURLを埋め込むあたりに苦労の跡が。 import pycurl, io, json url = 'http://malware.testing.google.test/testing/malware/' api_key = 'your_api_key' data = ''' {{ "client": {{ "clientId": "your_client_name", "clientVersion": "0.1" }}, "threatInfo": {{ "threatTypes": ["THREAT_TYPE_UNS
Scrapy&Twitter Streaming APIを使ったTweetのクローリング - Qiita
はじめに インフルで1週間潰しました。辛かった。。。 ということで、クローリングについてです。 Pythonでクローリングするとなると、Scrapyはかなりよく出てくると思います。 僕も初めて触ってからかれこれ2年以上経っているように思います。 弊社Liaroでも使ってますし、何と言っても3系対応したのが嬉しいですね。 何を書くか チュートリアルとかは散々落ちてますので、TwitterをクローリングするときにAPIとどう連携させたかを書こうかと。どこか参考にしたはずなのですが忘れてしまい。。。見つけ次第リンク貼っておきます。 やってみた 方針 基本的には下図で言うMiddlewareをTwitter用に書いて、settingsを書いておく感じです。 Pythonバージョンは3.5.1で、Twitterライブラリはpython-twitterを使いました。 Middleware TW_CON
VirusTotal APIを使ってみた - ごちゃごちゃしたIT勉強記録
皆さんご存知VirusTotalのAPIを少し試してみようと思います。 他の方のブログを見ていると、ハニーポットとVirusTotalを連携させてDionaeaに保全されたマルウェアを自動的に判定するようなものを作ったりしているのをみて、非常にそそられました。 なので、まずは「そもそもVirusTotal APIってなんぞ？」というところからはじめて、簡単な使い方などをまとめておこうと思います。 VirusTotalとは まずは基本的な話として、VirusTotalとは何かという話からはじめます。 簡単にまとめるとこんな感ですね。 ファイルをアップロードしたり、URLやファイルのハッシュ値をサーバーに問い合わせることによって、それがマルウェアなのか判定してくれたり、URLであれば攻撃サーバ（Command and Control Server: C2, C&C)なのかを判定してくれるWeb
VirusTotal APIに関して - Qiita
目的 VirusTotal のAPIの使い方を覚えて、何かアンチマルウェア業界に貢献するツールを作ろうの会 前提 python 2.7.5 兎にも角にもひとまずリポジトリ VirusTotalとは？ こちらです。 https://www.virustotal.com/ どういうページかというと、例えばの使い方ですが、怪しいファイルとかをぶち込めば、いろんなアンチウイルスにかけてくれて怪しいかどうか判定してくれたり、種々の解析情報を返してくれるページなのです。また、他の人がかけた結果もわかるので、例えばハッシュ値がわかって、すでに解析済みかどうかを調べることもできます。 ではVirusTotal APIとは？ virustotalの機能をプログラムから利用できるAPIが公開されていて、多分ハッシュ値を投げれば情報を返してもらったり、その他もいろいろな事が出来ると思います(参考文献1.)。 基
Virus Total で悪意あるファイルやURLを検出してみた。 - Qiita
Virus Total とは Analyze suspicious files and URLs to detect types of malware including viruses, worms, and trojans. 以下、日本語訳 ウイルスや、ワーム、トロイの木馬を含んだマルウェアの種類を検出するために疑わしいファイルやURLを分析します。 とのことです。 サイトには以下のようなフォームがあり、そこから分析対象とするファイルやURLを指定することができます。 試しに以前自分が発見したダウンローダが、Perl製のIRC Botを取得するために指定していたURLで分析を行いたいと思います。 結果は以下のようになりました。（ちなみに今回分析に使用したURLに"curl"コマンド等でリクエストを投げると実際にPerl製のIRC Botのソースコードが返ってきますのでご注意ください。）
Qiitaの記事データをQiita API, Scrapyで収集 - Qiita
はじめに この記事ではQiita APIおよびScrapyによるクローリング、スクレイピングによってQiitaの記事データ（タイトル、「いいね」数、投稿日時など）を取得しCSVファイルとして保存する方法を紹介する。 基本的にはQiita APIを使うべきだが、「ストック」数ランキングに限ってはスクレイピングで取得するほうが簡単。 以降のQiita APIやQiitaのサイトについての記述はすべて2018年8月15日時点の仕様。 収集したデータの分析については以下。 Python, pandasによるデータ分析の実践 （Qiita記事データ編） ※普段は自分のサイトに書いているのですが、Qiitaのデータを使わせてもらった内容はQiitaに書くのが筋だろうと思いこちらに書くことにしました。 「いいね」と「ストック」 Qiitaには「いいね」と「ストック」がある。 もともとは「ストック」だけだ
REST API提供者と自分にやさしいAPIクライアントをPythonでいい感じに作る方法 - Qiita
この記事は Retty Advent Calendar 2017 20日目です。 昨日は @resessh さんの 「Vue.jsをTypeScriptで書く環境を構築する (Sublime Text編)」 でした。 REST API提供者と自分にやさしいAPIクライアントをPythonでいい感じに作る方法 Rettyのサーバサイドエンジニアかつ,Python使いのnakagawa(@shinyorke)ともうします.1 データ分析をしたり,機械学習をしたりする上で,当然のことながらまとまったデータが必要ですと. データを得る・活用する際は, 公開されているAPI(REST API)から取得する Webサイトをクロールして目的のページをスクレイピングする APIから取ったデータorスクレイピングしたデータをDBに保存する といった苦行楽しい作業をするわけですが,その「楽しい作業」を, サイ
API Blueprintで書いたWeb APIをdreddでテストする - Qiita
前々回：API BlueprintでWeb APIのドキュメントを生成する - Qiita 前回：API Blueprintとapi-mockでモックサーバを作成する - Qiita 概要 さて、今回はAPI Blueprintを使って作成したWeb APIがドキュメント通りに動作するかを、dreddを使ってテストします。 dreddとは dreddはAPI BlueprintをベースにしたWeb APIのテストフレームワークです。"Language-agnostic"と謳っているだけあってテストのフックにはnode.js以外にもgoやPython、Rubyなど多様な言語が利用でき、またCircleCIやJenkinsCIなどのCIのサポートもあります。 このように、API Blueprintのエコシステムに乗っかることによって、API Blueprint形式で書いた仕様からaglioを使
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Pythonを使ってシンプルなVirusTotalクライエントを作る - equalsequals.io
VirusTotal API の使い方
GitHub - nkmk/scrapy-example
JupyterからShodanのAPIにアクセスする - Qiita
SHODAN - Qiita
