LangChainを使ってOSINTを自動化する
OSINTとは OSINT (Open-Source Intelligence) とは、インターネット上に公にアクセス可能な情報を収集・分析することを指します。サイバーセキュリティの分野では特に重要な役割を担い、情報収集から脅威の評価・対策までの業務をサポートします。特に、LinuxコマンドやGoogle検索を使った情報収集はOSINTにおいて重要な手法のひとつです。 LangChainとは langchainは、LLMと外部リソース（データソースや言語処理系等）を組み合わせたアプリケーションの開発支援を目的としてHarrison Chaseさんが開発したPythonライブラリです。langchainを使うことで、OSINTにおいて人間が手作業で行うタスクを自動化することができます。 例えば、サイバー脅威に関連する情報を収集したい場合、langchainを使って自然言語からLinuxコマン
LangChainでChatGPTの回答にGoogle検索結果を反映する方法｜IT navi
2022年11月30日にテスト版が公開されたChatGPTは、ユーザーの様々な質問に流暢に答える会話能力のほかにも、様々な種類の文章やプログラムをリアルタイムで生成することができ、その性能の高さが話題となりました。 しかし、ChatGPTには、フォローしている情報が2021年までという制限があるため、最近のニュースや話題には対応できません。 この問題を解決するために、PythonライブラリのLangChainを利用して、ChatGPT（クローン）でGoogleの検索結果を使えるようにしてみました。 ※（2022年12月31日追記）Googleカスタム検索版ChatGPTクローンのコードを追加しました。 １．ChatGPTの課題 ChatGPTは、様々な質問に対して、ユーザーが望む形で回答を返してくれる非常に便利な対話用AIですが、大きな課題が二つあります。 事実と見分けがつかないデタラメな
ゼロから始めるPaperspace Gradient【Google Colab代替サービス】 - Qiita
Information 2024/10/7： ストレージとして Amazon S3 をマウントする方法を 10 章に追記しました。 これにより、コストの安い S3 をストレージとして使用できるため、 Paperspace のストレージ容量が少ない問題を解決できます（ S3 の料金体系については 9 章を参照）。 特定の torch や cuda のバージョンのコンテナで notebook を起動するする方法を 3 章に追記しました。 「torch==2.4.0 でないとライブラリが動かせない！」といった場合にお試し下さい。 はじめに こんにちは、kunishouです。先月2022年9月の末にGoogle Colabがサービス内容の大幅な変更を実施し、従来は無制限でGPUを使用できていたものが、クレジット制に移行しました。この変更を受けてこれまでGoogle Colabを利用してKaggle
フォントファイルに収録されてない字を機械学習で生成してみた | Qiita
用意して下さい。 ( 学習 data を ) 用意して下さい。 ( 字を ) 定義して下さい、 JavaScript 配列を、その字の。 幾つかの字が用意されました、筆者により。 確認して下さい。 ( strArrToImgs.js ) Google Search 小学生 1年生 習う漢字 ~ 小学生 6年生 習う漢字 中学生 1年生 習う漢字 ~ 中学生 3年生 習う漢字 Generate して下さい。 ( 字の image を。 ) Save して下さい。 ( strArrToImgs.js を。 ) Copy strArrToImgs.js ( この document の。 ) Run. vim strArrToImgs.js Put i key. Paste it. Put Escape key. Type :wq Put Return key. ( or Enter ) Run.
Machine Learning | Google for Developers
Send feedback Stay organized with collections Save and categorize content based on your preferences. Google's fast-paced, practical introduction to machine learning, featuring a series of animated videos, interactive visualizations, and hands-on practice exercises. Since 2018, millions of people worldwide have relied on Machine Learning Crash Course to learn how machine learning works, and how mac
Custom Search APIを使ってGoogle検索結果を取得する - Qiita
はじめに 業務要件で、あるキーワードのGoogle検索結果（検索順位）を毎日取得してモニタリングする必要が生じたため、Custom Search APIを使ってみました。 Googleの公式サイトはこちら Google Custom Search JSON API 検索結果を取得するまで 以下の流れで説明します。 APIキーの取得 Custom Search APIの有効化 Custom Search Engine（CSE）の取得 Google API Client Libraries（Python）のインストール APIでGoogle検索結果の取得 ※ Googleアカウントは既にある前提 ※ 1～4は特に順番はありません（どれを先にやってもよいです） ※ 1,4は既に他で実施済みであれば不要 1. APIキーの取得 ※既に取得済みであればこの項は不要です。 Google Develop
上場会社一覧を取得して有報キャッチャーのatomを閲覧するまわり（XBRL取得の準備など） - Qiita
# 事前処理 # !pip list !pip install -q xlrd ############################################### from google.colab import files import google.colab import googleapiclient.discovery import googleapiclient.http import os # import datetime import requests from bs4 import BeautifulSoup import time import pandas as pd def fn_fuga(sic): ### 有報キャッチャーの閲覧 ### start = time.time() print(sic) url = 'http://resource.uf
Google ColabとVSCodeを用いた分析環境運用方法 〜kaggle Tipsを添えて〜 - ギークなエンジニアを目指す男
こんにちは。takapy（@takapy0210）です。 本エントリは下記イベントでLTした内容の元に、補足事項やコードスニペットなどをまとめたものになります。 kaggle-friends.connpass.com ちなみに今回LTしようと思ったきっかけは以下のような出来事からだったので、みなさんのTipsなども教えていただけると嬉しいです！ 情報出回ってる感あるけど、colab pro × vscode ssh のオレオレ運用方法を晒すことにより、もっと良い方法のフィードバックもらえるのではドリブンでLTするのはありなのかもしれない・・・？— takapy | たかぱい (@takapy0210) 2021年8月1日 LT資料 当日みなさんから頂いたコメント 環境構築手順 ngrokアカウント作成と認証キーの取得 ColabにGoogleドライブを接続、ngrok、sshサーバー起動
【Python/機械学習/Kaggle】ローカルで編集・パソコン間で共有可能な環境をColabとGoogleドライブで簡単構築 - Qiita
はじめに 「Colaboratory を使えばGPU付きの環境を無料で使えるけど、git使おうとしたりファイル編集したりする時面倒...」 と思っていた時期がありました。 パソコン版 Google ドライブ を使うと、ローカルにドライブをマウントできるので、ローカルで編集してGPUが必要なときはColabで実行というのが簡単にできます。ターミナルからコマンドで操作できるので、クラウドのストレージとしても使いやすいです。 また、最近 Colab Pro が日本にやってきました。月額1000円で Kaggle などでも十分戦える環境が手に入ります。もともと無料枠でもかなり使えましたが、課金すると優先的に良いGPUが割り当てられるなどのメリットがあります。 対象者 Kaggle に参加するためのGPU搭載マシンがない方（Kaggle Notebook では物足りない方） ちょっとした機械学習の環
sqlcommenter
sqlcommenter Attach SQL comments to correlate user code in ORMs and SQL drivers with SQL statements sqlcommenter is a suite of middlewares/plugins that enable your ORMs to augment SQL statements before execution, with comments containing information about the code that caused its execution. This helps in easily correlating slow performance with source code and giving insights into backend database
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - Ray0x01/Google-Dorking-Tool
GitHub - sato-susumu/susumu_ai_dialogue_system: AI dialogue system
GitHub - c4tcom/Katana: Python Tool that gives you the ability to run Advanced Google Queries (Known as Google Dorks - Google Dorking)
GitHub - prykon/GDAT: Google Dorks Automator Tool
GitHub - shubham-s-pandey/DorkRecon: DorkRecon is a tool written in Python3 which can be used for recon process using various Google dorks and open source tools
GitHub - Josue87/AnalyticsRelationships: Get related domains / subdomains by looking at Google Analytics IDs
GitHub - Greenfig/Search-Engine-Poisoning-Detector: Web scraper that probes websites for malicious content
GitHub - aufzayed/HydraRecon: All In One, Fast, Easy Recon Tool
GitHub - google/sqlcommenter
GitHub - deepseagirl/degoogle: search Google and extract results directly. skip all the click-through links and other sketchiness
