Google ColabとVSCodeを用いた分析環境運用方法 〜kaggle Tipsを添えて〜 - ギークなエンジニアを目指す男
こんにちは。takapy（@takapy0210）です。 本エントリは下記イベントでLTした内容の元に、補足事項やコードスニペットなどをまとめたものになります。 kaggle-friends.connpass.com ちなみに今回LTしようと思ったきっかけは以下のような出来事からだったので、みなさんのTipsなども教えていただけると嬉しいです！ 情報出回ってる感あるけど、colab pro × vscode ssh のオレオレ運用方法を晒すことにより、もっと良い方法のフィードバックもらえるのではドリブンでLTするのはありなのかもしれない・・・？— takapy | たかぱい (@takapy0210) 2021年8月1日 LT資料 当日みなさんから頂いたコメント 環境構築手順 ngrokアカウント作成と認証キーの取得 ColabにGoogleドライブを接続、ngrok、sshサーバー起動
野球のビッグデータをGCPとPySparkでいい感じに使いやすくしてみた - DataprocとGCFを使った緩いデータ基盤 - Lean Baseball
最近の野球界隈の出来事が斜め上すぎて驚いてるマンです.*1 本業の仕事および, 本業じゃない個人開発や趣味プログラミングにおいて, データの量が多くて 単位やフォーマットが不揃いで それでも仕事（もしくは趣味の分析）をこなすため, いい感じの使いやすいデータセットにしないと（使命感） という機会は非常に多いです. いや, 機会が多いというより多かれ少なかれ毎日戦っている気がします. 今回は, ちょっとした分析とお遊びのため, メジャーリーグの公式データサイト「Baseball Savant」のデータを使ったBigQueryデータベースを作りたくなったので, クローラーでBaseball Savantのデータを取ってCSVにして CSVからデータを集計したり整えたりしていい感じの単位にして BigQueryから使えるようにしてみたよ！ というタスクをGoogle Cloud Platform
GitHub - webrecorder/pywb: Core Python Web Archiving Toolkit for replay and recording of web archives
View the full pywb documentation pywb is a Python 3 web archiving toolkit for replaying web archives large and small as accurately as possible. The toolkit now also includes new features for creating high-fidelity web archives. This toolset forms the foundation of Webrecorder project, but also provides a generic web archiving toolkit that is used by other web archives, including the traditional "W
GuardDutyに「PenTest:S3/KaliLinux」を検知させるPythonスクリプト作った | DevelopersIO
こんにちは、臼田です。 みなさん、AWSの脅威検知してますか？(挨拶 今回は特定のFindingsを出そうシリーズです。 PenTest:S3/KaliLinuxとは PenTest:S3/KaliLinuxはS3のデータアクセスAPIなどについてKali Linuxによるアクセスがあった場合に検知されるGuardDuty Findingsです。Kali Linuxはペネトレーションテストに使われるOSであり、通常そのようなOSからのアクセスはありません。 このFindingsは動作を見ている限り、CloudTrailのAPIイベントに記録されたUser-Agentを識別していると思われるため、ただ検知させることが目的であればこれを逆手に取り、Kali Linuxを実際に使わなくてもヘッダを書き換えるだけで目的を達成できます。 ただこれはあくまで検証結果と推測に基づくものではありませんので
Introducing CertStream
Any day that you see one of your projects make it to public release is a good day, and today is a damn good day. Today I introduce the world to CertStream — a free service and simple libraries for getting data from the Certificate Transparency Log (CTL) network in real time. This allows anyone to write extremely simple code (or even a bash script) to react to SSL certificates being issued, as they
GitHub - eth0izzle/bucket-stream: Find interesting Amazon S3 Buckets by watching certificate transparency logs.
Find interesting Amazon S3 Buckets by watching certificate transparency logs. This tool simply listens to various certificate transparency logs (via certstream) and attempts to find public S3 buckets from permutations of the certificates domain name. Be responsible. I mainly created this tool to highlight the risks associated with public S3 buckets and to put a different spin on the usual dictiona
PythonでMySQLのスロークエリログを集計 | 外道父の匠
久々に溜まったブログネタ放出をしようかなと、その前に下書きから掘り起こしてきた、いまさらなスロークエリ関連で準備運動です。 RDSのスロークエリ情報は当然、集計を自動化していつでも見れるようにしてあるのですが、ちょいと必要があったので、今回はあえて単発ログを集計する形に切り出したものを用意してみました。 スロークエリログの必要性 最近はNewRelicとかで、アプリケーションの処理を分別して処理時間などを集計するので、それで課題となるクエリを確認したりもします。 非常に便利な仕組みですが、アプリケーション外のジョブなどが実行したクエリは集計されないことや、負荷試験で課題を炙り出すときだとテスト環境にエージェントやライブラリを仕込む必要がある、といったデメリットとまでは言わないまでも面倒さがあります。 その点、スロークエリはサーバー側で記録するものなので、0.1秒とかでONにしておけば、対象
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Medium
GitHub - davidtavarez/pwndb: Search for leaked credentials
GitHub - unstabl3/recce: Domain availbility checker
GitHub - VIDA-NYU/domain_discovery_API: Domain Discovery Operations API formalizes the human domain discovery process by defining a set of operations that capture the essential tasks that lead to domain discovery on the Web as we have discovered in intera
GitHub - n00py/LAPSDumper: Dumping LAPS from Python
GitHub - ktecv2000/ProxyShell: ProxyShell POC Exploit : Exchange Server RCE (ACL Bypass + EoP + Arbitrary File Write)
GitHub - bit4woo/teemo: A Domain Name & Email Address Collection Tool
Automated monitoring of subdomains for fun and profit — Release of Sublert
GitHub - yassineaboukir/sublert: Sublert is a security and reconnaissance tool which leverages certificate transparency to automatically monitor new subdomains deployed by specific organizations and issued TLS/SSL certificate.
GitHub - s0md3v/Zen: Find emails of Github users
GitHub - FeeiCN/ESD: Enumeration sub domains(枚举子域名)
GitHub - appsecco/spaces-finder: A tool to hunt for publicly accessible DigitalOcean Spaces
Python scirpt for counting slow query log and sort it.
