Twitter Rate Limitsに関するアップデート
<path opacity="0" d="M0 0h24v24H0z" /> <path d="M17.207 11.293l-7.5-7.5c-.39-.39-1.023-.39-1.414 0s-.39 1.023 0 1.414L15.086 12l-6.793 6.793c-.39.39-.39 1.023 0 1.414.195.195.45.293.707.293s.512-.098.707-.293l7.5-7.5c.39-.39.39-1.023 0-1.414z" /> </svg>" data-icon-arrow-left="<svg width="28px" height="28px" viewbox="0 0 28 28" version="1.1" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://ww
Twitter障害はスクレイピングではなく“自己DDoS”が原因？
Twitterのオーナー、イーロン・マスク氏は7月1日、Twitterでの“サービスの低下”の原因を「数百の組織がTwitterのデータを極度なレベルでスクレイピングしている」ことだとツイートしたが、原因は別のところにあるようだと、フリーランスのWeb開発者、シェルドン・チャン氏がMastodonの投稿で指摘した。 この“サービスの低下”で、多数のユーザーが投稿を読めなくなっている。マスク氏は2日、「極端なレベルのデータスクレイピングとシステム操作に対処するため」にユーザーが読める投稿数に制限を加えたとツイートした。 だがチャン氏は、異常なトラフィックの原因として、TwitterのWebアプリのバグにより、無限ループ状態でTwitterにリクエストが送信されていることを発見したと動画を添えて説明した。この動画では毎分数百件のリクエストが送信されていることが確認できる。 左の動画は、レートが
GitHub に漏れ出た内部コードを探す ~ 上場企業 3900社編 ~ - ぶるーたるごぶりん
全１回、このシリーズは今回で最後です！ TL;DR 上場企業 3900 社程に対して、すごく大雑把な「内部コード等の漏洩調査」を GitHub 上で行った 結果としては、重要度の高いものから低いものまで 10社ほどで漏洩が確認された 重要度の高いものとして、社外秘っぽそうなスプレッドシート、社員のハッシュ化パスワード(BCrypt)、 AWS Credential 等 「大雑把な」調査を行ったが、より精度の高い方法等について記事内にて触れていく 脅威インテルとか DLP みたいなエリアとかも、外部企業とかに頼るだけじゃなく「自分たちでも」頑張ってみるのがいいんだと思います GitHub Code Search ... すげえぜ！ Google Dorks ならぬ、 GitHub Dorks + GitHub Code Search でまだまだいろいろできるはず。 はじめに チャオ！ 今回は
【2Captcha】Python+Seleniumで『reCAPTCHA』を突破する方法
2Captchaとは 2Captcha公式ページ ロシアの会社が開発したreCAPTCHAを突破するためのプラットフォームです。 通常であれば、プログラムからreCAPTCHAにチェックをいれることは、ほぼ不可能レベルだと言われています。 では、なぜ2Captchaを使うだけで、可能なのでしょうか。 2Captchaの仕組み 2Captchaの仕組みを簡単に説明すると、reCAPTCHAのチェックボタンをネット上の『Worker』と呼ばれている人達に代わりに押してもらっているイメージです。 PythonのSeleniumで説明すると、プログラムの実行中にWorkerの誰かがリアルタイムで解錠した結果を2Captcha経由で受け取ると言ったところでしょう。 なので、2Captchaはプログラムで解錠しているように見えるけど、実際は人力…みたいなオチです。 使用方法 2Captchaを使うため
山手線リアルタイム混雑情報で遊んでみよう
去年から公開されてる「JR東日本アプリ」ですが、機能の一つに「山手線トレインネット」というものがあります。 これは山手線の各車両の現在位置、混雑状況、室内温が見えるというもので、 座りやすい車両を探すのに便利だったりします。 山手線トレインネットから取得した車両位置と混雑率 電車の運行情報がここまで時間粒度細かく公開されているのは世界的にも珍しいので、特に目的も無しにデータをクローリングして遊んでみました。 データをクローリングする まずは山手線トレインネットの車両位置・混雑情報をクローリングします。 JR東日本アプリの山手線トレインネット。 今の車両内の混雑や室内温が見える。すごい！ 「山手線トレインネット」はブラウザから見えるページが存在しない、iPhone/Androidアプリ専用の画面です。 なので普段の「FirebugでAJAXの通信を見てAPIをリバースエンジニアリング」ほど簡
Import.io
Specialized Web Data ExtractionExtracting protected, high value web data is hard and only getting harder. Import delivers the data that others can't get to. Get a demo
開発者の皆さまへ | developer.5ch.net
5ch.net 専用ブラウザの開発者の皆さまへ 5ch.net 専用ブラウザ（以下「専用ブラウザ」）を開発、公開するには、5ch.net の所有者である Loki Technology, Inc. の許諾を得て、5ch.net が提供する API（以下「API」）を用いる必要があります。 ウェブスクレイピングを用いた専用ブラウザの開発、公開は禁止されています。 API の使用許諾を得ずに API を使用することは、不正アクセス行為の禁止等に関する法律等関係する法律に違反することになります。違法行為を発見次第、刑事民事による適切な法的対応をされることになります。 株式会社ジェーンは Loki Technology, Inc. から API の使用許諾を得て、一部の専用ブラウザ開発者に対し、API を使用許諾する権限を受けていますが新規の登録は受け付けておりません。 株式会社ジェーンは Lok
無効なURLです
無効なURLです。 プログラム設定の反映待ちである可能性があります。 しばらく時間をおいて再度アクセスをお試しください。
「erockrの運用とデータの活用」グラビアアイドルの自動クラスタリング、カップ分析ほか。 - konisimple log
画像xエンジニアリング勉強会(GXEB)という勉強会で「erockrの運用とデータの活用」というテーマでライトニングトークをしてきたので、その内容を文字におこしてみました。 ちなみにこのGXEBという勉強会はOppai-Detect3 - ゆーすけべー日記などのすごい発表も聞けて、とても楽しい勉強会でした！他の人の発表は2010-11-27 - 海老かつ日記をご覧ください。 ※発表でフォローしきれなかったところは追補しました。 koni 大学3年生 (就職活動中) 趣味:ウェブサービスをつくること、テニス Twitter: @koni 育ち：千葉県流山市 今：埼玉県所沢市 お願い ライトニングトークどころか、こういった勉強会は初めてです。緊張しています。どうか暖かい気持ちで見守ってください。 →「こに」の自己紹介 - konisimple erockr? erockr = flickr +
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
kimono : Turn websites into structured APIs from your browser in seconds