くだらないAPIなんていらないよ – 2016年のウェブスクレイピング事情 | POSTD

ソーシャルメディアのAPIとそのレート制限は、あまり気分のよいものではありません。特にInstagram。あんな制限つきAPIを欲しがる人がいったいどこにいるんでしょうね？ 最近のサイトは、スクレイピングやデータマイニングの試みを阻止するのがうまくなってきました。AngelListはPhantomJSすら検出してしまいます（今のところ、他のサイトでそこまでの例は見ていません）。でも、ブラウザ経由での正確なアクションを自動化できたとしたら、サイト側はそれをブロックできるでしょうか？ 並行性を考えたり、さんざん苦労して用意した結果として得られるものを考えたりすると、Seleniumなんて最悪です。あれは、私たちが「スクレイピング」と聞いて思い浮かべるようなことをするためには作られていません。しかし、賢く作り込まれた今どきのサイトを相手にして、インターネットからデータを掘り当てるための信頼できる

[kijtra]

APIはデータ形式が保証されているから使うんだよね。スクレイピングの、データの正確さ検証とかエラー処理とか仕様変更追随(それを検知する仕組みも)とかはコスト高いよ。

[UhoNiceGuy]

CAPTCHAはスクレイピングしないでくれって意思の表明なのだからCAPTCHA破りを堂々とされてもなぁ

[netcraft3]

スクレイピング大好き。「スクレイピングは違法」と考える人はGooglebotも糾弾するのだろうか。

[Aodrey]

これ堂々と語る事ですらないのでは？くだらないマナーとルールなんていらないよと言って路上喫煙できるスポットと時間帯を顔出し記名で紹介してるのに等しいと感じる。

[puglee]

「警備システムを騙して万引きしてます」って話かなあ。違いは、その行為を直接裁く法律が無いだけで。

[shinagaki]

CAPTCHA破りをすることでCAPTCHAが複雑になり、まっとうな人間がCAPTCHA対応にかかる時間が失われてるのはもったいない

[hemispherwhistle]

javascript instagram スクレイピング

[kurikurimaron]

“まくなってき”

[shogo_okamoto]

業務的なやつだ

[ginzi009]

くだらないAPIなんていらないよ – 2016年のウェブスクレイピング事情

[solidstatesociety]

下手な制限かけるなら、さっさと有償化してほしいなぁというものはありますね。

[iR3]

ほ〜

[bleu-bleut]

Seleniumを使った自動化／スクレイピング／クローリング

[golden_eggg]

ニヤニヤしながら読んだｗ

[tak4hir0]

くだらないAPIなんていらないよ – 2016年のウェブスクレイピング事情

[mactkg]

APIがあったら行儀よくAPI使うよ。でも中途半端にしか使えないやつなんていらねーってことじゃん。

[kfujii]

“特にInstagram。あんな制限つきAPIを欲しがる人がいったいどこにいるんでしょうね？”

[georgew]

スクレーピングは

[tyru]

「ブラウザの自動化にはJavaScriptが向いている」だよねぇ

[beerbeerkun]

スクレイピングは違法じゃない。負荷や攻撃リスクの関係でBanされる可能性があるだけ。APIも一緒だけどな。

[psfactory]

くだらないAPIなんていらないよ – 2016年のウェブスクレイピング事情 | プログラミング | POSTD

[suthio]

思ったよりはるかにちゃんとやりきってた

[jaga291]

web

[aed8am1hoestks5rhn3u]

肩肘はってなくて素敵です　スクレイピング自体はデータを参照しているだけですからねぇ。短時間にガーっと回すと相手に負荷がかかるので、注意は必要ですが。

[uesima]

、

[miyadai454]

不要な負荷をかけたりしなければ問題ないよね。しかし、手法公開すると対策されるんじゃ。

[Rinta]

今時のスクレイピングというのを勉強し直すのもいいかも。昔のPerlスクリプトじゃYahoo! Financeから時系列データをもらってくるのもできなさそうだ。

[sugawara1991]

As-Isのデータを分析したい需要があるのはわかる。が、コンテンツ剽窃用と区別できないし提示側としては整形・制限した提供に留めたいのと、享受側も綺麗なデータを取得したい共犯関係がAPIの需給にあるわけで

[deep_one]

この技法が要らない。というか、実際は「ちゃんとしたAPIが無くて困っている」じゃないか。

[wordi]

スクレイピングだとリストの中から各アイテムに潜った時に微妙に構造違ったりして「んぎぎ」ってなる、あと単純にデータ量増える

[khtokage]

APIをもう少し整備してくれればスクレイピングしなくて済むのにね。いつも面倒臭いなーと思いながら作る。／antigate以外にもこの手は結構あちこちに。安いので、$10も放り込めば個人レベルなら年単位で持ちますｗ

[katsusuke]

参考になる