OGP取得用クローラのユーザーエージェントを、TwitterやLINEなど8サービスで調べてみた - CrieitSNSなどで、投稿されたWebサイトのリンクがリッチに表示される「OGP (Open Graph Protocol)」機能。 Webサイトに簡単なメタタグを組み込むだけでOGP表示されるため、対応するサイトは増えています。 しかし、OGP用のメタタグは一般ユーザーからは見えないし、サムネイル動的生成などでサーバーに大きな負荷がかかることもあるので、できればOGP取得用クローラ以外にはメタタグを生成しないようにしたいもの。 そこで、UA(ユーザーエージェント)からクローラによるアクセスか判定するために、実際にOGP取得用クローラのUAを記録して調べてみました。 結果 2019年3月28日に記録された文字列をそのまま掲載しています。
