平成30/ 2018-12-16 11:35
USER AGENT

google bot は、
以下のように、IP逆引きした値が、google.com, googlebot.com であることが推奨されている
----
RewriteCond   %{REMOTE_HOST}  !(google|googlebot)\.com
----


Yahooは以下。
----
RewriteCond   %{HTTP_USER_AGENT} ^Y!J-
----
ユーザーエージェントは偽装されるよね、。



Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; MAM3; rv:11.0) like Gecko
----
Windows7, IE11

(Windows NT 6.1)
Windows 7

(WOW64)
Windows running on a 64-bit processor signature

(Trident/7.0)
Microsoft Trident engine v 7.0

ここで調べるといい。
http://user-agent-string.info/


___ Thanks.
userAgent(ユーザーエージェント一覧)
http://www.openspc2.org/userAgent/

ウェブページにアクセスするシステムのユーザーエージェントについて
http://www.yahoo-help.jp/app/answers/detail/p/595/a_id/42716/~/%E3%82%A6%E3%82%A7%E3%83%96%E3%83%9A%E3%83%BC%E3%82%B8%E3%81%AB%E3%82%A2%E3%82%AF%E3%82%BB%E3%82%B9%E3%81%99%E3%82%8B%E3%82%B7%E3%82%B9%E3%83%86%E3%83%A0%E3%81%AE%E3%83%A6%E3%83%BC%E3%82%B6%E3%83%BC%E3%82%A8%E3%83%BC%E3%82%B8%E3%82%A7%E3%83%B3%E3%83%88%E3%81%AB%E3%81%A4%E3%81%84%E3%81%A6

Google クローラ
https://support.google.com/webmasters/answer/1061943?hl=ja