仕様が単一にまとまっているものではないので、利用できるものをまとめる 検討するクローラー 今回焦点を当てるのは Google と Bing 。 YahooJapanはすでにGoogle検索を利用しているので今回は考慮しない。 出典 robots メタタグ、data-nosnippet、X-Robots-…