仕様が単一にまとまっているものではないので、利用できるものをまとめる
検討するクローラー
今回焦点を当てるのは Google と Bing 。
YahooJapanはすでにGoogle検索を利用しているので今回は考慮しない。
出典
使えるもの
| 値 | 説明 | Bing | |
|---|---|---|---|
| all | インデックスの登録に制限を設けない。既定値。 | ○ | ? |
| noindex | 検索結果のインデックスに登録させない。 | ○ | ○ |
| nofollow | ページ内のリンク情報を辿らせない。（どういうことかは関連リンク参照） | ○ | ○ |
| noarchive | 検索結果にキャッシュ表示をさせない | ○ | ○ |
| nosnippet | 検索結果にてサムネイルやページのプレビューを生成させない | ○ | ○ |
| max-snippet: [number] | 検索結果にてテキストスニペットに使われる最大文字数をnumberに設定できる。0の場合はnosnipepetと同義、-1を指定すると特段リミットを設定しません。 | ○ | ○ |
| max-image-preview: [setting] | 検索結果のページプレビューサイズに関して設定をすることができる。 none が 画像プレビューを表示させない、 standard はデフォルトのサイズ、large はスタンダードと同等かそれ以上に大きいサイズをプレビュー表示させます。 |
○ | ○ |
| max-video-preview: [number] | 検索結果で動画を表示する際の最大秒数をnumberに設定できる。0を指定すると動画は使わず静止画となり、-1を指定すると制限は特にかけないことになる | ○ | ○ |
| noodp | Open Directory Projectに登録させない記述だが、プロジェクト自体が2017年に運用が停止しているのでGoogleでは意味のあるタグとして認識されなくなった。 | - | ○ |
| nocache | noarchiveと同義 | - | ○ |
| none | noindexとnofollowを同時指定（ noindex,nofollow )と同義 |
○ | - |
| notranslate | 検索結果でこのページを翻訳させない | ○ | - |
| noimageindex | 検索結果で指定されたページの画像をインデックスさせない | ○ | - |
| unavailable_after: [date/time] | 検索結果に、date/timeで指定した日時以降は表示させない | ○ | - |
書き方
標準的な記述方法は以下
<meta name="robots" content="noindex">
複数のものを指定したい場合は , で並べる
<meta name="robots" content="noindex,noarchive">
