難しい話じゃない
検索だけ回避したい場合
<head>に入れる
<meta name="robots" content="noindex">
とか
<meta name="robots" content="noindex,nofollow,noarchive">

robots.txtでやる
User-Agent: *
Disallow: /Googleは検索避け用途で使うなってアナウンスがある。

検索避けしつつアクセスも絞る
Basic認証が最強。
「うちらを登録すんな」って命令じゃなく、そもそも門前払いしてクロールを寄せ付けない。
ひょんなことからやってきた人も突っぱねられるのでお得。

コメント