一部のページ・PDFページをロボット収集より拒否したい

質問

通常のページであれば、metaタグで拒否できますが、.htaccessなどで収集拒否できないでしょうか？
もし出来る場合は、書き方を教えて頂けないでしょうか？
１、収集拒否したいページ、１ページのみの場合。
２、あるフォルダの中にあるページを拒否したい場合

宜しくお願い致します。

回答No.1

ran_2323 · ベストアンサー

「robots.txt」で検索エンジンにインデックスされることを防ぐという方法ががあります。
「robots.txt」を作成し、以下のソースを貼り付けるだけ

User-agent: *
Disallow: (拒否したいディレクトリ)

public_htmlディレクトリ直下にアップしないと意味がないようなので、その点だけご注意。

お礼

.htaccessではなかったのですね。

User-agent: *
Disallow: (拒否したいディレクトリ)
叉は、
User-agent: *
Disallow: (ファイル名)
を設置してみました。
回答有難うございます。