- ベストアンサー
一部のページ・PDFページをロボット収集より拒否したい
- みんなの回答 （1）
- 専門家の回答
質問者が選んだベストアンサー
「robots.txt」で検索エンジンにインデックスされることを防ぐという方法ががあります。 「robots.txt」を作成し、以下のソースを貼り付けるだけ User-agent: * Disallow: (拒否したいディレクトリ) public_htmlディレクトリ直下にアップしないと意味がないようなので、その点だけご注意。
関連するQ&A
- ロボット検索による自動収集に関して
サイトを運営して間もないのですが、検索にはトップでヒットしたりしているようです。 しかし、意図としないかんじでヒットしているようです。 そこで少しでもと思い、少し調べると「ロボット検索による自動収集させない方法（タグ）」があることを知りました。 もちろん、完全にそうなるとは思っていません。 少しでもと思っているだけです。 でも、タグに関しては一切知識はありません。 http://www.tagindex.com/html_tag/page/meta_03.html ↑こちらを見ての疑問なのですが、 １：どこに組み込めばいいものなのか？ 以下が、運営しているサイトの一部です。 <!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN"> <HTML> <HEAD> <META http-equiv="Content-Type" content="text/html; charset=Shift_JIS"> <META name="GENERATOR" content="IBM WebSphere Studio Homepage Builder Version 8.0.0.0 for Windows"> <META http-equiv="Content-Style-Type" content="text/css"> <TITLE>＊＊＊</TITLE> </HEAD> <BODY link="#ff0000" vlink="#0000ff" alink="#cc00cc"> ↑これのどこを変更すればいいのでしょうか？ 「META」に関して、３つあるのですが・・・。 ２：貼り付けたURLにある、「リンク先ページの収集を許可しない指定」ですが、 今のリンクは、「A⇔B⇔C⇔D→Aに戻る」にしています。 （AからC以降飛ぶように設定していません） もし、Bに「リンク先ページの収集を許可しない指定」のタグを組み込めば、Aも収集されないということになるのですか？ （Aだけは収集するようにし、B以降は収集させないようにしたいのです） この場合は、各ページに「リンク先収集」ではなく、そのページの収集を許可しない指定をタグに組み込んだほうがいいのでしょうか？ 宜しくお願いします。
- ベストアンサー
- ホームページ作成ソフト
- ロボット検索の拒否ができない。
ホームページをフレームで作成しているのですが、 indexのみが検索にかかるようにしたいと思い、 他のページには下記のタグをいれました。 <HEAD>～</HEAD>に <META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW"> しかしロボット検索に単体ページで引っかかるのです。 なにか違っていますか？ ロボット検索の拒否ができない訳は外になにかあるのでしょうか。 教えてください。
- ベストアンサー
- レンタルサーバ・ASP
- ロボット検索を拒否したい。
教えて下さい。 ロボット検索を拒否したいと思いましてＨＰの各ページに <meta name="robots" content="noindex,nofollow"> を入力してロボット検索を拒否しています。 ただしトップページだけはYahooで検索されてしまいます。 最近<meta name="robots" content="noarchive">も追加したのですが、 検索されてしまいます。 何か原因は考えられますでしょうか？
- ベストアンサー
- HTML
- htaccessでリダイレクト＆告知ページ
htaccessでリダイレクトしたいのですが、トップページだけ告知ページを何秒間か表示させたいと思っています。 metaタグだと「302（一時移転）」を返すようなのですが、 htaccessを使用して、告知ページを介して移転先URLへ誘導することは出来るでしょうか？あわせて「301（永久移転）」を返す仕様にしたいです。 可能かどうか、教えてください。
- 締切済み
- ハードウェア・サーバー
- ロボット検索のnofollowについて
よろしくおねがいします。 検索されたくないので <META NAME="Robots" CONTENT="noindex, nofollow"> というタグ？を入れようと思っています。 HTMLの内容は (1) 自分の趣味などのこと(私は薔薇が好きです) (2) 上記のイメージを別ページで開く為のリンク(薔薇のgif600×600) (3) 花屋さんのリンク(薔薇を買ったのはこのお店です。) このような場合、 <META NAME="Robots" CONTENT="noindex, nofollow"> を入れてしまうと、 (3)にも影響が出てしまうのでしょうか？ (1)(2)は自分で作成したものなので検索されたくありません。 (3)は検索された方が良いです。 記述例として、 CONTENT="noindex, nofollow" … そのページとリンク先ページの収集を許可しない とありました。 http://www.tagindex.com/html_tag/page/meta_03.html (3)が複数あった場合、などどうしたら良いのか悩みます。 よろしくお願いします。
- ベストアンサー
- HTML
- IAに収集されない方法
個人でウェブページを作っているんですが、今話題のインターネットアーカイブで、まさかないだろうと思いつつ自分のアドレスを入れたら出てきたんです。一応METAタグを追加して、ロボット検索を拒否するようにしたんですが、完全に阻止する方法をご存知の方がいましたら、教えていただけませんか？
- 締切済み
- その他（インターネット・Webサービス）
- ロボット検索にかからないようにするには？
HPを作ろうと思うのですが 個人的なページで、内輪だけで楽しみたいページにしたいと思っています。 ですが、聞くところによると勝手にロボットが検索しに来るとか。 それで、それを避けるには <head>～</head>間に <META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW"> <META NAME="ROBOTS" CONTENT="NOARCHIVE"> というようなタグを入れる方法があるというところまでは分かったのですが このタグは、ページごとに全部入れないといけないのでしょうか？
- ベストアンサー
- その他（インターネット・Webサービス）
- ページタイトルコンテンツとは何ですか？
ホームページのMETA情報のところに、 通常のページのtitleとは別に、 <meta name="pagetitle" content="*******という記述があるホームページを見かけたのですが、 このタグにはどのような意味があるのでしょうか？ また、通常のtitleとは別に、記述をした方がSEO対策上効果的なのでしょうか？ ちなみに上の****の部分には、 キーワードのような単語が並んでいました。 是非、宜しくお願い致します。
- ベストアンサー
- その他（ITシステム運用・管理）
- 決まったページだけロボット検索にひっかけたい
フレームで分けたページをつくっています。 フレームの情報表示画面等には検索でひっかかってくれるとありがたいのですが、 フレームのナビ部分など、検索にひっかけたくないページが結構あります。 その場合には何かメタタグでいれればいいかと思ったのですが、 <html> <head> <meta name="description" content="none"> <meta name="keywords" content="none"> <title>ホームページタイトル</title> </head> </html> という感じでかかないとだめだったような気がするのですが、 実際のところどうだったかな？とあいまいなので質問することに しました。 またロボット検索でトップページ（フレーム構造が書いてあるページ） のみにひっかけるようにするには トップページにだけ <meta name="description" content="紹介文・・・。"> <meta name="keywords" content="キーワード１,キーワード２,キーワード３"> という感じに書いておけばいいのでしょうか？ ご存知の方がいらっしゃいましたら教えてください。 よろしくお願いいたします。
- ベストアンサー
- HTML
- 検索ロボットはページのどこを拾っているか
検索ロボットによる全文検索型サーチエンジンって、Ｗｅｂページのどこを拾って、タイトルにしたり、サイト説明にしたり、キーワードにしたりしてるのでしょう？ 一説によると、titleタグをみてるとか、METAタグをみてるとか、いや～全文っていうくらいだから全文だよとか、コメントやAltはみてないよ、とか。 もちろんサーチエンジンによってそれぞれ方式が違うのでしょうが、そこらへん体系的に 例えば yahooの場合はタイトルはここ、説明はここ、キーワードはここ（Yahooはロボットじゃないから違うか） gooの場合はタイトルはここ、説明はここ、キーワードはここ infoseekの場合はタイトルはここ、説明はここ、キーワードはここ gogleの場合はタイトルはここ、説明はここ、キーワードはここ みたいな比較表みたいなのはないでしょうか。 ある知り合いが、ホームページを一生懸命、検索エンジンに登録して廻ったけどちっとも拾ってくれなくて、DOKODAだったかな、・・・に登録したら、DOKODAに出るようになって、同時にＭＮＳで検索できるようになったんだけど、なんか関係があるなかなぁ・・・それとも偶然かなぁ～といってました。しかもＷｅｂページにも登録時にも入れてない文書が説明書きに入っていてよくわからん、と嘆いていました。 やっぱり明確なところは企業秘密なんかな～
- ベストアンサー
- その他（インターネット・Webサービス）
お礼
.htaccessではなかったのですね。 User-agent: * Disallow: (拒否したいディレクトリ) 叉は、 User-agent: * Disallow: (ファイル名) を設置してみました。 回答有難うございます。