検索で！

質問

ホームページを作成したときに一時期スパムなどの被害に遭いそれで検索しないようにMETAタグを入れてみたんです。
ほんの一時的なものでしばらくしたら戻すつもりでした。
それとは別に忍者の解析ツールでたまたま発見したのですがリンク集の所につけてある解析ツールで何処から来たかと言うのが出るんですがそこでインフォーシークのリンクキットとか言うものから来たのを知りました。
サイトのアドレスを入れれば全てのページのファイルがわかるという検索ツールみたいなものです。
それを初めてみたのですがそこのリンクキットから直にこちらのリンク集に飛べるようになっていて驚きました。
必死にどのページにも検索拒否のタグを打ち込んだのに結局意味がなかったようでした。
結局METAタグを入れても違うところから検索されてサイトがわかってしまうのでしょうか？
自分で検索に登録したわけではないので知られることはないと思っていましたがMETAタグも絶対ではないと聞いたことがあるので。
では、どうやってサイトを見つけだすのかな？と疑問に思います。
さきの検索ツールもやはり同様にどっかからの検索で探し出したんですよね？まだまだわからないことがあるように思いました。
以上長くなってわかりにくいですけどもし知ってる人が居ましたら教えて下さい。

回答No.2

Werner · ベストアンサー

> 必死にどのページにも検索拒否のタグを打ち込んだのに結局意味がなかったようでした。
> 結局METAタグを入れても違うところから検索されてサイトがわかってしまうのでしょうか？
metaタグやrobot.txtによるロボット巡回の拒否は一種の紳士協定です。
行儀の良いロボットであればそれを読んで検索の対象外としてくれますが、
そんなものは読まない/無視するロボットには効果がありません。

それから検索エンジンへの登録を拒否しても、
それが検索結果に反映されるのは
次に巡回されたときです。
なので拒否してからまだ時間があまり経っていないのなら、
検索結果にはまだ出てきます。

> どうやってサイトを見つけだすのかな？
ロボットはリンクをたどります。
なのでどこかからリンクされているサイトは見つけられるのが普通です。

あと、
> 一時期スパムなどの被害
これは掲示板のスパム投稿でしょうか？
もしそうなら、検索拒否ではなくて
掲示板のスパム対策を考えた方が良くないですか？

参考URL：

http://www.juraihelm.com/NNR/,http://www.math.tohoku.ac.jp/~kuroki/keijiban/Robots.html

お礼

＞metaタグやrobot.txtによるロボット巡回の拒否は一種の紳士協定です。
＞行儀の良いロボットであればそれを読んで検索の対象外としてくれますが、
＞そんなものは読まない/無視するロボットには効果がありません。

そうなのですか、てっきり全てのロボットにこの拒否タグは有効だと思っていましたが違うのですね。
初めて知りました。

＞ロボットはリンクをたどります。
＞なのでどこかからリンクされているサイトは見つけられるのが普通です。

そうですね、自分ではいくら徹底していたとしても誰か友達とかが通常にリンク張っていたら意味無い
のでしたね。（汗）
うっかりしていました。初歩的なことですいません。

＞これは掲示板のスパム投稿でしょうか？
＞もしそうなら、検索拒否ではなくて
＞掲示板のスパム対策を考えた方が良くないですか？

そうですね、ついつい掲示板にサイトのアドレスを入れてあるのでそこから辿ってきてしまうらしくサイトの方を拒否することに必死になりすぎていました。掲示板も対策を考えます。
それでスパム被害が減れば検索に神経質になることもないですね。
以後そうしてみます。わざわざ、ありがとうございました。

回答No.1

tetnon2000

質問のご主旨は「自分のホームページを検索されたくない」、ということでよろしいのでしょうか。そうであれば、参考URLをご覧ください。ただし、今はあまり効果がないようです。

参考URL：

http://www.mit-ob.senkenweb.jp/prv_acts/ncia/robot.html

お礼

さっそくの回答ありがとうございます。

＞質問のご主旨は「自分のホームページを検索されたくない」、ということでよろしいのでしょうか。
いえ、検索されたくないと言うことより検索拒否をしてもどのように辿ってくるのかサイトのアドレスを知られるのでそれが謎でして。
ややこしい書き込み方をしてすいませんでした。（汗）
けれども「今はタグを入れても効果があまりない」との事で・・。
やはりそうなのですね。(^^;)忙しいのに回答ありがとうございました。