検索ロボットへの拒否について

質問

サイトを運営中ですが、
例えば、aaa.htmlの中で、iframeでbbb.cgiを入れています。
googleのsite:で検索してみると、aaa.htmlとbbb.cgiが一緒に登録されていますが、aaa.htmlから入ってもらいたくて、bbb.cgiをDisallowでrobots.txtに入れたいですが、そうすると、bbb.cgiをロボットが巡回しなくなり、aaa.htmlの登録にも影響がありますか？aaa.htmlの内容のほとんどがbbb.cgiの内容です。

もし、他に、aaa.htmlだけでbbb.cgiは、サイト登録されない方法がありますか？

回答No.1

4017B · ベストアンサー

Googleの検索に関してのみで言えば、あんまり気にする必要は無いです。

恐らく両方が検索結果に出る事で、本来の入り口ページである aaa.html から入らずに。bbb.cgi の方から直接、アクセスされる事を避けたいと言う事だと思いますが…。

Googleのエンジンは極めて優秀ですので。意図的に aaa.html とは無関係の内容のコンテンツを動的生成して、Userを誘導する様なサイトになっていないのなら。bbb.cgi が一緒に検索エンジンに拾われても問題無いです。と言うか一緒に拾われてないと困るのでは？

逆に、aaa.html のみが拾われて、肝心のコンテンツの中心部分である bbb.cgi が弾かれる様な設定だと。Googleの検索結果のランキングからもどんどん下降していきますし。何より検索で見付けて来てくれたUserに不親切です。心象、悪くなりそうです。

最新のGoogleエンジンだと、ページ内コンテンツはきちんと判別して、親ページの方のリンクに飛ばしてくれるんじゃなかったですかね？

まあどうしても心配だったら、bbb.cgi でブラウザの環境情報であるリファラーを取得して、いわゆる直リンだったら aaa.html へ転送する様な仕様するとか？