Googleと.htaccessの関係を教えてください。

質問

Googleといいますか、検索エンジンと.htaccessを使ったベーシック認証についてお聞きしたいのですが。

ベーシック認証でパスワードをかけてしまうと、それ以降のディレクトリは検索対象にならないのでしょうか？それとも検索対象になりますか？

もしなる場合、検索エンジンでそのページ(アクセス制限ページ)が表示されてクリックしてもやはり入室することは出来ないのでしょうか？
よろしくお願いします。

回答No.4

OsieteG00 · ベストアンサー

参考までに。
参考URLの方法で、ロボットのユーザエージェントをみて判断する方法があるのですが、弾くのと逆のことをやれば認証させる事ができるかも。

すみません、時間がないので未検証です。ちなみに、googleロボットのユーザエージェントはGooglebotです。

参考URL：

http://www.math.tohoku.ac.jp/~kuroki/keijiban/Robots.html

お礼

うーん、難しそうですが、一回検証してみたいと思います。

URL有難うございます。

回答No.3

OsieteG00

.htaccessのある置き場所によると思います。以下は、パターンによる検索結果の予想です。

<●●●.comのみにある>
●●●.com・・・表示不可
▲▲▲.com・・・URLを直接打ち込むと表示可能。
その他にリンクがない状態だと、検索もされない。

<▲▲▲.comのみにある>
●●●.com・・・表示可能
▲▲▲.com・・・表示不可

です。

サーバ側にとっては、ロボットが参照しているか人間が参照しているかの区別はありません。ですので、パスワード制にしてしまうとロボットは通過できなくなります。逆に、ロボットが通過できるようにしてしまうと、ユーザ認証はできません。

認証　非認証　ロボット
　○　　○　　　○　　・・・ユーザ認証なし
　○　　×　　　×　　・・・ユーザ認証あり
　○　　○　　　×　　・・・※ロボット避けで可能

の組み合わせしかできないはずです。

お望みの機能を満たすとすれば、検索ロボット用のページとパスワードで保護されたリンク集のページを別けるぐらいしか思いつきません。
例でいうと、●●●.comのページにリンク集用のキーワードをちりばめておくとか。

お礼

OsieteG00さん何度も有難うございます。

とても丁寧な説明で、私でもようやく理解できて来ました。

>>認証　非認証　ロボット
　○　　○　　　○　　・・・ユーザ認証なし
　○　　×　　　×　　・・・ユーザ認証あり
　○　　○　　　×　　・・・※ロボット避けで可能

の組み合わせしかできないはずです。

なるほどですね！私のような無謀な要望は簡単には出来ないようですね。(確かに意味があまり無いのは理解しております)
大変勉強になりました。
感謝です。

回答No.2

OsieteG00

まず、訂正します。.htaccessはおいてあるディレクトリとそのサブディレクトリに有効です。すみませんでした。

そのサイトの構造によると思います。

例えば、トップページのディレクトリに.htaccessをおいて、トップページから遷移する他のWebページ用のhtmlファイルを他のサーバに置いたとします。
とすると、トップページは表示できません。検索対象とはなりません。他のページはどうなるかというと、検索対象とはなりませんがURL直打ちでの表示は可能です。
つまり、そのページへのリンクが存在していないと検索対象とはならないのですが、アクセス制限をしていない限りは表示可能です。

まあ、同じサーバの同じディレクトリ(含むサブディレクトリ)に置いてある限りは大丈夫です。

お礼

OsieteG00さん度々有難うございます。

すみません飲み込みが悪くていまいち理解できません。涙）
例えば●●●.comというサイトにお勧めリンクという項目があるとします。いわゆるリンク集のページです。で、そこをクリックすると▲▲▲.comというサイトのアクセス制限ページへ飛びます。ここではそのリンク集というページは現段階では閲覧できないですよね。

で、IDとパスワードを入れると、初めてそのリンク集が閲覧できるという場合、このリンク集は検索エンジンの検索対象になりますでしょうか？

私的には、対象になってほしく、しかしクリックするとアクセス制限で入れないというのがベストな考えなのですが、これは無理な話でしょうか？

だめな場合、検索対象にはなるけど入室は出来ないような方法がありましたら教えていただきたいのですが・・・。

度々すみませんが、よろしくお願いいたします。

回答No.1

OsieteG00

一般的には、ページへのリンクが存在しないと検索対象とはならないですね。というか、401の画面がクロール対象となるはずです。ただ、.htaccessは同じディレクトリのみ対象となりますので、違うディレクトリに対しての効力はありません。ですので、違うディレクトリのhtmlファイルのURLを直打ちするとページを表示することはできます。

お礼

OsieteG00さん、有難うございます。

>一般的には、ページへのリンクが存在しないと検索対象とはならないですね。

こちらはどういうことでしょうか？.htaccessでアクセス制限してないリンクページが無いと、検索対象にはならないということでしょうか？

例えばサイト全体を制限した場合検索対象にはならないのでしょうか？また、なる場合はどのページが出てくるのでしょうか？？不思議です。