自分のウェブサイトに検索エンジンの巡回ボットが回ってきません

このQ&Aのポイント
  • Google、Yahoo!、および Bing のURL登録に1月以上前に登録したが、巡回ボットが一度も回ってこない
  • Apacheログを確認し、巡回ボットのアクセスがないことを確認済み
  • ドメインは「アルファベット.JP」で、http://www.アルファベット.jpもhttp://アルファベット.jpもアクセス可能だが、巡回ボットはなぜかアクセスしない
回答を見る
  • ベストアンサー

自分のウェブサイトに検索エンジンの巡回ボットが回ってきません。

自分のウェブサイトに検索エンジンの巡回ボットが回ってきません。 Google、Yahoo!、および Bing のそれぞれの「URL 登録」(単にサイトの URL を入れるだけの場所で、ディレクトリ サービスなどのカテゴリ登録ではありません) に 1 月以上も前に登録したのですが、一度もロボットが巡ってきません。 Apache のログを直接見ているので、回ってきていないことは確実です。 1 月以上前というのは実はやり直しで、それ以前にも登録を試みているので、URL の誤記入はありません (というより、自身の短い独自ドメインのトップページなので、3 箇所に複数回も間違えようがないです)。 ドメインは「アルファベット.JP」です。もちろん、ウェブアクセスは http://www.アルファベット.jp でもhttp://アルファベット.jp だけでも同じページの表示を可能にしていますが、どちらでもだめです。やってきません。

  • mbx
  • お礼率10% (26/240)

質問者が選んだベストアンサー

  • ベストアンサー
回答No.4

I am an account only to help you make your question thread closed... You don't have to worry about it any longer. It's terminated!

その他の回答 (3)

  • Safe_Mode
  • ベストアンサー率48% (1329/2725)
回答No.3

>三社の検索サイトで URL を打ち込んでみると、いずれにも登録されていません。 じゃあ、先ずは確実に登録されることを考えたほうがいいんじゃないですか? 単純なURL登録だけでなく、カテゴリーへの登録を行なうとか、 Googleだったら、ウェブマスターツールを使って、ヘッダー情報に挿入した メタタグで自分のサイトを確実に認識させるといった工夫をしたほうがいいと 思いますけど。

  • Safe_Mode
  • ベストアンサー率48% (1329/2725)
回答No.2

>私の質問文をきちんとお読みいただいたでしょうか。 これは、 >Apache のログを直接見ているので、回ってきていないことは確実です。 をちゃんと見たのか?ということだろうとは思いますが・・・ 各社とも通常のウェブ検索用クローラのIPアドレスは公開していないので、 おそらくはuser-agentを使っての確認をされているのだとは推測していました。 ただ、どこまで確実かはわからなかったので、念のためにGoogleの ウェブマスターツールにある、Fetch as Googlebotなどで再確認されてはどうかと 考えた次第です。 それで巡回がないなら待つか、問い合わせるしかないように思います。 各社ともURL登録後1ヶ月以内でクローラが廻ってくるとの記述は 見つけられませんでしたし。

mbx
質問者

補足

クローラの吐く変数はあらかじめ調べていますので Apache のログが最も確実であることは確かなのですが、二次的な証左として三社の検索サイトで URL を打ち込んでみると、いずれにも登録されていません。

  • Safe_Mode
  • ベストアンサー率48% (1329/2725)
回答No.1

Google、Yahoo!、Bing へのURL登録をされたということなのですが ご自身のURLでこれらの検索サイトで検索したら結果は表示されますか? 検索結果に表示されるなら、そのときキャッシュされた日時を確認すれば いつクローラが巡回してきたか分かると思いますけど。 また、Googleならサイトマップを登録することで、ウェブマスターツール からサイトマップが何時読み込まれたかを確認することもできます。 (Yahoo!でも同様にサイトマップを登録できるようですが、経験なし。)

mbx
質問者

補足

> 検索結果に表示されるなら、そのときキャッシュされた日時を確認すれば > いつクローラが巡回してきたか分かると思い 私の質問文をきちんとお読みいただいたでしょうか。

関連するQ&A

  • googleのロボットが自分のブログを巡回してくれるのはいつ?

    最近ブログのようなホームページを作成して公開しているのですが、知人より、より多くの人に見てもらうにはブログ内の情報を充実させて、googleのロボット巡回でその内容を登録されやすいようなWEBページを作っていったほうがよいと言われたので、内容をたくさん書いて公開するようにしています。 ただ、このブログのアクセスログを見てみるとあまりアクセスされたようなログが残っておらず、5月8日から始めたとはいえ、1日に2,3件しかなく、12日はアクセス数が0件でした。 知人に質問してみたら、まだgoogleロボットの巡回登録がきてないから気長に待った方がよいと言われたのですが、その巡回登録はいつになったら来るのでしょうか?  また、1度来たら次に巡回してくれるのはいつになるのでしょうか?期間とかだいたい決まっているのでしょうか?1日1回くらいは巡回してくれる者なのでしょうか? ご存じのかたいらっしゃいましたらどうぞご教授よろしくお願いいたします。

  • 検索サーチエンジンgooに正式に登録できない

    先日、検索サーチエンジンのgooにURL登録申請をし、フレッシュサーチでヒットすることができたのに、 数週間で同サーチで検索すると、ヒットしなくなってしまいました。 同Websiteに下記のような説明がありました。 "ネットワークの状況等により、検索ロボットがページの情報を読み込めないこともあり、URL登録をして頂いてから一ヶ月以上のお時間を頂く場合もあります。 なお、一度登録されていても、次の更新時に検索ロボットが情報を読み込めないと、URLがデータベースから消えてしまう場合もあり得ますことをご了承下さい。" 上記の為、利用しているサーバーの接続状況が悪いことにより、一度フレッシュサーチに現れた当urlもロボット検索urlリストから消えてしまったのでしょうか。 しかし、同サーチエンジンで利用しているサーバーのURL検索を行ってみると、数百のURLがヒットします。 問合せを行い、返事も頂いているのですが今一つ納得いきません。 登録を行っているページはフレームのページで少し容量が多いと思われますが、これが原因なのでしょうか。 今まで、この様なことが2回ほど、ありました。 宜しくお願い致します。

  • このgoogleのエンジン登録について!

    添付画像の入力についてお聞きします。 1 urlにはhttp://から必要ですか。 2 urlの最後に/は必要ですか。 3 urlにはホームページのトップページしか登録できませんか。 4 私はロボットではありません。?どういう意味ですか。 5 ここで登録しなくても7日程度でクローラーに巡回されるんですよね。 宜しくお願いします。

  • yahooカテゴリ登録とロボット巡回の関係について

    お世話になります。 新規サイト構築時や新規ドメインを取得した場合、ロボット型検索エンジンに登録されるまでに3か月以上かかることもあるかと思います。 このような場合、Yahoo!カテゴリ登録(Yahoo!ビジネスエクスプレス登録)によって、登録の時期を早める効果が期待できるのでしょうか? もしそうであればYahoo!から被リンクされることによって、確実にロボットから巡回されるようになるから という理由になりますでしょうか? そもそもロボット検索に登録されるしくみもよくわからないのですが、よろしければ教えていただけますでしょうか? よろしくお願いいたします。

  • 転送URLの検索エンジン登録

    A社でドメインを取得し、B社のレンタルサーバーで使いたいため、A社の自分のURLを転送サービスでB社の自分のサイトに飛ぶ様に設定しました。 A社のURLで検索エンジンに登録していますが、まったく登録されていないのか、反映さてていないし登録の連絡もありません。 転送したドメイン(転送元)では、検索エンジンが巡回できないのでしょうか? この場合、A社のドメインを移管して転送せずに使用するようにしても、一度転送で登録していると、同じURLでは検索エンジンに巡回対象から外されてしまいますか? また、URL転送ではなく、他社で取得したドメインを移管せずにネームサーバー(DNS)の設定で独自のドメインを使用できるレンタルサーバーもありますが、この場合は独自ドメインで検索エンジン登録しても有効でしょうか?

  • ロボット検索エンジン対策に404header

    htaccessでパスワード制限するほどでもなく、urlを打てば誰でも入ってきてもいいしリンクはされてもかまわない。だが主要な検索エンジンに載らないような準非公開サイトを作りたいと思っています。完全にボットを排除することができないことは承知しています。 予めボットに回収されないようにrobot.txtやhtaccessで主要な検索ロボットを排除、htmlヘッダーにもボット対策のMETAタグを入れています。それでも外国製のボットは回収しているみたいで現在、普通に存在するページに404ヘッダーを入れて表示させているのですが、 この404ヘッダーが原因で普通に閲覧してくる人に対してなんらかの問題が生じることってありますでしょうか。404ヘッダーをハック的に使っているのでウイルス対策ソフトで警告が出たりブラウザで警告が出たりする可能性はどうなのか意見を頂きたいです。

    • ベストアンサー
    • PHP
  • 検索エンジンへの登録

    google以外の無料検索エンジンには全て登録できたのですが、googleだけが何度登録しても検索エンジンに反映されません。 URLと備考及び映し出されている英文字を入力して登録をクリックしても画面が白くなるばかりです。 どなたか詳しい方がおられましたら教えていただけないでしょうか。 尚、URLはTOPページのものをいれています。 TOPページはロボット型に対応しています。 URLは http://www.d5.dion.ne.jp/~animal.r/index.html です。

  • 携帯電話のホームページを検索エンジンに登録

    お世話になっております。 携帯電話向けのホームページを製作したんですけど、 各種検索エンジン等には、登録可能なんでしょうか? gooは、i-mode向けの携帯ページであれば、ロボットが定期的に全インデックスを自動的に更新します。と記載してありますが、 まず、どこかのサーチエンジン等に登録しておかないと、 ロボット巡回も来ないように思います。 どうすれば良いのでしょうか?

  • 検索エンジンの登録について

    検索エンジンの登録について質問です。 1つのドメインで2つ以上のサイトを検索エンジンに登録したいのですが 可能なのでしょうか? http://www.○○○.com/ http://www.○○○.com/aaa/ http://www.○○○.com/bbb/ と3つのサイトをそれぞれ検索エンジンでトップページとして登録したのですが 検索エンジンではhttp://www.○○○.com/しかのトップページとして拾ってくれません。 /aaa/と/bbb/はそれぞれまったくべつのサイト内容なのですが トップページとしては扱ってくれないようです。 サブドメインなどでドメインを分けるやり方もあるようなのですが できれば1つのドメインでいくつかのサイトを登録できればなと 思っています。 ちょっとしたアドバイスでもかまいません このやりかたでも可能なのか? それともなにかコツがあるのか教えていただけないでしょうか?

  • 検索ロボットが巡回する周期について

    現在、私のサイトでは週一回の更新をしメタタグで "revisit-after" content="10 days"と指定しています。 ところがライバルサイトではよりマメにキャッシュされているように感じるようになってきました。グーグルロボットの子分が増えたから!? これまでは月一回の周期で巡回していると言うので「10日後にまた来てね」としたのですが、現在では2.3日に一回巡回しているのでしょうか? ちなみに私が細工したのは2年前です。 また、ヤフーやMSNやグーグルの巡回周期も規則性などはあるのでしょうか?(2.3日周期ですか?) 「10日後にまた来てね」などの指定は無用の世の中になってしまったのか、プロの皆様のご意見を教えてください。