- 締切済み
クローラーについて
YahooやGooglenoクローラーはどれくらいの頻度でクロールしてくるんでしょうか？ また「Googleウェブマスターツール」で確認できる『ホームページクロール』は、Googleのクローラーが直近でクロールしてきた日付と解釈して間違いありませんか？
- その他（ITシステム運用・管理）
- 回答数1
- ありがとう数1
- みんなの回答 （1）
- 専門家の回答
みんなの回答
- shimix
- ベストアンサー率54% (865/1590)
アクセスログを見ると概ね毎日（何度も）ご来訪のようです。ただし被リンクが少ない（極端な話、被リンクがない）サイトだと間隔が空くかもしれません。 ∴ 今現在の自サイトの状態はログを見ればわかるんじゃないかと思います。
関連するQ&A
- クローラーにindexされたか
ホームページをリニューアルしUPしました。 ページがクローラーにindexされたかどうかは どこを見ればわかりますか？ yahooサイトエクスプローラーやgoogleマスターツール ですか？その他簡単に確認できる方法ありますか？
- 締切済み
- その他（インターネット・Webサービス）
- google のクローラについて
例） google で「yahoo」検索 ------------------- 日本最大級のポータルサイト。検索、オークション、ニュース、メール、コミュニティ、ショッピング、など80以上の・・・ ------------------- ↑これを検索結果の文言が以下のようになるようにしたいです。 ------------------- 検索、オークション、ニュース、メール、コミュニティ、ショッピング、など80以上の・・・ ------------------- 私が「日本最大級のポータルサイト。 」の文言をソースから削除し、アップしたとします。 まだ検索結果には「日本最大級のポータルサイト」が残っている状態ですがこれは 次回、googleのクローラが来た時点で、削除された状態になる、 と考えてよろしいのでしょうか？ それともウェブマスターツール等を使用する必要がありますでしょうか？ どなたかご回答頂けると非常に幸いです。
- ベストアンサー
- インターネットビジネス
- Googleウェブマスターツール エラー更新について
Googleウェブマスターツールについて質問致します。 登録後ソース内URLの記述ミスにより、「ウェブクロール」の項目で「見つかりませんでした」が数件検出されました。 その後該当個所を修正し、「ホームページクロール」の日付も更新されたのですが、「ウェブクロール」の「見つかりませんでした」の項目は日付も更新されず、残ったままとなっています。 サイトマップもアップしましたが、この項目のみ更新されないでいます。 どのようにすればこれらの情報も更新されるのでしょうか？ ご教授お願い致します。
- ベストアンサー
- その他([技術者向] コンピューター)
- クローラーがhtaccessでリダイレクト
現在、WEBサイトを作成しており、当該サイトは、レンタルサーバーを借りる際にhttpのドメインも一緒に新規で取得しました。 ただ、その後、全ページ https で作成していくこととなり、各リンクは全てhttpsでつながっています。 検索エンジンからTOPに入ってくるときに、httpならば、httpsにリダイレクトするように、htaccessに記述していました。 しかし、昨日、googleにサイト登録して、本日まで待ってみたところ、ウェブマスターツールの 「クローラーエラー」と「検索クエリ」はまだ反映されていませんでした。 以前は単純なhttpのサイトですと、1日程度で何かしら反映されていたと思うのですが、 やはりなにか設定が足りないのか、それともクローラーは、htaccessのリダイレクトを読み込まないのでしょうか。 どなたか体験されたことのある方がいらっしゃいましたら、教えてください。 よろしくお願い致します。
- ベストアンサー
- その他([技術者向] コンピューター)
- グーグルの検索で更新したホームページが反映されません。
ホームページを更新しました。 トップページを含め全てリニューアルしました。 アドレスは同じなのですが、 グーグルで検索すると古いホームページが出て来ます。 グーグルのマスターツールの「最終クロール日」が、 リニューアル以前の日付になっています。 どうしたらリニューアルしたホームページを検索ヒットさせられますか。
- ベストアンサー
- その他（インターネット・Webサービス）
- [SEO]ドメイン辺りのクロール数はどの様に決定されますか？
[SEO]ドメイン辺りのクロール数はどの様に決定されますか？ 困り度： * 困っています GoogleやYahooのクローラーは、１ドメイン?IP?辺りのクロール回数をどの様に決定しているのでしょうか? 例えば、 *****.ne.jp/~user_id_01/、 *****.ne.jp/~user_id_02/とある場合、 *****.ne.jp/へのアクセス回数には上限があれば、 *****.ne.jp/以下に大量のユーザーがホームページを所有しているようなサイト(geocitiesや楽天)だと、更新頻度が極端に遅れ、 *****.comのように、独自ドメインを取った方が、早くクロールされるため、常に新しい情報をクローラーが収集してくれるのでしょうか?
- ベストアンサー
- その他（インターネット接続・通信）
- 504エラー？
5月にサイトをリニューアルしたのですが、まだグーグルにクロールされません。 グーグルマスターツールによるクローラ巡回状況の確認を見ると、５０４（ゲートウェイタイムアウト）エラー、「サーバーは、ゲートウェイまたはプロキシとして動作していて上位のサーバーから適時のリクエストを受け取りませんでした」とコメントされているのですが、そのエラーの対処の方法が分かりません。 まったくの素人ですので、このままエラーの対処ができないと、永遠にグーグルにクロールされないのでは？と心配です。 どなたか分かる方いらっしゃいましたら教えてください。 よろしくお願いします。
- 締切済み
- ハードウェア・サーバー
- グーグルWebマスターツールのクロールエラーとは？
グーグルのWebマスターツールにWebサイトを登録しました。 しかし、クロールエラーとなっております。 また、下記のSEO将軍というツールを使って、キーワードをサイト名にして検索順位を調べたら、グーグルは圏外でした。 yahooは0位となってましたが、たしかyahooの検索システムはグーグルと同じですよね？だからyahooも圏外です。 http://shogun.biz-samurai.com/ 上記のことから、グーグルとyahooの検索システムを使ってみても、どこにもwebサイトが表示されません・・・ しかし、bingではキーワードをサイト名にして検索順位を調べたら0位となっており、実際にbing検索システムを使ったら、一番上に表示されてました！！ 話しが長くなってしまいましたが、グーグルのクロールエラーとは何でしょうか？ また、その改善点があれば教えて頂けないでしょうか？
- ベストアンサー
- CSS
- Googlebotクローラーの頻度
ホームページをつくり、Yahoo, Googleに登録しました。インデックス登録はされているようです。（site:www.ooooo.xxx)で自分のサイト確認しました。 Googleのウェブサイトマスターによると最後のクローキングは6月27日とあります。それ以降SEO対策を少し考えるようになり、サイトを手直ししたり、サイトマップを作成、登録したりと1週間ほど前に（7月10日頃）だいぶ更新をしました。これらの情報はまだ更新された様子もなく検索でもまったく引っかかってきません。 ちなみにサーバーのアクセス解析を見ると、ロボット、スパイダーの訪問はYahoo, Google共に毎日のようにあります。これは何を意味しているのでしょうか？ またこれらロボットの巡回頻度は２，３週間と聞いたのですが、もっと長期的に考えた方が良いのでしょうか？ どなたかアドバイスをよろしくお願いします。
- ベストアンサー
- その他（インターネット・Webサービス）
- googleのウェブマスターツールでエラー連発
一週間ほど前にホームページを立ち上げ、googleのウェブマスターツールにて登録したのですが、 クロールエラーが連発してしまいます。 エラー内容は「HTTPエラー ドメインが見つかりません」となっています。 また、サイトマップを何度送信しても赤い×になり失敗します。 登録しているドメイン（ホームページアドレス）には間違いありませんし、 ドメイン名の前にwww.を付けたものと、http://ドメイン名のものを２つ登録しているのですが、 どちらも同じエラーが発生しています。 エラー数は１４となっており、クローラーが巡回してくるたびにエラーになっているようです。 その癖に何故か確認してみると、インデックスはされているのです。 このエラーは無視しても良いのでしょうか？ インデックスされていると言うことはSEO対策、もしくはページランクを上げることで上位表示が可能なのでしょうか？ インデックスされても上位表示にはすぐに効果が出るものではないので、こういうエラーがでると大丈夫なんだろうかとモヤモヤで先に進めないでいるのですが・・・ どなたかご教授お願いできませんでしょうか。
- ベストアンサー
- Googleサービス全般
お礼
ありがとうございます。参考になりました。