- 締切済み
クローラーを逃がさないために
keotideの回答
- keotide
- ベストアンサー率60% (3/5)
ＰＨＰ等で呼び出すことかと思うのですが、検索エンジンはちゃんと発リンクとして認識します。認識させたくないのであればnofollowタグなどを使われてはいかがでしょうか。
関連するQ&A
- クローラの可能性
クローラプログラムについて質問です。 クローラを使用して、パスワード等の認証機能のかかったHPサイトの リンク先にあるページから文章等の情報をを取得することは可能なのでしょうか？ 勿論、パスワード等は事前にわかっている場合です。 また、クローラはイントラでも情報取得することは可能なのでしょうか？ 知識が無いので、当たり前の事を聞いていた場合申し訳ありません。
- 締切済み
- その他（プログラミング・開発）
- クローラーについて教えて！
１ クローラーにペナルティーと判断されたサイトは修正して再度クローラー登録をすればペナルティーなしになるのでしょうか。 ２ この記述はクローラーに対し有利であり必要ですか。 <META name="ROBOTS" content="INDEX,FOLLOW"> 宜しく願います。
- 締切済み
- SEO
- webクローラー
webクローラーを作成したいと考えています。 (blogを対象にしたクローラーを行いたい、具体的には個々のblogごとに記事の内容を抽出し、記事内で張っているリンクを収集したい) プログラム言語はperlかpythonあたりを使おうかと考えているのですが、 webクローラーの作成の参考になる書籍やwebページ、アドバイスなどがあれば 教えていただきたいです。 よろしくお願いします。
- 締切済み
- その他（プログラミング・開発）
- レンタルドメインと、独自ドメインでは、クローラーの優先やSEO的に違い
レンタルドメインと、独自ドメインでは、クローラーの優先やSEO的に違いはあるのでしょうか？独自ドメインで、サイトを公開した時には、すぐ、クローラーが回ってきてくれたのですが、別のサイトをレンタルドメインで、公開したところ、2週間たってもまだ回って来てくれていません。外部リンクがしっかり出来ていないだけでしょうか？どなたか、詳しい方よろしくお願い致します。
- 締切済み
- HTML
- クローラーがhtaccessでリダイレクト
現在、WEBサイトを作成しており、当該サイトは、レンタルサーバーを借りる際にhttpのドメインも一緒に新規で取得しました。 ただ、その後、全ページ https で作成していくこととなり、各リンクは全てhttpsでつながっています。 検索エンジンからTOPに入ってくるときに、httpならば、httpsにリダイレクトするように、htaccessに記述していました。 しかし、昨日、googleにサイト登録して、本日まで待ってみたところ、ウェブマスターツールの 「クローラーエラー」と「検索クエリ」はまだ反映されていませんでした。 以前は単純なhttpのサイトですと、1日程度で何かしら反映されていたと思うのですが、 やはりなにか設定が足りないのか、それともクローラーは、htaccessのリダイレクトを読み込まないのでしょうか。 どなたか体験されたことのある方がいらっしゃいましたら、教えてください。 よろしくお願い致します。
- ベストアンサー
- その他([技術者向] コンピューター)
- GASやEvernoteにクローラーは回るのか？
SEOなどに詳しい人ご質問です。 GASやEvernoteなどでWeb上に情報を公開することが可能ですが、バックリンクがあるとあのようなサイトでもクローラーが周り検索可能になるものなのでしょうか？ よろしくお願いします。
- 締切済み
- SEO
- クローラーにキャッシュさせずインデックスさせる
以下のページに、NOARCHIVEを使い Google クローラーにページをキャッシュさせないでインデックスさせる方法が記述されています。 http://www.sem-r.com/sem/se_news_2004/20030930103035.html キャッシュされないのにインデックスされるということが理解できません。キャッシュがなければ、どうやってインデックスされるのでしょうか？ NOARCHIVEを使いGoogle クローラーにページをキャッシュさせなくても、そのページを検索結果の上位に表示させることは可能ですか？ よろしくお願いします。
- ベストアンサー
- CSS
- headタグの記述について
headタグの記述について質問させてください。 ページ作成時にPHP等で読み込みファイル（インクルードファイル？）を使用する際、 読み込まれる側のHTMLファイルは「head」「body」などの タグの記述を省きますよね（たぶん）。 これはどうしても省かなくてはいけないのでしょうか？ 各ファイルに外部CSSへのリンクを張りたいのですが、 HEADタグがない場合はどうしたらいいのでしょう？ こういった読み込みファイルを扱うのが初めてで、どう対応したらいいのかがわかりません。 どなたかわかる方いたら教えてください。
- ベストアンサー
- HTML
- webクローラーを作っています
いま、大学のプログラミングの授業の自主制作でwebクローラを作っています。 言語はｊａｖａを使用しており、いまＨＴＭＬからリンクを抽出する段階で止まっています。 ＨＴＭＬタグでcharsetが含まれていたときに、その文字コードで再度HTMLを読み込みたいのですが、どのようにしたらよいかわかりません。 どなたか助言お願いします。
- 締切済み
- Java
- PHPのinclude_onceで外部ファイル化したサイトURLがリン
PHPのinclude_onceで外部ファイル化したサイトURLがリンクしてくれない。 Webサイト制作中ですが、サイトURLをいたるところに記述するのと、同じ構造のサイトをいくつも制作するので、使い回しにもなるということで、サイトURLだけを記述したurl.phpという外部ファイルを作成しました。 すると、少なくとも以下のような場合、リンクをクリックするとページが存在しないというページが開いてしまいます。 どうやら相対パスと勝手に解釈されてhrefタグの記述がおかしくなるようです。 どうやって直せるでしょうか？ ●リンクをクリックして開いたブラウザアドレスバーに出たURLは以下です。 http://僕のサイト.jp/syohin/%EF%BB%BFhttp://xn--u9jxf0b3dt27s.jp ●ブラウザ下部のステータスバーに出ているリンク先は以下です。 http://僕のサイト.jp/product/http://xn--u9jxf0b3dt27s.jp ●HTMLの記述は以下です。 <a href="<?php include_once("url.php"); ?>" title="僕のサイト.jpのトップへ">僕のサイト.jpのトップへ</a> ●url.phpに書いた記述はサイトURLだけです。以下です。 http://xn--u9jxf0b3dt27s.jp url.phpを置いているディレクトリへのパスがおかしいのか？と思い、サイト最上階、つまりindexがある一番上の階層にurl.phpをアップロードしてもみたのですが、結果は同じでした。 以下のように「../」とつけてもダメでした。 <a href="../<?php include_once("url.php"); ?>" title="僕のサイト.jpのトップへ">僕のサイト.jpのトップへ</a> 外部ファイル化して共通部分を沢山つくているのでどうしても相対パスではダメな部分が沢山あるので何とかしたいのですが・・・
- ベストアンサー
- PHP
お礼
回答ありがとうございました。 参考にさせていただきます。