クローラーbotに別コンテンツ提供
- New York Timesのように記事全文を読むにはログインが必要だが、クローラには記事全文を提供してもらっているケースがある。
- 一つの方法として、ユーザーエージェントを見てクローラーなら記事全文表示するという方法があるが、ユーザーエージェントを偽れば記事全文を読めてしまう可能性がある。
- クローラーのIPアドレス一覧を提供するという方法もあるかもしれない。
- ベストアンサー
クローラーbotに別コンテンツ提供
http://web-tan.forum.impressrd.jp/e/2009/06/02/5403 上記ページに ----------------------------------------- 「New York Times」のように記事全文を読むにはログインが必要だが、クローラには記事全文を提供することでインデックスしてもらい、数百万もの記事の検索性を確保したケース ----------------------------------------- とありますが、これはどのようにして実現したら良いでしょうか？ ユーザーエージェントを見てクローラーなら記事全文表示という方法が思いつきますが、この方法ではユーザーエージェントを偽れば記事全文読めてしまうようになってしまいます。 クローラーのIPアドレス一覧とか提供されてたりするんでしょうか？
- muuming2001
- お礼率68% (711/1039)
- HTML
- 回答数1
- ありがとう数1
- みんなの回答 （1）
- 専門家の回答
質問者が選んだベストアンサー
参考URLはGoogleですが、オフィシャルにIPアドレスの範囲は公開されていないようです。 Googlebotがどうかの確認手順も参考URLに記載されておりますが、 (1) アクセス元IPアドレスからDNSを逆引きしてドメインを取得 (2) (1)で取得したドメインをDNSから正引きをしてIPアドレスを取得 (3) アクセス元と(2)のIPアドレスが一致していて、かつ、(1)ドメインがgooglebot.com または google.comならGooglebot という手順を実施して判断可能なようです。
関連するQ&A
- Facebookの「いいね」を誰が押したか知る方法
Facebookの「いいね」ボタンですが、誰が押したかを知る方法はあるのでしょうか。 ユーザー傾向を解析するツールはあるようですが、個人を特定する方法はありますでしょうか。 http://web-tan.forum.impressrd.jp/e/2011/02/01/9647 よろしくお願いします。
- 締切済み
- その他（SNS・掲示板・ブログ）
- Dropboxについて
http://web-tan.forum.impressrd.jp/e/2008/11/13/4371 http://www.getdropbox.jp/ 上記先に質問しましたが、2週間以上たっても回答はありませんでした。 http://bbsoft-direct.com/backup/index.html http://backup.biglobe.ne.jp/?MM http://www.quanp.com/ GoogleやYahooブリーフケースなど試しましたが いろいろ条件やてまがあり、Doropboxのように パソコン上のデスクトップと同じ保存方法で使用できるほかのもを知りません。 Doropboxは信頼できるのでしょうか？ また、操作や機能について質問出来るところはあるのでしょうか？ 信頼でき質問できるDoropboxのようなものを他に知っていれば教えてください。
- 締切済み
- フリーウェア・フリーソフト
- Dropboxのインストールについて質問させて下さい。
Dropboxのインストールについて質問させて下さい。 インストールの際にCでは無くDに保存したいのですが、ディレクトリ選択が出来ず困っています。 http://web-tan.forum.impressrd.jp/e/2008/11/13/4371 ↑このサイトで説明されているような「3．インストールディレクトリを選択して「Install」ボタンをクリックする。」という選択ができなくなっているのですが、 改善方法を判る方がいらっしゃいましたら教えて頂けると嬉しいです。
- 締切済み
- フリーウェア・フリーソフト
- iPadについて質問です。
iPadについて質問です。 イベントの来場者へプレゼントを行いたいのですが 基本的にアップルとしてはNGと聞きました。 しかし、いろんなイベント会場で抽選で当たる等の 事を行っておりますが、みなさんどのような方法で告知から 当日の抽選、プレゼントを行っているのでしょうか。 iPadを集客の目的で使える何かいい方法はありませんでしょうか。 教えてください。 ※下記のURLで集客目的でNGを知りました。 http://web-tan.forum.impressrd.jp/e/2010/08/03/8523
- 締切済み
- Mac
- クローラーについて
私の名前をグーグルやヤフーに入れて検索すると、関係した記事が出てきます。 しかし、どれも嫌な文章ばかりで、名前を入れても出てこないようにすることはできないでしょうか？ 何でもクローラーという巡回機能が関係していると言うことですが、説明文を読んでも良く分かりません。 【robots.txtで登録拒否をするには】 robots.txtを置いて登録を拒否する方法は以下のとおりです。 ・サイトで公開されているすべてのページをモバイル版Yahoo!検索の[サイト検索]の検索対象から除外する場合 下記のテキストを「robots.txt」という名前で保存し、サイトのあるウェブサーバーのトップレベルに置きます。 ファイルの中身（Y!J-SRD/1.0を拒否する場合の例） User-agent: Y!J-SRD/1.0 Disallow: / ・モバイル版Yahoo!検索を含む、すべての検索エンジンから除外する場合 下記のテキストを「robots.txt」という名前で保存し、サイトのあるウェブサーバーのトップレベルに置きます。 ファイルの中身 User-agent: * Disallow: / これ一体どこにどう貼り付けろと言うのですか？ とにかく (1)今までに特定の投稿された文章を、検索されても表示できないようにしたい。 (2)私の名前を検索されても、今後一切関連した文章が表示されないようにした。 以上の２点、どなたか分かりやすくご説明して頂けませんか？ 誹謗中傷ばかりで困っています。
- ベストアンサー
- その他([技術者向] コンピューター)
- アクセス解析による地域情報取得の精度について
Googleアナリティクスやその他アクセス解析で、ユーザーの市区町村を割り出す事が出来ますが、 これはどの程度の正確さなのでしょうか？ 個人でも調べて、下記の解説が見つかったのですが、読んでもイマイチ分からず…。 http://web-tan.forum.impressrd.jp/e/2013/02/07/14614/page%3D0,2 例えば、A市からアクセスしているAさんがいるとします。 そのAさんが契約しているプロバイダはIPアドレスと地域の対応データベースがA市に対応しておらず、 そのためアクセス解析の結果では、Aさんの地域はA市とならず、近隣の新宿区等になってしまう…。 上記のような事は起こり得るのでしょうか？ よろしくお願いします。
- ベストアンサー
- Googleサービス全般
- なぜメーカーやサービス提供業者に聞かないのか
このサイトはとても便利ですよね。 私も何度か質問を投稿して、すばらしい回答を寄せていただいています。 その代わりといっては何ですが、私が答えられる質問には回答するようにしています。 多くの質問を見ていて疑問に思うことがあります。 それは、なぜメーカーやサービス提供業者(以下提供業者と表記)に直接聞かないのか？ということです。 どう考えても直接提供業者に聞いたほうが早いのになぜなのでしょうか。 提供業者に問い合わせ窓口がないのなら仕方ありませんが、あるにもかかわらず、です。 私が考えた理由は以下の3つです。 1.勘違いによるもの このサイトが提供業者と提携しているため提携業者のサポートページにここのリンクが張られている。そのため、ここが提供業者のサポートページと勘違いしてしまっている。 たとえばここ。デルというパソコンのメーカーですが、リンクをたどっていくとデルフォーラムという名前になっているため勘違いしてしまう(一応デルからの正式回答ではないという表記はありますが)。 http://supportapj.dell.com/support/topics/topic.aspx/jp/shared/support/okweb/comforum/forum_index?c=jp&l=ja&s=dhs 2.提供業者が正式回答としては出せないが、サービスを受ける側(回答者)が独自に得た知識を得るため。 3.ナレッジベースのため わざわざ新しい質問をしなくても、同じ状況の人がすぐに解決方法を得られるようにするため。 まあ3番目の理由で質問してる人はほぼいないとは思いますが… 上記以外に何か考えられる理由はありますでしょうか。
- ベストアンサー
- アンケート
- メンテナンス中表記について
http://web-tan.forum.impressrd.jp/e/2009/06/16/5880 のページを参考にし 管理者以外はメンテナンス表示に飛ばしたく思っております。 しっかりバージョンで実際にアップしてみたのですが500エラーになってしまいます。 ※mainte.htmlもアップしております。 サーバーはxbitを使用しており.htaccessは使用可能です。xbitのマニュアルを見たのですが 解決に至れずにおります。メンテナンスをしたくなんとか実現させたいのですがどうすればいいものでしょうか？ 中身は以下の通りです。 ErrorDocument 503 /mainte.html <IfModule mod_rewrite.c> RewriteEngine On RewriteCond %{REQUEST_URI} !=/mainte.html RewriteCond %{REMOTE_ADDR} !=自分のIP RewriteRule ^.*$ - [R=503,L] </IfModule>
- 締切済み
- HTML
- ユーザー投稿型サイトのSEO対策について
ユーザーが記事を投稿するサイトのSEO対策を考えているのですが、投稿された記事ページをどのようにして検索エンジンンにインデックスさせればよいのか分からなく困っています。 例えば、検索エンジンにhttp://www.blog.comがインデックスされていたとして、ユーザーがブログを投稿した際、下記のようなURLでそのブログにアクセスできたとします。 http://www.blog.com?id=1111 そして、ブログ投稿時に、そのURLはhttp://www.blog.com内にクローラーがたどれる形でリンクされないとします（ex.ブログの一覧画面には評価の高いブログが10件しか表示されないなど）。 こうした時、そうしたURLはどのようにして検索エンジンンにインデックスさせればよいのでしょうか？ URLごとに手作業で行ったり、下記のように何かしらaタグを記述するようにすればよいのでしょうか？ <div style="display:none ;"> <a href="http://www.blog.com?id=1111"></a> </div> 以上、よろしくお願い致します。
- ベストアンサー
- その他（プログラミング・開発）
- ping.bloggers.jpについて
Ping送信先としてだいたいどのページでも紹介されている「ping.bloggers.jp」。 http://ping.bloggers.jp/ Ping送信に関するサイトや典型的なアフィリエイト攻略ブログではもちろん、最近話題の「Web担当者フォーラム」でも紹介されていました。 http://web-tan.forum.impressrd.jp/e/2008/02/18/2662 ＞（※Web担編注：日本ならばping.bloggers.jpが有名だ） ping.bloggers.jpを開いてみるとわかるように、最近よくある「ブログ検索」へ更新通知をするタイプではなく、最近減ってきた更新情報を提供するタイプのサイトのようです。 しかしながら、alexaのデータを見るとわかるように、大したアクセスを集めているサイトではないようです。 http://www.alexa.com/data/details/traffic_details?&range=3m&y=r&url=http://ping.bloggers.jp/ にも関わらず、なぜこんなにもたくさんのサイトで紹介されているのでしょうか。 調べていると、下記ページで「多くの検索サイトでここの情報が利用されています。」と書かれていました。 http://pingnews.nezumicky.com/index.php?%E3%83%AA%E3%82%B9%E3%83%88%E8%A9%B3%E7%B4%B0 ここで質問なんですが、具体的にどの検索サイトでここの情報が利用されているのでしょうか。 ご存知の方がいればよろしくお願いします。
- 締切済み
- ブログ
お礼
なるほどー ドメインを引いて正当性チェクですね