- 締切済み
googleで検索したサイトのURLの機械的に収集して保存する方法
googleで検索する時に、検索結果として出てくるサイトのURLをプログラミングなどで、機械的に収集する方法を教えてほしいのですが、ご存知の方はいらっしゃるでしょうか？ Linuxのシェルプログラミングでw3mを用いて、やろうとしたのですが、できませんでした。 あと、google web APIsを使った方法があるとわかったのですが、一日に1000回という制限があるらしく、他の方法があればと思い、質問させていただきました。 何かご存知の方、よろしくおねがいします。
- takeda2006
- お礼率0% (0/1)
- Perl
- 回答数1
- ありがとう数2
- みんなの回答 （1）
- 専門家の回答
みんなの回答
- pipipi523
- ベストアンサー率40% (148/365)
Linuxならperlで処理すれば可能だと思います ↓perl httpで検索して出てきたURL http://x68000.q-e-d.net/~68user/net/ この辺りを見ながら作ってみてはどうでしょう
関連するQ&A
- 検索サイト「Ｇｏｏｇｌｅ 」
お世話になります。 「Ｇｏｏｇｌｅ」で、今まで検索してみてもＨＩＴしなかったＨＰが ある日突然、ＨＩＴするのはナゼなのでしょうか？ どういった基準でリンクに加えられるのですか？ また。。 検索でＨＩＴしない方法というか、Ｇｏｏｇｌｅのリンクから外す方法はありますか（＾＾；？ ご存知の方、宜しくお願いします。
- ベストアンサー
- レンタルサーバ・ASP
- googleサイト内検索
・現在、下記にあるgoogleのサイト内検索をHPに入れております。 Google フリー検索 (カスタマイズ版) http://www.google.com/intl/ja/searchcode.html ただ、HTMLは何も変更してないのですがいきなりサイト内検索が出来なくなりました。googleエンジンを使ってweb全体からの検索結果を表示させる方は以前と変わらず利用できます。 ・googleの方で何か変更があったのでしょうか？ ・サイト内検索をうまく機能させる方法をご存知の方おられましたら教えて下さい。よろしくお願いします。
- 締切済み
- HTML
- Googleで検索しているとき、URLで絞り込みってどうやるの？
こんばんは。 検索をしていて、ふと思ったのですが、キーワード＋ある特定のＵＲＬってどうやって検索するのでしょうか？ Googleで ＡＡＡ社の商品ＢＢＢを、ＡＡＡ ＢＢＢ で検索したら、50,000件もヒットしました。 そこで、絞り込みをしたいのですが、ヒットしたページ 50,000件のうち、 URLに ＡＡＡ を含むものを絞り込みをしたいのですが、どうすればよいですか？ わかる方教えてください、お願いします。 また、Google以外で、上のようなことができる検索サイトを知っていれば教えて下さい。 よろしくお願いします。
- 締切済み
- その他（インターネット接続・通信）
- Google検索のXMLの取得方法
Googleの検索エンジンを利用した物の開発を計画しています。 開発言語はPHPです。 YahooやMSN（Bing）は検索結果を返すXML（API）を提供していますが、Googleはそのような物はないのでしょうか？ http://code.google.com/intl/ja/apis/ajaxsearch/web.html これを使うと出来るような気もするのですが、よく使い方が分かりません。 （XMLが返ってくるのかすら分かりません） そもそもGoogleは検索結果をXMLで返してくれるのでしょうか？ もしそのようなAPIがあるなら、具体的な方法か解説サイトを教えてください。
- ベストアンサー
- XML
- ｇｏｏｇｌｅから既に見たページを除き検索する方法ってないでしょうか？
情報収集で検索エンジン(主にグーグル)を １２３４５６７と順に見るのですが 毎回既に見たページと被る場合が多いです。 効率的に情報収集するために以前見たページは除く方法ないでしょうか？
- ベストアンサー
- その他（インターネット接続・通信）
- 動的URLのサイト内検索について
サイト内検索を設置したいのですが、 動的URL部分の検索がうまくいきません。 どうすればよいでしょうか？ ■試したこと 無料で配布されている「Web Search(Web Liberty)」、「PHP Search(PHP Labo)」、「msearch」をそれぞれ設置してみたのですが、何れも通常のphpページの検索結果は反映されるものの、動的URL部分の検索結果phpページが反映されません。 ※動的URL…details.php?id=1 みたいなイメージです。 なんで反映されないのかがよく分かりません。 「通常のPHPファイル」「動的URLを生成するPHPファイル」に違いはあるのでしょうか？ ・通常のPHPファイルは、ローカルファイル？ ・動的URLは、リモートのファイル？ そもそもPHPはサーバー側で生成される(？)ので、通常のPHPファイルだろうが、動的URLだろうが、同じだと思うのですが、なんで、挙動に違いが出るのか(動的URL部分が反映されないのか)が分かりません。 あるいは、動的部分にAJAXも一部利用しているので、その影響でしょうか？ 他の手段として、Googleを利用するぐらいしか思いつかないのですが、 ページをなかなかインデックス化してくれないため、 何か違う方法を探しています。 「動的URL部分のサイト内検索」を設置するに辺り、注意した方がよい点(そもそもどういう風に考えればよいか)や、何かよい方法等、この質問見て気がついた点があれば、アドバイスをよろしくお願いします。
- ベストアンサー
- PHP
- URLが違うのに同じGoogle？
URLは違うのに同じに見えるGoogleがあります。 http://www.google.com/intl/ja/とhttp://www.google.co.jp/ なんですけどアドレスは違うのに見た目は一緒じゃないですか？ 実際に、同じGoogleのサイトに飛んでいるのではなく、見た目は同じだがそれぞれURLの違うGoogleのサイトに飛んでいるのですか？ ご存知の方回答お願いします
- 締切済み
- その他（インターネット・Webサービス）
- google(US)で検索するには？
英語の勉強のために海外のWebサイトを検索する機会が多いのですが、google.jpでは「ウェブ全体から検索」を指定しても、日本のサイトが優先的に表示されてしまいます。 そこでUSの本家googleの検索結果を表示させたいのですが、何か簡単な方法はあるのでしょうか。 私が調べたところでは、検索URLの末尾に「&gl=us」のパラメータを付ける、という方法がありましたが、検索の度にURLにコピー＆ペーストするのは煩わしいと感じています。 もしご存知の方がいらっしゃいましたらご教示ください。 宜しくお願い致します。
- ベストアンサー
- その他（インターネット・Webサービス）
