• 締切済み

proxyサーバから定期的にデータを取得、データベースで管理

プロキシーサーバから定期的にデータを取得するソースコードと関連関数を探したいですが、いろいろ調べましたけど、見つけられませんでした、perlの初心者ですので、よくない質問かもしれませんか、教えていただければ幸いです。

みんなの回答

  • nta
  • ベストアンサー率78% (1525/1942)
回答No.2

 apacheは本体がhttpサーバですが、プロキシの方のログが欲しいのですか。プロキシ機能は使ったことがないのですが、テキストベースのログを出力するだけだと思います。となると、自分で解析プログラムを書かなければなりません。Perlですからテキストの検索能力が高いので、キーワードを見つけて、必要なデータを配列にピックアップするように記述すれば拾い出せると思います。 書けそうになければそういった目的のためのパッケージが販売されていますから利用された方がいいでしょう。 SiteTracker http://www.ant.co.jp/Products/SiteT5_index.html Log Chaser http://www.accent.co.jp/log_chaser/log_chaser.html efStat http://www.vector.co.jp/soft/unix/net/se115525.html 商用のプロキシサーバを導入するといろいろなインターフェースが用意されていて、グラフ化して出力したりいろいろできるのですが。

kenchen
質問者

お礼

どうもありがとう。またまた分からないところが多いですが、今後も宜しくお願いします

全文を見る
すると、全ての回答が全文表示されます。
  • nta
  • ベストアンサー率78% (1525/1942)
回答No.1

プロキシサーバからどういう情報を入手するのでしょうか。プロキシサーバのアクセスログなどの情報ということであれば、プロキシサーバソフトは何でしょうか。 また、プロキシサーバとPerlを実行するコンピュータの配置とアクセスのためのアカウントの関係はどのようになっていますか。

kenchen
質問者

補足

そうですね、アクセスログです。プロキシサーバのOSはunixで,ソフトはapache,管理者としてログインしています。

全文を見る
すると、全ての回答が全文表示されます。

関連するQ&A

  • 社内サーバーとデータベース

    最近、IT関連の仕事についたんですが、ど素人の為、サーバーとデータベースの違いがよく分からないので、教えてください。 私の会社では、一人一台のPCが与えられて必要なデータなどは社内のサーバーにアクセスして取得しています。ただ、私のイメージだとデータはデータベースにあるのではないのかな?って思って混乱しています。 もしできれば、データを取得する際の自分のPCと社内のサーバーとデータベースの関連性なんか教えてもらえると助かります。 関係あるかは分かりませんが、私のPCにはOracle9iをインストールしてあります。 よく分かりにくい質問して申し訳ありませんが、よろしくお願いいたします。また、この辺の事を理解する際に有用な書籍やホームページなどがありましたら、教えてもらえると助かります。

  • AJAXで取得されているデータのスクレイピング

    PerlでWEB上のデータを収集したりしていますが、 AJAXでデータを取得する部分は、ブラウザでonload後に 行われている為、サーバサイドで実行するPerlで取得する事が出来ません。 そもそもデータの取得は不可能でしょうか? それとも他に実現可能な手段はありますでしょうか? 宜しくお願いいたします。

  • 定期のサイクルを管理する方法(データベースで管理)

    これはエンジニアの方向けの質問かもしれません。 ある商品で、 1ヶ月定期、2ヶ月定期、3ヶ月定期でお客様に配送するとします。 (サイクルはお客様が選べる) またお届け日も3日、13日、23日をお客様が自由に選べるとします。 ※定期お届け開始は、お客様から注文を受けた月の翌月から開始 これをデータで管理するとした場合(例えばアクセスのクエリーで抽出条件を 決めるとした場合)、 1ヶ月定期、2ヶ月定期、3ヶ月定期のお届けを データでもれなく運用、管理するとした場合、 注文を受けた際にどのような数値を残すことが最適でしょうか。 今のところは大きなシステム投資をせずにAccessで管理しようとおもっています。 データで該当日にクエリーで抽出できるようにしようとした場合に どのような受注時のデータの残し方が適であるかお伺いしたく、 お知恵をお借りできれば幸いです。 (解約処理等はまだ考慮せず、あくまでもお客様の要求通りに定期をお届けすることが できるデータ抽出方法を検討しています、当然データには1ヶ月定期、他定期、 ばらばらの3種類のお届け日が混在しています)

  • サイト上のphpデータを取得することは可能ですか?

    ウェブ初心者です。 ブラウザ上の、画像やhtml,jsのソースを見ることは存じておりますが、 サーバ上にあるphpのデータのソースを見ること、もしくは取得することは可能でしょうか。 また、そんなの無理にきまってるだろ、という場合は、何故無理なのか教えて頂けますでしょうか。 Linuxではなく、当方はwin7を利用してます。ブラウザはFFかクロームです。

    • ベストアンサー
    • PHP
  • サーバーから取得されたデータ(ソース)をコピー

    会社で使っているウェブシステムをIEで閲覧しているのですが 右クリック→ソースを表示と F12のソースの内容が違います。 F12で見えるソースの内容はサーバーから取得されたデータも表示されてると思うのですが その情報をコピーする方法はありますか? F12の情報をコピーしても、 結局は右クリック→ソースを表示と同じ内容が表示されてしまいます。

  • サーバーからのデーター取得について

    他のPCからjavaでpost送信したデーターをサーバーを通して自分のPCにPHPで表示する勉強をしています。 他のPCからサーバーにはアクセスできてデーターは送信されているようですが、自分で作成したPHPのプログラムではPCで見ることができません。 もしよろしければ自分のPCで表示するためサーバーからデータを取得するプログラム、参考サイトを教えてください。 JAVAは少々分かりますが、PHPは素人になります。 お願いします。

    • ベストアンサー
    • PHP
  • Proxyに阻まれるFTPサーバ

    サーバを構築し,BlackJomboDogというソフトでFTPサーバを構築しました。 当該サーバのPCからだと問題なくアクセスできるのですが, 外部からだとファイルの取得などが出来ません。 おそらく構築したサーバがProxyサーバの中にあるからだと思っています。 (FTPでもログインに失敗したりはしないが,一覧の取得をしようと多大な時間をかけるが結局タイムアウトになる。) ProxyサーバにFTPサーバへのアクセスを阻まれているのだと思います。 そこで,Proxyサーバを突破して中のFTPサーバへアクセスする方法, もしくはそのようなFTPサーバの設定がもしございましたらご鞭撻いただければ幸いです。 是非宜しくお願いいたします。

  • サーバから取得したdatetime型の変換

    いつもお世話になります。 初めて質問させていただきます。 初心者のため、不足の部分あるかと思いますが どうぞよろしくお願いいたします。 SQLServer2000サーバからSQLによるデータ取得を行いファイルに出力し、 そのファイルの内容を違うサーバに送るという課題があります。 そのうちサーバからデータを取得してファイルに出力するまでが 現在の私の担当部分になります。 その取得するデータの中にdatetime型の項目が存在しています。 これをファイル出力するためにchar型に変換を行いたいのですが、 良い方法が思いつきません。 time_t型からtm型に変換してそこからchar型に変換することを考えたのですが、 取得してきた項目自体をtime_t型に変換する根本の方法が わかりません。 取得してきた項目はlong型の値になっているようですので long型からtime_t型への変換ができれば localtime関数を使用してtm型に変換できるのですが。 上記のような方法が無いのでしょうか。 また皆様の中で過去にdatetime型の項目取得を行った経験をお持ちの型が いらっしゃいましたら参考にお話いただけませんでしょうか。 上記で何か不足部分ございましたらご指摘ください。 よろしくお願いいたします。

  • サーバー上から取得したデータをSDに保存したい

    サーバー上から取得したデータをSDカードに保存したいのですが、 その方法がわからなく困っています。 サーバーからデータがあるURLを取得し、 そのURLからデータをSDカードに保存したいです。 直接SDではなくInputStreamなどで取得してからでも構いません。 データの種類は動画(3g2)になります。 よろしくお願いします!

  • 別サーバーのデータベースに、データを加えたい。

    urizakaです。 現在、RedHatLinux6.2 + postgresSQL7.1でシステムを組んでいるのですが、その中で以下のような仕組みが作れるかどうかを知りたいのですが・・・ ・毎日一定時間になるとサーバーBのcronがストアドプロシジャーを実行し、別サーバーA(実際には複数あります)の規定のテーブルAを見て、予め定められた条件に該当するデータ(具体的には今日、登録されたデータ)だけを抜き取り、自分のデータベースのテーブルBにデータを登録する。 ・その後、サーバーBのcronは別のストアドプロシジャーを実行し、自分のデータベースのテーブルCに納められたデータのうち、やはり予め定めておいた条件に該当するものだけをサーバーAのデータベースのテーブルDに収める。 PerlやJavaのファイルを毎日一定時間にcronに実行させて、これらの動作を行う方法については見当が付くのですが、できればこれらの言語に頼らないでcronやストアドプロシジャーだけでこれらの処理を実行したいと考えているのですが、ストアドプロシジャーを実行させて別のサーバーのデータベースから取り出したデータをどうやって自分のデータベースに納めるかが分かりません。 尚、この仕組みで使われているサーバーのOSは全てRedHatLinuxで、データベースは全てPostgresSQL7.1です。 すみませんが、もし、この方法をご存知の方がいらっしゃったら教えてください。 よろしくお願いします。