検索結果
スクレイピング
- 全てのカテゴリ
- 全ての質問
- Linux上で動くシステムとしてC系とJavaは
C系を学習しようかJavaを学習しようか迷っております。 用途としては、自社の全支店、他企業(承諾済みとします)のWebコンテンツ、サーバ上のデータ他、いわゆるデータを自動で吸収(読み取り、保存)し、それを専用のLinux機器にてデータの加工、再処理などを数学なども利用して実行したいと考えております。 似たようなものとして(?)良く分かりませんがGoogleの検索ロボットのようなものだと思います。 自分はPHP、JavaScript等のWeb言語などは習得しているのですが、C系やJavaは学習しておりません。 ただ、オブジェクト指向という点は少々慣れていると思います。 具体例がかなり説明不足だと思いますが、このようにパソコン内部でシステムを動かす際にはどちらの言語がいいのでしょうか? 色々とWebで調べてみたのですが難しくて分かりませんでした。 各言語で出来ているソフトウェアを考えても、Apache、Linux、Eclipseとかしか分からずシステムとしてはC系の方がいいのかなと単純に思っております。 C系とJavaの違いとして、ライブラリ、フレームワークがあると思うのですが、C系は基本的に殆ど自分でプログラミングを作成する、JavaはJSPとかライブラリ、フレームワークが多いようなので開発は楽そうな感じはするのですが。 それ以外のお互いの利点が良く分かりません。 Javaに関しては、PHP等よりも型指定などにより複雑だけどセキュアな銀行などで使われるWebアプリ、携帯アプリとかぐらいしか思いつかないレベルです。 すみませんが以上の点でよろしくお願いします。
- SEO会社が作るサイトのファイル構成について
はじめまして。 地方で細々とWEB製作、SEO業務を生業としております、猫Z太郎と申します。 この度、WEB製作、SEO業務に携わる諸先輩方へ質問があり投稿させて頂きます。 仕事でポータルサイトの製作及びSEO業務の窓口を担当しておりますが、SEOに関して、具体的施策は外部のSEO業者へ委託しています。 ウェブマスターツールを使い、被リンクサイトをたどって、SEO業者が製作したであろうダミーサイト?(被リンク用のサイト)を20サイト近く見つけたのですが 面白いように全てのサイトでファイル構成が一緒なのです。構成は以下の通りです。 ■トップ (ドメイン名/index.php) … 誰かのブログのようなテキストが長々とあり、中に依頼ワードのテキストリンクが無理矢理一つある。 ■ページ2 (ドメイン名/about.php) … 誰かのブログのようなテキストが長々あるだけ ■ページ3 (ドメイン名/main/index.php) … 誰かのブログのようなテキストが長々あるだけ ■ページ4 (ドメイン名/main/contents.php) … 誰かのブログのようなテキストが長々あるだけ ■ページ5 (ドメイン名/main/diary.php) … 誰かのブログのようなテキストが長々あるだけ ■ページ6 (ドメイン名/topics/index.php) … 誰かのブログのようなテキストが長々あるだけ ■ページ7 (ドメイン名/topics/sitemap.php) … 各ページへの内部リンクがあるだけ このファイル構成に何かSEO的なカラクリがあるのでしょうか? ドメインのページランクは、2~3がほとんどでした。 変な話ですが、同等のオールドドメインを買って、同様のファイル構成で被リンクサイトを作れば、独自のSEO対策も可能なものでしょうか?
- ベストアンサー
- その他(プログラミング・開発)
- nekoZtaro
- 回答数1
- 複数のWEBページから特定の文字を抜き出したいです
カテゴリー違いでしたらすみません。 詳しく説明しますと、アロマオンラインショップ生活の木で販売されている商品を EC-CUBEで販売する事になったのですが。 商品数が多すぎて困っています。 下の希望の物が全部出来なくても少しでも効率よく出来れば幸いです。 どうかお力をお貸しください。よろしくお願い致しますm(__)m http://onlineshop.treeoflife.co.jp/goods/?g=084493010 でいうと、 「アニスシード精油」 「古代エジプトではミイラの保存用に防腐剤として使用された。スターアニスとは異なる科に属する。家庭用スパイスとして有名。」 「商品番号08-449-3010 (区分:2)JANコード4954753 037997原産国エジプト学名Pimpinella anisum抽出部位種子抽出方法水蒸気蒸留法開封後の使用目安品質保持期限:商品に記載 開封後1年サイズ箱:30×30×65mm ボトル:φ20×37mm」 「3ml」 「945円」 HTML形式で抜き出せるととても良いのですが・・・ ============= <dl id="ItemDetailDl" class="detailTable clearfix"> <dt id="ItemCodeDt" class="tLine">商品番号</dt> <dd id="ItemCodeDd" class="tLine">08-449-3010 (区分:2)</dd> <dt id="JanCodeDt" class="tLine">JANコード</dt> <dd id="JanCodeDd" class="tLine">4954753 037997</dd> <dt id="OriginCountryDt" class="tLine">原産国</dt> <dd id="OriginCountryDD" class="tLine">エジプト</dd> <dt id="ScientificNameDt" class="tLine">学名</dt> <dd id="ScientificNameDd" class="tLine">Pimpinella anisum</dd> <dt id="ExtractionPartDt" class="tLine">抽出部位</dt> <dd id="ExtractionPartDd" class="tLine">種子</dd> <dt id="ExtractionMethodDt" class="tLine">抽出方法</dt> <dd id="ExtractionMethodDd" class="tLine">水蒸気蒸留法</dd> ================ などの項目を抜き出したいです、現在は一品づつ手作業で商品アップしていますが、 数が多すぎて・・・また間違いも多くなってしまっているので。 ちなみに、ショップに問い合わせたのですが、商品のデータ提供はしていなくて、 紙媒体ならあるのですが、あとはネットからコピーしか方法がありません。 どうにかなりませんでしょうか? ちなみに、今作業している環境は win7 ドリームウィーバー などのコレクションCS4 オフィス2007 サイト全体の抜き出しは「Website Explorer」を使っています。 ほかに必要な情報はありますか? 保存したHTMLから固定のHTMLtaguを抜き出す方法などあれば教えてください。
- ベストアンサー
- その他(プログラミング・開発)
- mamez31
- 回答数6
- エクセルVBAとWEBクエリに関する質問です
まったくの初心者ですが、エクセルのVBAとWebクエリを駆使して、 大量(1000強)のWebページから商品情報を エクセルへ入力していくプログラムを作成したいと考えています。 やりたいことは (1)エクセルのA列にurlを1000個並べ (2)プログラムを実行すると、上から順にurlへ自動でアクセス (3)各ページの商品情報を取得(テーブルデータ)し、エクセルに入力していく 例)B列:商品名、C列:商品番号、D列:通常価格、E列:カラー展開、F列:サイズ展開 という具合に、次々と自動で商品情報を入力していくプログラムです。 エクセルのVBAとWebクエリを活用して以上のようなことをするのは可能でしょうか? VBAにてLinkの取得や、Webクエリにてテーブルデータの取得ができるのは わかったのですが、自動でアクセスして、表ではなく区切り線ごとにデータを並べたいのです。 もし可能でしたらどのようにすれば可能になるか教えていただけないでしょうか。 不可能だとした場合は、何か可能になる方法をご教唆いただけないでしょうか。 お手数ですが、ご回答よろしくお願いいたします。
- ベストアンサー
- Visual Basic
- akiphone
- 回答数2
- codebird:リクエストトークンが取得できない
codebirdでWordpressに『Twitterでログイン』機能を作ろうとしているのですが しょっぱなのrequest_token取得からつまづいてます コードはcodebirdのgitのサンプルコードそのままです $reply = $cb->oauth_requestToken(array('oauth_callback' => 'http://' . $_SERVER['HTTP_HOST'] . $_SERVER['REQUEST_URI']));//ここで取得失敗 $var_dump($reply);//出力 ↓ object(stdClass)#2 (2) { ["message"]=> string(44) "Failed to validate oauth signature and token" ["httpstatus"]=> int(401) } みたいなカンジです 同アプリケーションにて自分のTwitterアカウントにaccess_tokenを発行して codebirdでタイムラインを取得できることは確認しています codebird自体は稼働しているしconsumer_keyは間違っていないはずです dev.twitterのアプリケーションのsettingでは Sign in with Twitterはyesになっています またTwitterAPIの仕様が変わったんでしょうか? よろしくお願いします
- ベストアンサー
- PHP
- H240S18B73
- 回答数2
- PHPについての質問です。
Web上のHTMLファイルの文字データを取得するにはどうすればいいですか? Web上のHTMLファイルを取得して、その中のタグとかを判別して、 最終的には自分のニコニコ動画の履歴の動画のタグ情報を自動で取得してくれるようなプログラムを作りたいです。 雛型でもいいので教えてください!
- 締切済み
- PHP
- blogger0317
- 回答数2
- 他人のホームページの改変
他人のホームページを自分の使いやすいように改変するにはどうすればいいですか? もちろん、他人のサイトはそのままで自分が見るときだけjavascriptを入れたり、広告をなくしたりしたいです。
- 巡回ソフト
あるホームページで販売している複数商品の商品名、商品画像、価格、在庫数などの情報を、定期的に巡回して自動ダウンロードするソフトがあると聞いてます。 特に画像をダウンロードしたいのですが、おすすめソフトを教えてください。
- ベストアンサー
- レンタルサーバ・ASP
- ytytjr
- 回答数1
- Javascriptでこんな処理できますか?
初心者必見!JavaScriptでできることと作れるものってどんなもの? https://www.sejuku.net/blog/3936 これをみるとJavascriptでできること WEBサイトに「動き」を加える 具体例1:HTML要素を追加 具体例2:CSSを変えて見た目を変更 イベント処理 JavaScriptは、マウスの動作やクリックされたという動作をイベントとして取得することができます。 そのイベントと紐づけて、いろいろな動作をつけることも可能です。 非同期通信 非同期通信を使ったアプリは、サーバーの応答を待たず次々と処理を行うことができます。 が出来るとききました。 そこで、 JavascriptでCSVの加工をする http://dripn-snip.com/2018/02/15/csv-js/ JavaScriptでCSVを扱うためには、5つのステップを経る必要があります。 1.ブラウザにCSVを読み込ませる 2.CSVをJavaScriptで扱える形式(配列)に変換する 3.配列を操作する 4.配列をCSVに戻す 5.ダウンロードする でのやり方のようにすれば、 自分のやりたい、 1.ブラウザに編集対象WEBサイトページを読み込ませる 2.ページ内テキストを取得し正規表現で取り出す。 3.取り出したテキストでーたからISDNコードを抽出し 4.Amazonで検索。検索結果を表示 こういう処理ももちろんできますよね? 頭が悪いのですが、努力はしようと考えているのでやろうと思っています。 家にあった、Javascriptの入門書をみていたら正規表現などの軽い解説があるのと DOMの解説、基本的な文法の解説だけだったのでいまいちピント来ませんでした。 アドバイスよろしくお願いします。
- ベストアンサー
- JavaScript
- tasukete2018
- 回答数3
- Indeedはコピーコンテンツに該当しないですか?
Indeedにはたくさんの求人情報が登録されていますが、スポンサー枠以外は全てIndeed側が自動クロールして登録しているようです。 他社の求人サイトからの引用もあります。 しかし、quoteタグを使わずに、求人内容の一部をIndeed内で閲覧できるようにしていますよね。 これって著作権等の問題には引っかからないのですか? これがOKであれば、他サイトの情報を集約してコピペしたポータルサイトもOKになってしまわないでしょうか?
- 締切済み
- その他(法律)
- nanimowakaranai
- 回答数1
- webページの一部をコピペしてくる
https://www.weblio.jp/category/ https://thesaurus.weblio.jp/category/wrugj こちらのサイトの索引の語句だけをまとめていきたいです。 手動でコピペしてまとめていくには、 あまりに量が多すぎるため、何か自動でできないかと思い質問させていただきました。 何か良い方法はありますでしょうか? あるとしたら、どのような方法でしょうか? よろしくお願いいたします。
- ベストアンサー
- Excel(エクセル)
- mute_low
- 回答数4
- ページオープン制御方法(PHP)
ページオープン制御方法(PHP) お世話になっております。 PHPでエントリーフォームを作成しております。(初心者に毛が生えた程度の知識力です) 同時に複数のエントリーを阻止したいのが狙いです。 【質問】 Aページを閲覧(開いている状態)している時に、別タブでBページを閲覧した場合に、 Bページにコメント出す。逆も同様。 Aページを開いたときに$_SESSION["PAGE_OPEN"] = "PAGE"のように値を代入して、 Bページに$_SESSION["PAGE_OPEN"] == "PAGE"だったらコメント出すという方法などを試しているのですが、 うまくいったり、unset($_SESSION["PAGE_OPEN"] )しても値が残っていたり、調整がうまくいきません。 心掛けなければいけない点や不備・成功例など諸々とご指導頂ければ幸いです。 何卒宜しくお願い申し上げます。
- ベストアンサー
- PHP
- jipang5054
- 回答数2
- ウェブサイト上のボタンを自動で押すプログラム
あるwebページのボタンを自動で押すためのウェブアプリケーションを作りたいのですが、そのウェブページに入ったときにボタンを自動で選択してくれるってどうやったらできるのでしょうか? PHP, Javascriptのどっちかでそのアプリケーションは作ろうと考えています! 回答よろしくお願いします!
- ベストアンサー
- PHP
- soccerrlove
- 回答数2
- アメブロで指定テーマでRSS取得は不可能ですか?
現在アメブロのテーマを指定したRSSを取得・表示を考えているのですがRSSを見ると全てが1つのRSSとして配信されている感じです。 カテゴリという概念もないということを知りました。 どうしたら、指定したテーマでの取得が可能になりますか? この様な記事を見つけて試してみたのですが、エラー?が表示されてしまい、表示することは出来ませんでした。 http://okwave.jp/qa/q8065011.html どなたか良い方法をご存知の方いらっしゃいましたら、アドバイスを頂けますと助かります。 よろしくお願いいたします。
- Instagram投稿に寄せられたコメントを出力
【Instagram】 投稿に寄せられたコメントを外部に出力する ツールなどはあるのでしょうか? もしくは存在するのでしょうか? できれば無料が好ましいです。
- Windows10 、エクスプローラーのバグ?
Falconという神アプリで、IZ*ONEのインスタグラムのデータを全てダウンロードしました。 (Instagramからちゃんと全てのファイルをダウンロードできるアプリを探すのに苦労しました。紹介サイトはどこも同じようなことばかりで(コピペしてるだろ!)、しかも実際は期待した結果にならず、役立たずばかりでした。コピペするにしろ、使える情報を掲載しろよな。) 3度か4度くらいか通信を切断したことでアプリがエラーを出し、その都度開始 し直しているので、再現時に同じファイル数になるかは分かりません。 問題はそこではないので大丈夫でしょう。 Windowsの(ファイル)エクスプローラー上で、IZ*ONEのインスタグラムをダウンロードする用に作ったフォルダ上で、 【全て&jpg&mp4&txt】それぞれで検索した結果が下記です。 ファイル総数 5634点 フォルダ4 サイズ970MB ディスク上のサイズ979MB (サイズとディスク上のサイズに差が出るのは、環境によると思います。) jpg 4023点 502MB 510MB mp4 351点 466MB 467MB txt 1267点 638kb 1.58MB ダブり 7点!! どういうこと? ファイルの種類を変えて検索してるのに、なぜかダブりが発生しています。 なぜですか? バグですか? しかたないので Tablacus Explorer を使って同じ操作をしてみた結果、 差異は下記だけでした。 txt 1260点 638KB 1.58MB ダブりの7点分が無くなって 計算上合致するようになりました。 利用環境 エディション Windows 10 Home バージョン 20H2 インストール日 2021/04/11 OS ビルド 19042.928 エクスペリエンス Windows Feature Experience Pack 120.2212.551.0 Falcon2.4.0.3 Tablacus Explorer21.4.19.0 ポンコツWindowsちゃんでしょうか? 宜しくお願い致します。
- ベストアンサー
- Windows 10
- 回答 お願い
- 回答数1
- プログラム(スクリプト)を1万で依頼するには?
プログラムというかスクリプトを個人で 1万円以下で依頼するにはどうすればいいでしょうか? どこで頼めばやってもらえるでしょうか? そういうのは簡単に個人で依頼できるものなのですか? アドバイスよろしくお願いします。(・´з`・)
- ベストアンサー
- その他(プログラミング・開発)
- tasukete2018
- 回答数7
- ブロックが元に戻った?
ブロック対象の回答者が答えを記入する前の段階で表示されていたのが 以前の記入回答後にブロックに戻ってしまったみたいですね 回答する側の手間が減って良い変更と思っていたのですが 何故元に戻ったんだろ? いろいろ考えて書いた後に ブロックされています は心が折れますね 一度改善された後なので更に? 大まかな質問閲覧も面倒になりましたし 次の変更時は改善を望みたい 要望はここに書き込むしかないんでしょうね
- 締切済み
- このQ&Aコミュニティーについて
- noname#267082
- 回答数3
- 特定のWEBサイトの情報をクロールしたいと思いますが、プログラミングの
特定のWEBサイトの情報をクロールしたいと思いますが、プログラミングの経験はありません。人に頼む以外で自分でできるようになるには、どのように勉強すればよいでしょうか。私自身、ITリテラシーは低くわなく、自作でPCを組み立てたり、PCトラブルを自分で調べて解決できるくらいのスキルはありますので、通信講座など広い範囲でアドバイスいただければ幸いです。
- ベストアンサー
- その他(プログラミング・開発)
- jalps
- 回答数3
- 株価関連情報を取得できるAPIを知りたい
株価関連の、自分用のソフトウエアを作りたいと思っています。 そこで、株価関連情報を取得できるAPIを知りたいです。 速報性はあまり気にしません。20分ディレイとか、1日ディレイとかでもいいです。 自分なりに探してみたのですが、現時点で使えるAPIはほとんど無いように思いましたので、細かいことは言いません。 xmlとか、CSVとか、rssとか、それなりにシステム的に処理できる形で 何らかの株価関連情報を取得できるAPIをご存知でしたら、何でも良いので教えて下さい!!
- ベストアンサー
- 株式市場
- stolichnaya
- 回答数1
