Top過去ログ目次掲示板

作成日:2008年06月08日 作成:おやじ
掲示板で過去に質問された内容です。

No.7572 googlebotについて


No.7572 投稿時間:2008年06月08日(Sun) 08:39 投稿者名:モリヤマ URL:
タイトル:googlebotについて

お世話になっております。

原因を自分で解決できない問題が起きてしまい、
お力添えを頂きたく書き込みをさせていただきます。

OS:win XP
webサーバ:apache

症状は、googlebotがvirtualhostに指定してあるドメインを読みにきてくれないというものです。
「頻度が低い」というのはWeb上でちらほら見かけるのですが、
「全く来ない」という例が見つかりませんでした。

access.logを確認しましたところメインのドメインは読みにくるのですが、
その他の3つのドメインには全く触れてくれません。

googleのウェブマスターツールで確認しましたところ、
最後に訪れていたのはレンタルサーバの頃(1月頃)になっています。

恐らくは、apacheの設定だとは思うのですが・・・。
httpd.confの設定は、おやじ様サイト上の例をそっくりそのままにしています。(apache+active perl virtualhostはvhost.confをinclude)

.htaccessやrobots.txtの設定も拒否になるようなものは指定していないと思います。

spam扱いをされるような内容でもないです。


どうぞ、宜しく御願い致します。


No.7574 投稿時間:2008年06月08日(Sun) 10:00 投稿者名:おやじ URL:
タイトル:検索エンジンスパムと誤認?

> OS:win XP
> webサーバ:apache
>
> 症状は、googlebotがvirtualhostに指定してあるドメインを読みにきてくれないというものです。
> 「頻度が低い」というのはWeb上でちらほら見かけるのですが、
> 「全く来ない」という例が見つかりませんでした。
>
> access.logを確認しましたところメインのドメインは読みにくるのですが、
> その他の3つのドメインには全く触れてくれません。
>
> googleのウェブマスターツールで確認しましたところ、
> 最後に訪れていたのはレンタルサーバの頃(1月頃)になっています。

ということは、サイトを移転したのでしょうか?
感覚としては、サイトの移転に失敗していませんか?
下記を参考にしては・・・。ドメインが変わっていないのだとすると違いますが・・。

ttp://kotonoha.main.jp/2004/10/24search-engine.html
ttp://www.google.com/support/webmasters/bin/answer.py?answer=83105&topic=8523
ttp://www.popdom.jp/notes/001/

おやじは、こちらを使用して積極的にサイトマップをアップロードしています。
ttps://www.google.com/webmasters/tools/docs/ja/sitemap-generator.html

おやじは昔zive.orgさんを使用していて、かなりアクセスがあったのですが有料化になるとのことで、独自ドメイン且つ自宅でのDDNS運用に切り替えましたが、3ヶ月ほど301で並行運用して移行したのですが、googleのランクは消えるは、アクセスは激減するはでえらい目にあいました。その後、1年以上かかって徐々に復活してきましたが・・・。
この手の話はいろいろネタはあるようですが、ロジックがわからないので、誰も真実はわかっていないのでは?

> 恐らくは、apacheの設定だとは思うのですが・・・。

ということは、あまりないかと・・・。

> httpd.confの設定は、おやじ様サイト上の例をそっくりそのままにしています。(apache+active perl virtualhostはvhost.confをinclude)
>
> .htaccessやrobots.txtの設定も拒否になるようなものは指定していないと思います。
>
> spam扱いをされるような内容でもないです。

内容といっても、検索エンジンスパムはランクを上げるための不適切なリンクの操作やmetaタグ操作等なので、コンテンツそのもののケースはあまりないと思います。

ttp://ja.wikipedia.org/wiki/%E6%A4%9C%E7%B4%A2%E3%82%A8%E3%83%B3%E3%82%B8%E3%83%B3%E3%82%B9%E3%83%91%E3%83%A0


No.7575 投稿時間:2008年06月08日(Sun) 10:50 投稿者名:モリヤマ URL:
タイトル:スパムの定義を勉強します。。。しかし、、、

おやじ様

早速の返答ありがとうございます。

seo/sem系の話なので少々お門違いとは思うのですが、
疑わしきはサーバーと思い込んでいた為に書き込ませていただきました。

結果的に、「引っ越しに失敗」したのです。

移転に際してドメインは変わっていません。
おなま。.comでサーバー及びドメインを管理していたのですが、
それを自宅winサーバー、value domainに変更しました。

metaタグや.htaccessでのリフレッシュ等はかけていませんし、
一応商用サイトですが、発注フォームが用意してある程度のサイトで、
キーワードの羅列等も勿論していません。

なので多分spam扱いという事は無いのではないかと思っています。


4つのドメインを運用していて、
うち1つがメイン(?表現方法が不明)で1つはまだ制作していないのでメインと同じパスに、
もう一つはトップページのhtml組みのみ、4つ目は全て揃っているサイト(10枚程度のサイト)になります。

そのうちメインのサイトにはgooglebotが来ます。

しかし、来てほしいのは4つ目の全て揃っているサイトで、
サイトマップもアップしましたし、Analytics等はしっかり認識してくれます。

完全にサーバーに来ないのではなく、来るドメインもある、というのが悩みの種だったりもします。


ひとまず、ご紹介していただいたサイトマップの積極的なアップロードを試してみたいと思います。

尚、蛇足ですが、
今やgoogleにとって「おやじ」とはパソコンおやじを指す言葉のようですね。
firefoxのアドレスバーに「おやじ」と入れると、勝手に飛びます。
素晴らしい。


どうも「一般的なサーバー=Linux」という初心者的発想があり、
「トラブルは全てWin機でやっているからじゃないのか!」といった偏見が生まれてしまうんです。

根本的に、
win XP-apche-virtualhost(独自ドメイン複数)の状態で、
全てのドメインに対してgooglebotはクロールしに来ますか?

御恥ずかしながら、そんなところを疑ってみたくなるのです。

どなたか実証された方がいらっしゃいますでしょうか???


検索で引っかからないサイトは、砂漠の中の砂場のような状態であると承知しております。

何卒、助けてやってください。
宜しく御願い致します。





> > OS:win XP
> > webサーバ:apache
> >
> > 症状は、googlebotがvirtualhostに指定してあるドメインを読みにきてくれないというものです。
> > 「頻度が低い」というのはWeb上でちらほら見かけるのですが、
> > 「全く来ない」という例が見つかりませんでした。
> >
> > access.logを確認しましたところメインのドメインは読みにくるのですが、
> > その他の3つのドメインには全く触れてくれません。
> >
> > googleのウェブマスターツールで確認しましたところ、
> > 最後に訪れていたのはレンタルサーバの頃(1月頃)になっています。
>
> ということは、サイトを移転したのでしょうか?
> 感覚としては、サイトの移転に失敗していませんか?
> 下記を参考にしては・・・。ドメインが変わっていないのだとすると違いますが・・。
>
> ttp://kotonoha.main.jp/2004/10/24search-engine.html
> ttp://www.google.com/support/webmasters/bin/answer.py?answer=83105&topic=8523
> ttp://www.popdom.jp/notes/001/
>
> おやじは、こちらを使用して積極的にサイトマップをアップロードしています。
> ttps://www.google.com/webmasters/tools/docs/ja/sitemap-generator.html
>
> おやじは昔zive.orgさんを使用していて、かなりアクセスがあったのですが有料化になるとのことで、独自ドメイン且つ自宅でのDDNS運用に切り替えましたが、3ヶ月ほど301で並行運用して移行したのですが、googleのランクは消えるは、アクセスは激減するはでえらい目にあいました。その後、1年以上かかって徐々に復活してきましたが・・・。
> この手の話はいろいろネタはあるようですが、ロジックがわからないので、誰も真実はわかっていないのでは?
>
> > 恐らくは、apacheの設定だとは思うのですが・・・。
>
> ということは、あまりないかと・・・。
>
> > httpd.confの設定は、おやじ様サイト上の例をそっくりそのままにしています。(apache+active perl virtualhostはvhost.confをinclude)
> >
> > .htaccessやrobots.txtの設定も拒否になるようなものは指定していないと思います。
> >
> > spam扱いをされるような内容でもないです。
>
> 内容といっても、検索エンジンスパムはランクを上げるための不適切なリンクの操作やmetaタグ操作等なので、コンテンツそのもののケースはあまりないと思います。
>
> ttp://ja.wikipedia.org/wiki/%E6%A4%9C%E7%B4%A2%E3%82%A8%E3%83%B3%E3%82%B8%E3%83%B3%E3%82%B9%E3%83%91%E3%83%A0


No.7576 投稿時間:2008年06月08日(Sun) 11:18 投稿者名:おやじ URL:
タイトル:OSは関係あるはずはありません。

> 結果的に、「引っ越しに失敗」したのです。
>
> 移転に際してドメインは変わっていません。
> おなま。.comでサーバー及びドメインを管理していたのですが、
> それを自宅winサーバー、value domainに変更しました。
>
> metaタグや.htaccessでのリフレッシュ等はかけていませんし、
> 一応商用サイトですが、発注フォームが用意してある程度のサイトで、
> キーワードの羅列等も勿論していません。
>
> なので多分spam扱いという事は無いのではないかと思っています。
>
>
> 4つのドメインを運用していて、
> うち1つがメイン(?表現方法が不明)で1つはまだ制作していないのでメインと同じパスに、
> もう一つはトップページのhtml組みのみ、4つ目は全て揃っているサイト(10枚程度のサイト)になります。

全く同じコンテンツが2箇所にあるというのは、パクリサイト扱いになる可能性があるので危険かも?

>
> そのうちメインのサイトにはgooglebotが来ます。
>
> しかし、来てほしいのは4つ目の全て揃っているサイトで、
> サイトマップもアップしましたし、Analytics等はしっかり認識してくれます。
>
> 完全にサーバーに来ないのではなく、来るドメインもある、というのが悩みの種だったりもします。
>
>
> ひとまず、ご紹介していただいたサイトマップの積極的なアップロードを試してみたいと思います。
>
> 尚、蛇足ですが、
> 今やgoogleにとって「おやじ」とはパソコンおやじを指す言葉のようですね。
> firefoxのアドレスバーに「おやじ」と入れると、勝手に飛びます。
> 素晴らしい。


実は、これを知ったのは今年に入ってからでおやじも最近まで知りませんでした。
検索も文字のログから入っていたので何気に検索したら・・・。という感じで、ログを見るとかなり前からそうなっているような・・・。


> どうも「一般的なサーバー=Linux」という初心者的発想があり、
> 「トラブルは全てWin機でやっているからじゃないのか!」といった偏見が生まれてしまうんです。

根本には違いは、ありませんが、自由度の大きな違い(Linuxならがんばればかなりのカスタマイズができる。これがおやじが乗り換えた最大の要因)とWindowsUpdateのわずらわしさ(システムリスタート)と危険性の違いは若干あると思います。

> 根本的に、
> win XP-apche-virtualhost(独自ドメイン複数)の状態で、
> 全てのドメインに対してgooglebotはクロールしに来ますか?
>
> 御恥ずかしながら、そんなところを疑ってみたくなるのです。

それは、有り得ないと思います。 あるとすれば、本当は外部からアクセスできていないか?ぐらいでは? アクセスしてこないなら、WindowsもLinuxも内ので・・・。

おやじは2回線で4つのドメイン(a回線:1ドメイン、b回線:3ドメイン。つい最近、娘の1ドメインはあまりにも止まるとビジネスに影響がでるので、外部に出しましたが・・・。)を1台で動かしてますが、何も問題ありません。
おやじのサイトともう1ドメインはカテゴリが全く違いますがページランク4になっています。
yahooやmsn等はどうですか?


No.7577 投稿時間:2008年06月08日(Sun) 20:47 投稿者名:モリヤマ URL:
タイトル:Re: OSは関係あるはずはありません。

おやじ様

まずタイトルの

>OSは関係あるはずはありません。

について。
やはりそうですよね。
システムリスタートについては、まだ根本的な知識が乏しく理解は出来ないのですが、
不便なところというように解釈をしておこうと思います。
申し訳ないです。


> 全く同じコンテンツが2箇所にあるというのは、パクリサイト扱いになる可能性があるので危険かも?

なるほど。確かにそうかもしれません。
一度設定を外してみる事にします。

>yahooやmsn等はどうですか?
実はこちらも駄目なんです。
キャッシュが12月から更新されていないという状況で。。

ひとまず、
メインのドメインを、googlebotが来てくれなくて困っているサイトに変更して様子を見る事にします。
それで駄目だったら、一度レンタルサーバを借りてみようかと。。。
ただ、何だか「負け」な気がするので出来ればしたくないですね。

また、おやじ様に紹介していただいた、
ttps://www.google.com/webmasters/tools/docs/ja/sitemap-generator.html
に挑戦してみたのですが、
まだ、perlをはじめて数日の私には少々難しく、
少しずつひも解きながら進めていこうと思います。

数日経過を見て、またご報告させていただきます。


No.7578 投稿時間:2008年06月09日(Mon) 19:25 投稿者名:おやじ URL:
タイトル:単純にバーチャルホストの設定ミスでは?

> >yahooやmsn等はどうですか?
> 実はこちらも駄目なんです。
> キャッシュが12月から更新されていないという状況で。。

クロールしてもらうための条件は、

1. そこに、インターネットからアクセスできること。
2. チャントしたコンテンツ(”ただいま準備中です。”とか”工事中”だけでよい。)があること。
3. そこにアクセスしてくるよう、既存のサイトからリンクでも貼ってあること。

です。ただ、3項は必須ではなく、ドメイン登録とDNSだけでくるはず。おやじの持っている準備中の1ドメインがこれに該当します。まだ準備ができていないので一切外部公表していないドメインでもしっかりクロールされています。

 アクセスがあるのに載らないのではなくそもそもアクセスがないようですから、単純にアクセスに来ないのではなく、アクセスできないと考えるのが自然では?
 前レスでおやじが書いた質問に答えがもらえていませんが、単純な話、「本当は外部からアクセスできていない」ではないですか? つまり、一番肝心な1項ができていないだけでは? 
 名前ベースのバーチャルホストと思いますが、コンテンツに書いてあるとおり名前ベースの場合、うまく設定ができていなければどこにアクセスしても先頭に登録されたバーチャルホストが表示されます。
 そもそもチャントそれぞれのドメインが外部からアクセスできているか試験していますか? 家庭内では、どうやってアクセスしましたか?
 それぞれのサイトに明確に違いが分かるコンテンツを置いて、おやじのWWWサーバテストでそこにアクセスしてみれば、一発でうまくいっているか分かるはずです。

> ひとまず、
> メインのドメインを、googlebotが来てくれなくて困っているサイトに変更して様子を見る事にします。
> それで駄目だったら、一度レンタルサーバを借りてみようかと。。。
> ただ、何だか「負け」な気がするので出来ればしたくないですね。
>
> また、おやじ様に紹介していただいた、
> ttps://www.google.com/webmasters/tools/docs/ja/sitemap-generator.html
> に挑戦してみたのですが、
> まだ、perlをはじめて数日の私には少々難しく、
> 少しずつひも解きながら進めていこうと思います。

よく考えたらWindowsなので、参照先だけでは難しいでしょうね。
GSiteCrawlerというのがありますので、下記を参照してはどうですか? おやじは使ったことがないのでフォローはできませんが・・・。

http://safe-linux.homeip.net/seo/#gsite



掲示板▲頁先頭