このXpwikiを利用していると、本来googleにインデックスされたくない
更新ページや登録ページ、検索ページまでもがインデックスされてしまう。
そのインデックス化を防止するための方法(robot.txtの更新)を記述する。
■XpwikiのコンテンツURL
一般にXpwikiでは、
通常ページは、以下のURLになっているだろう。
・通常ページ
XOOPSROOT/modules/xpwiki/XX.html
(XXは連番とする。)
■Xpwikiに存在するその他のURL
・一覧表示ページ
XOOPSROOT/modules/xpwiki/?cmd=list
・単語検索ぺージ
XOOPSROOT/modules/xpwiki/?cmd=search
・編集ページ
XOOPSROOT/modules/xpwiki/?cmd=edit&page=・・・・
・最新更新ページ
XOOPSROOT/modules/xpwiki/?RecentChanges
■Xpwikiで記事ページ以外をインデックス化させるデメリット
記事ページはともかくとして、上記検索ページや編集ページをインデックス登録させてしまう
ことで以下のようなデメリットを受ける。
・検索時に要望していないページがリストアップされてしまう。
・内部リンク増加の違反手段としてgoogleに判断されてしまう。
(*私の体験上、これはまれにあるようです。)
・編集ページなどをインデックスに登録されることで、botによる、記事更新・削除が発生する。
■wikiの記事ページ以外をインデックス登録させない方法。
robotテキストを以下のように編集してください。
>>ここから
Disallow: XOOPSROOT/modules/xpwiki/*?*
allow: XOOPSROOT/modules/xpwiki/?GoogleSitemap1
>>ここまで
1行目だけ加えて2行目を忘れると、googlebotがサイトマップにアクセス出来なくなってしまうので
ご注意あれ。
関連URL:
検索ロボットのyetibot@navar.comブロック
robot.txtとは
Xpwiki
robot.txtの変更後の動作確認
関連資料:
あなたの日常に彩りを!ほかには無いWEBライフハック情報などをご紹介しています!
↓このサイトのRSS購読はこちらから↓