今更ながらやってみた。
やってみたことは、各検索エンジンに登録されているインデックスを調べ、実際の記事数と一致させる操作だ。
- パラメータ付きのページをインデックスしないようにrobots.txtに記述
- 印刷ページをインデックスしないようにrobots.txtに記述
- 削除してしまった記事をインデックスから削除
大きくはこの２つですな。。。
http://web.fpso.jp/article.php/20081113134234947とhttp://web.fpso.jp/article.php?sid=20081113134234947というURLは同じ記事を指している。
また、ロボットのクロールの仕方を見てみると、変なところを永遠にクロールしている。
まぁ、それでも1日でインデックスされるのだが、無駄だし、無駄にページを増やしているとしてペナルティを受けているかもしれない。
まぁ、今まで気づかなかったのも。。。ですが。。。
まぁ、このインデックス操作の影響はまだ出ていないが、どうなるのか楽しみだ。