検索エンジン対策

ホームページ（サイト）やブログを運営している方で、プライベートな記事だから・・・等の理由で、自分のウェブページを検索エンジンの検索結果に表示させたくないと言う方もいらっしゃるかと思います。

検索エンジンにインデックス（データベース）されないようにするには、いくつかの方法があります。

（１）、他のページからリンクを張らない
（２）、METAタグの noindexとnofollow を使う
（３）、robots.txtを使う
（４）、.htaccessを使う

この中で、いちばん推奨されているのは、（４）の .htaccess です。

（１）の「他のページからリンクを張らない」や、（２）の「METAタグの noindexとnofollow を使う」は、自分が管理していないサイトからリンクされたら意味がありません。

また、（３）の「robots.txtを使う」は、goo、Google、Lycos などのロボット型検索エンジンに対する命令を記述するためのファイルで、特定のページが、検索エンジンのデータベースに登録（インデックス）されないように指定できるファイルで、google、goo、Lycos などの検索エンジンに共通のフォーマットですが、中にはrobots.txt の指示に従わない検索エンジンもあるようです。

Googlebot（グーグルのクローラ）、Slurp（ヤフーのクローラ）、MSNbot（MSNのクローラ）からのアクセスを防ぐには、.htaccess を下記のように記述します。

SetEnvIf User-Agent "Googlebot" UA
SetEnvIf User-Agent "Slurp" UA
SetEnvIf User-Agent "MSNbot" UA
order allow,deny
allow from all
deny from env=UA

記述した、.htaccessファイルをアクセス拒否するディレクトリ（フォルダ）に保存します。
こうすることで、拒否指定したディレクトリとその中にある下部ディレクトリ（サブディレクトリ）へのアクセスをブロックすることができます。

◎ 隠しテキストスパムの方法と注意点

隠しテキストスパムとは、人間のユーザーに見せることを目的とせず、検索エンジンのスパイダーに読み込ませることだけを目的として、 HTML内にキーワードや文章などを記述するテクニックです。背景色と似た同系色を使ったの文字や、人間には判別できないほどの小さな文字でキーワードや文章など記述したりします。

　※注意；検索エンジンスパムを助長するための記事ではありません。

■ 背景色と同系色の文字を使った隠しテキスト

隠しテキストのトリックとしてよく使われるものが、背景色と同系色の文字を使ったトリックです。
※サンプル；わかりやすいよう背景色と似た文字色を使っています。↓
　　ここから ⇒スパム利用の場合、背景色と同じ文字色を使う。｜ここまで
現在の検索エンジンのほとんどは、body要素やfont要素など各種の属性値を読み取ることができます。body要素のbgcolor属性で設定した背景色とfont要素の color属性で設定した文字色に同じ、もしくは非常に似たものを使用した場合には検索エンジンは、それをスパム行為とみなす場合があります。

■ 小さな文字を使った隠しテキスト

隠しテキストのトリックとして、人間には判別不可能なほど小さな文字を使用するという方法があります。しかし上記でも説明したように検索エンジンは各要素の属性値を読み取ることができますし、検索エンジンによってはCSSの指定の一部を理解するものもあります。ページの体裁の都合でどうしても などを使う場合には、あまり重要でない語句に使うようにしましょう。また、あまり多く使うと検索エンジンにスパム行為とみなされる場合があるので注意が必要です。

■ CSSのプロパティ指定を使った隠しテキスト

※positionプロパティ指定による隠しテキスト　　　※サンプル
CSSのpositionプロパティを設定してキーワードが含まれる部分をプラウザの画面の外に指定し、人間の目には見えないようにする事ができます。
※displayプロパティ指定による隠しテキスト　　　※サンプル
CSSのdisplayプロパティを設定してキーワードが含まれる部分自体を生成しないようにし、プラウザの画面から見かけ上、存在させないようにします。
※visibilityプロパティ指定による隠しテキスト　　　※サンプル
CSSのvisibilityプロパティを設定してキーワードが含まれる部分を表示しないようにし、プラウザの画面から消してしまいます。

◎ リダイレクト（サイトURL移動）の方法と注意点

リダイレクトは、ホームページを移転した際など、ユーザーの利便性を考えて使用するのには最適なテクニックですが、検索エンジンに読み込ませることだけを目的として徹底的に最適化したページを作り、検索エンジンからアクセスしてきたユーザーを、自分が意図するページに自動的にジャンプさせるテクニックとして利用する人もいます。

検索エンジン上位表示などによるアクセスアップを目的としたような利用方法にはペナルティを課せられる可能性もあるので注意が必要です。

■ meta要素refreshを使用したリダイレクト

head要素内にページをリフレッシュさせるmeta要素を挿入し、任意のURIへとジャンプさせるテクニックです。現在の検索エンジンのほとんどは、このページの内容を無視し、リフレッシュ後に表示されるページの内容をインデックスするように調整されています。なお、リフレッシュするまでの時間に極端に短い時間を指定してあると、スパム行為とみなしインデックスしない検索エンジンもあるので、ホームページ移転のお知らせなどで利用する場合には注意が必要です。
　　※ meta要素refreshを使用したリダイレクトのサンプル

■ JavaScriptを使用したリダイレクト

JavaScriptを使用してページの読み込みと同時に任意のURIへとジャンプさせるテクニックです。現在の検索エンジンのスパイダーはJavaScriptで記述してある内容を読み込みできにくい特性があるので、スパム行為として扱われる可能性は現在のところはあまりありませんが、スクリプトの記述によってはインデックスされる場合もあります。
リダイレクトする時間の設定があまり短いと、検索エンジンにスパム行為とみなされる可能性もあるので、気をつけましょう。
　　※ JavaScriptを使用したリダイレクトのサンプル

■ クローキングを使用したリダイレクト

スパイダーがクロールしてきた場合と、人間のユーザーがアクセスしてきた場合とで、表示するページをSSIを使って切り替えるトリックを、クローキングといいます。スパイダーがクロールしてきた場合には徹底的に最適化したページを見せ、人間のユーザーには人間用のページを見せます。スパイダーと人間の振り分けには主に IPアドレスをすることから、IPデリバリーとも呼ばれます。Googleなどでは、このトリックに大変厳しいペナルティーを与えると公言しているくらい、かなりリスクの大きいテクニックです。