前回の雑感はアクセス数絡みであったが、今回もまたそこに関連深い検索エンジンの話である(興味ない方には申し訳ない)。世の中のサイトには、当サイトのように個人のものもあれば、企業による紹介サイトやサイトそのもので商売を行っている商用サイトもある。このような商用サイトでは,日々のアクセス数が重大関心事であるようで、アクセス向上術は日夜研究がなされているようである。
これまで、アクセス向上策で重要なことは“Google対策”であったようだ。というのも Googleの検索システムは、ある時から Yahoo! のページ検索にも用いられるようになっていたからである。Yahoo! のディレクトリに登録してもらうことは困難とされており、ならばページ検索ででも表示してもらおう、ということのようだ。最近(?)では SEO(Search Engine Optimization)という耳慣れない業種まで出現しているようで,なんとつまりアクセス向上策そのものが商売になる世の中になっていたようである。
ご存知の方も多いと思うが、Googleの検索システムは“サイトポピュラリティ”,すなわち「どれだけリンクを張ってもらったか」を重視するものであるらしい。そしてこのサイトポピュラリティに応じて,「PageRank(ページランク)」という数値が各ページに与えられる。PageRank自体はGoogleツールバーをインストールすると表示できる 0〜10 までの数字であり、大きいほど偉いことになっている(勿論これはGoogleが勝手に決めた値であり、目安なのだが)。「相互リンク」ということが喧しく言われるようになったのも、このためだろう。
筆者はこのPageRankがどのように変わってゆくかもサイト立ち上げ当初からウォッチしていた。このページランクは Googlebot(Googleのページ収集ロボット) の来襲とは直接的な関係がないらしく,Googleのデータベースが更新されたときに値が変わるものであるようだ。(ページランクの目安)
当サイトを立ち上げた当初は、PageRank は無かった。自動登録型の検索エンジンなどに登録しながら Googlebot にキャッシュしてもらい、最初のデータベース更新があったときに、当サイトのトップに “2” というページランクが与えられた。そして、この段階でトップ以外のページのランクはゼロであった。暫くしてリンクしていただいたサイトがGoogleに認知されると、当サイトのトップページのPageRankは3となった。この段階でもトップページ以下のサブページは相変わらずゼロであった。
その後,幾つかの立派なサイトからリンクを頂き、当サイトも2004.6月のデータベース更新で“4”となった。そしてこの時点で初めて、トップページ以下にも“3”がついたのである。どうやら、PageRank=4 が Googleにとって一つの境界となっているという噂は本当だったようだ。なお,ページランクの向上に伴って当サイトのGoogleにおける順位は僅かに上がり、Googleから来ていただける方も僅かながら増加した。
このようにある程度の Google対策というのは筆者のようなトーシロにも可能であり,SEOという商売がどのくらい持続可能なものかを案じていたが、SEOのプロの方々にとって更に重大な事件が,この2004年6月に起きていたようだ。
それは Yahoo! のページ検索が Google ではなくなったことである。そういえば、数ヶ月前から盛んに Yahoo! からの検索エンジンロボットがやって来ていた。確かにそのロボットはGooglebotではなく inktomi(かつての goo のエンジン)であった。そして,現在の Yahoo! のページ検索の結果は Google の結果に代わって inktomi のデータベースのものが用いられている。
そして Google の検索結果と,Yahoo! による検索結果は確かに異なっており、これまで Google対策に心血を注いできた SEO の方々にとっては打撃も少なからずあったようだ。
当サイトもこの Yahoo! の検索エンジン変更の影響を若干ながら受けていたようである。確かにここのところYahoo!経由のトラフィックが殆どない。というのも、Yahoo! において当サイトのタイトル「PC処世術」で検索すると,どうしたわけか当サイトが登録されている自動登録リンクの類が上位に表示され、当サイトはドベ近傍である。
こうしたサイトは当サイトのみではないらしく、非常に興味深い現象だ。「Yahoo!のページ検索はキャッシュが古い」のが上位に表示されない原因とする説もあるようだが、当サイトの立ち上げより自動登録リンクへの登録が昔な筈はない。
どうやら、筆者のサイトには検索ランクを下げる何らかの原因が内在しているようである。詳細は現時点で分かっていないが、検索ロボットにめでたくスパムサイトとして認定されたのかもしれない。 Yahoo! には登録申請したことがあるが、Surfer氏には一度も訪れていただいていないし、inktomi系のアドレスから人がアクセスした形跡もなさそうである。また当サイトが世の中にインパクトを与えない些細なものであることを考えると、この問題は人為的というよりは機械的な問題であるように思う。また、Yahooの検索ロボットにキャッシュされた直後の一日くらいは上位に表示されることもあるようなので、「キャッシュ」→「なんらかの(スパム)フィルタ」→「データベース登録」という手順を踏んでいるようだ。
かつて Inktomiの検索エンジンを使用していた goo においては、スパムサイトばかりがヒットするという時期があった。その後スパムはヒットしなくなったが結構有名なサイトもヒットしないという現象が見られた。そのため常用検索エンジンとしてGoogleを利用するようになった筆者であるが,Yahoo! に再び採用されるにあたって Inktomi の検索精度(スパムフィルタの精度)が著しく上がったというわけではないようだ。
Google 一辺倒であった検索エンジン業界において、再び競争の時代が訪れたことは結構なことであるが、検索エンジンを使う側としては少々疑問である。穿った見方をすれば、薄まりつつあるディレクトリ検索の神通力復権(と登録手数料の売上アップ)という効果が Yahoo! にとってあるようにも見える。Yahoo! の今回の検索エンジン変更によって,再びディレクトリ神話を築くのか、それともYahoo! ユーザが減少するのか、という命題は興味深い。
なお、当サイトに訪れる方のかなりの部分は referer のない方(つまり、Bookmarkなどからいらしている)であり、次いで Google, そしてリンクいただいているサイトから、という順番である。Yahoo! からのトラフィックはもともとこれらより少なかったので、今回のYahoo!検索エンジン変更が当サイトのトラフィック全体に与えた影響は小さく済んでいる。したがって、検索エンジン業界の状況をしばらく見守りつつ、当サイトは独自路線を歩みながら内容を充実させていくこととしたい。(30. Jun, 2004)
[追記] 迂闊にも知らなかったのだが、inktomi は既にヤフーに買収されていたそうな。で、現在のヤフー版 inktomiサーチエンジンは“Yahoo Search Technology”と銘打っているのだそうだ(自社開発だと言っているようだが)。かつての inktomi とどう違うのか、筆者には良く分からないが,Yahoo!ディレクトリ登録サイトが優遇されるという噂もあるようだ。(1. Jul, 2004))
[追記2] どうやら YST には完全にスパムサイトとして認定されたようだ。検索結果から完全に除外されたようである。調べてみると、最近は Yahoo! からの検索エンジンロボットもやって来ない。
このサイト内に検索エンジンスパムとして認定される要素が確実にあったようだ。筆者にはそれが何なのか分からないが、ご興味のある方は当サイトを参考にするとスパム認定除けができるかもしれない。
なお、当サイトのリンク集は何れも優良なサイトばかりと思うが、当サイトと同様にYSTで全く検索にかからないサイトもあるようだ。(14. Aug, 2004)
[追記3] ここのところ、この記事のページへのアクセスが急増した。調べてみると、とあるSEO関連の掲示板で紹介されていたらしい。その掲示板には、当サイトが YST で検索にかからない理由についてヒントが書かれていた。
そこで、有難くそのヒントを活用させていただくことにして、実験的な改善策(数バイトの改変)を施したのは11月1日頃のことである。その結果、たまにしかやって来なくなっていた Yahoo!Slurp(検索ロボ)にキャッシュされた 11月6日以降、ロボットは頻繁にやってくるようになった。そして、一部の検索結果では,結果に当サイトが表示されるようになったようだ。どうも、問題は Inktomi のバグ仕様にあったように思われる。
現在は実験的・段階的に改変を加えつつあるが,問題は二重にあったようで、現在は 表示される/されない が混在する状態になっている。しばらく YST の反応を見るべく、気長に実験してみたいと思う。(11. Nov, 2004)
[顛末…続編] Yahoo! のディレクトリには登録され,“Yahoo! DE Slurp”もやって来るようになった(これは“Directory Enhancer”なのだろうか)。そしてスパムフィルタの厳しさがトップページについては緩くなってしまったものの、msn が inktomi だったことを思い出した。そこで msn の検索結果と YST とを比較しながら、実験を少しだけ継続してみた。
結論から言うと、lang 属性の ja-JP がNGだったという予想は当たりのようだ。これを外したページから検索が可能になっていく様子が良く見えた。また、lang 属性の ja はさほど問題ではないようなのだが、この雑感などは ja を指定していて検索で復活していない。ja を指定していても検索にかかるサイトは多いので非常に微妙なところであり、本当のところは良く分からない(研究してみる価値はあるかもしれないが、inktomi の処理の拙さ仕様が分かるだけのような気がしてきた)。
なお見落としていたのだが、当サイトはスパム認定というよりは、こちらにあるように、“インターネット上のどこにでもあるようなテキストばかりのページや、まったくテキストのないページはデータベースから削除されてしまい、二度と登録されない可能性”に該当していたのかもしれない。これは、過去の検索エンジンで見られた E-mail のログなどが検索で現れないようにするための対策と思われるが、これの判定方法に拙さがあるのかもしれない。この判定をくらうとスパムと同様の扱いを受けるので、実験以外では避けて通るのが無難なようだ。(20.Nov, 2004)