[与太話]検索エンジンを作るとしたら

Webページを評価する部分よりも、ユーザーが検索する部分の仕様のほうが恐ろしく難しい。。。

だって、同時間に何万人くらいじゃすまない人がキーワード(文章も含む)を入力して検索ボタンをクリックすると、近接度に対する重み付けをしたソート結果を返してくれるんだぜ？

検索キーワードは何を入れられるか分からないので、キャッシュさせたほうが重たそうな気がする。。。

yahooなんかはahooと揶揄されることもあるが、形態素解析エンジンや翻訳エンジンを使うと、かなりすごい。

Googleの翻訳は正直。。。だ。

つまり、日本語解析に関してはGoogleよりはるかに凄いのではないかと思う。

なのに検索結果は？？？なのは、重み付けしてソートして返す部分をひょっともしたら、タイムアウトが発生して処理途中で返しているのではないだろうか。。。

完全妄想だけどね。。。

何回か検索していると、検索サーバーによって順位が例えばAサーバー7位とBサーバー100位と違う順位が表示されるときがあるし。。。さらにはクッキーによって検索結果が変わるyahooは検索結果をキャッシュさせていると思う。

Webページの評価部分に関しては、時間的コストを無視すれば自分も良いものを作れそうな気がするが、検索部分については、あの仕様を満たすのは無理だと思う。

実は、Webページを取得したときに、評価プログラムが走るのかなと思ったが実は、検索時に評価プログラムが走るのかも。。。