2007-07-30 09:55:11   

Wikipedia-Search kauft Grid-Computing-Suchmaschine

Am 27. Juli hat Wikipedia-Gründer Jimmy Wales auf der O'Reilly Open Source Convention in Portland den Kauf des Web-Crawlers "Grub" bekanntgegeben.

Grub, bis dato im Besitz von Looksmart, ist ein Grid und stellt die Basis für die neue Wikipedia-Suchmaschine search.wikia.com dar.
Die Crawler von Grub arbeiten nicht zentral, sondern dezentral. Jeder User kann mithelfen die Leistung von Grub zu verbessern, indem er freie Rechenleistung zur Verfügung stellt. Jeder PC eines Users stellt somit einen Crawler dar. Im Unterschied zu Google arbeiten bei Grub über kurz oder lang einige Millionen Crawler parallel um das Internet zu erfassen.

Die Technologie von Grid-Computing findet sich schon z.B. 1999 bei Seti@Home oder Gimps. Aber auch Skype und Joost nutzen eine ähnliche Technologie. Das geniale an dieser Technologie ist, dass je mehr User mitmachen, desto leistungsfähiger ist das System.

Wer könnte Grub aufhalten bzw. was kann Google & Co. dagegen unternehmen?
Google hat bereits auf vielen PCs die Google-Toolbar installiert. Durch Erweiterung und Motivation der User wäre ein Grid-Network schnell aufgebaut.

Skype (Ebay) baut haute schon mit Skypefind eine große Datenbank von Adressen auf. Dieses System um einen Crawler zu erweitern wäre leicht, da Skypeuser sowieso schon lt. AGBs die Rechenleistung als Supernode bereitstellen müssen bzw. bei Skypefind aktiv mithelfen.

Microsoft könnte mit dem nächsten Update optional und mit Zustimmung des Users ein Grid-Network installieren. (Vista wurde bereits 60 Mio. mal verkauft. Dazu kommen noch die Mio. Installationen von XP und alten Windows Versionen.)

Alexa (Amazon) hat heute schon auf vielen PCs den Alexa-Toolbar installiert. Alexa ist ausserdem Pionier, was das Crawlen angeht. Es wäre leicht den Toolbar um eine Crawlingfunktion zu erweitern. Ausserdem könnte Amazon Gutscheine für User als Gegenleistung ausgeben.

Wie auch immer in Zukunft die perfekte Suche aussehen wird, das Erfassen der Daten dürfe auf jeden Fall gelöst sein. Die Verbesserung des Ranking-Algorithmus' - das Herz jeder Suchmaschine - wird wohl bei der ständig wachsenden Datenmenge nicht so leicht sein. Die Auslieferung der Daten am Web-Frontend hat Google heute perfekt gelöst. Wir werden sehen, ob WikiaSearch das besser kann.