12
Mai
08

State of the art of crawling

In der aktuellen Ausgabe des D-Lib Magazin (March/April 2008 ) wird eine Untersuchung der Crawler von Google, Yahoo und MSN Search vorgestellt. Hier die wichtigsten Ergebnisse:

„…width does appear to be crawled more thoroughly than depth, and providing links on one or two „index“ pages improves crawler penetration. Google was quick to reach and explore the new sites, whereas MSN and Yahoo were slow to arrive, and the percentage of site coverage varied by site structure and by top-level domain.

  • Google is clearly king of the crawl: its lowest site coverage was 99%, whereas
  • MSN’s worst coverage was 2.5% and
  • Yahoo’s worst coverage of a site was 3%.“

Die Versuchsanordnung ähnelt der, die wir am FG vor Urzeiten, als das Web noch 1.0 die Browser noch IE 2.0 und das FG noch ‚Informationsmethodik‘ hießen, durchgeführt haben:

  • Beispielwebsite aufbauen,
  • Logfiles auswerten, und dann nachschauen
  • WANN, WER, WIE OFT vorbeigeschaut hat.

Unser damaliger Topic war „Magnetschweberollos“. Interessant war, dass kurz nachdem wir unsere Website zu diesem innovativen Entwicklungszweig der Rollosindustrie ‚on the air‘ hatten, auch andere Rollosanbieter bei der Suche nach diesem Term gefunden wurden.

Advertisements

0 Responses to “State of the art of crawling”



  1. Schreibe einen Kommentar

Kommentar verfassen

Trage deine Daten unten ein oder klicke ein Icon um dich einzuloggen:

WordPress.com-Logo

Du kommentierst mit Deinem WordPress.com-Konto. Abmelden / Ändern )

Twitter-Bild

Du kommentierst mit Deinem Twitter-Konto. Abmelden / Ändern )

Facebook-Foto

Du kommentierst mit Deinem Facebook-Konto. Abmelden / Ändern )

Google+ Foto

Du kommentierst mit Deinem Google+-Konto. Abmelden / Ändern )

Verbinde mit %s


Mai 2008
M D M D F S S
« Apr   Jun »
 1234
567891011
12131415161718
19202122232425
262728293031  

RSS Digital News

Blog Stats

  • 9,610 hits

Sneak Peek vom Turner-Blog

Um neue Beiträge per E-Mail zu erhalten, hier die E-Mail-Adresse eingeben.

Schließe dich 2 Followern an


%d Bloggern gefällt das: