Posts Tagged ‘Crawler

12
Mai
08

State of the art of crawling

In der aktuellen Ausgabe des D-Lib Magazin (March/April 2008 ) wird eine Untersuchung der Crawler von Google, Yahoo und MSN Search vorgestellt. Hier die wichtigsten Ergebnisse:

„…width does appear to be crawled more thoroughly than depth, and providing links on one or two „index“ pages improves crawler penetration. Google was quick to reach and explore the new sites, whereas MSN and Yahoo were slow to arrive, and the percentage of site coverage varied by site structure and by top-level domain.

  • Google is clearly king of the crawl: its lowest site coverage was 99%, whereas
  • MSN’s worst coverage was 2.5% and
  • Yahoo’s worst coverage of a site was 3%.“

Die Versuchsanordnung ähnelt der, die wir am FG vor Urzeiten, als das Web noch 1.0 die Browser noch IE 2.0 und das FG noch ‚Informationsmethodik‘ hießen, durchgeführt haben:

  • Beispielwebsite aufbauen,
  • Logfiles auswerten, und dann nachschauen
  • WANN, WER, WIE OFT vorbeigeschaut hat.

Unser damaliger Topic war „Magnetschweberollos“. Interessant war, dass kurz nachdem wir unsere Website zu diesem innovativen Entwicklungszweig der Rollosindustrie ‚on the air‘ hatten, auch andere Rollosanbieter bei der Suche nach diesem Term gefunden wurden.

Advertisements



November 2017
M D M D F S S
« Mrz    
 12345
6789101112
13141516171819
20212223242526
27282930  

RSS Digital News

Blog Stats

  • 9,616 hits

Sneak Peek vom Turner-Blog

Um neue Beiträge per E-Mail zu erhalten, hier die E-Mail-Adresse eingeben.

Schließe dich 2 Followern an