Ein Crawler (auch Spider oder Searchbot) ist eine Software, die anhand eines bestimmten Algorithmus Websites durchsucht und bewertet. Ziel ist die Zuordnung von Suchbegriffen zu möglichst relevanten und passenden Websites, sodass für den Nutzer die informativsten und wichtigsten Websites zu einem bestimmten Thema möglichst unter den ersten Rängen erscheinen.