Een robots.txt is een minimalistisch tekstbestand dat op elke website hoort te staan. Dit bestand bevat instructies voor robots en websitecrawlers van onder andere Google. Met de robots.txt wordt er exact aangegeven welke onderdelen van de website wel mogen worden bekeken en welke niet. Er zijn verschillende redenen om bepaalde onderdelen van een website niet te indexeren. Zo kunnen pagina’s veel duplicate content bevatten of zijn de pagina’s niet van waarde voor de zoekmachines. Dit kunnen bijvoorbeeld een contactpagina of bedankpagina zijn.
Wanneer er in deze context naar robots.txt wordt gekeken, dan toont het veel overeenkomsten met DoFollow en NoFollow links. Maar er is wel degelijk een duidelijk verschil. Wanneer er een NoFollow wordt ingesteld, wordt de pagina namelijk wel geïndexeerd en getoond in de zoekresultaten. Via robots.txt kan dit voorkomen worden. Een andere optie is het instellen van NoIndex via plugins of hardcoded.