User-agent: Scrapy
Allow: /

##### HENFRUIT AGENCY Wordpress Robots File ####

# global
User-agent: *
Allow: /

Disallow: /privacy-cookies-policy.php

#Directories
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-content/upgrade/

Sitemap: http://www.london-electricians.com/sitemap.xml

#######################################
########### SCREAMING FROG ############
#######################################
 
User-agent: Screaming Frog SEO Spider
Allow: /
#Disallow: /*.gif$
#Disallow: /*.jpg$
#Disallow: /*.png$
#Disallow: /*.bmp$
#Disallow: /*.xml$
#Disallow: /*.css$
#Disallow: /*.js$
#Disallow: /tag/