| A | B | C | D | E | F | G | H | I | J | K | L | M | N | O | P | Q | R | S | T | U | V | W | X | Y | Z | AA | AB | AC | AD | AE | AF | AG | AH | AI | AJ | AK | AL | AM | AN | AO | AP | AQ | AR | AS | AT | AU | AV | AW | AX | AY | AZ | BA | BB | BC | BD | BE | BF | BG | BH | BI | BJ | BK | BL | BM | BN | BO | BP | BQ | BR | BS | BT | BU | BV | BW | BX | BY | BZ | CA | CB | CC | CD | CE | CF | CG | CH | CI | CJ | CK | CL | CM | CN | CO | CP | CQ | CR | CS | CT | CU | CV | |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
1 | Made by OneScales.com - Article at https://onescales.com/blogs/main/the-bot-blocklist | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
2 | Website | Website Category | English Site | Blocked Bots | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
3 | https://americanexpress.com/robots.txt | Bank/Financial | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
4 | https://bankofamerica.com/robots.txt | Bank/Financial | yes | OmniExplorer_Bot | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
5 | https://capitalone.com/robots.txt | Bank/Financial | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
6 | https://chase.com/robots.txt | Bank/Financial | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
7 | https://citi.com/robots.txt | Bank/Financial | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
8 | https://discovercard.com/robots.txt | Bank/Financial | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
9 | https://hdfcbank.com/robots.txt | Bank/Financial | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
10 | https://icicibank.com/robots.txt | Bank/Financial | yes | Alexibot | Aqua_Products | asterias | b2w/0.1 | BackDoorBot/1.0 | BecomeBot | BlowFish/1.0 | Bookmark search tool | BotALot | BuiltBotTough | Bullseye/1.0 | BunnySlippers | CheeseBot | CherryPicker | CherryPickerElite/1.0 | CherryPickerSE/1.0 | Copernic | CopyRightCheck | cosmos | Crescent | Crescent Internet ToolPak HTTP OLE Control v.1.0 | DittoSpyder | dumbot | EmailCollector | EmailSiphon | EmailWolf | Enterprise_Search | Enterprise_Search/1.0 | EroCrawler | es | ExtractorPro | FairAd Client | Flaming AttackBot | Foobot | FreeFind | Gaisbot | GetRight/4.2 | grub | grub-client | Harvest/1.5 | Hatena Antenna | hloader | httplib | humanlinks | InfoNaviRobot | Iron33/1.0.2 | JennyBot | Jetbot | Jetbot/1.0 | Kenjin Spider | Keyword Density/0.9 | larbin | LexiBot | libWeb/clsHTTP | LinkextractorPro | LinkScan/8.1a Unix | LinkWalker | LNSpiderguy | lwp-trivial | lwp-trivial/1.34 | Mata Hari | Microsoft URL Control | Microsoft URL Control - 5.01.4511 | Microsoft URL Control - 6.00.8169 | MIIxpc | MIIxpc/4.2 | Mister PiX | moget | moget/2.1 | MSIECrawler | naver | NetAnts | NetMechanic | NICErsPRO | Nutch | Offline Explorer | OmniExplorer_Bot | Openbot | Openfind | Openfind data gathere | Oracle Ultra Search | PerMan | ProPowerBot/2.14 | ProWebWalker | psbot | Python-urllib | QueryN Metasearch | Radiation Retriever 1.1 | RepoMonkey | RepoMonkey Bait & Tackle/v1.01 | RMA | searchpreview | SiteSnagger | sootle | SpankBot | spanner | Stanford |
11 | https://paypal.com/robots.txt | Bank/Financial | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
12 | https://robinhood.com/robots.txt | Bank/Financial | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
13 | https://us.etrade.com/robots.txt | Bank/Financial | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
14 | https://wellsfargo.com/robots.txt | Bank/Financial | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
15 | https://www.schwab.com/robots.txt | Bank/Financial | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
16 | https://6pm.com/robots.txt | Commerce/Products/Services | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
17 | https://alibaba.com/robots.txt | Commerce/Products/Services | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
18 | https://aliexpress.com/robots.txt | Commerce/Products/Services | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
19 | https://amazon.com/robots.txt | Commerce/Products/Services | yes | GPTBot | EtaoSpider | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
20 | https://ancestry.com/robots.txt | Commerce/Products/Services | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
21 | https://apple.com/robots.txt | Commerce/Products/Services | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
22 | https://asos.com/robots.txt | Commerce/Products/Services | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
23 | https://att.com/robots.txt | Commerce/Products/Services | yes | DotBot | dotbot | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
24 | https://bestbuy.com/robots.txt | Commerce/Products/Services | yes | GetIntentCrawler | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
25 | https://costco.com/robots.txt | Commerce/Products/Services | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
26 | https://dell.com/robots.txt | Commerce/Products/Services | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
27 | https://ebay.com/robots.txt | Commerce/Products/Services | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
28 | https://etsy.com/robots.txt | Commerce/Products/Services | yes | Spinn3r | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
29 | https://fedex.com/robots.txt | Commerce/Products/Services | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
30 | https://flipkart.com/robots.txt | Commerce/Products/Services | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
31 | https://gap.com/robots.txt | Commerce/Products/Services | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
32 | https://gmarket.co.kr/robots.txt | Commerce/Products/Services | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
33 | https://groupon.com/robots.txt | Commerce/Products/Services | yes | Uptimebot | ia_archiver | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
34 | https://hp.com/robots.txt | Commerce/Products/Services | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
35 | https://ikea.com/robots.txt | Commerce/Products/Services | yes | GPTBot | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
36 | https://kakaku.com/robots.txt | Commerce/Products/Services | no | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
37 | https://kickstarter.com/robots.txt | Commerce/Products/Services | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
38 | https://kohls.com/robots.txt | Commerce/Products/Services | yes | Baiduspider | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
39 | https://lenovo.com/robots.txt | Commerce/Products/Services | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
40 | https://lowes.com/robots.txt | Commerce/Products/Services | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
41 | https://macys.com/robots.txt | Commerce/Products/Services | yes | Twitterbot | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
42 | https://mobile.de/robots.txt | Commerce/Products/Services | no | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
43 | https://newegg.com/robots.txt | Commerce/Products/Services | yes | ChangeDetection | 008 | Nutch | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
44 | https://nike.com/robots.txt | Commerce/Products/Services | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
45 | https://nordstrom.com/robots.txt | Commerce/Products/Services | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
46 | https://orange.fr/robots.txt | Commerce/Products/Services | no | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
47 | https://overstock.com/robots.txt | Commerce/Products/Services | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
48 | https://playstation.com/robots.txt | Commerce/Products/Services | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
49 | https://rakuten.co.jp/robots.txt | Commerce/Products/Services | no | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
50 | https://samsung.com/robots.txt | Commerce/Products/Services | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
51 | https://shutterstock.com/robots.txt | Commerce/Products/Services | yes | CCBot | GPTBot | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
52 | https://snapdeal.com/robots.txt | Commerce/Products/Services | yes | EtaoSpider | MJ12Bot | DotBot | MauiBot | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
53 | https://steamcommunity.com/robots.txt | Commerce/Products/Services | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
54 | https://taobao.com/robots.txt | Commerce/Products/Services | no | Baiduspider | baiduspider | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
55 | https://target.com/robots.txt | Commerce/Products/Services | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
56 | https://ups.com/robots.txt | Commerce/Products/Services | yes | ia_archiver | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
57 | https://usps.com/robots.txt | Commerce/Products/Services | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
58 | https://verizon.com/robots.txt | Commerce/Products/Services | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
59 | https://verizonwireless.com/robots.txt | Commerce/Products/Services | yes | dotbot | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
60 | https://walmart.com/robots.txt | Commerce/Products/Services | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
61 | https://www.gamespot.com/robots.txt | Commerce/Products/Services | yes | Cliqzbot | AhrefsBot | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
62 | https://xe.com/robots.txt | Commerce/Products/Services | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
63 | https://xfinity.com/robots.txt | Commerce/Products/Services | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
64 | https://data.gov/robots.txt | Government | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
65 | https://nih.gov/robots.txt | Government | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
66 | https://www.archives.gov/robots.txt | Government | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
67 | https://www.australia.gov.au/robots.txt | Government | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
68 | https://www.benefits.gov/robots.txt | Government | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
69 | https://www.canada.ca/robots.txt | Government | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
70 | https://www.gov.uk/robots.txt | Government | yes | deepcrawl | MS Search 6.0 Robot | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
71 | https://www.nasa.gov/robots.txt | Government | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
72 | https://9gag.com/robots.txt | Informational Sites (Media, Forums, Ads) | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
73 | https://accuweather.com/robots.txt | Informational Sites (Media, Forums, Ads) | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
74 | https://adcash.com/robots.txt | Informational Sites (Media, Forums, Ads) | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
75 | https://allrecipes.com/robots.txt | Informational Sites (Media, Forums, Ads) | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
76 | https://answers.com/robots.txt | Informational Sites (Media, Forums, Ads) | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
77 | https://archive.org/robots.txt | Informational Sites (Media, Forums, Ads) | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
78 | https://ask.fm/robots.txt | Informational Sites (Media, Forums, Ads) | yes | Baiduspider | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
79 | https://azlyrics.com/robots.txt | Informational Sites (Media, Forums, Ads) | yes | 008 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
80 | https://baike.com/robots.txt | Informational Sites (Media, Forums, Ads) | no | UbiCrawler | Zao | sitecheck.internetseer.com | Zealbot | MSIECrawler | SiteSnagger | WebStripper | WebCopier | Fetch | Offline Explorer | Teleport | TeleportPro | WebZIP | linko | HTTrack | Microsoft.URL.Control | Xenu | larbin | libwww | ZyBORG | Download Ninja | wget | grub-client | k2spider | NPBot | WebReaper | Baiduspider | baiduspider | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
81 | https://bleacherreport.com/robots.txt | Informational Sites (Media, Forums, Ads) | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
82 | https://blogger.com/robots.txt | Informational Sites (Media, Forums, Ads) | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
83 | https://blogspot.com/robots.txt | Informational Sites (Media, Forums, Ads) | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
84 | https://businessinsider.com/robots.txt | Informational Sites (Media, Forums, Ads) | yes | GPTBot | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
85 | https://buzzfeed.com/robots.txt | Informational Sites (Media, Forums, Ads) | yes | discobot | dotbot | yacybot | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
86 | https://cnet.com/robots.txt | Informational Sites (Media, Forums, Ads) | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
87 | https://community.fandom.com/robots.txt | Informational Sites (Media, Forums, Ads) | yes | SemrushBot | serpstatbot | GPTBot | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
88 | https://corriere.it/robots.txt | Informational Sites (Media, Forums, Ads) | no | PetalBot | Yandex | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
89 | https://craigslist.org/robots.txt | Informational Sites (Media, Forums, Ads) | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
90 | https://detik.com/robots.txt | Informational Sites (Media, Forums, Ads) | no | ChatGPT-User | OpenAI | CCBot | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
91 | https://deviantart.com/robots.txt | Informational Sites (Media, Forums, Ads) | yes | Pinterestbot | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
92 | https://diply.com/robots.txt | Informational Sites (Media, Forums, Ads) | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
93 | https://disqus.com/robots.txt | Informational Sites (Media, Forums, Ads) | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
94 | https://engadget.com/robots.txt | Informational Sites (Media, Forums, Ads) | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
95 | https://espn.go.com/robots.txt | Informational Sites (Media, Forums, Ads) | yes | claritybot | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
96 | https://forbes.com/robots.txt | Informational Sites (Media, Forums, Ads) | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
97 | https://foxnews.com/robots.txt | Informational Sites (Media, Forums, Ads) | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
98 | https://gamer.com.tw/robots.txt | Informational Sites (Media, Forums, Ads) | no | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
99 | https://gfycat.com/robots.txt | Informational Sites (Media, Forums, Ads) | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
100 | https://gizmodo.com/robots.txt | Informational Sites (Media, Forums, Ads) | yes |