[Techinfo] Folyamatosan scannelik a weboldalunkat a keresők

[Alaksza Balázs]

2019.03.07. 13:37 keltezéssel, Glorius Webmester írta:
> Üdv a Listának!
>
> Weboldalunk (budenz.sulinet.hu <http://budenz.sulinet.hu/>) az utóbbi 
> időben nagyon belassult a localhost-on nézve is. Azaz nem sávszélesség 
> probléma.
>
> Megnézve az Apache2 access.log-ot (tail -f 
> /var/log/apache2/access.log), a konzol pereg, alig tudom leolvasni, ki 
> olvas eszeveszetten minket. Folyamatosan, órákig.
>
> Ma pl: 35.198.121.60 - Amazon.com
> Tegnap: 66.249.66.147 - Google
>
> A tegnapit kitiltottam az IP címet, de ez nem megoldás hosszú távon.
>

Esetleg robots.txt a gyökérkönyvtárba?
http://www.robotstxt.org/robotstxt.html

-- 
Alaksza Balázs

--------- következő rész ---------
Egy csatolt HTML állomány át lett konvertálva...
URL: <http://lista.sulinet.hu/pipermail/techinfo/attachments/20190307/f797cb07/attachment.html>