[Techinfo] Folyamatosan scannelik a weboldalunkat a keresők

[Géza Dicső]

On Thu, Mar 7, 2019 at 1:53 PM Alaksza Balázs <johnny1107 at gmail.com> wrote:

> Esetleg robots.txt a gyökérkönyvtárba?
> http://www.robotstxt.org/robotstxt.html
>

Köszönöm, ezeket a trükköket ismerem, be is van állítva a tiltás bizonyos
mappákra, de azért a Google mégiscsak hasznos... Nem tiltanám ki teljesen.

Időben nem lehet korlátozni őket? Mondjuk kutassanak 02-től 05 óráig...

Eddig nem vettem észre ilyen őrült aktivitást tőlük.
-- 
Dicső Géza
Budenz Admin
--------- következő rész ---------
Egy csatolt HTML állomány át lett konvertálva...
URL: <http://lista.sulinet.hu/pipermail/techinfo/attachments/20190307/7a46e3e1/attachment.html>