[Textlib] TextLib WWW / google

[Graff_Zoltan]

T.List!

Veletlenul derult ki, hogy a TextLib WEB-es feluletenek statisztikait
erosen befolyasolhatjak a keresok is (pl. google). Ezek ugye idonkent
indexelik a HTML lapokat, es igy eljutnak olyan cimekre is, amikre
tulajdonkeppen nem nagyon kellene nekik.

Pelda: tlwww.XXXX.hu/tlwww.cgi?hunmarx=1&xdref=b2342
Ez egy HunMarc rekordot tolt le a konyvtarbol.
Vagy kereseseket, bongeszeseket inditanak feleslegesen.

A TLWWW-t futtato szerveren a robots.txt fajlt erdemes letrehozni,
ha meg nincs.
Linuxon: linux-tol es apache-tol fugg (/var/www/, /var/srv/www/, stb.)
DOS-ban: \textlib\www\robots.txt
Az a lenyeg, hogy kivulrol a tlwww.XXX.hu/robots.txt hivatkozassal
el lehessen erni.
Ebbe a fajlba beleirni:

User-agent: *
Disallow: /cgi-bin/

Graff Zoltan