Motori di ricerca e robots.txt

Ciao Mlist,

è il mio primissimo intervento in questa lista.

Un mio caro amico mi ha suggerito d'iscrivermi per aggiornarmi e per
risolvere i miei problemi "insoluti".

Intanto sto cercando di capire come ottimizzare il mio sito per essere
facilmente navigabile e catalogabile dai principali motori di ricerca
della rete.

Mi hanno parlato del file robots.txt da inserire nella mia directory, ma
non ho proprio idea da dove si parta e a cosa serva realmente.

Grazie a tutti e a Elena,
Marco Abbacini