Μάθετε για τα robots.txt

Σχεδόν κάθε ιστοσελίδα έχει ένα, υποδεικνύουν στις μηχανές αναζήτησης που να ψάξουν και που όχι. Μπορούν να είναι εξαιρετικά πολύπλοκα, με διαφορετικούς κανόνες ανάλογα με το site και την δομή του. Ας μάθουμε περισσότερα για αυτά:

Το αρχείο robots.txt βρίσκετε στο root του ιστότοπου μας. Τι μπορεί να περιέχει αυτό το αρχείο.

Κώδικας:

User-agent: *
Disallow:

Στην περίπτωση αυτή επιτρέπουμε στα εργαλεία των μηχανών αναζήτησης (spiders) να δουν οποιαδήποτε περιοχή του site μας.

Κώδικας:

User-agent: *
Disallow: /cgi-bin/
Disallow: /temp/

Έτσι προστατεύουμε συγκεκριμένους φακέλους από indexing.

Ένα ακόμα παράδειγμα είναι η περίπτωση που θέλουμε να αποκλείσουμε όλες τις μηχανές αναζήτησης, εκτός από του google:

Κώδικας:

User-agent: * Disallow: / User-agent: Googlebot Disallow:

Η default value είναι "index/follow" δηλαδή ανοιχτό σε indexing.