Μάθετε για τα robots.txt

04 Φεβ
2011
από τον/την Praxitelis Ikonomidisκατηγορία: Χρήσιμα Άρθρα
Σχεδόν κάθε ιστοσελίδα έχει ένα, υποδεικνύουν στις μηχανές αναζήτησης που να ψάξουν και που όχι. Μπορούν να είναι εξαιρετικά πολύπλοκα, με διαφορετικούς κανόνες ανάλογα με το site και την δομή του. Ας μάθουμε περισσότερα για αυτά:

Το αρχείο robots.txt βρίσκετε στο root του ιστότοπου μας. Τι μπορεί να περιέχει αυτό το αρχείο.
Κώδικας:
User-agent: *
Disallow:

Στην περίπτωση αυτή επιτρέπουμε στα εργαλεία των μηχανών αναζήτησης (spiders) να δουν οποιαδήποτε περιοχή του site μας.

Κώδικας:
User-agent: *
Disallow: /cgi-bin/
Disallow: /temp/

Έτσι προστατεύουμε συγκεκριμένους φακέλους από indexing.

Ένα ακόμα παράδειγμα είναι η περίπτωση που θέλουμε να αποκλείσουμε όλες τις μηχανές αναζήτησης, εκτός από του google:
Κώδικας:
 User-agent: *
Disallow: /
User-agent: Googlebot
Disallow:
Η default value είναι "index/follow" δηλαδή ανοιχτό σε indexing.
Ετικέτες:
Praxitelis Ikonomidis

Σχετικά με τον συντάκτη

Praxitelis Ikonomidis

Προγραμματιστής και επιχειρησιακός σύμβουλος για θέματα πληροφορικής. 17+ χρόνια εμπειρίας σε τεχνολογίες σχεδίασης ιστοσελίδων και κατασκευής e-shop. Ο ιδανικός συνεργάτης σας σε θέματα Internet - web!

Κατασκευή Ιστοσελίδων

Η εταιρεία μας εξειδικεύεται στην κατασκευή ιστοσελίδων και eShop. Διαθέτουμε 16+ χρόνια εμπειρίας στην δημιουργία ιστοσελίδων φιλικών προς τις μηχανές αναζήτησης (SEO friendly). Όλες οι ιστοσελίδες μας είναι responsive, ακολουθώντας τις πιο σύγχρονες τεχνικές σχεδίασης.
Τεχνολογίες Σχεδίασης

copyright 2018 © i-xperts.gr