Οδηγός ρυθμίσεων CloudFlare για περιορισμό Bots - Spiders

Συχνά μπορεί να παρατηρείτε παροδικά υψηλό traffic στο site σας, πέραν του συνηθισμένου, χωρίς ωστόσο να έχουν αυξηθεί οι παραγγελίες ή το Convention rate της ιστοσελίδας σας. Αυτό μπορεί να προέρχεται από τα κακόβουλα ή ανεπιθύμητα bots που βομβαρδίζουν τις σελίδες μας με δεκάδες/χιλιάδες επισκέψεις το λεπτό. Αυτά τα bots συχνά δημιουργούν υπερβολικό traffic, καταναλώνουν bandwidth και πόρους του server και σε ορισμένες περιπτώσεις μπορούν να τον επιβαρύνουν ή να ανεβάζουν δραστικά το κόστος χρήσης και συντήρησης.

Μια από τις πιο αποτελεσματικές λύσεις για να περιορίσουμε το θέμα είναι το Cloudflare Firewall (WAF). Ας δούμε βήμα-βήμα πώς μπορούμε να το ρυθμίσουμε έτσι ώστε να αποτρέπουμε ή να περιορίζουμε την ανεξέλεγκτη πρόσβαση από bad bots και spiders.

Αρχικά θα πρέπει να έχετε δημιουργήσει ένα λογαριασμό στο Cloudflare στην δωρεάν συνδρομή του. Στη συνέχεια καταχωρείτε το website σας και ακολουθείτε τις οδηγίες ενεργοποίησης.

 

Βήμα 1ο. Ενεργοποίηση του Cloudflare Firewall

Αρχικά, βεβαιωθείτε ότι στο Cloudflare account σας είναι ενεργό το Firewall/WAF. Ανάλογα με το πλάνο σας (Free, Pro, Business ή Enterprise) έχετε και διαφορετικό επίπεδο πρόσβασης σε κανόνες.

Ακόμη και με μια δωρεάν συνδρομή το Cloudflare σας δίνει αρκετά εργαλεία που αρκούν για τα βασικά φιλτραρίσματα.

Βήμα 2ο. Δημιουργία Firewall Rules (κανόνες)

Μέσα στο Cloudflare, μπορείτε να δημιουργήσετε κάποιους κανόνες στο Firewall για να κόβουν τις επιθέσεις.

• Μπείτε στο μενού Security → Security Rules.

• Πατήστε Create Rule.

• Ορίστε κριτήρια όπως:

  • User Agent contains (π.χ. “bot”, “crawler” για bots που δεν αναγνωρίζονται ως καλής ποιότητας).

  • Country (αν έχετε ύποπτο traffic από συγκεκριμένες χώρες).

  • Request Rate (για πολλά αιτήματα - επισκέψεις σε σύντομο χρονικό διάστημα).

Στην επιλογή Action, μπορείτε να επιλέξετε:

• Block (μπλοκάρει τελείως την πρόσβαση),

• JS Challenge (δείχνει μια πρόκληση JavaScript, την οποία συνήθως δεν περνάνε τα bots),

• Managed Challenge
  
  

Χρήση του Bot Fight Mode

Το Cloudflare προσφέρει μια αρκετά χρήσιμη λειτουργία με το όνομα Bot Fight Mode. Η συγκεκριμένη λειτουργία βοηθάει ιδιαίτερα για: α. τον εντοπισμό και την επιβράδυνση των κακόβουλων Bots, β. την μείωση του άσκοπου traffic . Επίσης είναι σημαντικό να σημειωθεί ότι η λειτουργία bot fight δεν επηρεάζει τα «καλά» bots π/χ/ Google, bing που χρειάζεστε για SEO

Rate Limiting για να περιορίσετε επιθέσεις

Αν παρατηρήσετε στα Logs ότι κάποιο συγκεκριμένο bot στέλνει πολλά αιτήματα σε μικρό χρονικό διάστημα, μπορείτε να ενεργοποιήσετε κανόνες Rate Limiting. Αν π.χ. ένας επισκέπτης κάνει πάνω από 30 requests / λεπτό, μπορείτε να του εμφανίσετε CAPTCHA challenge ή να τον μπλοκάρετε προσωρινά. Αυτό βοηθάει να προστατευτείτε όχι μόνο από bots αλλά και από τις γνωστές DDos επιθέσεις.

Παρακολούθηση Logs & Analytics

Το Cloudflare παρέχει στατιστικά και logs που σας δείχνουν επιπλέον από πού έρχεται το traffic, ποιοι user agents κάνουν τα περισσότερα αιτήματα και από ποιες χώρες προέρχεται μεγάλος όγκος επισκέψεων. Μελετώντας τα δεδομένα, μπορείτε να προσαρμόσετε και να ρυθμίσετε ανάλογα τους κανόνες σας.

Best Practice

• Μην μπλοκάρετε όλα τα bots με "κάθετους" κανόνες γιατί κάποια είναι χρήσιμα για το SEO της ιστοσελίδας σας.

• Ξεκινήστε με JS Challenge ή Managed Challenge αντί για πλήρη μπλοκάρισμα, ώστε να αποφύγετε και το μπλοκάρισμα των χρήσιμων Bots.

• Ελέγχετε τακτικά τις ρυθμίσεις σας, γιατί τα bots εξελίσσονται συνεχώς.

• Ελέγχετε τα logs στο hosting server ώστε να γνωρίζετε το αποτέλεσμα των ρυθμίσεων σας και αν αποδίδουν οι κανόνες.

Γιατί τελικά είναι η λύση μονόδρομος για το Bad Traffic;

Το Cloudflare WAF είναι ένα ισχυρό ΔΩΡΕΑΝ εργαλείο που μπορεί να σας απαλλάξει από το άσκοπο traffic που δημιουργούν τα bad bots. Με μερικούς σωστά στημένους κανόνες, μπορείτε να βελτιώσετε την απόδοση της ιστοσελίδας σας, να προστατέψετε τον server και –το πιο σημαντικό– να προσφέρετε στους πραγματικούς επισκέπτες μια ομαλή εμπειρία πλοήγησης.