Vrei să distribui o pagină a site-ului tău pe Facebook, dar imaginea și titlul (Open Graph) pur și simplu refuză să apară. Intri în Facebook Sharing Debugger pentru a forța preluarea datelor și ești lovit de acest mesaj roșu, extrem de frustrant:

„Response Code 403. Reason: This response code could be due to a robots.txt block. Please allowlist facebookexternalhit on your site’s robots.txt config to utilize Facebook scraping.”

Urmezi instrucțiunile. Adaugi regula în robots.txt. Nu funcționează. Deschizi un tichet disperat la firma de hosting. După două ore, primești răspunsul clasic: „Am verificat site-ul, la noi se încarcă perfect, nu avem nicio eroare 403. Problema este la Facebook.”

Și uite așa, te trezești blocat într-un meci de ping-pong între Facebook și furnizorul tău de găzduire. În acest ghid tehnic marca SiteSOS, vom demonta minciuna din spatele acestei erori, îți vom explica de ce suportul tehnic nu vede problema și, cel mai important, îți vom oferi soluția pas cu pas pentru a debloca crawler-ul Facebook folosind Cloudflare.

Minciuna Scraper-ului: De ce te trimite Facebook după cai verzi pe pereți

Când citești mesajul de la Facebook, impulsul natural este să modifici fișierul robots.txt. Este o pierdere totală de timp.

Eroarea menționată de Facebook este un mesaj generic (un fallback). În realitate, fișierul robots.txt este doar un set de recomandări politicoase pentru boți; el nu are capacitatea tehnică de a returna un Cod de Eroare 403 (Forbidden). Eroarea 403 înseamnă că serverul interzice ferm și activ accesul la resursă, oprind cererea cu mult înainte ca aceasta să ajungă să citească fișierul tău robots.txt.

De ce spune firma de hosting că „Totul este OK”?

Când raportezi problema la hosting, tehnicianul de suport nivel 1 accesează link-ul tău din browserul lui (Chrome, Safari etc.). Pentru el, site-ul se încarcă instant, returnând un cod 200 OK.

De ce? Pentru că el folosește un User-Agent normal de om. El nu testează link-ul pretinzând că este botul Facebook, așadar nu declanșează filtrele de securitate ale WAF-ului (Web Application Firewall). Nefiind antrenat să verifice log-urile ascunse de firewall pentru trafic automatizat, tehnicianul trage concluzia (greșită) că rețeaua lor funcționează perfect. Am detaliat cum funcționează aceste mecanisme ascunse și în Dicționarul nostru de Erori Server și WordPress.

Cum tratăm eroarea 403 Facebook

Soluția Definitivă: Crearea unui „Permis VIP” în Cloudflare

Pentru a rezolva această problemă, trebuie să rutăm domeniul prin Cloudflare (dacă nu o faci deja, este momentul să o faci gratuit) și să creăm o regulă care să îi permită botului Meta să ocolească sistemele de securitate.

Iată ghidul pas cu pas, testat și implementat de experții SiteSOS:

Partea 1: Cum intri în panoul corect al domeniului

Mulți utilizatori se pierd în setările generale ale contului Cloudflare. Trebuie să ajungem la nivelul domeniului (Zone Level).

1. Uită-te în colțul din stânga-sus al ecranului și dă click pe Logo-ul Cloudflare (sau pe butonul pe care scrie Websites).

2. Pe mijlocul ecranului îți va apărea o listă cu site-urile tale. Dă click exact pe numele site-ului cu probleme (ex: domeniul-tau.ro).

3. 🪄 Magie! Meniul din stânga tocmai s-a schimbat complet. Acum ești în panoul dedicat exclusiv acestui domeniu.

Partea 2: Aplicăm soluția (Permisul VIP pentru Facebook)

Acum că ești în meniul corect, hai să oprim Cloudflare-ul din a bloca Facebook-ul:

Pasul 1: Navighează la WAF Uită-te în noul meniu din stânga și apasă pe Security -> apoi alege WAF (Web Application Firewall).

Pasul 2: Creează Regula de Bypass

1. Asigură-te că ești pe tab-ul Custom rules (Reguli personalizate) și apasă butonul albastru Create rule.

2. Numește regula cum vrei (ex: Lasa Facebook).

3. La condițiile de declanșare (If…), setează exact așa:

   • Field (Câmp): User Agent

   • Operator: contains (conține)

   • Value (Valoare): facebookexternalhit

4. Mai jos, mergi la secțiunea Then… (Acțiune). Dă click pe meniul derulant care probabil este setat pe Block și schimbă-l alegând Skip (Sari peste / Ignoră).

5. Ți se va deschide o listă cu lucruri pe care firewall-ul să le ignore pentru acest User-Agent. Bifează All remaining custom rules și toate celelalte componente WAF pe care te lasă să le selectezi de acolo (în special Super Bot Fight Mode și Rate Limiting).

6. Apasă butonul Deploy (Salvare).

Gata! Mergi înapoi în Facebook Sharing Debugger, apasă butonul Scrape Again și vei vedea cum imaginea și titlul site-ului tău apar instantaneu. Ai rezolvat eroarea!