נתקלתם בהודעה הבאה? כנראה שגוגל לא מצליח לסרוק קבצים שחיוניים לו בגישה לאתר, כל שעליכם לעשות הוא לאתר את קובץ robots.txt בספריה הראשית של האתר ולבדוק אם אתם חוסמים את הגישה לקבצים מסויימים כמו קובצי CSS ו-javascript.
חסימה נראת כך:
Disallow: /css/
Disallow: /js/example.js
עליכם להשמיט את השורות שלמעלה על מנת לאפשר לרובוט לסרוק את האתר בצורה טובה. שימו לב שאם ישנם חסימות נוספות, מומלץ לבדוק אם יש צורך לפתוח אותם לסריקה או לא לגעת, אין חובה להסיר את החסימה מכל הקבצים, מומלץ לעשות זאת לקבצים ציבוריים בלבד.
כלי לבדיקת קובץ robots.txt -
https://www.google.com/webmasters/tools/robots-tes...