מחולל robots.txt
בנו קובץ robots.txt מותאם לאתר שלכם, כולל נתיבים חסומים וכתובת ה-Sitemap, והעתיקו אותו לשורש הדומיין.
User-agent: * Disallow: /admin Disallow: /login Disallow: /cart Allow: / Sitemap: https://example.co.il/sitemap.xml
שמרו את התוכן בקובץ robots.txt בשורש הדומיין.
איך משתמשים בכלי
- 1הזינו את כתובת ה-Sitemap של האתר.
- 2רשמו את הנתיבים שאתם רוצים לחסום, שורה לכל נתיב.
- 3העתיקו את התוצאה לקובץ בשם robots.txt.
- 4העלו אותו לשורש הדומיין ובדקו בכתובת example.co.il/robots.txt.
מה הבדיקה אומרת
User-agent
מגדיר לאיזה בוט מתייחסות השורות שאחריו. הכוכבית מתייחסת לכל הבוטים.
Disallow
מבקש מהבוט לא לסרוק נתיב מסוים. זו בקשה, לא מנגנון אבטחה.
Sitemap
מפנה את מנועי החיפוש לרשימת הכתובות של האתר ומזרז גילוי של עמודים חדשים.
טעויות נפוצות
- חסימת כל האתר עם Disallow: / שנשארה מסביבת הפיתוח.
- חסימת קבצי CSS ו-JavaScript שמונעת מגוגל להציג את העמוד כראוי.
- שימוש ב-robots.txt כדי להסתיר עמוד מהתוצאות. לשם כך יש להשתמש ב-noindex.
שאלות נפוצות
האם חסימה ב-robots.txt מסירה עמוד מגוגל?
לא בהכרח. עמוד חסום עדיין יכול להופיע בתוצאות ללא תיאור. להסרה מלאה יש להשתמש בתגית noindex ולאפשר סריקה.
האם לחסום בוטים של AI?
זו החלטה עסקית. חסימה מגנה על התוכן משימוש באימון מודלים, אך עלולה להקטין נראות במנועי תשובות.
רוצים תמונה מלאה ולא רק בדיקה אחת?
בדיקת ה-SEO שלנו עוברת על העמודים המרכזיים באתר, על המבנה הטכני ועל התוכן, ומחזירה רשימת פעולות לפי סדר עדיפויות.