רובוטים של AI ו־robots.txt: מה לאשר, מה לחסום ומה כל הגדרה משנה

לפני שבודקים אם העסק מופיע בתשובות AI, צריך לוודא שהמערכות בכלל יכולות לקרוא את האתר. robots.txt הוא הקובץ שבו אתר מודיע לרובוטים אילו חלקים מותר להם לסרוק.

הקושי: לכל חברת AI יש כמה רובוטים, ולכל אחד תפקיד אחר. הגדרה אחת שנכתבה מתוך כוונה לחסום „את ה־AI” עלולה לחסום גם את הנראות בחיפוש, או להפך.

robots.txt הוא בקשה, לא מנעול

Google מסבירה ש־robots.txt נועד בעיקר לנהל את הסריקה, ושהוא אינו דרך להוציא עמוד מהחיפוש. כדי שעמוד לא יופיע בחיפוש של Google משתמשים ב־noindex או בהגנה בסיסמה. עמוד שנחסם לסריקה עדיין יכול להופיע בתוצאות, בלי תיאור, אם יש אליו קישורים.

בנוסף, יש רובוטים שמגיעים לעמוד בעקבות בקשה של משתמש ולא בסריקה אוטומטית. לגבי חלק מהם, החברות עצמן כותבות שכללי robots.txt אולי לא יחולו.

חיפוש, אימון ופעולת משתמש: הרובוטים העיקריים

Google

• Googlebot: סורק לחיפוש של Google. סקירות AI ומצב AI נשענים על האינדקס של החיפוש, ולכן עמוד שלא מאונדקס לא יופיע בהן כקישור.
• Google-Extended: אינו רובוט נפרד אלא שם שמופיע ב־robots.txt. הוא קובע אם תוכן שנסרק ישמש לאימון דורות עתידיים של מודלי Gemini ולביסוס תשובות באפליקציות Gemini. לפי Google, הוא אינו משפיע על ההכללה בחיפוש ואינו אות דירוג.
• שליטה במה שמוצג: כדי להגביל את מה שמוצג מעמוד בחיפוש, כולל בחוויות ה־AI, Google מפנה ל־nosnippet, ל־data-nosnippet ול־max-snippet. כדי למנוע אינדוקס משתמשים ב־noindex.

OpenAI

• OAI-SearchBot: מציג אתרים בתוצאות החיפוש של ChatGPT. אתר שחוסם אותו לא יוצג בתשובות החיפוש, אם כי עדיין יכול להופיע כקישור ניווט.
• GPTBot: אוסף תוכן שעשוי לשמש לאימון מודלים. חסימה שלו מסמנת שהתוכן לא ישמש לאימון, והיא עצמאית מההגדרה של OAI-SearchBot.
• ChatGPT-User: מבצע פעולות שמשתמשים מבקשים ב־ChatGPT. לפי OpenAI הוא אינו סורק את הרשת באופן אוטומטי, וכללי robots.txt אולי לא יחולו עליו.
• לפי OpenAI, אחרי עדכון של robots.txt לוקח בערך 24 שעות עד שמערכות החיפוש שלה מתעדכנות.

Perplexity

• PerplexityBot: מציג אתרים וקישורים בתוצאות החיפוש של Perplexity. לפי החברה, הוא אינו משמש לאיסוף תוכן לאימון מודלים.
• Perplexity-User: ניגש לעמוד כשמשתמש שואל שאלה. לפי Perplexity, מכיוון שהבקשה באה ממשתמש, הוא בדרך כלל מתעלם מכללי robots.txt.

Microsoft

דוח AI Performance ב־Bing Webmaster Tools מודד ציטוטים ב־Copilot ובסיכומי AI של Bing. לכן כדאי לוודא שהאתר מאונדקס ב־Bing ושהסורק של Bing אינו חסום.

שלוש מדיניות אפשריות

1. לאפשר הכול: האתר פתוח לחיפוש ולאימון. זו ברירת המחדל כשאין כללים מיוחדים.
2. לאפשר חיפוש ולחסום אימון: משאירים את רובוטי החיפוש פתוחים, וחוסמים בנפרד את GPTBot ואת Google-Extended. לדוגמה: שורה User-agent: GPTBot ומתחתיה Disallow: /.
3. לחסום גם חיפוש: האתר לא יוצג כמקור במערכות שרובוטי החיפוש שלהן חסומים. זו החלטה לגיטימית, אבל היא מנוגדת למטרה של GEO.

זו החלטה עסקית ולא טכנית. כדאי שמי שאחראי על התוכן יקבל אותה במודע, ושתתועד יחד עם התאריך.

החסימות שלא רואים ב־robots.txt

אתר יכול להיראות פתוח ב־robots.txt ובכל זאת לחסום רובוטים:

• הגנה מפני בוטים ב־CDN או בחומת אש, שחוסמת אוטומטית סורקים שאינם מוכרים לה.
• הגבלת קצב בקשות שמחזירה שגיאות לסורקים.
• תוכן שמוצג רק אחרי התחברות או רק אחרי הרצה כבדה של JavaScript.
• הגדרת noindex שנשארה מתקופת הפיתוח.

דוגמה להמחשה: אתר מפעיל הגדרת „חסימת בוטים” בשירות ה־CDN. robots.txt נשאר פתוח, אבל OAI-SearchBot מקבל דף שגיאה. אף אחד לא החליט לחסום את החיפוש של ChatGPT, וזה בכל זאת מה שקרה. הבדיקה בלוגים של השרת הייתה מגלה את זה.

בדיקה מעשית בעשר דקות

1. פותחים את כתובת האתר עם /robots.txt בסוף, ומחפשים את שמות הרובוטים שהוזכרו כאן.
2. בודקים שאין Disallow: / תחת User-agent: * אם אין כוונה לחסום הכול.
3. ב־Search Console בודקים בכלי בדיקת כתובת שהעמודים החשובים מאונדקסים. על הקמת הנכס במאמר על Search Console לעסק.
4. בלוגים של השרת או של ה־CDN בודקים אם הרובוטים מקבלים תשובה 200 או שגיאות.
5. זוכרים ששם רובוט בלוג אפשר לזייף. לפני החלטה על סמך לוגים, מאמתים לפי ההנחיות שכל חברה מפרסמת.

כשהאתר נגיש, השלב הבא הוא לבדוק מה המערכות עונות בפועל: בדיקת נראות בתשובות AI. לסקירה של כל התחום: מה זה GEO.

מקורות

• Google Search Central – Introduction to robots.txt
• Google – Google's common crawlers (Google-Extended)
• Google Search Central – AI features and your website
• OpenAI – Overview of OpenAI crawlers
• Perplexity – Perplexity crawlers

שאלות ותשובות

IBASTOM.CO.IL

אם חוסמים את GPTBot, האתר ייעלם מ־ChatGPT?

לפי OpenAI, לא. GPTBot קשור לאימון מודלים, וההצגה בתוצאות החיפוש של ChatGPT נקבעת לפי OAI-SearchBot. כל הגדרה עצמאית, ואפשר לחסום אחת ולאפשר את השנייה.

האם חסימה של Google-Extended פוגעת בדירוג בגוגל?

לפי Google, לא. Google-Extended אינו משפיע על ההכללה בחיפוש ואינו אות דירוג. הוא קובע את השימוש בתוכן לאימון מודלי Gemini ולביסוס תשובות באפליקציות Gemini.

האם robots.txt מונע מתוכן להגיע לתשובת AI?

רק באופן חלקי. הוא חל על רובוטים שמכבדים אותו, ורובוטים שפועלים בעקבות בקשה של משתמש עשויים לא לכבד אותו. ב־Google, כדי שעמוד לא יופיע בחיפוש, משתמשים ב־noindex ומשאירים את העמוד פתוח לסריקה, אחרת הרובוט לא יראה את ההוראה.

תוך כמה זמן שינוי ב־robots.txt משפיע?

OpenAI מציינת כ־24 שעות עד שמערכות החיפוש שלה מתעדכנות. אצל מערכות אחרות הזמן משתנה, ותלוי במועד שבו הקובץ נקרא מחדש. לכן כדאי לתעד את תאריך השינוי ולבדוק שוב אחרי כמה ימים.

האם כדאי לחסום רובוטים של AI כדי להגן על התוכן?

זו החלטה עסקית. אפשר להפריד בין אימון לבין חיפוש: לחסום את רובוטי האימון ולהשאיר את רובוטי החיפוש פתוחים. חסימה של רובוטי החיפוש מגינה על התוכן, אבל גם מוציאה את האתר מהתשובות של אותן מערכות.