ההבדל בין GPTBot, OAI-SearchBot ו-ChatGPT-User
לשלושת הבוטים של OpenAI יש תפקידים שונים. OAI-SearchBot סורק לצורכי חיפוש, GPTBot אוסף תוכן שעשוי לשמש לאימון מודלים, ו-ChatGPT-User מבקר בחלק מהמקרים בעקבות בקשה של משתמש. ברשימה של OpenAI מופיע היום גם OAI-AdsBot, שבודק עמודים שהוגשו כמודעות ב-ChatGPT; לחיפוש ולאימון אין לו קשר. לגבי כל אחד מהשלושה מחליטים בנפרד אם לאפשר לו גישה.
אם המטרה היא נראות ב-ChatGPT Search, בדקו קודם כול שסורק החיפוש מצליח להגיע לאתר. ביקור של GPTBot לא מוכיח שהעמוד נכנס לחיפוש, צוטט או שימש בפועל לאימון. ביומן רשומה בקשה, לא מה שנעשה בתוכן אחריה.
בדקו את כל מסלול הגישה
בקשו מהמפתח לבדוק את robots.txt, את ההפניות, את תשובות השרת ואת כללי האבטחה. גם כשהקובץ מתיר גישה, חומת אש או CDN עלולים לחסום את הבקשה או להציג לה בדיקת אבטחה. וזה שהעמוד נפתח אצלכם בדפדפן לא מוכיח שהבוט מצליח לקרוא אותו.
אפשר לשלוח בקשת curl עם שם של בוט בכותרת User-Agent כדי לבדוק איך השרת מגיב לשם הזה. זו עדיין לא בקשה של הבוט האמיתי. כדי לאמת את זהותו נעזרים בהנחיות ובטווחי כתובות ה-IP ש-OpenAI מפרסמת.
בדקו את הגישה לאחר השינוי ואת ההופעה בחיפוש
אחרי כל שינוי בדקו את הבקשות החדשות ואת התוכן שהשרת החזיר להן. תשובות חיפוש וקישורים שמרו בנפרד. ChatGPT-User מתנהג אחרת, גם מול robots.txt, ולכן קראו את התיעוד לפני שמכלילים. גישה היא תנאי שאפשר לבדוק. הופעה בתשובות היא לא מבטיחה.
מקורות וקריאה נוספת
עודכן: · פורסם: · נבדק על ידי מערכת geo-rank.ai · איך אנחנו בודקים