ההבדל בין GPTBot, OAI-SearchBot ו-ChatGPT-User
לשלושת הבוטים של OpenAI יש תפקידים שונים. OAI-SearchBot סורק לצורכי חיפוש, GPTBot אוסף תוכן שעשוי לשמש לאימון מודלים, ו-ChatGPT-User מבקר בחלק מהמקרים בעקבות בקשה של משתמש. לכן צריך להחליט בנפרד לאיזה מהם מאפשרים גישה.
אם המטרה היא נראות ב-ChatGPT Search, בדקו את גישת סורק החיפוש. ביקור של GPTBot לא מוכיח שהעמוד נכנס לחיפוש, צוטט או שימש בפועל לאימון. היומן מתעד בקשה, לא את השימוש בהמשך.
בדקו את כל מסלול הגישה
בקשו מהמפתח לבדוק את robots.txt, את ההפניות, תשובות השרת וכללי האבטחה. גם אם קובץ הסריקה מתיר גישה, חומת אש או CDN עלולים לחסום את הבקשה או להציג בדיקת אבטחה. העובדה שהעמוד נפתח אצלכם בדפדפן אינה מוכיחה שהבוט קורא אותו.
אפשר לשלוח בקשת curl עם שם של בוט בכותרת User-Agent כדי לבדוק איך השרת מגיב לשם הזה. הבקשה עדיין אינה בקשה של הבוט האמיתי. לאימות זהותו יש להיעזר בהנחיות ובטווחי כתובות ה-IP ש-OpenAI מפרסמת.
בדקו חיפוש בנפרד
אחרי שינוי, בדקו בקשות חדשות ואת התוכן שהוחזר. שמרו בנפרד תשובות חיפוש וקישורים. ל-ChatGPT-User יש התנהגות שונה, גם בנוגע ל-robots.txt; עיינו בתיעוד לפני שמכלילים. גישה היא תנאי שאפשר לבדוק, לא הבטחה להופעה.
מקורות וקריאה נוספת
מדריכים נוספים
פורסם: · נבדק על ידי מערכת geo-rank.ai · איך אנחנו בודקים