תקציב סריקה (Crawl Budget) הוא כמות הכתובות שגוגל יכולה ורוצה לסרוק באתר שלכם בפרק זמן נתון. הוא נקבע משני דברים: כמה עומס השרת שלכם מסוגל לשאת, וכמה גוגל מעוניינת בתוכן. לרוב האתרים זה לא נושא שצריך לדאוג לו — גוגל סורקת אתר של עשרות או מאות עמודים בלי בעיה. הוא נעשה קריטי באתרים גדולים: אינדקסים, חנויות, פורטלים ואתרי תוכן שמייצרים עשרות אלפי כתובות.
למי זה רלוונטי
המדריך של גוגל לניהול תקציב סריקה מיועד, בהערכה גסה, לשלושה סוגי אתרים:
- אתרים גדולים — מעל מיליון עמודים ייחודיים — שהתוכן שלהם משתנה בערך פעם בשבוע.
- אתרים בינוניים ומעלה — מעל 10,000 עמודים ייחודיים — שהתוכן שלהם משתנה מהר מאוד, מדי יום.
- אתרים שחלק גדול מהכתובות שלהם מסווג ב-Search Console כ"התגלה, כרגע לא באינדקס".
גוגל מדגישה שאלה הערכות ולא ספים מדויקים. הסימן המעשי הוא הסעיף השלישי: אם אלפי עמודים "התגלו" ולא נסרקו, כדאי לבדוק לאן הולך זמן הסריקה.
שני הרכיבים: קיבולת וביקוש
| רכיב | מה הוא | מה משפיע עליו |
|---|---|---|
| מגבלת קיבולת הסריקה | כמה חיבורים מקבילים גוגל פותחת לשרת ולכמה זמן | מהירות התגובה של השרת, ושגיאות 5xx ו-429 — שמורידות את הקצב |
| ביקוש לסריקה | כמה גוגל רוצה לסרוק | גודל האתר, תדירות העדכון, איכות העמודים והרלוונטיות שלהם |
המשמעות המעשית: שרת איטי מקטין את התקציב בפועל. גוגל כותבת שכשזמני התגובה יציבים או משתפרים, מגבלת הקיבולת עולה; כשהם מאטים או כשיש שגיאות שרת, היא יורדת. כלומר זמן התגובה של השרת הוא לא רק עניין של חוויית גולש.
על מה הזמן מתבזבז
- תוכן כפול — גוגל ממליצה "לבטל תוכן כפול כדי למקד את הסריקה בתוכן ייחודי ולא בכתובות ייחודיות". ראו תוכן כפול.
- סינונים ומיונים — כל צירוף של סינון יוצר כתובת חדשה. באינדקס עם עשרות קטגוריות, ערים ותכונות, מספר הצירופים מתפוצץ. פירטתי במאמר עימוד וסינונים.
- soft 404 — עמודים ריקים שמחזירים 200 ממשיכים להיסרק שוב ושוב.
- שרשראות הפניה ארוכות — גוגל כותבת שהן פוגעות בסריקה. ראו הפניה 301.
- מרחבים אינסופיים — לוח שנה עם "החודש הבא" בלי סוף, או חיפוש פנימי שכל שאילתה שלו היא כתובת.
מה עוזר
- לחסום ב-robots.txt כתובות שאין טעם לסרוק — פרמטרים של מיון, צירופי סינון, חיפוש פנימי. ראו robots.txt.
- מפת אתר עדכנית עם תאריכי עדכון אמיתיים, כדי שגוגל תדע מה השתנה — ראו מפת אתר לאתר גדול.
- שרת מהיר ויציב, בלי שגיאות 5xx תחת עומס.
- קודי תשובה נכונים — 404 או 410 לעמודים שנמחקו, ולא 200 עם הודעת "לא נמצא".
- קישורים פנימיים לעמודים החשובים, כך שהסורק מגיע אליהם מהר.
noindex לא חוסך תקציב
זו נקודה שמפתיעה רבים: גוגל כותבת ש-noindex לא חוסך זמן סריקה — היא עדיין מבקשת את העמוד, ורק אז רואה שאין להכניס אותו לאינדקס. כדי לחסוך סריקה צריך לחסום אותה, וכדי להוציא עמוד מהאינדקס צריך noindex. אלה כלים שונים לבעיות שונות. וגם לא כדאי לחסום עמודים זמנית כדי "לפנות תקציב" לעמודים אחרים — גוגל מסבירה שהתקציב עובר רק כשהאתר כבר נוגע במגבלת הקיבולת שלו.
איך זה נראה באינדקס אמיתי
ביפה, פורטל שבנויים בו כרטיסים של יותר מ-1,000 בעלי מקצוע, מפת האתר של הכרטיסים מפוצלת לקבצים של 1,000 כתובות כל אחד, כך שקל לראות ב-Search Console איזה חלק נסרק ואיזה לא. העיקרון שאני מיישם בכל אינדקס: מחליטים מראש אילו כתובות קיימות כדי שגוגל תמצא אותן — קטגוריות, צירופי קטגוריה ועיר שיש בהם תוכן, וכרטיסים — ואילו קיימות רק לנוחות הגולש, כמו מיונים וצירופי סינון.
איך בודקים
- דוח נתוני הסריקה ב-Search Console — כמה בקשות ביום, זמן תגובה ממוצע, ופילוח לפי קוד תשובה וסוג קובץ.
- דוח אינדוקס העמודים — כמה כתובות "התגלו" ועדיין לא נסרקו.
- יומני השרת — הדרך המדויקת ביותר לראות על אילו כתובות Googlebot מבזבז זמן.
שאלות נפוצות
לאתר של 50 עמודים יש בעיית תקציב סריקה?
כמעט אף פעם. אם עמודים לא נכנסים לאינדקס באתר קטן, הסיבה היא בדרך כלל איכות, כפילות או בעיה טכנית — לא תקציב. ראו אינדוקס בגוגל.
אפשר לבקש מגוגל לסרוק יותר?
לא ישירות. מה שמגדיל סריקה הוא שרת מהיר, תוכן שמתעדכן ושווה סריקה, ופחות כתובות מיותרות.
תכנון כתובות, סינונים ומפות אתר לאתרים גדולים הוא לב העבודה בבניית פורטלים ואינדקסים. מתכננים אתר עם אלפי עמודים? ספרו לי על המבנה.
אהבתם את המאמר?
