סקרייפינג (Web scraping, "גרידת אתרים") הוא איסוף אוטומטי של מידע מעמודי אינטרנט בעזרת תוכנה: הבוט טוען עמוד, מחלץ ממנו נתונים — מחירים, שמות עסקים, טלפונים, תוכן — ושומר אותם בצורה מסודרת. זו טכניקה עם שימושים לגיטימיים, כמו מעקב מחירים או מחקר, אבל גם דרך להעתיק תוכן, רשימות ומאגרי מידע שמישהו אחר השקיע בהם. לבעל אתר, השאלה המעשית היא איך מגינים על מה שחשוב בלי לחסום את מי שצריך להגיע.
המאמר כולל הסבר כללי ואינו ייעוץ משפטי.
סקרייפינג, סריקה ו-API — מה ההבדל
| סריקה (crawling) | סקרייפינג | API | |
|---|---|---|---|
| מטרה | לגלות עמודים ולהכניס לאינדקס | לחלץ נתונים מתוך העמודים | לקבל נתונים בפורמט מסודר |
| דוגמה | Googlebot | כלי שמעתיק מחירים מחנות | ממשק שהאתר מספק בכוונה |
| הסכמה של בעל האתר | לרוב כן, דרך robots.txt | לרוב לא מפורשת | כן — בתנאים שהוא קובע |
כשיש לכם מידע שאחרים רוצים להשתמש בו באופן לגיטימי, API הוא לרוב הפתרון הנכון: אתם קובעים מה נחשף, באיזה קצב, ולמי.
האם סקרייפינג חוקי?
אין תשובה אחת. זה תלוי במה נאסף (מידע ציבורי, מידע אישי, תוכן מוגן בזכויות יוצרים), באופן האיסוף (עקיפת חסימות, התחברות לחשבון), בתנאי השימוש של האתר ובמדינה. כמה נקודות כלליות:
- מידע אישי — שמות, טלפונים ומיילים של אנשים הם מידע אישי, ואיסוף שלהם לצורך שיווק עלול להתנגש בדיני הגנת הפרטיות ובחוק הספאם.
- תוכן מוגן — העתקת מאמרים, תמונות או תיאורי מוצרים והצגתם באתר אחר עלולה להפר זכויות יוצרים. ראו זכויות יוצרים בתמונות.
- תנאי שימוש ועקיפת הגנות — איסוף שמפר תנאים מפורשים או עוקף מנגנוני הגנה מעלה סיכון משפטי.
אם אתם שוקלים לאסוף מידע מאתרים אחרים, או שמישהו אוסף מידע מהאתר שלכם בהיקף שפוגע בעסק — זו שאלה לעורך דין.
למה robots.txt לא מגן עליכם
גוגל עצמה כותבת שההוראות ב-robots.txt לא יכולות לאכוף את התנהגות הסורק, ושבעוד Googlebot וסורקים מכובדים מצייתים להן, אחרים עשויים שלא. robots.txt הוא בקשה מנומסת — מתאים לסורקים לגיטימיים, ולא מונע סקרייפינג. פירוט במאמר robots.txt.
מי בסיכון גבוה במיוחד
- אינדקסים ופורטלים — מאגר של עסקים, טלפונים וכתובות הוא בדיוק מה שגרדנים מחפשים. לכן באינדקס כדאי לחשוב על הגנת הנתונים כבר בשלב התכנון. ראו איך בונים אינדקס שמחזיק.
- חנויות — מתחרים שעוקבים אחרי מחירים ומלאי.
- אתרי תוכן — מאמרים שמועתקים לאתרים אחרים.
- לוחות מודעות ודרושים — מודעות שמשוכפלות לאתרים מתחרים.
איך מגינים — בשכבות
- הגבלת קצב (rate limiting): מגבילים מספר בקשות לכתובת IP בפרק זמן. גולש אמיתי לא טוען מאה עמודים בדקה. מי שחורג מקבל שגיאה 429.
- ניהול בוטים ב-CDN: שירותים כמו Cloudflare מזהים דפוסי תנועה אוטומטית ויכולים לאתגר או לחסום אותה, תוך מעבר חופשי לבוטים מאומתים כמו Googlebot.
- WAF: חוקים שחוסמים חתימות של כלים מוכרים ובקשות חשודות — ראו מה זה WAF.
- הגבלת מה שחשוף: לא כל שדה חייב להופיע בעמוד. למשל, מספר טלפון שנחשף רק בלחיצה, או תוצאות חיפוש מוגבלות לכמות סבירה.
- ניטור: לוגים של השרת מראים כתובות שטוענות אלפי עמודים ברצף. מי שבודק — רואה את זה מוקדם.
שום שכבה לא עוצרת גרדן נחוש לגמרי. המטרה היא להפוך את זה ליקר ואיטי מספיק, בלי לפגוע בגולשים ובמנועי חיפוש.
מה לא לעשות
- לחסום "כל הבוטים" — תחסמו גם את גוגל, את תצוגת הקישורים ברשתות ואת כלי הניטור. ראו מה זה בוט.
- להסתיר תוכן מגוגל ולהציג לגולשים — זה עלול להיחשב הטעיה של מנוע החיפוש.
- לסמוך על JavaScript כ"הצפנה" — כלי סקרייפינג מודרניים מריצים דפדפן מלא.
שאלות נפוצות
איך יודעים שהאתר שלי עובר סקרייפינג?
סימנים נפוצים: עומס חריג על השרת, כתובות IP שטוענות מאות עמודים ברצף, והתוכן או הרשימות שלכם שמופיעים פתאום באתר אחר.
אפשר למנוע סקרייפינג לגמרי?
לא לגמרי, אם המידע מוצג לציבור. אפשר להקשות, להאט ולזהות — ובמקרים חמורים לפנות לייעוץ משפטי.
מותר לי לאסוף מחירים של מתחרים?
זה תלוי בשיטה, בתנאי השימוש של האתר ובמה נאסף. לפני שמקימים מערכת כזו כדאי להתייעץ עם עורך דין.
מנהלים אינדקס, חנות או מאגר תוכן ורוצים להגן עליו בלי לפגוע בגוגל ובגולשים? אני בונה הגנות כאלה במסגרת בניית פורטלים ואינדקסים ותחזוקת אתרים. ספרו לי מה קורה באתר.
אהבתם את המאמר?
