Robots.txt ו‑Meta Robots להסברים

זה חלק נוסף מהבלוג של קואליקס, רק עוזר לכם להבין טוב יותר.

תאר לך שאתה יושב איתי על קפה — לא אספרסו קצר עם קצף בצורת לב, אלא איזה נסקפה בצנצנת שקופה של פעם.

ואתה שואל אותי — “תגיד, שמול, מה ההבדל בין robots.txt ל‑meta robots, ולמה זה חשוב בכלל? כל הפוסטים האלה שממליצים לאנדקס או לחסום — זה באמת משנה?”

אז אני לוקח שלוק מהנס (בלי סוכר, אני כבר לא ילד), ואומר: “בוא נדבר על זה רגע, לא ב-high level של איזה קורס יוקרתי. פשוט — מה זה, מתי משתמשים, ואיך לא לדפוק לעצמך את האתר.”

מה זה robots.txt ולמה זה רק נראה חשוב?

robots.txt הוא קובץ קטן שיושב בשורש של האתר (yourdomain.com/robots.txt), והוא אומר לרובוטים (כמו זה של גוגל) איזה עמודים מותר להם לסרוק ואיזה לא.

אבל הנה הקטע — זה המלצה. לא יותר. כמו שלט “לא להיכנס” אצל שכן שאתה יודע שבעצם אין לו זכות חוקית למנוע ממך להיכנס.

גוגל לפעמים מקשיב ל־robots.txt, ולפעמים… פחות. במיוחד אם הוא מצא לינקים לדף הזה באתרים אחרים.

ומה שיותר מתסכל? אם תחסום דף דרך robots.txt, הוא לא בהכרח ייעלם מהאינדקס. הוא פשוט לא ייסרק. ואז אתה נשאר עם דף שכתוב עליו בגוגל “אין תיאור כי הקובץ robots לא נתן לנו להיכנס”. אחלה תדמית, אה?

אז מתי כן משתמשים בו?

• כשרוצים למנוע סריקה של קבצים מיותרים כמו /wp-admin או /cgi-bin.
• לחסוך בזחילה (crawl budget) באתרים מאוד גדולים עם הרבה עמודים טכניים שבכלל לא מעניינים את גוגל.
• כשיש פלאגין שבונה robots.txt לבד ואתה מתעצל להילחם בו 🙂

מה זה meta robots ולמה הוא ה”בוס האמיתי”

תג meta robots יושב בתוך העמוד עצמו, במקור ה-HTML. הוא אומר למנוע חיפוש: “היי, הדף הזה — אפשר לאנדקס? לחלץ ממנו קישורים? לא?”

כאן, הסמכות היא קצת יותר מכובדת. זה כמו לשים שומר בכניסה שאומר: “לא, אתה לא תיכנס ולא תראה כלום – וזה סופי.”

אז אם אתה רוצה באמת לחסום דף מלהיכנס לאינדקס, ולא רק לסריקה — אתה מכניס אליו <meta name="robots" content="noindex, nofollow">.

וזה עובד. ממש. ואז הדף ייעלם מחיפוש, בדרך כלל תוך זמן סביר. כן, יש חריגים, אבל זה הכלל.

מתי משתמשים ב-meta robots?

• כשאתה לא רוצה שדף יופיע בכלל בגוגל (כמו עמודים פנימיים של מערכת).
• כשרוצים לחסום סריקה של עמוד חיצוני אבל לדעת עליו (למשל: דפי סליקה).
• כשאתה עובד עם לקוח שמתעקש ש”זה חייב להישאר באתר, אבל שלא יראו את זה בגוגל”.

שמול משתף משהו קטן מהשטח

היה לי לקוח פעם עם חנות אונליין שנראתה כמו מחסן של פיצוציה ב-2003. הוא התעקש לחסום את כל עמודי המוצרים ב-robots.txt כדי ש-“גוגל לא יראה שיש לו מחירים משתנים”.

לקח חודשים לשכנע אותו שזה לא עובד, ושהרובוט של גוגל מתעניין במוצרים שלו הרבה יותר משהוא עצמו התעניין בהם.

ברגע שהורדנו את החסימות והשתמשנו ב-meta robots איפה שצריך — האתר התחיל להתקדם. לא לקצה טבלת הליגה, אבל לפחות כבר שיחק בליגה הנכונה.

לסיכום — טיפ קטן עם ערך גדול

אם יש לך ספק — תשתמש ב-meta robots בשביל חסימה אמיתית, ואל תסמוך רק על robots.txt. ולפני שאתה חוסם משהו? תשאל את עצמך — “מה אני באמת מנסה להשיג פה?”

קובץ robots.txt זה כמו לשים וילון — אנשים אולי לא רואים מה בפנים, אבל יודעים שיש חדר. אם אתה לא רוצה שידעו שהוא קיים בכלל, תשתמש ב-meta robots.

ואל תשכח לבדוק בגוגל סרצ’ קונסול — שם אתה רואה באמת מה גוגל יודע ומה הוא שורק, ולא מה קיווית שהוא לא יראה.

קדימה, אל תילחם בגוגל עם מקלות. תדבר אליו בשפה שהוא מכיר.

– שמול

ומילה אחרונה, באמת

אז כן — SEO לפעמים מרגיש כמו פאזל עם חתיכות שחסרות, או כמו לנסות להכניס שק שינה חזרה לתיק שלו — מעצבן, מתסכל, וגורם לך לשקול קריירה כנהג מונית. אבל ברגע שאתה מבין את הכללים הבסיסיים, ואת ההבדל הקטן-גדול בין robots.txt ל-meta robots, החיים נהיים קצת יותר שפויים.

לא צריך להיות נינג’ה של אלגוריתמים או מאסטר בזחילה והתאמה — צריך רק להבין מי מחליט מה, מתי הוא מקשיב ומתי סתם עושה כאילו. כמו מערכת יחסים עם בן אדם פסיבי-אגרסיבי: אם אתה יודע לקרוא בין השורות, אתה חוסך לעצמך הרבה כאב ראש.

ובינינו? אחרי 20 שנה בתחום הזה, אני אומר – גוגל עושה מה שבא לו, אבל אם אתה משחק לפי החוקים (שלו, לא שלך), לפחות תדע למה נפלת. ואת זה כבר שווה לדעת.

יאללה, תעשה לעצמך טובה. פחות קסמים, יותר הבנה. רק ככה אתה באמת מקדם.

– שמול