רוב הבלוגרים הוותיקים בהחלט יודעים מה זה robots.txt ומדוע אתה זקוק לקובץ זה. אך מעטים המחברים ממהרים ליצור קובץ robots.txt לאחר התקנת בלוג בוורדפרס.
Robots.txt הוא קובץ טקסט שמועלה לספריית הבסיס של האתר שלך ומכיל הוראות לסורקים. המטרה העיקרית של השימוש בו היא לאסור אינדקס של דפים וקטעים בודדים באתר. עם זאת, באמצעות robots.txt, תוכלו גם לציין את מראה הדומיין הנכונה, לרשום את הנתיב למפת האתר וכדומה.
רוב מנועי החיפוש המודרניים למדו לנווט היטב ב- CMS הפופולרי ובדרך כלל לא מנסים להוסיף אינדקס לתוכן שאינו מיועד לכך. לדוגמה, גוגל לא תוסיף לאינדקס את אזור הניהול של בלוג הוורדפרס שלך גם אם לא תציין אותו ישירות ב- robots.txt. עם זאת, במקרים מסוימים, השימוש באיסורים ישירים עדיין יכול להיות שימושי. ואנחנו מדברים בעיקר על איסור תוכן כפול.
יש מנהלי אתרים המרחיקים לכת באיסור אינדקס של דפי קטגוריות ותגים, מכיוון שתוכנם משכפל חלקית את תוכן הדף הראשי. אך רובם מוגבלים לאיסור דפי trackback ו- feed, אשר משכפלים לחלוטין את תוכן המאמרים ואינם מיועדים כלל למנועי חיפוש. אמצעי זהירות כזה לא רק יהפוך את תוצאות האתר ל"נקיות "יותר, אלא גם יחסוך ממסנני חיפוש אפשריים, במיוחד לאחר הצגת האלגוריתם החדש של Google Panda.
להלן ההוראות המומלצות לקובץ robots.txt (זה יעבוד כמעט בכל בלוג WordPress):
User-Agent: * Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /xmlrpc.php Disallow: / wp-admin Disallow: / wp-includes Disallow: / wp-content / plugins Disallow: / wp-content / cache Disallow: / wp-content / themes Disallow: / trackback / Disallow: / feed / Disallow: * / trackback / Disallow: * / feed /
לידיעתך, ב- robots.txt התיקיות הניהוליות wp-admin ו- wp-inclusive סגורות לחלוטין לאינדקס. תיקיית ה- wp-content סגורה באופן חלקי בלבד, מכיוון שהיא מכילה את ספריית ההעלאות, המכילה את כל התמונות מהבלוג שלך שצריך לאנדקס.
כל שעליך לעשות הוא להעתיק את ההוראות מהקוד שלעיל (שים לב כי כל הנחיה חייבת להיות כתובה בשורה חדשה), לשמור אותן בקובץ טקסט בשם robots.txt ולהעלות אותן לספריית הבסיס של האתר שלך.
אתה תמיד יכול לבדוק אם robots.txt פועל כהלכה דרך ממשקי כלי מנהלי האתרים של גוגל ושל Yandex Webmaster.
