אין דעם אַרטיקל, מיר וועלן ונטערזוכן די שליסל ראָלע פון די robots.txt טעקע אין אָנפירונג פאַרקער אויף וועבסיטעס, דיסקוטירן די נייטיקייַט פון זייַן בייַזייַן, און צושטעלן רעקאַמאַנדיישאַנז פֿאַר באַשטעטיקן עס פֿאַר עפעקטיוו בלאַט ינדעקסינג פאַרוואַלטונג. אַדדיטיאָנאַללי, מיר וועלן אַנאַלייז ביישפילן פון ריכטיק דיירעקטיווז באַניץ אין די robots.txt טעקע און צושטעלן אַ פירער ווי צו קאָנטראָלירן די ריכטיק פון די סעטטינגס.
פארוואס Robots.txt איז דארף
Robots.txt איז אַ טעקע ליגן אויף די פּלאַץ ס סערווער אין זיין וואָרצל וועגווייַזער. עס ינפאָרמז זוכן מאָטאָר ראָובאַץ ווי זיי זאָל יבערקוקן די אינהאַלט פון די מיטל. געהעריק נוצן פון דעם טעקע העלפּס צו פאַרמייַדן די ינדעקסינג פון אַנוואָנטיד בלעטער, פּראַטעקץ קאַנפאַדענשאַל דאַטן און קענען פֿאַרבעסערן די עפעקטיווקייַט פון סעאָ אַפּטאַמאַזיישאַן און וויזאַביליטי פון דעם פּלאַץ אין זוכן רעזולטאַטן. די קאַנפיגיעריישאַן פון robots.txt איז דורכגעקאָכט דורך דיירעקטיווז, וואָס מיר וועלן קוקן אין ווייַטער.
באַשטעטיקן דיירעקטיווז אין Robots.txt
באַניצער-אַגענט
די ערשטיק דירעקטיוו איז באקאנט ווי באַניצער-אַגענט, ווו מיר שטעלן אַ ספּעציעל קיווערד פֿאַר ראָובאַץ. ביי דיטעקטינג דעם וואָרט, דער ראָבאָט פארשטייט אַז די הערשן איז בדעה ספּאַסיפיקלי פֿאַר אים.
באַטראַכטן אַ ביישפּיל פון ניצן User-Agent אין דער robots.txt טעקע:
User-Agent: *
Disallow: /private/דער ביישפּיל ינדיקייץ אַז אַלע זוכן ראָובאַץ (רעפּריזענטיד דורך די סימבאָל "*") זאָל איגנאָרירן בלעטער ליגן אין די /פּריוואַט/ directory.
דאָ ס ווי די לימעד קוקט פֿאַר ספּעציפיש זוכן ראָובאַץ:
User-Agent: Googlebot
Disallow: /admin/
User-Agent: Bingbot
Disallow: /private/אין דעם פאַל, די גוגלבאָט זוכן ראָבאָט זאָל איגנאָרירן בלעטער אין די /אַדמין/ וועגווייַזער, בשעת בינגבאָט זאָל איגנאָרירן בלעטער אין די /פּריוואַט/ directory.
דיסאַללאָוו
דיסאַללאָוו דערציילט זוכן ראָובאַץ וואָס URL ס צו האָפּקען אָדער נישט אינדעקס אויף דעם וועבזייטל. די דירעקטיוו איז נוציק ווען איר ווילן צו באַהאַלטן שפּירעוודיק דאַטן אָדער נידעריק-קוואַליטעט אינהאַלט בלעטער פון ינדעקסינג דורך זוכן ענדזשאַנז. אויב די ראָובאַץ.טקסט טעקע כּולל די פּאָזיציע דיסאַללאָוו: /directory/, דעמאָלט ראָובאַץ וועט זיין געלייקנט אַקסעס צו די אינהאַלט פון די ספּעסאַפייד וועגווייַזער. למשל,
User-agent: *
Disallow: /admin/דעם ווערט ינדיקייץ אַז אַלע ראָובאַץ זאָל איגנאָרירן URL ס סטאַרטינג מיט /אַדמין/. צו פאַרשפּאַרן די גאנצע פּלאַץ פון זיין ינדעקסט דורך קיין ראָובאַץ, שטעלן די וואָרצל וועגווייַזער ווי אַ הערשן:
User-agent: *
Disallow: /לאָזן
די "אַלאַו" ווערט אַקערז פאַרקערט צו "דיסאַללאָוו": עס דערלויבט זוכן ראָובאַץ אַקסעס צו אַ ספּעציפיש בלאַט אָדער וועגווייַזער, אפילו אויב אנדערע דיירעקטיווז אין די ראָובאַץ.טקסט טעקע פאַרווערן אַקסעס צו עס.
באַטראַכטן אַ בייַשפּיל:
User-agent: *
Disallow: /admin/
Allow: /admin/login.htmlאין דעם בייַשפּיל, עס איז ספּעסיפיעד אַז ראָובאַץ זענען נישט ערלויבט אַקסעס צו די /אַדמין/ וועגווייַזער, אַחוץ פֿאַר די /admin/login.html בלאַט, וואָס איז בארעכטיגט פֿאַר ינדעקסינג און סקאַנינג.
Robots.txt און סיטעמאַפּ
סיטעמאַפּ איז אַ קסמל טעקע וואָס כּולל אַ רשימה פון URL ס פון אַלע בלעטער און טעקעס אויף דעם פּלאַץ וואָס קענען זיין ינדעקסט דורך זוכן ענדזשאַנז. ווען אַ זוכן ראָבאָט אַקסעס די robots.txt טעקע און זעט אַ לינק צו אַ סיטעמאַפּ קסמל טעקע, עס קענען נוצן דעם טעקע צו געפֿינען אַלע בנימצא URL ס און רעסורסן אויף דעם פּלאַץ. די דירעקטיוו איז ספּעסיפיעד אין דעם פֿאָרמאַט:
Sitemap: https://yoursite.com/filesitemap.xmlדער הערשן איז יוזשאַוואַלי געשטעלט אין די סוף פון דעם דאָקומענט אָן זיין טייד צו אַ ספּעציפיש באַניצער-אַגענט און איז פּראַסעסט דורך אַלע ראָובאַץ אָן ויסנעם. אויב דער פּלאַץ באַזיצער טוט נישט נוצן sitemap.xml, עס איז ניט נייטיק צו לייגן דעם הערשן.
ביישפילן פון קאָנפיגורעד ראָבאָץ.טקסט
באַשטעטיקן Robots.txt פֿאַר וואָרדפּרעסס
אין דעם אָפּטיילונג, מיר וועלן באַטראַכטן אַ פאַרטיק קאַנפיגיעריישאַן פֿאַר וואָרדפּרעסס. מיר וועלן ויספאָרשן בלאַקינג אַקסעס צו קאַנפאַדענשאַל דאַטן און אַלאַוינג אַקסעס צו די הויפּט בלעטער.
ווי אַ גרייט לייזונג, איר קענען נוצן די פאלגענדע קאָד:
User-agent: *
# Block access to files containing confidential data
Disallow: /cgi-bin
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
# Allow access to the main site pages
Allow: /wp-content/uploads/
Allow: /sitemap.xml
Allow: /feed/
Allow: /trackback/
Allow: /comments/feed/
Allow: /category/*/*
Allow: /tag/*
# Prohibit the indexing of old versions of posts and parameterized queries to avoid content duplication or suboptimal indexing.
Disallow: /*?*
Disallow: /?s=*
Disallow: /?p=*
Disallow: /?page_id=*
Disallow: /?cat=*
Disallow: /?tag=*
# Include the sitemap (location needs to be replaced with your own)
Sitemap: http://yourdomain.com/sitemap.xmlכאָטש אַלע דיירעקטיווז זענען באגלייט מיט באַמערקונגען, לאָמיר זיך ונטערטוקנ זיך טיפער אין די קאַנקלוזשאַנז.
- ראָובאַץ וועט נישט אינדעקס שפּירעוודיק טעקעס און דירעקטעריז.
- אין דער זעלביקער צייט, ראָובאַץ זענען ערלויבט צו אַקסעס די הויפּט בלעטער און רעסורסן פון דעם פּלאַץ.
- פאַרבאָט איז באַשטימט אויף ינדעקסינג אַלט ווערסיעס פון אַרטיקלען און פּאַראַמעטערייזד פֿראגן צו פאַרמייַדן דופּליקיישאַן פון אינהאַלט.
- דער אָרט פון די סיטעמאַפּ איז ינדאַקייטיד פֿאַר ימפּרוווד ינדעקסינג.
אזוי, מיר האָבן געהאלטן אַ גענעראַל ביישפּיל פון אַ גרייט קאַנפיגיעריישאַן, אין וואָס עטלעכע שפּירעוודיק טעקעס און פּאַטס זענען פאַרבאָרגן פון ינדעקסינג, אָבער די הויפּט דירעקטעריז זענען צוטריטלעך.
ניט ענלעך פילע פאָלקס CMS אָדער מנהג-געשריבן זייטלעך, וואָרדפּרעסס האט עטלעכע פּלוגינס וואָס פאַסילאַטייט די שאַפונג און פאַרוואַלטונג פון די robots.txt טעקע. איינער פון די פאָלקס סאַלושאַנז פֿאַר דעם צוועק איז יאָאַסט סעאָ.
צו ינסטאַלירן עס, איר דאַרפֿן צו:
- גיין צו די וואָרדפּרעסס אַדמין טאַפליע.
- אין די "פּלוגינס" אָפּטיילונג, סעלעקטירן "לייג נייַ".
- געפֿינען די "Yoast SEO" פּלוגין און ינסטאַלירן עס.
- אַקטאַווייט די פּלוגין.
צו רעדאַגירן די robots.txt טעקע, איר דאַרפֿן צו:
- גיין צו די "SEO" אָפּטיילונג אין די אַדמין טאַפליע זייַט מעניו און סעלעקטירן "אַלגעמיינע".
- גיין צו די קוויטל "מכשירים".
- דריקט אויף "Files". דאָ איר וועט זען פאַרשידן טעקעס, אַרייַנגערעכנט robots.txt.
- אַרייַן די נייטיק ינדעקסינג כּללים לויט דיין באדערפענישן.
- נאָך מאכן ענדערונגען צו דער טעקע, גיט די "היט ענדערונגען צו ראָובאַץ.טקסט" קנעפּל.
באַמערקונג אַז יעדער ראָובאַץ.טקסט טעקע באַשטעטיקן פֿאַר וואָרדפּרעסס איז יינציק און דעפּענדס אויף די ספּעציפיש באדערפענישן און פֿעיִקייטן פון דעם פּלאַץ. עס איז קיין וניווערסאַל מוסטער וואָס וואָלט פּאַסיק אַלע רעסורסן אָן ויסנעם. אָבער, דעם בייַשפּיל און די נוצן פון פּלוגינס קענען באטייטיק פאַרפּאָשעטערן די אַרבעט.
מאַנואַל באַשטעטיקן פון ראָבאָץ.טקסט
סימילאַרלי, איר קענען שטעלן דיין קאַנפיגיעריישאַן פון דער טעקע אפילו אין דער אַוועק פון אַ גרייט CMS פֿאַר די פּלאַץ. דער באַניצער אויך דאַרף צופֿעליקער די robots.txt טעקע צו דער וואָרצל וועגווייַזער פון דעם פּלאַץ און ספּעציפיצירן די נייטיק כּללים. דאָ איז איינער פון די ביישפילן, אין וואָס אַלע בנימצא דיירעקטיווז זענען אנגעוויזן:
User-agent: *
Disallow: /admin/ # Prohibit access to the administrative panel
Disallow: /secret.html # Prohibit access to a specific file
Disallow: /*.pdf$ # Prohibit indexing of certain file types
Disallow: /*?sort= # Prohibit indexing of certain URL parameters
Allow: /public/ # Allow access to public pages
Sitemap: http://yourdomain.com/sitemap.xml # Include the sitemapווי צו קאָנטראָלירן די Robots.txt טעקע
ווי אַ אַגזיליערי געצייַג ווען קאָנטראָלירן די ראָובאַץ.טקסט טעקע פֿאַר ערראָרס, עס איז רעקאַמענדיד צו נוצן אָנליין באַדינונגס.
באַטראַכטן די בייַשפּיל פון די Yandex וועבמאַסטער דינסט. צו קאָנטראָלירן, איר דאַרפֿן צו אַרייַנלייגן אַ לינק צו דיין פּלאַץ אין די קאָראַספּאַנדינג פעלד אויב די טעקע איז שוין ופּלאָאַדעד צו די סערווער. נאָך דעם, די געצייַג זיך וועט לאָדן די טעקע קאַנפיגיעריישאַן. עס איז אויך אַן אָפּציע צו אַרייַן די קאַנפיגיעריישאַן מאַניואַלי:
דערנאָך איר דאַרפֿן צו בעטן אַ טשעק און וואַרטן פֿאַר די רעזולטאַטן:
אין דעם געגעבן בייַשפּיל, עס זענען קיין ערראָרס. אויב עס זענען קיין, די סערוויס וועט ווייַזן די פּראָבלעמאַטיק געביטן און וועגן צו פאַרריכטן זיי.
סאָף
אין קיצער, מיר אונטערגעשטראכן ווי וויכטיק די robots.txt טעקע איז פֿאַר קאַנטראָולינג פאַרקער אויף דעם פּלאַץ. מיר האָבן צוגעשטעלט עצה וועגן ווי צו שטעלן עס רעכט צו פירן ווי זוכן ענדזשאַנז אינדעקס בלעטער. אין אַדישאַן צו דעם, מיר אויך געקוקט ביי ביישפילן פון ווי צו ריכטיק נוצן דעם טעקע און געגעבן ינסטראַקשאַנז ווי צו קאָנטראָלירן אַז אַלע סעטטינגס אַרבעט ריכטיק.
