Robots.txt

Ninu àpilẹkọ yii, a yoo ṣe ayẹwo ipa pataki ti faili robots.txt ni iṣakoso ijabọ lori awọn oju opo wẹẹbu, jiroro lori iwulo wiwa rẹ, ati pese awọn iṣeduro fun ṣiṣeto rẹ fun iṣakoso itọka oju-iwe ti o munadoko. Ni afikun, a yoo ṣe itupalẹ awọn apẹẹrẹ ti lilo awọn itọsọna to tọ ninu faili robots.txt ati pese itọsọna kan lori bii o ṣe le ṣayẹwo deede awọn eto rẹ.

Kini idi ti a nilo Robots.txt

Robots.txt jẹ faili ti o wa lori olupin aaye naa ninu itọsọna gbongbo rẹ. O sọ fun awọn ẹrọ roboti bi o ṣe yẹ ki wọn ṣe ọlọjẹ akoonu ti orisun naa. Lilo deede ti faili yii ṣe iranlọwọ fun idena titọka ti awọn oju-iwe ti aifẹ, ṣe aabo data ipamọ, ati pe o le mu ilọsiwaju ti SEO ti o dara ju ati hihan aaye naa ni awọn abajade wiwa. Iṣeto ti robots.txt ni a ṣe nipasẹ awọn itọnisọna, eyiti a yoo wo siwaju sii.

Ṣiṣeto Awọn itọsọna ni Robots.txt

Olumulo-Aṣoju

Ilana akọkọ ni a mọ si Olumulo-Aṣoju, nibiti a ti ṣeto koko pataki kan fun awọn roboti. Lori wiwa ọrọ yii, robot loye pe ofin ti pinnu ni pataki fun rẹ.

Wo apẹẹrẹ ti lilo Olumulo-Aṣoju ninu faili robots.txt:

User-Agent: *
Disallow: /private/

Àpẹẹrẹ yìí fihàn pé gbogbo àwọn robot ìwákiri (tí àmì " * " dúró fún) gbọ́dọ̀ fojú fo àwọn ojú ìwé tí ó wà nínú àkójọ ìwé /private/.

Eyi ni bii itọnisọna naa ṣe n wo fun awọn roboti wiwa kan pato:

User-Agent: Googlebot
Disallow: /admin/

User-Agent: Bingbot
Disallow: /private/

Nínú ọ̀ràn yìí, robot ìwákiri Googlebot yẹ kí ó fojú fo àwọn ojú ìwé nínú àkójọ ìwé /admin/ , nígbà tí Bingbot yẹ kí ó fojú fo àwọn ojú ìwé nínú àkójọ ìwé /private/.

Ko gba laaye

Disallow sọ fún àwọn robot search URL tí ó yẹ kí wọ́n fo tàbí kí wọ́n má ṣe fi àtọ́ka sí ojú òpó wẹ́ẹ̀bù náà. Ìtọ́sọ́nà yìí wúlò nígbà tí o bá fẹ́ fi àwọn dátà tàbí àwọn ojú ìwé àkóónú tí kò ní ìdàgbàsókè pamọ́ láti má ṣe fi àtọ́ka sí wọn nípasẹ̀ àwọn ẹ̀rọ àwárí. Tí fáìlì robots.txt bá ní ìkọ̀wé Disallow: /directory/ , a ó kọ̀ àwọn robot láti wọ inú àkóónú àtọ́ka pàtó náà. Fún àpẹẹrẹ,

User-agent: *
Disallow: /admin/

Iye yii fihan pe gbogbo awọn roboti yẹ ki o foju kọ awọn URL ti o bẹrẹ pẹlu /admin/ . Lati dènà gbogbo aaye naa lati jẹ ki a ṣe atọka nipasẹ eyikeyi awọn roboti, ṣeto itọsọna gbongbo gẹgẹbi ofin:

User-agent: *
Disallow: /

gba

Iye “Gba laaye” n ṣiṣẹ ni ilodi si “Disallow”: o gba awọn roboti wiwa laaye lati wọle si oju-iwe kan pato tabi ilana, paapaa ti awọn itọsọna miiran ninu faili robots.txt ṣe idiwọ iraye si.

Gbé àpẹẹrẹ kan yẹ̀ wò:

User-agent: *
Disallow: /admin/
Allow: /admin/login.html

Nínú àpẹẹrẹ yìí, a sọ pé a kò gbà kí àwọn roboti wọlé sí àkójọ ìwé /admin/ , àyàfi ojú ìwé /admin/login.html , èyí tí ó wà fún títọ́ka àti ṣíṣàyẹ̀wò.

Robots.txt ati maapu aaye

Maapu aaye jẹ faili XML ti o ni atokọ ti awọn URL ti gbogbo awọn oju-iwe ati awọn faili lori aaye ti o le ṣe atọka nipasẹ awọn ẹrọ wiwa. Nigbati roboti wiwa ba wọle si faili robots.txt ati rii ọna asopọ si faili XML maapu aaye kan, o le lo faili yii lati wa gbogbo awọn URL ti o wa ati awọn orisun lori aaye naa. Ilana naa jẹ pato ni ọna kika:

Sitemap: https://yoursite.com/filesitemap.xml

Ofin yii ni a maa n gbe ni ipari iwe-ipamọ laisi ti so mọ Olumulo-Aṣoju kan pato ati pe gbogbo awọn roboti ni ilọsiwaju laisi iyasọtọ. Ti oniwun aaye naa ko ba lo sitemap.xml, ko ṣe pataki lati ṣafikun ofin naa.

Awọn apẹẹrẹ ti Tunto Robots.txt

Ṣiṣeto Robots.txt fun Wodupiresi

Ni apakan yii, a yoo gbero iṣeto ti a ti ṣetan fun Wodupiresi. A yoo ṣawari didi wiwọle si data asiri ati gbigba iraye si awọn oju-iwe akọkọ.

Bi ojutu ti o ṣetan, o le lo koodu atẹle:

User-agent: *
# Block access to files containing confidential data
Disallow: /cgi-bin
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php

# Allow access to the main site pages
Allow: /wp-content/uploads/
Allow: /sitemap.xml
Allow: /feed/
Allow: /trackback/
Allow: /comments/feed/
Allow: /category/*/*
Allow: /tag/*

# Prohibit the indexing of old versions of posts and parameterized queries to avoid content duplication or suboptimal indexing.
Disallow: /*?*
Disallow: /?s=*
Disallow: /?p=*
Disallow: /?page_id=*
Disallow: /?cat=*
Disallow: /?tag=*

# Include the sitemap (location needs to be replaced with your own)
Sitemap: http://yourdomain.com/sitemap.xml

Botilẹjẹpe gbogbo awọn itọsọna wa pẹlu awọn asọye, jẹ ki a jinlẹ jinlẹ sinu awọn ipari.

1. Awọn roboti kii yoo ṣe atọka awọn faili ifura ati awọn ilana.
2. Ni akoko kanna, awọn roboti gba ọ laaye lati wọle si awọn oju-iwe akọkọ ati awọn orisun ti aaye naa.
3. Idinamọ ti ṣeto lori titọka awọn ẹya atijọ ti awọn ifiweranṣẹ ati awọn ibeere parameterized lati ṣe idiwọ ẹda-iwe akoonu.
4. Ipo ti maapu aaye naa jẹ itọkasi fun itọka ilọsiwaju.

Nitorinaa, a ti gbero apẹẹrẹ gbogbogbo ti iṣeto ti o ṣetan, ninu eyiti diẹ ninu awọn faili ifura ati awọn ọna ti wa ni pamọ lati titọka, ṣugbọn awọn ilana akọkọ wa ni iraye si.

Láìdàbí ọ̀pọ̀lọpọ̀ CMS tàbí àwọn ojú òpó wẹ́ẹ̀bù tí a kọ ní ọ̀nà àdáni, WordPress ní ọ̀pọ̀lọpọ̀ àwọn afikún-ẹ̀rọ tí ó ń mú kí ṣíṣẹ̀dá àti ìṣàkóso fáìlì robots.txt rọrùn. Ọ̀kan lára ​​àwọn ojútùú tí ó gbajúmọ̀ fún ète yìí ni Yoast SEO.

Lati fi sori ẹrọ, o nilo lati:

1. Lọ si igbimọ abojuto WordPress.
2. Ni apakan "Awọn afikun", yan "Fikun Tuntun".
3. Wa ohun itanna “Yoast SEO” ki o fi sii.
4. Mu ohun itanna ṣiṣẹ.

Lati ṣatunkọ faili robots.txt, o nilo lati:

1. Lọ si apakan "SEO" ninu akojọ aṣayan ẹgbẹ abojuto ki o yan "Gbogbogbo".
2. Lọ si taabu "Awọn irinṣẹ".
3. Tẹ lori "Awọn faili". Nibi iwọ yoo rii awọn faili oriṣiriṣi, pẹlu robots.txt.
4. Tẹ awọn ofin atọka pataki gẹgẹbi awọn ibeere rẹ.
5. Lẹhin ṣiṣe awọn ayipada si faili, tẹ bọtini "Fipamọ awọn ayipada si robots.txt".

Ṣe akiyesi pe eto faili robots.txt kọọkan fun Wodupiresi jẹ alailẹgbẹ ati da lori awọn iwulo pato ati awọn ẹya ti aaye naa. Ko si awoṣe agbaye ti yoo ba gbogbo awọn orisun laisi imukuro. Sibẹsibẹ, apẹẹrẹ yii ati lilo awọn afikun le ṣe irọrun iṣẹ-ṣiṣe naa ni pataki.

Eto Afowoyi ti Robots.txt

Bakanna, o le ṣeto iṣeto rẹ ti faili paapaa ni isansa ti CMS ti o ṣetan fun aaye naa. Olumulo naa tun nilo lati gbe faili robots.txt si itọsọna gbongbo ti aaye naa ati pato awọn ofin to wulo. Eyi ni ọkan ninu awọn apẹẹrẹ, ninu eyiti gbogbo awọn itọsọna ti o wa ni itọkasi:

User-agent: *
Disallow: /admin/             # Prohibit access to the administrative panel
Disallow: /secret.html	      # Prohibit access to a specific file
Disallow: /*.pdf$	      # Prohibit indexing of certain file types
Disallow: /*?sort=	      # Prohibit indexing of certain URL parameters
Allow: /public/		      # Allow access to public pages
Sitemap: http://yourdomain.com/sitemap.xml # Include the sitemap

Bii o ṣe le Ṣayẹwo Faili Robots.txt

Gẹgẹbi ohun elo iranlọwọ nigbati o ṣayẹwo faili robots.txt fun awọn aṣiṣe, o niyanju lati lo awọn iṣẹ ori ayelujara.

Ẹ wo àpẹẹrẹ iṣẹ́ Yandex Webmaster . Láti ṣàyẹ̀wò, ẹ nílò láti fi ìjápọ̀ sí ojú òpó wẹ́ẹ̀bù yín sí pápá tí ó báramu tí fáìlì náà bá ti wà lórí olupin. Lẹ́yìn náà, irinṣẹ́ náà fúnra rẹ̀ yóò gbé ìṣètò fáìlì náà sórí. Àṣàyàn tún wà láti fi ọwọ́ tẹ ìṣètò náà:

Nigbamii, o nilo lati beere ayẹwo ati duro de awọn abajade:

Ninu apẹẹrẹ ti a fun, ko si awọn aṣiṣe. Ti eyikeyi ba wa, iṣẹ naa yoo ṣafihan awọn agbegbe iṣoro ati awọn ọna lati ṣatunṣe wọn.

ipari

Ni akojọpọ, a tẹnumọ bi o ṣe ṣe pataki faili robots.txt fun iṣakoso ijabọ lori aaye naa. A pese imọran lori bi o ṣe le ṣeto daradara lati ṣakoso bii awọn oju-iwe atọka awọn ẹrọ wiwa. Ni afikun si eyi, a tun wo awọn apẹẹrẹ ti bii o ṣe le lo faili ni deede ati fun awọn ilana lori bi o ṣe le ṣayẹwo pe gbogbo awọn eto n ṣiṣẹ ni deede.