Robots.txt

Ninu àpilẹkọ yii, a yoo ṣe ayẹwo ipa pataki ti faili robots.txt ni iṣakoso ijabọ lori awọn oju opo wẹẹbu, jiroro lori iwulo wiwa rẹ, ati pese awọn iṣeduro fun ṣiṣeto rẹ fun iṣakoso itọka oju-iwe ti o munadoko. Ni afikun, a yoo ṣe itupalẹ awọn apẹẹrẹ ti lilo awọn itọsọna to tọ ninu faili robots.txt ati pese itọsọna kan lori bii o ṣe le ṣayẹwo deede awọn eto rẹ.

Kini idi ti a nilo Robots.txt

Robots.txt jẹ faili ti o wa lori olupin aaye naa ninu itọsọna gbongbo rẹ. O sọ fun awọn ẹrọ roboti bi o ṣe yẹ ki wọn ṣe ọlọjẹ akoonu ti orisun naa. Lilo deede ti faili yii ṣe iranlọwọ fun idena titọka ti awọn oju-iwe ti aifẹ, ṣe aabo data ipamọ, ati pe o le mu ilọsiwaju ti SEO ti o dara ju ati hihan aaye naa ni awọn abajade wiwa. Iṣeto ti robots.txt ni a ṣe nipasẹ awọn itọnisọna, eyiti a yoo wo siwaju sii.

Ṣiṣeto Awọn itọsọna ni Robots.txt

Olumulo-Aṣoju

Ilana akọkọ ni a mọ si Olumulo-Aṣoju, nibiti a ti ṣeto koko pataki kan fun awọn roboti. Lori wiwa ọrọ yii, robot loye pe ofin ti pinnu ni pataki fun rẹ.

Wo apẹẹrẹ ti lilo Olumulo-Aṣoju ninu faili robots.txt:

User-Agent: * Disallow: /private/

Apẹẹrẹ yii tọka si pe gbogbo awọn roboti wiwa (ti o jẹ aṣoju nipasẹ aami*") yẹ ki o foju awọn oju-iwe ti o wa ninu / ikọkọ/ liana.

Eyi ni bii itọnisọna naa ṣe n wo fun awọn roboti wiwa kan pato:

User-Agent: Googlebot Disallow: /admin/ User-Agent: Bingbot Disallow: /private/

Ni idi eyi, awọn googlebot search robot yẹ ki o foju awọn iwe ni awọn /Abojuto/ liana, nigba ti binbot yẹ ki o foju awọn oju-iwe ninu / ikọkọ/ liana.

Ko gba laaye

Ko gba laaye sọ fun awọn roboti wiwa eyiti awọn URL lati fo tabi kii ṣe atọka lori oju opo wẹẹbu naa. Ilana yii wulo nigbati o fẹ tọju data ifura tabi awọn oju-iwe akoonu didara kekere lati ṣe atọka nipasẹ awọn ẹrọ wiwa. Ti faili robots.txt ba ni titẹ sii Ko gba: /directory/, lẹhinna awọn roboti yoo kọ iraye si awọn akoonu ti itọsọna ti a sọ. Fun apere,

User-agent: * Disallow: /admin/

Yi iye tọkasi wipe gbogbo roboti yẹ ki o foju awọn URL ti o bẹrẹ pẹlu /Abojuto/. Lati dènà gbogbo aaye naa lati ṣe atọkasi nipasẹ awọn roboti eyikeyi, ṣeto itọsọna gbongbo gẹgẹbi ofin:

User-agent: * Disallow: /

gba

Iye “Gba laaye” n ṣiṣẹ ni ilodi si “Disallow”: o gba awọn roboti wiwa laaye lati wọle si oju-iwe kan pato tabi ilana, paapaa ti awọn itọsọna miiran ninu faili robots.txt ṣe idiwọ iraye si.

Gbé àpẹẹrẹ kan yẹ̀ wò:

User-agent: * Disallow: /admin/ Allow: /admin/login.html

Ni yi apẹẹrẹ, o ti wa ni pato wipe roboti ti wa ni ko gba ọ laaye wiwọle si awọn /Abojuto/ liana, ayafi fun awọn /admin/login.html oju-iwe, eyiti o wa fun titọka ati ọlọjẹ.

Robots.txt ati maapu aaye

Maapu aaye jẹ faili XML ti o ni atokọ ti awọn URL ti gbogbo awọn oju-iwe ati awọn faili lori aaye ti o le ṣe atọka nipasẹ awọn ẹrọ wiwa. Nigbati roboti wiwa ba wọle si faili robots.txt ati rii ọna asopọ si faili XML maapu aaye kan, o le lo faili yii lati wa gbogbo awọn URL ti o wa ati awọn orisun lori aaye naa. Ilana naa jẹ pato ni ọna kika:

Sitemap: https://yoursite.com/filesitemap.xml

Ofin yii ni a maa n gbe ni ipari iwe-ipamọ laisi ti so mọ Olumulo-Aṣoju kan pato ati pe gbogbo awọn roboti ni ilọsiwaju laisi iyasọtọ. Ti oniwun aaye naa ko ba lo sitemap.xml, ko ṣe pataki lati ṣafikun ofin naa.

Awọn apẹẹrẹ ti Tunto Robots.txt

Ṣiṣeto Robots.txt fun Wodupiresi

Ni apakan yii, a yoo gbero iṣeto ti a ti ṣetan fun Wodupiresi. A yoo ṣawari didi wiwọle si data asiri ati gbigba iraye si awọn oju-iwe akọkọ.

Bi ojutu ti o ṣetan, o le lo koodu atẹle:

User-agent: * # Block access to files containing confidential data Disallow: /cgi-bin Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /wp-content/plugins/ Disallow: /wp-content/themes/ Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /xmlrpc.php # Allow access to the main site pages Allow: /wp-content/uploads/ Allow: /sitemap.xml Allow: /feed/ Allow: /trackback/ Allow: /comments/feed/ Allow: /category/*/* Allow: /tag/* # Prohibit the indexing of old versions of posts and parameterized queries to avoid content duplication or suboptimal indexing. Disallow: /*?* Disallow: /?s=* Disallow: /?p=* Disallow: /?page_id=* Disallow: /?cat=* Disallow: /?tag=* # Include the sitemap (location needs to be replaced with your own) Sitemap: http://yourdomain.com/sitemap.xml

Botilẹjẹpe gbogbo awọn itọsọna wa pẹlu awọn asọye, jẹ ki a jinlẹ jinlẹ sinu awọn ipari.

1. Awọn roboti kii yoo ṣe atọka awọn faili ifura ati awọn ilana.
2. Ni akoko kanna, awọn roboti gba ọ laaye lati wọle si awọn oju-iwe akọkọ ati awọn orisun ti aaye naa.
3. Idinamọ ti ṣeto lori titọka awọn ẹya atijọ ti awọn ifiweranṣẹ ati awọn ibeere parameterized lati ṣe idiwọ ẹda-iwe akoonu.
4. Ipo ti maapu aaye naa jẹ itọkasi fun itọka ilọsiwaju.

Nitorinaa, a ti gbero apẹẹrẹ gbogbogbo ti iṣeto ti o ṣetan, ninu eyiti diẹ ninu awọn faili ifura ati awọn ọna ti wa ni pamọ lati titọka, ṣugbọn awọn ilana akọkọ wa ni iraye si.

Ko dabi ọpọlọpọ awọn CMS olokiki tabi awọn oju opo wẹẹbu ti aṣa, Wodupiresi ni ọpọlọpọ awọn afikun ti o dẹrọ ṣiṣẹda ati iṣakoso faili robots.txt. Ọkan ninu awọn ojutu olokiki fun idi eyi ni Yoast SEO.

Lati fi sori ẹrọ, o nilo lati:

1. Lọ si igbimọ abojuto WordPress.
2. Ni apakan "Awọn afikun", yan "Fikun Tuntun".
3. Wa ohun itanna “Yoast SEO” ki o fi sii.
4. Mu ohun itanna ṣiṣẹ.

Lati ṣatunkọ faili robots.txt, o nilo lati:

1. Lọ si apakan "SEO" ninu akojọ aṣayan ẹgbẹ abojuto ki o yan "Gbogbogbo".
2. Lọ si taabu "Awọn irinṣẹ".
3. Tẹ lori "Awọn faili". Nibi iwọ yoo rii awọn faili oriṣiriṣi, pẹlu robots.txt.
4. Tẹ awọn ofin atọka pataki gẹgẹbi awọn ibeere rẹ.
5. Lẹhin ṣiṣe awọn ayipada si faili, tẹ bọtini "Fipamọ awọn ayipada si robots.txt".

Ṣe akiyesi pe eto faili robots.txt kọọkan fun Wodupiresi jẹ alailẹgbẹ ati da lori awọn iwulo pato ati awọn ẹya ti aaye naa. Ko si awoṣe agbaye ti yoo ba gbogbo awọn orisun laisi imukuro. Sibẹsibẹ, apẹẹrẹ yii ati lilo awọn afikun le ṣe irọrun iṣẹ-ṣiṣe naa ni pataki.

Eto Afowoyi ti Robots.txt

Bakanna, o le ṣeto iṣeto rẹ ti faili paapaa ni isansa ti CMS ti o ṣetan fun aaye naa. Olumulo naa tun nilo lati gbe faili robots.txt si itọsọna gbongbo ti aaye naa ati pato awọn ofin to wulo. Eyi ni ọkan ninu awọn apẹẹrẹ, ninu eyiti gbogbo awọn itọsọna ti o wa ni itọkasi:

User-agent: * Disallow: /admin/ # Prohibit access to the administrative panel Disallow: /secret.html # Prohibit access to a specific file Disallow: /*.pdf$ # Prohibit indexing of certain file types Disallow: /*?sort= # Prohibit indexing of certain URL parameters Allow: /public/ # Allow access to public pages Sitemap: http://yourdomain.com/sitemap.xml # Include the sitemap

Bii o ṣe le Ṣayẹwo Faili Robots.txt

Gẹgẹbi ohun elo iranlọwọ nigbati o ṣayẹwo faili robots.txt fun awọn aṣiṣe, o niyanju lati lo awọn iṣẹ ori ayelujara.

Ro apẹẹrẹ ti awọn Ọga wẹẹbu Yandex iṣẹ. Lati ṣayẹwo, o nilo lati fi ọna asopọ kan si aaye rẹ ni aaye ti o baamu ti faili naa ba ti gbejade tẹlẹ si olupin naa. Lẹhin iyẹn, ọpa funrararẹ yoo gbe iṣeto ni faili naa. Aṣayan tun wa lati tẹ iṣeto ni pẹlu ọwọ:

Nigbamii, o nilo lati beere ayẹwo ati duro de awọn abajade:

Ninu apẹẹrẹ ti a fun, ko si awọn aṣiṣe. Ti eyikeyi ba wa, iṣẹ naa yoo ṣafihan awọn agbegbe iṣoro ati awọn ọna lati ṣatunṣe wọn.

ipari

Ni akojọpọ, a tẹnumọ bi o ṣe ṣe pataki faili robots.txt fun iṣakoso ijabọ lori aaye naa. A pese imọran lori bi o ṣe le ṣeto daradara lati ṣakoso bii awọn oju-iwe atọka awọn ẹrọ wiwa. Ni afikun si eyi, a tun wo awọn apẹẹrẹ ti bii o ṣe le lo faili ni deede ati fun awọn ilana lori bi o ṣe le ṣayẹwo pe gbogbo awọn eto n ṣiṣẹ ni deede.