Nan atik sa a, nou pral egzamine wòl kle nan fichye robots.txt nan jere trafik sou sit entènèt, diskite sou nesesite prezans li yo, epi bay rekòmandasyon pou mete kanpe li pou jesyon Indexing paj efikas. Anplis de sa, nou pral analize egzanp sou itilizasyon direktiv kòrèk nan fichye robots.txt la epi nou pral bay yon gid sou kòman yo tcheke kòrèkteman nan paramèt li yo.
Poukisa Robots.txt nesesè
Robots.txt se yon fichye ki chita sou sèvè sit la nan anyè rasin li. Li enfòme robo motè rechèch ki jan yo ta dwe eskane kontni an nan resous la. Bon itilizasyon fichye sa a ede anpeche endèks paj endezirab yo, pwoteje done konfidansyèl yo, epi li ka amelyore efikasite SEO optimize ak vizibilite sit la nan rezilta rechèch la. Konfigirasyon robots.txt fèt atravè direktiv, ke nou pral gade pi lwen.
Mete direktiv nan Robots.txt
Ajan Itilizatè
Direktiv prensipal la ke yo rekonèt kòm Itilizatè-Ajan, kote nou mete yon mo kle espesyal pou robo. Lè yo fin detekte mo sa a, robo a konprann ke règ la gen entansyon espesyalman pou li.
Konsidere yon egzanp lè w sèvi ak User-Agent nan dosye robots.txt la:
User-Agent: *
Disallow: /private/Egzanp sa a endike ke tout robo rechèch (reprezante pa senbòl la "*") ta dwe inyore paj ki sitiye nan /prive/ Anyè a.
Men ki jan enstriksyon an sanble pou robo rechèch espesifik:
User-Agent: Googlebot
Disallow: /admin/
User-Agent: Bingbot
Disallow: /private/Nan ka sa a, a googlebot rechèch robot ta dwe inyore paj nan la /admin/ anyè, pandan Bingbot ta dwe inyore paj nan /prive/ Anyè a.
Anile
Anile di robo rechèch ki URL yo sote oswa pa endèks sou sit entènèt la. Direktiv sa a itil lè ou vle kache done sansib oswa paj kontni ki ba-bon jan kalite pou motè rechèch yo endis yo. Si fichye robots.txt la gen antre a Anpèse: /anyè/, Lè sa a, robo yo pral refize aksè nan sa ki nan anyè a espesifye. Pa egzanp,
User-agent: *
Disallow: /admin/Valè sa a endike sa tout robo ta dwe inyore URL kòmanse ak /admin/. Pou bloke tout sit la pou nenpòt robo endis, mete anyè rasin lan kòm yon règ:
User-agent: *
Disallow: /Pèmèt
Valè "Pèmèt" a aji opoze ak "Rejete": li pèmèt robo rechèch aksè nan yon paj espesifik oswa anyè, menm si lòt direktiv nan fichye robots.txt entèdi aksè a li.
Konsidere yon egzanp:
User-agent: *
Disallow: /admin/
Allow: /admin/login.htmlNan egzanp sa a, li espesifye ke robo yo pa gen dwa aksè a /admin/ anyè, eksepte pou la /admin/login.html paj, ki disponib pou endèks ak optik.
Robots.txt ak Sitemap
Sitemap se yon fichye XML ki gen yon lis URL nan tout paj ak fichye sou sit la ki ka endis pa motè rechèch. Lè yon robo rechèch jwenn aksè nan fichye robots.txt la epi li wè yon lyen ki mennen nan yon fichye XML sitemap, li ka itilize fichye sa a pou jwenn tout URL ak resous ki disponib sou sit la. Direktiv la espesifye nan fòma sa a:
Sitemap: https://yoursite.com/filesitemap.xmlRèg sa a anjeneral mete nan fen dokiman an san yo pa mare ak yon Ajan Itilizatè espesifik epi li se trete pa tout robo san okenn eksepsyon. Si pwopriyetè sit la pa sèvi ak sitemap.xml, li pa nesesè pou ajoute règ la.
Egzanp Robots.txt Configured
Mete kanpe Robots.txt pou WordPress
Nan seksyon sa a, nou pral konsidere yon konfigirasyon pare pou WordPress. Nou pral eksplore bloke aksè a done konfidansyèl epi pèmèt aksè nan paj prensipal yo.
Kòm yon solisyon pare, ou ka itilize kòd sa a:
User-agent: *
# Block access to files containing confidential data
Disallow: /cgi-bin
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
# Allow access to the main site pages
Allow: /wp-content/uploads/
Allow: /sitemap.xml
Allow: /feed/
Allow: /trackback/
Allow: /comments/feed/
Allow: /category/*/*
Allow: /tag/*
# Prohibit the indexing of old versions of posts and parameterized queries to avoid content duplication or suboptimal indexing.
Disallow: /*?*
Disallow: /?s=*
Disallow: /?p=*
Disallow: /?page_id=*
Disallow: /?cat=*
Disallow: /?tag=*
# Include the sitemap (location needs to be replaced with your own)
Sitemap: http://yourdomain.com/sitemap.xmlMalgre ke tout direktiv yo akonpaye pa kòmantè, ann fouye pi fon nan konklizyon yo.
- Robo pa pral endèks fichye sansib ak anyè.
- An menm tan an, robo yo gen dwa aksè nan paj prensipal yo ak resous nan sit la.
- se entèdiksyon mete sou Indexing vèsyon ansyen nan posts ak demann paramèt pou anpeche kopi kontni.
- Se kote sitemap la endike pou amelyore Indexing.
Se konsa, nou te konsidere kòm yon egzanp jeneral nan yon konfigirasyon pare, nan ki kèk dosye sansib ak chemen yo kache nan Indexing, men anyè prensipal yo aksesib.
Kontrèman ak anpil CMS popilè oswa sit ki ekri sou koutim, WordPress gen plizyè grefon ki fasilite kreyasyon ak jesyon dosye robots.txt la. Youn nan solisyon yo popilè pou objektif sa a se Yoast SEO.
Pou enstale li, ou bezwen:
- Ale nan panèl admin WordPress la.
- Nan seksyon "Plugins", chwazi "Ajoute nouvo".
- Jwenn plugin "Yoast SEO" epi enstale li.
- Aktive Plugin la.
Pou modifye fichye robots.txt la, ou bezwen:
- Ale nan seksyon "SEO" nan meni bò panèl admin la epi chwazi "Jeneral".
- Ale nan tab la "Zouti".
- Klike sou "Fichiye". La a ou pral wè dosye divès kalite, ki gen ladan robots.txt.
- Antre règ Indexing ki nesesè yo selon kondisyon ou yo.
- Apre w fin fè chanjman nan fichye a, klike sou bouton "Sove chanjman nan robots.txt".
Remake byen ke chak anviwònman dosye robots.txt pou WordPress inik epi li depann de bezwen espesifik ak karakteristik sit la. Pa gen okenn modèl inivèsèl ki ta adapte tout resous san eksepsyon. Sepandan, egzanp sa a ak itilizasyon grefon ka siyifikativman senplifye travay la.
Manyèl Anviwònman Robots.txt
Menm jan an tou, ou ka mete konfigirasyon ou nan fichye a menm nan absans yon CMS pare pou sit la. Itilizatè a bezwen tou Upload fichye robots.txt nan anyè rasin sit la epi presize règ ki nesesè yo. Men youn nan egzanp yo, kote tout direktiv ki disponib yo endike:
User-agent: *
Disallow: /admin/ # Prohibit access to the administrative panel
Disallow: /secret.html # Prohibit access to a specific file
Disallow: /*.pdf$ # Prohibit indexing of certain file types
Disallow: /*?sort= # Prohibit indexing of certain URL parameters
Allow: /public/ # Allow access to public pages
Sitemap: http://yourdomain.com/sitemap.xml # Include the sitemapKi jan yo tcheke dosye a Robots.txt
Kòm yon zouti oksilyè lè w tcheke dosye robots.txt pou erè, li rekòmande pou itilize sèvis sou entènèt.
Konsidere egzanp lan nan Yandex Webmaster sèvis. Pou tcheke, ou bezwen mete yon lyen nan sit ou a nan jaden ki koresponn lan si fichye a deja Uploaded sou sèvè a. Apre sa, zouti nan tèt li pral chaje konfigirasyon fichye a. Genyen tou yon opsyon pou antre nan konfigirasyon an manyèlman:
Apre sa, ou bezwen mande yon chèk epi tann rezilta yo:
Nan egzanp yo bay la, pa gen okenn erè. Si gen nenpòt, sèvis la pral montre zòn pwoblèm yo ak fason yo ranje yo.
konklizyon
An rezime, nou te mete aksan sou ki jan enpòtan fichye robots.txt la pou kontwole trafik sou sit la. Nou te bay konsèy sou kijan pou byen mete l kanpe pou jere kijan motè rechèch paj endèks yo. Anplis de sa, nou te gade tou egzanp sou fason yo kòrèkteman itilize fichye sa a epi yo te bay enstriksyon sou kòman yo tcheke ke tout paramèt yo ap travay kòrèkteman.
