Robots.txt

I roto i tenei tuhinga, ka tirotirohia e matou te mahi matua o te konae robots.txt ki te whakahaere i nga waka i runga i nga paetukutuku, korero mo te hiahia o tona aroaro, me te tuku kupu tohutohu mo te whakatuu mo te whakahaeretanga o te wharangi whai hua. I tua atu, ka wetewetehia e matou nga tauira o te whakamahi i nga tohutohu tika i roto i te konae robots.txt ka hoatu he aratohu me pehea te tirotiro i te tika o ona tautuhinga.

He aha te Robots.txt e hiahiatia ana

Ko Robots.txt he konae kei runga i te tūmau o te pae i roto i tana whaiaronga pakiaka. Ka whakamohio ki nga karetao miihini rapu me pehea te tirotiro i nga ihirangi o te rauemi. Ko te whakamahi tika i tenei konae ka awhina ki te aukati i te tohu o nga wharangi e kore e hiahiatia, te tiaki i nga raraunga matatapu, ka taea te whakapai ake i te pai o te arotautanga SEO me te kitea o te waahi ki nga hua rapu. Ko te whirihoranga o robots.txt ka mahia na roto i nga tohutohu, ka tirohia ano e matou.

Tautuhi Arataki ki Robots.txt

Kaihoko Kaiwhakamahi

Ko te tohutohu tuatahi ko te Kaiwhakamahi-Kaiwhakamahi, i reira ka whakatakotohia e matou he kupu matua motuhake mo nga karetao. I te kitenga o tenei kupu, ka mohio te karetao ko te tikanga mo ia te ture.

Whakaarohia he tauira mo te whakamahi Kaiwhakamahi-Kaiwhakamahi i te kōnae robots.txt:

User-Agent: *
Disallow: /private/

Ko tenei tauira e tohu ana ko nga karetao rapu katoa (e tohuhia ana e te tohu "*") me warewarehia nga wharangi kei roto i te /tūmataiti/ whaiaronga.

Anei te ahua o te tohutohu mo nga karetao rapu motuhake:

User-Agent: Googlebot
Disallow: /admin/

User-Agent: Bingbot
Disallow: /private/

I tenei keehi, ko te Googlebot karetao rapu kia warewarehia nga wharangi o te /admin/ whaiaronga, while bingbot me warewarehia nga wharangi o te /tūmataiti/ whaiaronga.

Whakakore

Whakakore ka korero ki nga karetao rapu ko nga URL ka pekehia, kaua ranei e tohuhia i runga i te paetukutuku. Ka whai hua tenei tohutohu ina hiahia koe ki te huna i nga raraunga tairongo, i nga wharangi ihirangi iti-kounga ranei kia kore e tohuhia e nga miihini rapu. Mena kei roto i te kōnae robots.txt te urunga Kare e whakaaetia: /directory/, ka whakakorehia nga robots ki te uru ki nga ihirangi o te raarangi kua tohua. Hei tauira,

User-agent: *
Disallow: /admin/

Ko tenei uara e tohu ana karetao katoa me warewarehia nga URL ka timata me /admin/. Hei aukati i te waahi katoa kia kore e taurangihia e nga karetao, tautuhia te whaiaronga pakiaka hei tikanga:

User-agent: *
Disallow: /

tukua

Ko te uara "Tukua" he rereke ki te "Whakaaetia": ka taea e nga karetao rapu te uru ki tetahi wharangi, raarangi motuhake ranei, ahakoa ka aukati etahi atu tohutohu i roto i te konae robots.txt kia uru atu.

Whakaarohia he tauira:

User-agent: *
Disallow: /admin/
Allow: /admin/login.html

I roto i tenei tauira, kua tohua e kore e whakaaetia nga robots ki te uru ki te /admin/ whaiaronga, engari mo te /admin/login.html wharangi, e waatea ana mo te tohu tohu me te matawai.

Robots.txt me te Mahere Pae

Ko te Mahere Pae he konae XML kei roto he rarangi URL o nga wharangi katoa me nga konae kei runga i te pae ka taea te taurangi e nga miihini rapu. Ina uru tetahi karetao rapu ki te konae robots.txt ka kite i te hono ki te konae XML maherepae, ka taea e ia te whakamahi i tenei konae ki te rapu i nga URL katoa me nga rauemi kei runga i te pae. Kua tohua te tohutohu ki te whakatakotoranga:

Sitemap: https://yoursite.com/filesitemap.xml

Ko te tikanga ka tukuna tenei ture ki te mutunga o te tuhinga me te kore e herea ki tetahi Kaiwhakamahi-Kaiwhakamahi motuhake, ka tukatukahia e nga robots katoa kaore he rereke. Ki te kore te rangatira o te pae e whakamahi sitemap.xml, kaore e tika te taapiri i te ture.

Tauira o Robots.txt whirihora

Te whakatu Robots.txt mo WordPress

I tenei waahanga, ka whakaarohia e matou he whirihoranga kua rite mo te WordPress. Ka tirotirohia e matou te aukati i te uru ki nga raraunga muna me te tuku uru ki nga wharangi matua.

Hei otinga rite, ka taea e koe te whakamahi i te waehere e whai ake nei:

User-agent: *
# Block access to files containing confidential data
Disallow: /cgi-bin
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php

# Allow access to the main site pages
Allow: /wp-content/uploads/
Allow: /sitemap.xml
Allow: /feed/
Allow: /trackback/
Allow: /comments/feed/
Allow: /category/*/*
Allow: /tag/*

# Prohibit the indexing of old versions of posts and parameterized queries to avoid content duplication or suboptimal indexing.
Disallow: /*?*
Disallow: /?s=*
Disallow: /?p=*
Disallow: /?page_id=*
Disallow: /?cat=*
Disallow: /?tag=*

# Include the sitemap (location needs to be replaced with your own)
Sitemap: http://yourdomain.com/sitemap.xml

Ahakoa ko nga tohutohu katoa kei te taha o nga korero, me ruku hohonu ki nga whakatau.

1. Karekau nga karetao e tohu i nga konae me nga raarangi whaiaronga.
2. I te wa ano, ka whakaaetia nga robots ki te uru ki nga wharangi matua me nga rauemi o te pae.
3. kua whakatauhia te aukati ki te whakariterite i nga putanga tawhito o nga whakairinga me nga patai tawhā hei aukati i te taarua o nga ihirangi.
4. Ko te waahi o te maherepae kua tohuhia mo te whakapai ake i te taupū.

No reira, kua whakaarohia e matou he tauira whanui mo te whirihoranga kua rite, kei te huna etahi o nga konae me nga ara tairongo mai i te tohu tohu, engari ka uru atu nga raarangi matua.

Kaore i rite ki te maha o nga CMS rongonui, nga waahi tuhi ritenga ranei, he maha nga monomai a WordPress hei whakahaere i te hanga me te whakahaere i te konae robots.txt. Ko tetahi o nga rongoa rongonui mo tenei kaupapa ko Yoast Seo.

Hei whakauru, me:

1. Haere ki te papa whakahaere WordPress.
2. I roto i te waahanga "Plugins", tohua "Tāpiri Hou".
3. Kimihia te mono "Yoast SEO" ka whakauru.
4. Whakahohe i te mono.

Hei whakatika i te kōnae robots.txt, me:

1. Haere ki te waahanga "SEO" i te tahua taha o te roopu whakahaere ka kowhiri i te "General".
2. Haere ki te ripa "Utauta".
3. Pāwhiritia te "Kōnae". I konei ka kite koe i nga momo konae, tae atu ki te robots.txt.
4. Whakauruhia nga ture taupū e tika ana kia rite ki o hiahia.
5. Whai muri i te whakarereketanga o te konae, pawhiria te paatene "Tiaki i nga huringa ki robots.txt".

Kia mahara ko ia tautuhinga kōnae robots.txt mo WordPress he mea motuhake, ka whakawhirinaki ki nga hiahia me nga ahuatanga o te pae. Karekau he tauira mo te ao katoa e pai ana ki nga rauemi katoa me te kore he rereke. Engari, ko tenei tauira me te whakamahinga o nga mono ka taea te whakaiti i te mahi.

Tautuhinga A-ringa o Robots.txt

Waihoki, ka taea e koe te whakarite i to whirihoranga o te konae ahakoa kaore he CMS kua rite mo te waahi. Me tuku ano e te kaiwhakamahi te konae robots.txt ki te raarangi pakiaka o te waahi ka tohua nga ture e tika ana. Anei tetahi o nga tauira, e tohuhia ana nga tohutohu katoa e waatea ana:

User-agent: *
Disallow: /admin/             # Prohibit access to the administrative panel
Disallow: /secret.html	      # Prohibit access to a specific file
Disallow: /*.pdf$	      # Prohibit indexing of certain file types
Disallow: /*?sort=	      # Prohibit indexing of certain URL parameters
Allow: /public/		      # Allow access to public pages
Sitemap: http://yourdomain.com/sitemap.xml # Include the sitemap

Me pehea te tirotiro i te Kōnae Robots.txt

Hei taputapu awhina i te wa e tirotirohia ana te kōnae robots.txt mo nga hapa, ka tūtohutia kia whakamahia nga ratonga ipurangi.

Whakaarohia te tauira o te Yandex Tohungatuku ratonga. Hei taki, me whakauru e koe he hono ki to pae ki te mara e rite ana mena kua tukuna kee te konae ki te tūmau. I muri i tera, ka utaina e te taputapu te whirihoranga konae. He kōwhiringa ano ki te whakauru ā-ringa i te whirihoranga:

I muri mai, me tono he haki ka tatari mo nga hua:

I roto i te tauira i homai, kaore he hapa. Mena kei kona, ka whakaatuhia e te ratonga nga waahi raru me nga huarahi hei whakatika.

Opaniraa

Hei whakarāpopototanga, i whakanuia e matou te hiranga o te kōnae robots.txt mo te whakahaere waka i runga i te pae. I hoatu e matou he tohutohu me pehea te whakarite tika ki te whakahaere me pehea nga miihini rapu rapu wharangi. I tua atu i tenei, i titiro ano matou ki nga tauira mo te whakamahi tika i tenei konae me te tuku tohutohu mo te tirotiro kei te mahi tika nga tautuhinga katoa.