Robots.txt

I roto i tenei tuhinga, ka tirotirohia e matou te mahi matua o te konae robots.txt ki te whakahaere i nga waka i runga i nga paetukutuku, korero mo te hiahia o tona aroaro, me te tuku kupu tohutohu mo te whakatuu mo te whakahaeretanga o te wharangi whai hua. I tua atu, ka wetewetehia e matou nga tauira o te whakamahi i nga tohutohu tika i roto i te konae robots.txt ka hoatu he aratohu me pehea te tirotiro i te tika o ona tautuhinga.

He aha te Robots.txt e hiahiatia ana

Ko Robots.txt he konae kei runga i te tūmau o te pae i roto i tana whaiaronga pakiaka. Ka whakamohio ki nga karetao miihini rapu me pehea te tirotiro i nga ihirangi o te rauemi. Ko te whakamahi tika i tenei konae ka awhina ki te aukati i te tohu o nga wharangi e kore e hiahiatia, te tiaki i nga raraunga matatapu, ka taea te whakapai ake i te pai o te arotautanga SEO me te kitea o te waahi ki nga hua rapu. Ko te whirihoranga o robots.txt ka mahia na roto i nga tohutohu, ka tirohia ano e matou.

Tautuhi Arataki ki Robots.txt

Kaihoko Kaiwhakamahi

Ko te tohutohu tuatahi ko te Kaiwhakamahi-Kaiwhakamahi, i reira ka whakatakotohia e matou he kupu matua motuhake mo nga karetao. I te kitenga o tenei kupu, ka mohio te karetao ko te tikanga mo ia te ture.

Whakaarohia he tauira mo te whakamahi Kaiwhakamahi-Kaiwhakamahi i te kōnae robots.txt:

User-Agent: *
Disallow: /private/

E whakaatu ana tēnei tauira me wareware ngā karetao rapu katoa (e tohuhia ana e te tohu " * ") ki ngā whārangi kei roto i te whaiaronga /private/.

Anei te ahua o te tohutohu mo nga karetao rapu motuhake:

User-Agent: Googlebot
Disallow: /admin/

User-Agent: Bingbot
Disallow: /private/

I tēnei wā, me wareware te karetao rapu a Googlebot i ngā whārangi i roto i te whaiaronga /admin/ , ko Bingbot ia me wareware i ngā whārangi i roto i te whaiaronga /private/.

Whakakore

Ka whakamōhio a Disallow ki ngā karetao rapu ko ēhea ngā URL hei peke atu, hei kore rānei e taupū i runga i te paetukutuku. He whai hua tēnei tohutohu ina hiahia koe ki te huna i ngā raraunga tairongo, i ngā whārangi ihirangi kounga iti rānei kia kore ai e taupūhia e ngā miihini rapu. Mena kei roto i te kōnae robots.txt te tāurunga Disallow: /directory/ , ka whakakahoretia te urunga atu o ngā karetao ki ngā ihirangi o te whaiaronga kua tohua. Hei tauira,

User-agent: *
Disallow: /admin/

E tohu ana tēnei uara me wareware ngā karetao katoa ki ngā URL e tīmata ana ki te /admin/ . Hei ārai i te pae katoa kia kaua e tātaihia e ngā karetao katoa, whakatakotoria te whaiaronga pūtake hei ture:

User-agent: *
Disallow: /

tukua

Ko te uara "Tukua" he rereke ki te "Whakaaetia": ka taea e nga karetao rapu te uru ki tetahi wharangi, raarangi motuhake ranei, ahakoa ka aukati etahi atu tohutohu i roto i te konae robots.txt kia uru atu.

Whakaarohia he tauira:

User-agent: *
Disallow: /admin/
Allow: /admin/login.html

I tēnei tauira, kua tohua kāore e whakaaetia ngā karetao ki te uru atu ki te whaiaronga /admin/ , engari ko te whārangi /admin/login.html , e wātea ana mō te taupū me te matawai.

Robots.txt me te Mahere Pae

Ko te Mahere Pae he konae XML kei roto he rarangi URL o nga wharangi katoa me nga konae kei runga i te pae ka taea te taurangi e nga miihini rapu. Ina uru tetahi karetao rapu ki te konae robots.txt ka kite i te hono ki te konae XML maherepae, ka taea e ia te whakamahi i tenei konae ki te rapu i nga URL katoa me nga rauemi kei runga i te pae. Kua tohua te tohutohu ki te whakatakotoranga:

Sitemap: https://yoursite.com/filesitemap.xml

Ko te tikanga ka tukuna tenei ture ki te mutunga o te tuhinga me te kore e herea ki tetahi Kaiwhakamahi-Kaiwhakamahi motuhake, ka tukatukahia e nga robots katoa kaore he rereke. Ki te kore te rangatira o te pae e whakamahi sitemap.xml, kaore e tika te taapiri i te ture.

Tauira o Robots.txt whirihora

Te whakatu Robots.txt mo WordPress

I tenei waahanga, ka whakaarohia e matou he whirihoranga kua rite mo te WordPress. Ka tirotirohia e matou te aukati i te uru ki nga raraunga muna me te tuku uru ki nga wharangi matua.

Hei otinga rite, ka taea e koe te whakamahi i te waehere e whai ake nei:

User-agent: *
# Block access to files containing confidential data
Disallow: /cgi-bin
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php

# Allow access to the main site pages
Allow: /wp-content/uploads/
Allow: /sitemap.xml
Allow: /feed/
Allow: /trackback/
Allow: /comments/feed/
Allow: /category/*/*
Allow: /tag/*

# Prohibit the indexing of old versions of posts and parameterized queries to avoid content duplication or suboptimal indexing.
Disallow: /*?*
Disallow: /?s=*
Disallow: /?p=*
Disallow: /?page_id=*
Disallow: /?cat=*
Disallow: /?tag=*

# Include the sitemap (location needs to be replaced with your own)
Sitemap: http://yourdomain.com/sitemap.xml

Ahakoa ko nga tohutohu katoa kei te taha o nga korero, me ruku hohonu ki nga whakatau.

1. Karekau nga karetao e tohu i nga konae me nga raarangi whaiaronga.
2. I te wa ano, ka whakaaetia nga robots ki te uru ki nga wharangi matua me nga rauemi o te pae.
3. kua whakatauhia te aukati ki te whakariterite i nga putanga tawhito o nga whakairinga me nga patai tawhā hei aukati i te taarua o nga ihirangi.
4. Ko te waahi o te maherepae kua tohuhia mo te whakapai ake i te taupū.

No reira, kua whakaarohia e matou he tauira whanui mo te whirihoranga kua rite, kei te huna etahi o nga konae me nga ara tairongo mai i te tohu tohu, engari ka uru atu nga raarangi matua.

He rerekē tēnei i ngā CMS rongonui, i ngā pae tukutuku rānei kua tuhia motuhaketia, he maha ngā monomai a WordPress hei āwhina i te waihanga me te whakahaere i te kōnae robots.txt. Ko tētahi o ngā otinga rongonui mō tēnei kaupapa ko Yoast SEO.

Hei whakauru, me:

1. Haere ki te papa whakahaere WordPress.
2. I roto i te waahanga "Plugins", tohua "Tāpiri Hou".
3. Kimihia te mono "Yoast SEO" ka whakauru.
4. Whakahohe i te mono.

Hei whakatika i te kōnae robots.txt, me:

1. Haere ki te waahanga "SEO" i te tahua taha o te roopu whakahaere ka kowhiri i te "General".
2. Haere ki te ripa "Utauta".
3. Pāwhiritia te "Kōnae". I konei ka kite koe i nga momo konae, tae atu ki te robots.txt.
4. Whakauruhia nga ture taupū e tika ana kia rite ki o hiahia.
5. Whai muri i te whakarereketanga o te konae, pawhiria te paatene "Tiaki i nga huringa ki robots.txt".

Kia mahara ko ia tautuhinga kōnae robots.txt mo WordPress he mea motuhake, ka whakawhirinaki ki nga hiahia me nga ahuatanga o te pae. Karekau he tauira mo te ao katoa e pai ana ki nga rauemi katoa me te kore he rereke. Engari, ko tenei tauira me te whakamahinga o nga mono ka taea te whakaiti i te mahi.

Tautuhinga A-ringa o Robots.txt

Waihoki, ka taea e koe te whakarite i to whirihoranga o te konae ahakoa kaore he CMS kua rite mo te waahi. Me tuku ano e te kaiwhakamahi te konae robots.txt ki te raarangi pakiaka o te waahi ka tohua nga ture e tika ana. Anei tetahi o nga tauira, e tohuhia ana nga tohutohu katoa e waatea ana:

User-agent: *
Disallow: /admin/             # Prohibit access to the administrative panel
Disallow: /secret.html	      # Prohibit access to a specific file
Disallow: /*.pdf$	      # Prohibit indexing of certain file types
Disallow: /*?sort=	      # Prohibit indexing of certain URL parameters
Allow: /public/		      # Allow access to public pages
Sitemap: http://yourdomain.com/sitemap.xml # Include the sitemap

Me pehea te tirotiro i te Kōnae Robots.txt

Hei taputapu awhina i te wa e tirotirohia ana te kōnae robots.txt mo nga hapa, ka tūtohutia kia whakamahia nga ratonga ipurangi.

Whakaarohia te tauira o te ratonga Kaiwhakahaere Tukutuku Yandex . Hei tirotiro, me whakauru e koe he hononga ki tō pae tukutuku ki te āpure e tika ana mēnā kua tukuna kētia te kōnae ki te tūmau. Whai muri i tēnā, ka utaina e te taputapu te whirihoranga kōnae. He kōwhiringa anō hoki hei whakauru ā-ringa i te whirihoranga:

I muri mai, me tono he haki ka tatari mo nga hua:

I roto i te tauira i homai, kaore he hapa. Mena kei kona, ka whakaatuhia e te ratonga nga waahi raru me nga huarahi hei whakatika.

Opaniraa

Hei whakarāpopototanga, i whakanuia e matou te hiranga o te kōnae robots.txt mo te whakahaere waka i runga i te pae. I hoatu e matou he tohutohu me pehea te whakarite tika ki te whakahaere me pehea nga miihini rapu rapu wharangi. I tua atu i tenei, i titiro ano matou ki nga tauira mo te whakamahi tika i tenei konae me te tuku tohutohu mo te tirotiro kei te mahi tika nga tautuhinga katoa.