robots.txt

Ato amin'ity lahatsoratra ity, hodinihintsika ny anjara asa lehibe amin'ny rakitra robots.txt amin'ny fitantanana ny fifamoivoizana amin'ny tranokala, hiresaka momba ny ilàna ny fisiany, ary hanome tolo-kevitra amin'ny fametrahana azy ho an'ny fitantanana fanondroana pejy mahomby. Fanampin'izay, hamakafaka ireo ohatra momba ny fampiasana torolàlana marina ao amin'ny rakitra robots.txt isika ary hanome torolalana momba ny fomba hanamarinana ny fahamarinan'ny filaharany.

Nahoana no ilaina ny Robots.txt

Robots.txt dia rakitra hita ao amin'ny lohamilin'ny tranokala ao amin'ny lahatahiry fakany. Izy io dia mampahafantatra ny robots amin'ny milina fikarohana ny fomba tokony hijerena ny votoatin'ny loharano. Ny fampiasana araka ny tokony ho izy an'ity rakitra ity dia manampy amin'ny fisorohana ny fanondroana pejy tsy ilaina, miaro ny angona tsiambaratelo, ary afaka manatsara ny fahombiazan'ny fanatsarana SEO sy ny fahitana ny tranokala amin'ny valin'ny fikarohana. Ny fanamafisana ny robots.txt dia atao amin'ny alàlan'ny torolàlana, izay hojerentsika bebe kokoa.

Mametraka torolàlana ao amin'ny Robots.txt

Agent Agent

Ny torolàlana voalohany dia fantatra amin'ny anarana hoe User-Agent, izay mametraka teny fanalahidy manokana ho an'ny robots. Rehefa fantatr'ilay robot io teny io dia takatr'ilay robot fa natao manokana ho azy ilay fitsipika.

Diniho ohatra iray amin'ny fampiasana User-Agent amin'ny rakitra robots.txt:

User-Agent: *
Disallow: /private/

Ity ohatra ity dia manondro fa ny rôbô fikarohana rehetra (asehon'ny marika " * ") dia tokony tsy hiraharaha ireo pejy hita ao amin'ny lahatahiry /private/.

Toy izao ny fomba itadiavan'ny toromarika ireo robot fikarohana manokana:

User-Agent: Googlebot
Disallow: /admin/

User-Agent: Bingbot
Disallow: /private/

Amin'ity tranga ity, ny rôbô fikarohana Googlebot dia tokony tsy hiraharaha ireo pejy ao amin'ny lahatahiry /admin/ , raha toa kosa ny Bingbot dia tokony tsy hiraharaha ireo pejy ao amin'ny lahatahiry /private/.

nandrara

Ny "Disallow" dia milaza amin'ireo robot fikarohana hoe iza amin'ireo URL no tokony holalovana na tsy tokony hasiana ao amin'ny tranonkala. Ilaina ity toromarika ity rehefa te hanafina angona saro-pady na pejy votoaty ambany kalitao ianao mba tsy ho voasiana ao amin'ny motera fikarohana. Raha misy ny lahatsoratra hoe " Disallow: /directory/" ao amin'ny rakitra robots.txt , dia tsy ho afaka hiditra amin'ny votoatin'ny lahatahiry voafaritra ny robots. Ohatra,

User-agent: *
Disallow: /admin/

Ity sanda ity dia midika fa ny robot rehetra dia tokony tsy hiraharaha ny URL manomboka amin'ny /admin/ . Mba hanakanana ny tranonkala iray manontolo tsy ho voasokajy amin'ny robot rehetra, apetraho ho fitsipika ny lahatahiry fototra:

User-agent: *
Disallow: /

Avelao

Ny sanda "Allow" dia mifanohitra amin'ny "Disallow": manome alalana ny robots fikarohana hiditra amin'ny pejy na lahatahiry manokana, na dia misy torolalana hafa ao amin'ny rakitra robots.txt aza mandrara ny fidirana amin'izany.

Diniho ny ohatra iray:

User-agent: *
Disallow: /admin/
Allow: /admin/login.html

Ato amin'ity ohatra ity, voalaza fa tsy mahazo miditra amin'ny lahatahiry /admin/ ny rôbô , afa-tsy ny pejy /admin/login.html , izay azo jerena sy jerena.

Robots.txt sy Sitemap

Sitemap dia rakitra XML izay misy lisitry ny URL amin'ny pejy sy rakitra rehetra ao amin'ilay tranokala izay azo soratana amin'ny milina fikarohana. Rehefa miditra amin'ny rakitra robots.txt ny robot fikarohana ary mahita rohy mankany amin'ny rakitra XML sitemap, dia afaka mampiasa ity rakitra ity izy mba hahitana ny URL sy loharano rehetra misy ao amin'ny tranokala. Ny torolàlana dia voafaritra amin'ny endrika:

Sitemap: https://yoursite.com/filesitemap.xml

Ity fitsipika ity dia matetika apetraka amin'ny faran'ny antontan-taratasy nefa tsy mifamatotra amin'ny mpampiasa-Agent manokana ary karakarain'ny robot rehetra tsy an-kanavaka. Raha tsy mampiasa sitemap.xml ny tompon'ny tranokala, dia tsy ilaina ny manampy ny fitsipika.

Ohatra amin'ny Configured Robots.txt

Fametrahana Robots.txt ho an'ny WordPress

Ato amin'ity fizarana ity isika dia handinika ny fanamboarana efa vita ho an'ny WordPress. Hojerentsika ny fanakanana ny fidirana amin'ny angona tsiambaratelo sy ny famelana ny fidirana amin'ny pejy lehibe.

Ho vahaolana vonona dia azonao ampiasaina ity code manaraka ity:

User-agent: *
# Block access to files containing confidential data
Disallow: /cgi-bin
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php

# Allow access to the main site pages
Allow: /wp-content/uploads/
Allow: /sitemap.xml
Allow: /feed/
Allow: /trackback/
Allow: /comments/feed/
Allow: /category/*/*
Allow: /tag/*

# Prohibit the indexing of old versions of posts and parameterized queries to avoid content duplication or suboptimal indexing.
Disallow: /*?*
Disallow: /?s=*
Disallow: /?p=*
Disallow: /?page_id=*
Disallow: /?cat=*
Disallow: /?tag=*

# Include the sitemap (location needs to be replaced with your own)
Sitemap: http://yourdomain.com/sitemap.xml

Na dia miaraka amin'ny fanehoan-kevitra aza ny torolalana rehetra, andao isika handinika lalina ny fehin-kevitra.

1. Tsy hanondro rakitra sy lahatahiry saro-pady ny robots.
2. Mandritra izany fotoana izany, ny robots dia avela hiditra amin'ny pejy lehibe sy loharanon'ny tranokala.
3. Ny fandrarana dia napetraka amin'ny fanondroana ny dikan-teny taloha amin'ny lahatsoratra sy ny fanontaniana voamarika mba hisorohana ny fampitomboana votoaty.
4. Ny toerana misy ny sari-tany dia aseho ho fanatsarana fanondroana.

Noho izany dia nandinika ohatra ankapobeny momba ny fanamboarana efa vonona izahay, izay misy rakitra sy lalana saro-pady miafina amin'ny fanondroana, fa ny lahatahiry lehibe dia azo idirana.

Tsy tahaka ny CMS malaza maro na tranonkala nosoratana manokana, ny WordPress dia manana plugins maromaro izay manamora ny famoronana sy fitantanana ny rakitra robots.txt. Ny iray amin'ireo vahaolana malaza amin'izany dia ny Yoast SEO.

Mba hametrahana azy dia mila:

1. Mandehana any amin'ny tontolon'ny admin WordPress.
2. Ao amin'ny fizarana "Plugins", safidio ny "Add New".
3. Tadiavo ny plugin "Yoast SEO" ary apetraho izany.
4. Activate the plugin.

Raha hanova ny rakitra robots.txt dia mila:

1. Mandehana any amin'ny fizarana "SEO" ao amin'ny menio an-tsisin'ny admin ary safidio ny "General".
2. Mandehana any amin'ny tabilao "Tools".
3. Tsindrio ny "Files". Eto ianao dia hahita rakitra isan-karazany, anisan'izany ny robots.txt.
4. Ampidiro ny fitsipika fanondroana ilaina araka ny fepetra takinao.
5. Rehefa vita ny fanovana ny rakitra dia tsindrio ny bokotra "Save changes to robots.txt".

Mariho fa ny fametrahana rakitra robots.txt tsirairay ho an'ny WordPress dia miavaka ary miankina amin'ny filana manokana sy ny endri-javatra amin'ny tranokala. Tsy misy môdely manerantany izay mifanaraka amin'ny loharano rehetra tsy an-kanavaka. Na izany aza, ity ohatra ity sy ny fampiasana plugins dia afaka manamora ny asa.

Fametrahana boky amin'ny Robots.txt

Toy izany koa, azonao atao ny manangana ny fandrindranao ny rakitra na dia tsy misy CMS vonona ho an'ny tranokala aza. Ny mpampiasa koa dia mila mampakatra ny rakitra robots.txt amin'ny lahatahiry fototry ny tranokala ary mamaritra ny fitsipika ilaina. Ity ny iray amin'ireo ohatra, izay manondro ny torolàlana rehetra misy:

User-agent: *
Disallow: /admin/             # Prohibit access to the administrative panel
Disallow: /secret.html	      # Prohibit access to a specific file
Disallow: /*.pdf$	      # Prohibit indexing of certain file types
Disallow: /*?sort=	      # Prohibit indexing of certain URL parameters
Allow: /public/		      # Allow access to public pages
Sitemap: http://yourdomain.com/sitemap.xml # Include the sitemap

Ahoana ny fijerena ny rakitra Robots.txt

Amin'ny maha-fitaovana fanampiny amin'ny fanamarinana ny rakitra robots.txt raha misy hadisoana, dia asaina mampiasa serivisy an-tserasera.

Diniho ny ohatra amin'ny serivisy Yandex Webmaster . Mba hanamarinana izany dia mila mampiditra rohy mankany amin'ny tranonkalanao ao amin'ny saha mifanaraka amin'izany ianao raha efa nampidirina tao amin'ny mpizara ny rakitra. Aorian'izay dia hampiditra ny fikirakirana ny rakitra ny fitaovana. Misy ihany koa ny safidy hampidirana ny fikirakirana amin'ny tanana:

Manaraka, mila mangataka fanamarinana ianao ary miandry ny valiny:

Ao amin'ny ohatra nomena dia tsy misy hadisoana. Raha misy, ny serivisy dia hampiseho ny faritra misy olana sy ny fomba hamahana azy ireo.

Famaranana

Raha fintinina, nanantitrantitra izahay ny maha-zava-dehibe ny rakitra robots.txt amin'ny fanaraha-maso ny fifamoivoizana amin'ny tranokala. Nanome toro-hevitra momba ny fomba fametrahana azy araka ny tokony ho izy amin'ny fitantanana ny pejin'ny milina fikarohana izahay. Ho fanampin'izany dia nijery ohatra momba ny fampiasana ity rakitra ity ihany koa izahay ary nanome toromarika momba ny fomba hanamarinana fa mandeha tsara ny fika rehetra.