robots.txt

Ato amin'ity lahatsoratra ity, hodinihintsika ny anjara asa lehibe amin'ny rakitra robots.txt amin'ny fitantanana ny fifamoivoizana amin'ny tranokala, hiresaka momba ny ilàna ny fisiany, ary hanome tolo-kevitra amin'ny fametrahana azy ho an'ny fitantanana fanondroana pejy mahomby. Fanampin'izay, hamakafaka ireo ohatra momba ny fampiasana torolàlana marina ao amin'ny rakitra robots.txt isika ary hanome torolalana momba ny fomba hanamarinana ny fahamarinan'ny filaharany.

Nahoana no ilaina ny Robots.txt

Robots.txt dia rakitra hita ao amin'ny lohamilin'ny tranokala ao amin'ny lahatahiry fakany. Izy io dia mampahafantatra ny robots amin'ny milina fikarohana ny fomba tokony hijerena ny votoatin'ny loharano. Ny fampiasana araka ny tokony ho izy an'ity rakitra ity dia manampy amin'ny fisorohana ny fanondroana pejy tsy ilaina, miaro ny angona tsiambaratelo, ary afaka manatsara ny fahombiazan'ny fanatsarana SEO sy ny fahitana ny tranokala amin'ny valin'ny fikarohana. Ny fanamafisana ny robots.txt dia atao amin'ny alàlan'ny torolàlana, izay hojerentsika bebe kokoa.

Mametraka torolàlana ao amin'ny Robots.txt

Agent Agent

Ny torolàlana voalohany dia fantatra amin'ny anarana hoe User-Agent, izay mametraka teny fanalahidy manokana ho an'ny robots. Rehefa fantatr'ilay robot io teny io dia takatr'ilay robot fa natao manokana ho azy ilay fitsipika.

Diniho ohatra iray amin'ny fampiasana User-Agent amin'ny rakitra robots.txt:

User-Agent: *
Disallow: /private/

Ity ohatra ity dia manondro fa ny robots fikarohana rehetra (aseho amin'ny marika "*") dia tokony tsy hiraharaha ireo pejy hita ao amin'ny /tsy miankina/ lahatahiry.

Toy izao ny fomba itadiavan'ny toromarika ireo robot fikarohana manokana:

User-Agent: Googlebot
Disallow: /admin/

User-Agent: Bingbot
Disallow: /private/

Amin'ity tranga ity, ny googlebot robot fikarohana dia tokony tsy hiraharaha ny pejy ao amin'ny /admin/ lahatahiry, raha bingbot tokony tsy hiraharaha ny pejy ao amin'ny /tsy miankina/ lahatahiry.

nandrara

nandrara milaza amin'ny robots fikarohana izay URL tokony hitsambikina na tsy hosoratana ao amin'ny tranokala. Ity torolalana ity dia ilaina raha te hanafina angon-drakitra saro-pady na pejy votoaty ambany kalitao tsy ho voatondron'ny milina fikarohana ianao. Raha misy ny fichier robots.txt Tsy avela: /directory/, dia tsy mahazo miditra amin'ny votoatin'ny lahatahiry voatondro ny robots. Ohatra,

User-agent: *
Disallow: /admin/

Ity sanda ity dia manondro izany robots rehetra tokony tsy hiraharaha ny URL manomboka amin'ny /admin/. Mba hanakanana ny tranokala manontolo tsy ho voatondron'ny robots rehetra, ataovy toy ny fitsipika ny lahatahiry fototra:

User-agent: *
Disallow: /

Avelao

Ny sanda "Allow" dia mifanohitra amin'ny "Disallow": manome alalana ny robots fikarohana hiditra amin'ny pejy na lahatahiry manokana, na dia misy torolalana hafa ao amin'ny rakitra robots.txt aza mandrara ny fidirana amin'izany.

Diniho ny ohatra iray:

User-agent: *
Disallow: /admin/
Allow: /admin/login.html

Amin'ity ohatra ity, dia voalaza fa tsy mahazo miditra amin'ny robots /admin/ lahatahiry, afa-tsy ny /admin/login.html pejy, izay azo alaina ho an'ny fanondroana sy fitarafana.

Robots.txt sy Sitemap

Sitemap dia rakitra XML izay misy lisitry ny URL amin'ny pejy sy rakitra rehetra ao amin'ilay tranokala izay azo soratana amin'ny milina fikarohana. Rehefa miditra amin'ny rakitra robots.txt ny robot fikarohana ary mahita rohy mankany amin'ny rakitra XML sitemap, dia afaka mampiasa ity rakitra ity izy mba hahitana ny URL sy loharano rehetra misy ao amin'ny tranokala. Ny torolàlana dia voafaritra amin'ny endrika:

Sitemap: https://yoursite.com/filesitemap.xml

Ity fitsipika ity dia matetika apetraka amin'ny faran'ny antontan-taratasy nefa tsy mifamatotra amin'ny mpampiasa-Agent manokana ary karakarain'ny robot rehetra tsy an-kanavaka. Raha tsy mampiasa sitemap.xml ny tompon'ny tranokala, dia tsy ilaina ny manampy ny fitsipika.

Ohatra amin'ny Configured Robots.txt

Fametrahana Robots.txt ho an'ny WordPress

Ato amin'ity fizarana ity isika dia handinika ny fanamboarana efa vita ho an'ny WordPress. Hojerentsika ny fanakanana ny fidirana amin'ny angona tsiambaratelo sy ny famelana ny fidirana amin'ny pejy lehibe.

Ho vahaolana vonona dia azonao ampiasaina ity code manaraka ity:

User-agent: *
# Block access to files containing confidential data
Disallow: /cgi-bin
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php

# Allow access to the main site pages
Allow: /wp-content/uploads/
Allow: /sitemap.xml
Allow: /feed/
Allow: /trackback/
Allow: /comments/feed/
Allow: /category/*/*
Allow: /tag/*

# Prohibit the indexing of old versions of posts and parameterized queries to avoid content duplication or suboptimal indexing.
Disallow: /*?*
Disallow: /?s=*
Disallow: /?p=*
Disallow: /?page_id=*
Disallow: /?cat=*
Disallow: /?tag=*

# Include the sitemap (location needs to be replaced with your own)
Sitemap: http://yourdomain.com/sitemap.xml

Na dia miaraka amin'ny fanehoan-kevitra aza ny torolalana rehetra, andao isika handinika lalina ny fehin-kevitra.

1. Tsy hanondro rakitra sy lahatahiry saro-pady ny robots.
2. Mandritra izany fotoana izany, ny robots dia avela hiditra amin'ny pejy lehibe sy loharanon'ny tranokala.
3. Ny fandrarana dia napetraka amin'ny fanondroana ny dikan-teny taloha amin'ny lahatsoratra sy ny fanontaniana voamarika mba hisorohana ny fampitomboana votoaty.
4. Ny toerana misy ny sari-tany dia aseho ho fanatsarana fanondroana.

Noho izany dia nandinika ohatra ankapobeny momba ny fanamboarana efa vonona izahay, izay misy rakitra sy lalana saro-pady miafina amin'ny fanondroana, fa ny lahatahiry lehibe dia azo idirana.

Tsy sahala amin'ny CMS malaza maro na tranokala nosoratana manokana, WordPress dia manana plugins maromaro manamora ny famoronana sy fitantanana ny rakitra robots.txt. Ny iray amin'ireo vahaolana malaza amin'ity tanjona ity dia ny Yoast SEO.

Mba hametrahana azy dia mila:

1. Mandehana any amin'ny tontolon'ny admin WordPress.
2. Ao amin'ny fizarana "Plugins", safidio ny "Add New".
3. Tadiavo ny plugin "Yoast SEO" ary apetraho izany.
4. Activate the plugin.

Raha hanova ny rakitra robots.txt dia mila:

1. Mandehana any amin'ny fizarana "SEO" ao amin'ny menio an-tsisin'ny admin ary safidio ny "General".
2. Mandehana any amin'ny tabilao "Tools".
3. Tsindrio ny "Files". Eto ianao dia hahita rakitra isan-karazany, anisan'izany ny robots.txt.
4. Ampidiro ny fitsipika fanondroana ilaina araka ny fepetra takinao.
5. Rehefa vita ny fanovana ny rakitra dia tsindrio ny bokotra "Save changes to robots.txt".

Mariho fa ny fametrahana rakitra robots.txt tsirairay ho an'ny WordPress dia miavaka ary miankina amin'ny filana manokana sy ny endri-javatra amin'ny tranokala. Tsy misy môdely manerantany izay mifanaraka amin'ny loharano rehetra tsy an-kanavaka. Na izany aza, ity ohatra ity sy ny fampiasana plugins dia afaka manamora ny asa.

Fametrahana boky amin'ny Robots.txt

Toy izany koa, azonao atao ny manangana ny fandrindranao ny rakitra na dia tsy misy CMS vonona ho an'ny tranokala aza. Ny mpampiasa koa dia mila mampakatra ny rakitra robots.txt amin'ny lahatahiry fototry ny tranokala ary mamaritra ny fitsipika ilaina. Ity ny iray amin'ireo ohatra, izay manondro ny torolàlana rehetra misy:

User-agent: *
Disallow: /admin/             # Prohibit access to the administrative panel
Disallow: /secret.html	      # Prohibit access to a specific file
Disallow: /*.pdf$	      # Prohibit indexing of certain file types
Disallow: /*?sort=	      # Prohibit indexing of certain URL parameters
Allow: /public/		      # Allow access to public pages
Sitemap: http://yourdomain.com/sitemap.xml # Include the sitemap

Ahoana ny fijerena ny rakitra Robots.txt

Amin'ny maha-fitaovana fanampiny amin'ny fanamarinana ny rakitra robots.txt raha misy hadisoana, dia asaina mampiasa serivisy an-tserasera.

Diniho ny ohatra momba ny Yandex Webmaster fanompoana. Mba hanamarinana dia mila mampiditra rohy mankany amin'ny tranokalanao ianao ao amin'ny saha mifanaraka amin'izany raha toa ka efa nampidirina tao amin'ny server ny rakitra. Aorian'izay, ny fitaovana mihitsy no hampiditra ny fichier fichier. Misy ihany koa ny safidy hidirana amin'ny fomba manual:

Manaraka, mila mangataka fanamarinana ianao ary miandry ny valiny:

Ao amin'ny ohatra nomena dia tsy misy hadisoana. Raha misy, ny serivisy dia hampiseho ny faritra misy olana sy ny fomba hamahana azy ireo.

Famaranana

Raha fintinina, nanantitrantitra izahay ny maha-zava-dehibe ny rakitra robots.txt amin'ny fanaraha-maso ny fifamoivoizana amin'ny tranokala. Nanome toro-hevitra momba ny fomba fametrahana azy araka ny tokony ho izy amin'ny fitantanana ny pejin'ny milina fikarohana izahay. Ho fanampin'izany dia nijery ohatra momba ny fampiasana ity rakitra ity ihany koa izahay ary nanome toromarika momba ny fomba hanamarinana fa mandeha tsara ny fika rehetra.