robots.txt

Niini nga artikulo, atong susihon ang mahinungdanong papel sa robots.txt nga file sa pagdumala sa trapiko sa mga website, hisgutan ang panginahanglan sa presensya niini, ug paghatag og mga rekomendasyon alang sa pagpahimutang niini alang sa epektibo nga pagdumala sa pag-index sa panid. Dugang pa, atong analisahon ang mga pananglitan sa hustong paggamit sa mga direktiba sa robots.txt file ug maghatag ug giya kon unsaon pagsusi sa pagkahusto sa mga setting niini.

Nganong Gikinahanglan ang Robots.txt

Ang Robots.txt usa ka file nga nahimutang sa server sa site sa root directory niini. Gipahibalo niini ang mga robot sa search engine kung giunsa nila pag-scan ang sulud sa kapanguhaan. Ang husto nga paggamit niini nga payl makatabang sa pagpugong sa pag-indeks sa dili gusto nga mga panid, pagpanalipod sa kompidensyal nga datos, ug makapauswag sa kahusayan sa SEO optimization ug visibility sa site sa mga resulta sa pagpangita. Ang configuration sa robots.txt gihimo pinaagi sa mga direktiba, nga atong tan-awonon pa.

Pagbutang ug Direktiba sa Robots.txt

Ahente sa Gumagamit

Ang panguna nga direktiba nailhan nga User-Agent, diin nagbutang kami usa ka espesyal nga keyword alang sa mga robot. Sa pagkakita niini nga pulong, ang robot nakasabut nga ang lagda gituyo alang niini.

Hunahunaa ang usa ka pananglitan sa paggamit sa User-Agent sa robots.txt file:

User-Agent: *
Disallow: /private/

Kini nga pananglitan nagpakita nga ang tanan nga mga search robot (girepresentar sa simbolo nga "*") kinahanglan ibaliwala ang mga panid nga nahimutang sa /pribado/ directory.

Ania kung giunsa pagpangita sa panudlo ang piho nga mga robot sa pagpangita:

User-Agent: Googlebot
Disallow: /admin/

User-Agent: Bingbot
Disallow: /private/

Sa niini nga kaso, ang Googlebot search robot kinahanglan ibaliwala ang mga panid sa /admin/ direktoryo, samtang bingbot kinahanglan ibaliwala ang mga panid sa /pribado/ directory.

Dili tugotan

Dili tugotan nagsulti sa mga search robot kung unsang mga URL ang laktawan o dili i-index sa website. Kini nga direktiba mapuslanon kung gusto nimo itago ang sensitibo nga datos o ubos nga kalidad nga mga panid sa sulud aron dili ma-index sa mga search engine. Kung ang file nga robots.txt adunay sulud Dili tugotan: /direktoryo/, unya ang mga robot ihikaw sa pag-access sa mga sulod sa gipiho nga direktoryo. Pananglitan,

User-agent: *
Disallow: /admin/

Kini nga bili nagpakita niana tanan robot kinahanglan ibaliwala ang mga URL nga nagsugod sa /admin/. Aron babagan ang tibuok site nga dili ma-indeks sa bisan unsang mga robot, ibutang ang root directory isip lagda:

User-agent: *
Disallow: /

Tugoti

Ang "Allow" value naglihok sukwahi sa "Disallow": kini nagtugot sa search robots nga maka-access sa usa ka piho nga panid o direktoryo, bisan kung ang ubang mga direktiba sa robots.txt file nagdili sa pag-access niini.

Tagda ang usa ka pananglitan:

User-agent: *
Disallow: /admin/
Allow: /admin/login.html

Niini nga pananglitan, gipiho nga ang mga robot dili tugutan nga maka-access sa /admin/ direktoryo, gawas sa /admin/login.html panid, nga magamit alang sa pag-indeks ug pag-scan.

Robots.txt ug Sitemap

Ang Sitemap usa ka XML file nga adunay lista sa mga URL sa tanan nga mga panid ug mga file sa site nga mahimong ma-index sa mga search engine. Sa diha nga ang usa ka search robot mo-access sa robots.txt file ug makakita og link sa usa ka sitemap XML file, kini mahimong mogamit niini nga file sa pagpangita sa tanang anaa nga mga URL ug mga kapanguhaan sa site. Ang direktiba gitakda sa format:

Sitemap: https://yoursite.com/filesitemap.xml

Kini nga lagda kasagarang gibutang sa katapusan sa dokumento nga walay gihigot sa usa ka piho nga User-Agent ug giproseso sa tanang robot nga walay eksepsiyon. Kung ang tag-iya sa site dili mogamit sa sitemap.xml, dili kinahanglan nga idugang ang lagda.

Mga pananglitan sa Configured Robots.txt

Pag-set up sa Robots.txt para sa WordPress

Sa kini nga seksyon, atong tagdon ang usa ka andam nga gihimo nga pag-configure alang sa WordPress. Atong susihon ang pag-block sa pag-access sa kompidensyal nga datos ug pagtugot sa pag-access sa mga nag-unang panid.

Ingon usa ka andam nga solusyon, mahimo nimong gamiton ang mosunod nga code:

User-agent: *
# Block access to files containing confidential data
Disallow: /cgi-bin
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php

# Allow access to the main site pages
Allow: /wp-content/uploads/
Allow: /sitemap.xml
Allow: /feed/
Allow: /trackback/
Allow: /comments/feed/
Allow: /category/*/*
Allow: /tag/*

# Prohibit the indexing of old versions of posts and parameterized queries to avoid content duplication or suboptimal indexing.
Disallow: /*?*
Disallow: /?s=*
Disallow: /?p=*
Disallow: /?page_id=*
Disallow: /?cat=*
Disallow: /?tag=*

# Include the sitemap (location needs to be replaced with your own)
Sitemap: http://yourdomain.com/sitemap.xml

Bisan kung ang tanan nga mga direktiba giubanan sa mga komentaryo, atong tun-an pag-ayo ang mga konklusyon.

1. Ang mga robot dili mag-index sa sensitibo nga mga file ug direktoryo.
2. Sa parehas nga oras, gitugotan ang mga robot nga maka-access sa mga nag-unang panid ug mga kapanguhaan sa site.
3. Ang pagdili gitakda sa pag-indeks sa mga daan nga bersyon sa mga post ug parameterized nga mga pangutana aron mapugngan ang pagdoble sa sulod.
4. Ang lokasyon sa sitemap gipakita alang sa gipaayo nga pag-indeks.

Busa, among gikonsiderar ang usa ka kinatibuk-ang pananglitan sa usa ka andam nga pag-configure, diin ang pipila ka sensitibo nga mga file ug mga agianan gitago gikan sa pag-indeks, apan ang mga nag-unang direktoryo ma-access.

Dili sama sa daghang sikat nga CMS o custom-written nga mga site, ang WordPress adunay daghang mga plugins nga nagpadali sa paghimo ug pagdumala sa robots.txt file. Usa sa mga popular nga solusyon alang niini nga katuyoan mao ang Yoast SEO.

Aron ma-install kini, kinahanglan nimo:

1. Adto sa WordPress admin panel.
2. Sa seksyon nga "Mga Plugin", pilia ang "Add New".
3. Pangitaa ang plugin nga "Yoast SEO" ug i-install kini.
4. Aktibo ang plugin.

Aron ma-edit ang robots.txt file, kinahanglan nimo:

1. Adto sa seksyon nga "SEO" sa side menu sa admin panel ug pilia ang "General".
2. Adto sa tab nga "Tools".
3. Pag-klik sa "Mga File". Dinhi makita nimo ang lainlaing mga file, lakip ang robots.txt.
4. Pagsulod sa gikinahanglan nga mga lagda sa pag-indeks sumala sa imong mga kinahanglanon.
5. Human sa paghimo og mga kausaban sa file, i-klik ang "Save changes to robots.txt" button.

Timan-i nga ang matag robots.txt file setting alang sa WordPress talagsaon ug nagdepende sa piho nga mga panginahanglan ug mga bahin sa site. Walay unibersal nga template nga mohaum sa tanan nga mga kapanguhaan nga walay eksepsiyon. Bisan pa, kini nga panig-ingnan ug ang paggamit sa mga plugin mahimo’g mapasimple ang buluhaton.

Manwal nga Setting sa Robots.txt

Sa susama, mahimo nimong i-set up ang imong configuration sa file bisan kung walay andam nga CMS para sa site. Kinahanglan usab nga i-upload sa user ang robots.txt file sa root directory sa site ug ipiho ang gikinahanglan nga mga lagda. Ania ang usa sa mga pananglitan, diin ang tanan nga magamit nga mga direktiba gipakita:

User-agent: *
Disallow: /admin/             # Prohibit access to the administrative panel
Disallow: /secret.html	      # Prohibit access to a specific file
Disallow: /*.pdf$	      # Prohibit indexing of certain file types
Disallow: /*?sort=	      # Prohibit indexing of certain URL parameters
Allow: /public/		      # Allow access to public pages
Sitemap: http://yourdomain.com/sitemap.xml # Include the sitemap

Unsaon Pagsusi sa Robots.txt File

Ingon usa ka auxiliary nga himan kung susihon ang file sa robots.txt alang sa mga sayup, girekomenda nga gamiton ang mga serbisyo sa online.

Tagda ang pananglitan sa Yandex Webmaster serbisyo. Aron masusi, kinahanglan nimong isulod ang usa ka link sa imong site sa katugbang nga natad kung ang file na-upload na sa server. Pagkahuman niana, ang himan mismo ang magkarga sa pagsumpo sa file. Adunay usab usa ka kapilian sa pagsulod sa configuration nga mano-mano:

Sunod, kinahanglan ka nga mangayo usa ka tseke ug maghulat alang sa mga resulta:

Sa gihatag nga pananglitan, wala’y mga sayup. Kung adunay bisan unsa, ang serbisyo magpakita sa mga problema nga lugar ug mga paagi sa pag-ayo niini.

Panapos

Sa katingbanan, among gipasiugda kung unsa ka hinungdanon ang robots.txt file alang sa pagkontrol sa trapiko sa site. Naghatag kami tambag kung giunsa kini pag-set up sa husto aron madumala kung giunsa ang pag-index sa mga panid sa search engine. Dugang pa niini, gitan-aw usab namon ang mga pananglitan kung giunsa ang paggamit sa kini nga file ug naghatag mga panudlo kung giunsa pagsusi kung ang tanan nga mga setting nagtrabaho sa husto.