robots.txt

ఈ వ్యాసంలో, వెబ్‌సైట్‌లలో ట్రాఫిక్‌ను నిర్వహించడంలో robots.txt ఫైల్ యొక్క కీలక పాత్రను మేము పరిశీలిస్తాము, దాని ఉనికి యొక్క ఆవశ్యకతను చర్చిస్తాము మరియు ప్రభావవంతమైన పేజీ ఇండెక్సింగ్ నిర్వహణ కోసం దానిని సెటప్ చేయడానికి సిఫార్సులను అందిస్తాము. అదనంగా, robots.txt ఫైల్‌లో సరైన డైరెక్టివ్‌ల వినియోగ ఉదాహరణలను మేము విశ్లేషిస్తాము మరియు దాని సెట్టింగ్‌ల ఖచ్చితత్వాన్ని ఎలా తనిఖీ చేయాలో మార్గదర్శిని అందిస్తాము.

Robots.txt ఎందుకు అవసరం

Robots.txt అనేది సైట్ సర్వర్‌లో దాని రూట్ డైరెక్టరీలో ఉన్న ఒక ఫైల్. ఇది శోధన ఇంజిన్ రోబోట్‌లకు వనరు యొక్క కంటెంట్‌ను ఎలా స్కాన్ చేయాలో తెలియజేస్తుంది. ఈ ఫైల్‌ను సరిగ్గా ఉపయోగించడం వల్ల అవాంఛిత పేజీల ఇండెక్సింగ్‌ను నిరోధించడంలో సహాయపడుతుంది, గోప్యమైన డేటాను రక్షిస్తుంది మరియు శోధన ఫలితాల్లో సైట్ యొక్క SEO ఆప్టిమైజేషన్ మరియు దృశ్యమానత సామర్థ్యాన్ని మెరుగుపరుస్తుంది. robots.txt యొక్క కాన్ఫిగరేషన్ ఆదేశాల ద్వారా జరుగుతుంది, దీనిని మేము మరింత పరిశీలిస్తాము.

Robots.txt లో డైరెక్టివ్‌లను సెట్ చేయడం

యూజర్-ఏజెంట్

ప్రాథమిక డైరెక్టివ్‌ను యూజర్-ఏజెంట్ అని పిలుస్తారు, ఇక్కడ మనం రోబోట్‌ల కోసం ఒక ప్రత్యేక కీవర్డ్‌ని సెట్ చేస్తాము. ఈ పదాన్ని గుర్తించిన తర్వాత, ఈ నియమం దాని కోసమే ప్రత్యేకంగా ఉద్దేశించబడిందని రోబోట్ అర్థం చేసుకుంటుంది.

robots.txt ఫైల్‌లో యూజర్-ఏజెంట్‌ను ఉపయోగించడం యొక్క ఉదాహరణను పరిగణించండి:

User-Agent: *
Disallow: /private/

ఈ ఉదాహరణ అన్ని శోధన రోబోట్‌లు (" గుర్తు ద్వారా సూచించబడతాయి) అని సూచిస్తుంది.*") లో ఉన్న పేజీలను విస్మరించాలి /ప్రైవేట్/ డైరెక్టరీ.

నిర్దిష్ట శోధన రోబోట్‌ల కోసం సూచన ఎలా ఉంటుందో ఇక్కడ ఉంది:

User-Agent: Googlebot
Disallow: /admin/

User-Agent: Bingbot
Disallow: /private/

ఈ సందర్భంలో, ది Googlebot శోధన రోబోట్ పేజీలను విస్మరించాలి /అడ్మిన్/ డైరెక్టరీ, అయితే బింగ్‌బాట్ లోని పేజీలను విస్మరించాలి /ప్రైవేట్/ డైరెక్టరీ.

అనుమతించవద్దు

అనుమతించవద్దు వెబ్‌సైట్‌లో ఏ URLలను దాటవేయాలో లేదా సూచిక చేయకూడదో శోధన రోబోట్‌లకు చెబుతుంది. శోధన ఇంజిన్‌ల ద్వారా సున్నితమైన డేటా లేదా తక్కువ-నాణ్యత గల కంటెంట్ పేజీలను సూచిక చేయకుండా దాచాలనుకున్నప్పుడు ఈ డైరెక్టివ్ ఉపయోగపడుతుంది. robots.txt ఫైల్‌లో ఎంట్రీ ఉంటే అనుమతించవద్దు: / డైరెక్టరీ/, అప్పుడు రోబోట్‌లకు పేర్కొన్న డైరెక్టరీలోని కంటెంట్‌లకు యాక్సెస్ నిరాకరించబడుతుంది. ఉదాహరణకు,

User-agent: *
Disallow: /admin/

ఈ విలువ దానిని సూచిస్తుంది అన్ని రోబోలు తో ప్రారంభమయ్యే URL లను విస్మరించాలి /అడ్మిన్/. మొత్తం సైట్‌ను ఏదైనా రోబోట్‌లు ఇండెక్స్ చేయకుండా నిరోధించడానికి, రూట్ డైరెక్టరీని నియమం ప్రకారం సెట్ చేయండి:

User-agent: *
Disallow: /

అనుమతించు

"అనుమతి" విలువ "నిషేధించు" విలువకు విరుద్ధంగా పనిచేస్తుంది: robots.txt ఫైల్‌లోని ఇతర ఆదేశాలు దానికి ప్రాప్యతను నిషేధించినప్పటికీ, ఇది శోధన రోబోట్‌లకు నిర్దిష్ట పేజీ లేదా డైరెక్టరీని యాక్సెస్ చేయడానికి అనుమతిస్తుంది.

ఒక ఉదాహరణను పరిగణించండి:

User-agent: *
Disallow: /admin/
Allow: /admin/login.html

ఈ ఉదాహరణలో, రోబోట్‌లకు యాక్సెస్ అనుమతించబడదని పేర్కొనబడింది /అడ్మిన్/ డైరెక్టరీ, తప్ప /అడ్మిన్/లాగిన్.html పేజీ, ఇది ఇండెక్సింగ్ మరియు స్కానింగ్ కోసం అందుబాటులో ఉంది.

Robots.txt మరియు సైట్‌మ్యాప్

సైట్‌మ్యాప్ అనేది ఒక XML ఫైల్, ఇది శోధన ఇంజిన్‌ల ద్వారా సూచిక చేయబడే సైట్‌లోని అన్ని పేజీలు మరియు ఫైల్‌ల URLల జాబితాను కలిగి ఉంటుంది. శోధన రోబోట్ robots.txt ఫైల్‌ను యాక్సెస్ చేసి, సైట్‌మ్యాప్ XML ఫైల్‌కు లింక్‌ను చూసినప్పుడు, సైట్‌లో అందుబాటులో ఉన్న అన్ని URLలు మరియు వనరులను కనుగొనడానికి ఈ ఫైల్‌ను ఉపయోగించవచ్చు. డైరెక్టివ్ ఫార్మాట్‌లో పేర్కొనబడింది:

Sitemap: https://yoursite.com/filesitemap.xml

ఈ నియమం సాధారణంగా ఒక నిర్దిష్ట వినియోగదారు-ఏజెంట్‌తో ముడిపడి ఉండకుండా పత్రం చివర ఉంచబడుతుంది మరియు మినహాయింపు లేకుండా అన్ని రోబోట్‌లచే ప్రాసెస్ చేయబడుతుంది. సైట్ యజమాని sitemap.xmlని ఉపయోగించకపోతే, నియమాన్ని జోడించాల్సిన అవసరం లేదు.

కాన్ఫిగర్ చేయబడిన Robots.txt ఉదాహరణలు

WordPress కోసం Robots.txt ని సెటప్ చేయడం

ఈ విభాగంలో, మేము WordPress కోసం రెడీమేడ్ కాన్ఫిగరేషన్‌ను పరిశీలిస్తాము. గోప్యమైన డేటాకు యాక్సెస్‌ను నిరోధించడం మరియు ప్రధాన పేజీలకు యాక్సెస్‌ను అనుమతించడం గురించి మేము అన్వేషిస్తాము.

సిద్ధంగా ఉన్న పరిష్కారంగా, మీరు ఈ క్రింది కోడ్‌ను ఉపయోగించవచ్చు:

User-agent: *
# Block access to files containing confidential data
Disallow: /cgi-bin
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php

# Allow access to the main site pages
Allow: /wp-content/uploads/
Allow: /sitemap.xml
Allow: /feed/
Allow: /trackback/
Allow: /comments/feed/
Allow: /category/*/*
Allow: /tag/*

# Prohibit the indexing of old versions of posts and parameterized queries to avoid content duplication or suboptimal indexing.
Disallow: /*?*
Disallow: /?s=*
Disallow: /?p=*
Disallow: /?page_id=*
Disallow: /?cat=*
Disallow: /?tag=*

# Include the sitemap (location needs to be replaced with your own)
Sitemap: http://yourdomain.com/sitemap.xml

అన్ని ఆదేశాలు వ్యాఖ్యలతో కూడి ఉన్నప్పటికీ, ముగింపులను లోతుగా పరిశీలిద్దాం.

1. రోబోలు సున్నితమైన ఫైల్‌లు మరియు డైరెక్టరీలను ఇండెక్స్ చేయవు.
2. అదే సమయంలో, రోబోట్‌లు సైట్ యొక్క ప్రధాన పేజీలు మరియు వనరులను యాక్సెస్ చేయడానికి అనుమతించబడతాయి.
3. కంటెంట్ డూప్లికేషన్‌ను నిరోధించడానికి పోస్ట్‌ల పాత వెర్షన్‌లను మరియు పారామిటరైజ్డ్ ప్రశ్నలను ఇండెక్స్ చేయడంపై నిషేధం విధించబడింది.
4. మెరుగైన ఇండెక్సింగ్ కోసం సైట్‌మ్యాప్ యొక్క స్థానం సూచించబడింది.

అందువల్ల, మేము సిద్ధంగా ఉన్న కాన్ఫిగరేషన్ యొక్క సాధారణ ఉదాహరణను పరిగణించాము, దీనిలో కొన్ని సున్నితమైన ఫైల్‌లు మరియు మార్గాలు ఇండెక్సింగ్ నుండి దాచబడతాయి, కానీ ప్రధాన డైరెక్టరీలు యాక్సెస్ చేయబడతాయి.

అనేక ప్రసిద్ధ CMS లేదా కస్టమ్-వ్రాసిన సైట్‌ల మాదిరిగా కాకుండా, WordPress robots.txt ఫైల్ యొక్క సృష్టి మరియు నిర్వహణను సులభతరం చేసే అనేక ప్లగిన్‌లను కలిగి ఉంది. ఈ ప్రయోజనం కోసం ప్రసిద్ధ పరిష్కారాలలో ఒకటి Yoast SEO.

దీన్ని ఇన్‌స్టాల్ చేయడానికి, మీరు వీటిని చేయాలి:

1. WordPress అడ్మిన్ ప్యానెల్‌కి వెళ్లండి.
2. "ప్లగిన్లు" విభాగంలో, "క్రొత్తదాన్ని జోడించు" ఎంచుకోండి.
3. "Yoast SEO" ప్లగిన్‌ను కనుగొని దాన్ని ఇన్‌స్టాల్ చేయండి.
4. ప్లగిన్‌ని సక్రియం చేయండి.

robots.txt ఫైల్‌ను సవరించడానికి, మీరు వీటిని చేయాలి:

1. అడ్మిన్ ప్యానెల్ సైడ్ మెనూలోని "SEO" విభాగానికి వెళ్లి "జనరల్" ఎంచుకోండి.
2. "ఉపకరణాలు" ట్యాబ్‌కు వెళ్లండి.
3. "ఫైల్స్" పై క్లిక్ చేయండి. ఇక్కడ మీరు robots.txt తో సహా వివిధ ఫైళ్ళను చూస్తారు.
4. మీ అవసరాలకు అనుగుణంగా అవసరమైన ఇండెక్సింగ్ నియమాలను నమోదు చేయండి.
5. ఫైల్‌లో మార్పులు చేసిన తర్వాత, "robots.txtకి మార్పులను సేవ్ చేయి" బటన్‌ను క్లిక్ చేయండి.

WordPress కోసం ప్రతి robots.txt ఫైల్ సెట్టింగ్ ప్రత్యేకమైనదని మరియు సైట్ యొక్క నిర్దిష్ట అవసరాలు మరియు లక్షణాలపై ఆధారపడి ఉంటుందని గమనించండి. మినహాయింపు లేకుండా అన్ని వనరులకు సరిపోయే సార్వత్రిక టెంప్లేట్ లేదు. అయితే, ఈ ఉదాహరణ మరియు ప్లగిన్‌ల వాడకం పనిని గణనీయంగా సులభతరం చేస్తాయి.

Robots.txt యొక్క మాన్యువల్ సెట్టింగ్

అదేవిధంగా, సైట్ కోసం సిద్ధంగా ఉన్న CMS లేనప్పుడు కూడా మీరు ఫైల్ యొక్క మీ కాన్ఫిగరేషన్‌ను సెటప్ చేయవచ్చు. వినియోగదారుడు robots.txt ఫైల్‌ను సైట్ యొక్క రూట్ డైరెక్టరీకి అప్‌లోడ్ చేయాలి మరియు అవసరమైన నియమాలను పేర్కొనాలి. అందుబాటులో ఉన్న అన్ని డైరెక్టివ్‌లు సూచించబడిన ఉదాహరణలలో ఒకటి ఇక్కడ ఉంది:

User-agent: *
Disallow: /admin/             # Prohibit access to the administrative panel
Disallow: /secret.html	      # Prohibit access to a specific file
Disallow: /*.pdf$	      # Prohibit indexing of certain file types
Disallow: /*?sort=	      # Prohibit indexing of certain URL parameters
Allow: /public/		      # Allow access to public pages
Sitemap: http://yourdomain.com/sitemap.xml # Include the sitemap

Robots.txt ఫైల్‌ను ఎలా తనిఖీ చేయాలి

లోపాల కోసం robots.txt ఫైల్‌ను తనిఖీ చేసేటప్పుడు సహాయక సాధనంగా, ఆన్‌లైన్ సేవలను ఉపయోగించమని సిఫార్సు చేయబడింది.

ఉదాహరణను పరిగణించండి యాండెక్స్ వెబ్‌మాస్టర్ సేవ. తనిఖీ చేయడానికి, ఫైల్ ఇప్పటికే సర్వర్‌కు అప్‌లోడ్ చేయబడి ఉంటే, సంబంధిత ఫీల్డ్‌లో మీ సైట్‌కు లింక్‌ను చొప్పించాలి. ఆ తర్వాత, సాధనం ఫైల్ కాన్ఫిగరేషన్‌ను లోడ్ చేస్తుంది. కాన్ఫిగరేషన్‌ను మాన్యువల్‌గా నమోదు చేయడానికి కూడా ఒక ఎంపిక ఉంది:

తరువాత, మీరు చెక్‌ని అభ్యర్థించాలి మరియు ఫలితాల కోసం వేచి ఉండాలి:

ఇచ్చిన ఉదాహరణలో, ఎటువంటి లోపాలు లేవు. ఏవైనా ఉంటే, సేవ సమస్యాత్మక ప్రాంతాలను మరియు వాటిని పరిష్కరించే మార్గాలను చూపుతుంది.

ముగింపు

సారాంశంలో, సైట్‌లో ట్రాఫిక్‌ను నియంత్రించడానికి robots.txt ఫైల్ ఎంత ముఖ్యమో మేము నొక్కిచెప్పాము. శోధన ఇంజిన్‌లు పేజీలను ఎలా ఇండెక్స్ చేయాలో నిర్వహించడానికి దానిని ఎలా సరిగ్గా సెటప్ చేయాలో మేము సలహా ఇచ్చాము. దీనితో పాటు, ఈ ఫైల్‌ను ఎలా సరిగ్గా ఉపయోగించాలో ఉదాహరణలను కూడా పరిశీలించాము మరియు అన్ని సెట్టింగ్‌లు సరిగ్గా పనిచేస్తున్నాయో లేదో తనిఖీ చేయడానికి సూచనలను అందించాము.