Robots.txt

ಈ ಲೇಖನದಲ್ಲಿ, ವೆಬ್‌ಸೈಟ್‌ಗಳಲ್ಲಿ ಟ್ರಾಫಿಕ್ ಅನ್ನು ನಿರ್ವಹಿಸುವಲ್ಲಿ robots.txt ಫೈಲ್‌ನ ಪ್ರಮುಖ ಪಾತ್ರವನ್ನು ನಾವು ಪರಿಶೀಲಿಸುತ್ತೇವೆ, ಅದರ ಉಪಸ್ಥಿತಿಯ ಅಗತ್ಯವನ್ನು ಚರ್ಚಿಸುತ್ತೇವೆ ಮತ್ತು ಪರಿಣಾಮಕಾರಿ ಪುಟ ಸೂಚಿಕೆ ನಿರ್ವಹಣೆಗಾಗಿ ಅದನ್ನು ಹೊಂದಿಸಲು ಶಿಫಾರಸುಗಳನ್ನು ಒದಗಿಸುತ್ತೇವೆ. ಹೆಚ್ಚುವರಿಯಾಗಿ, robots.txt ಫೈಲ್‌ನಲ್ಲಿ ಸರಿಯಾದ ನಿರ್ದೇಶನಗಳ ಬಳಕೆಯ ಉದಾಹರಣೆಗಳನ್ನು ನಾವು ವಿಶ್ಲೇಷಿಸುತ್ತೇವೆ ಮತ್ತು ಅದರ ಸೆಟ್ಟಿಂಗ್‌ಗಳ ಸರಿಯಾದತೆಯನ್ನು ಹೇಗೆ ಪರಿಶೀಲಿಸುವುದು ಎಂಬುದರ ಕುರಿತು ಮಾರ್ಗದರ್ಶಿಯನ್ನು ಒದಗಿಸುತ್ತೇವೆ.

Robots.txt ಏಕೆ ಬೇಕು?

Robots.txt ಎಂಬುದು ಸೈಟ್‌ನ ಸರ್ವರ್‌ನಲ್ಲಿರುವ ಅದರ ಮೂಲ ಡೈರೆಕ್ಟರಿಯಲ್ಲಿರುವ ಫೈಲ್ ಆಗಿದೆ. ಇದು ಹುಡುಕಾಟ ಎಂಜಿನ್ ರೋಬೋಟ್‌ಗಳಿಗೆ ಸಂಪನ್ಮೂಲದ ವಿಷಯವನ್ನು ಹೇಗೆ ಸ್ಕ್ಯಾನ್ ಮಾಡಬೇಕೆಂದು ತಿಳಿಸುತ್ತದೆ. ಈ ಫೈಲ್‌ನ ಸರಿಯಾದ ಬಳಕೆಯು ಅನಗತ್ಯ ಪುಟಗಳ ಸೂಚಿಕೆಯನ್ನು ತಡೆಯಲು ಸಹಾಯ ಮಾಡುತ್ತದೆ, ಗೌಪ್ಯ ಡೇಟಾವನ್ನು ರಕ್ಷಿಸುತ್ತದೆ ಮತ್ತು ಹುಡುಕಾಟ ಫಲಿತಾಂಶಗಳಲ್ಲಿ ಸೈಟ್‌ನ SEO ಆಪ್ಟಿಮೈಸೇಶನ್ ಮತ್ತು ಗೋಚರತೆಯ ದಕ್ಷತೆಯನ್ನು ಸುಧಾರಿಸುತ್ತದೆ. robots.txt ನ ಸಂರಚನೆಯನ್ನು ನಿರ್ದೇಶನಗಳ ಮೂಲಕ ಮಾಡಲಾಗುತ್ತದೆ, ಅದನ್ನು ನಾವು ಮತ್ತಷ್ಟು ನೋಡುತ್ತೇವೆ.

Robots.txt ನಲ್ಲಿ ನಿರ್ದೇಶನಗಳನ್ನು ಹೊಂದಿಸುವುದು

ಬಳಕೆದಾರ ಏಜೆಂಟ್

ಪ್ರಾಥಮಿಕ ನಿರ್ದೇಶನವನ್ನು ಬಳಕೆದಾರ-ಏಜೆಂಟ್ ಎಂದು ಕರೆಯಲಾಗುತ್ತದೆ, ಅಲ್ಲಿ ನಾವು ರೋಬೋಟ್‌ಗಳಿಗೆ ವಿಶೇಷ ಕೀವರ್ಡ್ ಅನ್ನು ಹೊಂದಿಸುತ್ತೇವೆ. ಈ ಪದವನ್ನು ಪತ್ತೆಹಚ್ಚಿದ ನಂತರ, ನಿಯಮವು ನಿರ್ದಿಷ್ಟವಾಗಿ ಅದಕ್ಕಾಗಿ ಉದ್ದೇಶಿಸಲಾಗಿದೆ ಎಂದು ರೋಬೋಟ್ ಅರ್ಥಮಾಡಿಕೊಳ್ಳುತ್ತದೆ.

robots.txt ಫೈಲ್‌ನಲ್ಲಿ ಬಳಕೆದಾರ-ಏಜೆಂಟ್ ಬಳಸುವ ಉದಾಹರಣೆಯನ್ನು ಪರಿಗಣಿಸಿ:

User-Agent: *
Disallow: /private/

ಈ ಉದಾಹರಣೆಯು ಎಲ್ಲಾ ಹುಡುಕಾಟ ರೋಬೋಟ್‌ಗಳನ್ನು (" ಚಿಹ್ನೆಯಿಂದ ಪ್ರತಿನಿಧಿಸುತ್ತದೆ ಎಂದು ಸೂಚಿಸುತ್ತದೆ*") ನಲ್ಲಿರುವ ಪುಟಗಳನ್ನು ನಿರ್ಲಕ್ಷಿಸಬೇಕು /ಖಾಸಗಿ/ ಡೈರೆಕ್ಟರಿ.

ನಿರ್ದಿಷ್ಟ ಹುಡುಕಾಟ ರೋಬೋಟ್‌ಗಳಿಗಾಗಿ ಸೂಚನೆಗಳು ಹೇಗೆ ಕಾಣುತ್ತವೆ ಎಂಬುದು ಇಲ್ಲಿದೆ:

User-Agent: Googlebot
Disallow: /admin/

User-Agent: Bingbot
Disallow: /private/

ಈ ಸಂದರ್ಭದಲ್ಲಿ, ದಿ googlebot ಹುಡುಕಾಟ ರೋಬೋಟ್ ಪುಟಗಳನ್ನು ನಿರ್ಲಕ್ಷಿಸಬೇಕು /ನಿರ್ವಾಹಕ/ ಡೈರೆಕ್ಟರಿ, ಆದರೆ ಬಿಂಗ್ಬಾಟ್ ಪುಟಗಳನ್ನು ನಿರ್ಲಕ್ಷಿಸಬೇಕು /ಖಾಸಗಿ/ ಡೈರೆಕ್ಟರಿ.

ಅನುಮತಿಸುವುದಿಲ್ಲ

ಅನುಮತಿಸುವುದಿಲ್ಲ ವೆಬ್‌ಸೈಟ್‌ನಲ್ಲಿ ಯಾವ URL ಗಳನ್ನು ಸ್ಕಿಪ್ ಮಾಡಬೇಕೆಂದು ಅಥವಾ ಸೂಚ್ಯಂಕ ಮಾಡಬಾರದೆಂದು ಹುಡುಕಾಟ ರೋಬೋಟ್‌ಗಳಿಗೆ ಹೇಳುತ್ತದೆ. ಸೂಕ್ಷ್ಮ ಡೇಟಾವನ್ನು ಅಥವಾ ಕಡಿಮೆ-ಗುಣಮಟ್ಟದ ವಿಷಯ ಪುಟಗಳನ್ನು ಸರ್ಚ್ ಇಂಜಿನ್‌ಗಳು ಸೂಚ್ಯಂಕ ಮಾಡದಂತೆ ಮರೆಮಾಡಲು ನೀವು ಬಯಸಿದಾಗ ಈ ನಿರ್ದೇಶನವು ಉಪಯುಕ್ತವಾಗಿದೆ. robots.txt ಫೈಲ್ ನಮೂದನ್ನು ಹೊಂದಿದ್ದರೆ ಅನುಮತಿಸಲಾಗಿಲ್ಲ: /ಡೈರೆಕ್ಟರಿ/, ನಂತರ ನಿರ್ದಿಷ್ಟಪಡಿಸಿದ ಡೈರೆಕ್ಟರಿಯ ವಿಷಯಗಳಿಗೆ ರೋಬೋಟ್‌ಗಳಿಗೆ ಪ್ರವೇಶವನ್ನು ನಿರಾಕರಿಸಲಾಗುತ್ತದೆ. ಉದಾಹರಣೆಗೆ,

User-agent: *
Disallow: /admin/

ಈ ಮೌಲ್ಯವು ಅದನ್ನು ಸೂಚಿಸುತ್ತದೆ ಎಲ್ಲಾ ರೋಬೋಟ್‌ಗಳು ನಿಂದ ಪ್ರಾರಂಭವಾಗುವ URL ಗಳನ್ನು ನಿರ್ಲಕ್ಷಿಸಬೇಕು /ನಿರ್ವಾಹಕ/. ಯಾವುದೇ ರೋಬೋಟ್‌ಗಳಿಂದ ಸಂಪೂರ್ಣ ಸೈಟ್ ಅನ್ನು ಸೂಚ್ಯಂಕ ಮಾಡುವುದನ್ನು ನಿರ್ಬಂಧಿಸಲು, ನಿಯಮದಂತೆ ರೂಟ್ ಡೈರೆಕ್ಟರಿಯನ್ನು ಹೊಂದಿಸಿ:

User-agent: *
Disallow: /

ಅನುಮತಿಸಿ

"ಅನುಮತಿಸಿ" ಮೌಲ್ಯವು "ಅನುಮತಿಸಬೇಡಿ" ಗೆ ವಿರುದ್ಧವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ: robots.txt ಫೈಲ್‌ನಲ್ಲಿರುವ ಇತರ ನಿರ್ದೇಶನಗಳು ಅದಕ್ಕೆ ಪ್ರವೇಶವನ್ನು ನಿಷೇಧಿಸಿದರೂ ಸಹ, ಇದು ಹುಡುಕಾಟ ರೋಬೋಟ್‌ಗಳಿಗೆ ನಿರ್ದಿಷ್ಟ ಪುಟ ಅಥವಾ ಡೈರೆಕ್ಟರಿಗೆ ಪ್ರವೇಶವನ್ನು ಅನುಮತಿಸುತ್ತದೆ.

ಒಂದು ಉದಾಹರಣೆಯನ್ನು ಪರಿಗಣಿಸಿ:

User-agent: *
Disallow: /admin/
Allow: /admin/login.html

ಈ ಉದಾಹರಣೆಯಲ್ಲಿ, ರೋಬೋಟ್‌ಗಳಿಗೆ ಪ್ರವೇಶವನ್ನು ಅನುಮತಿಸಲಾಗುವುದಿಲ್ಲ ಎಂದು ನಿರ್ದಿಷ್ಟಪಡಿಸಲಾಗಿದೆ /ನಿರ್ವಾಹಕ/ ಡೈರೆಕ್ಟರಿ, ಹೊರತುಪಡಿಸಿ /ನಿರ್ವಾಹಕ/ಲಾಗಿನ್.html ಪುಟ, ಇದು ಸೂಚ್ಯಂಕ ಮತ್ತು ಸ್ಕ್ಯಾನಿಂಗ್‌ಗೆ ಲಭ್ಯವಿದೆ.

Robots.txt ಮತ್ತು ಸೈಟ್‌ಮ್ಯಾಪ್

ಸೈಟ್‌ಮ್ಯಾಪ್ ಎನ್ನುವುದು XML ಫೈಲ್ ಆಗಿದ್ದು, ಇದು ಸೈಟ್‌ನಲ್ಲಿರುವ ಎಲ್ಲಾ ಪುಟಗಳು ಮತ್ತು ಫೈಲ್‌ಗಳ URL ಗಳ ಪಟ್ಟಿಯನ್ನು ಒಳಗೊಂಡಿರುತ್ತದೆ, ಅದನ್ನು ಸರ್ಚ್ ಇಂಜಿನ್‌ಗಳಿಂದ ಇಂಡೆಕ್ಸ್ ಮಾಡಬಹುದು. ಸರ್ಚ್ ರೋಬೋಟ್ robots.txt ಫೈಲ್ ಅನ್ನು ಪ್ರವೇಶಿಸಿದಾಗ ಮತ್ತು ಸೈಟ್‌ಮ್ಯಾಪ್ XML ಫೈಲ್‌ಗೆ ಲಿಂಕ್ ಅನ್ನು ನೋಡಿದಾಗ, ಸೈಟ್‌ನಲ್ಲಿ ಲಭ್ಯವಿರುವ ಎಲ್ಲಾ URL ಗಳು ಮತ್ತು ಸಂಪನ್ಮೂಲಗಳನ್ನು ಹುಡುಕಲು ಅದು ಈ ಫೈಲ್ ಅನ್ನು ಬಳಸಬಹುದು. ನಿರ್ದೇಶನವನ್ನು ಈ ಸ್ವರೂಪದಲ್ಲಿ ನಿರ್ದಿಷ್ಟಪಡಿಸಲಾಗಿದೆ:

Sitemap: https://yoursite.com/filesitemap.xml

ಈ ನಿಯಮವನ್ನು ಸಾಮಾನ್ಯವಾಗಿ ನಿರ್ದಿಷ್ಟ ಬಳಕೆದಾರ-ಏಜೆಂಟ್‌ಗೆ ಜೋಡಿಸದೆ ಡಾಕ್ಯುಮೆಂಟ್‌ನ ಕೊನೆಯಲ್ಲಿ ಇರಿಸಲಾಗುತ್ತದೆ ಮತ್ತು ವಿನಾಯಿತಿ ಇಲ್ಲದೆ ಎಲ್ಲಾ ರೋಬೋಟ್‌ಗಳಿಂದ ಪ್ರಕ್ರಿಯೆಗೊಳಿಸಲಾಗುತ್ತದೆ. ಸೈಟ್ ಮಾಲೀಕರು sitemap.xml ಅನ್ನು ಬಳಸದಿದ್ದರೆ, ನಿಯಮವನ್ನು ಸೇರಿಸುವ ಅಗತ್ಯವಿಲ್ಲ.

ಕಾನ್ಫಿಗರ್ ಮಾಡಲಾದ Robots.txt ನ ಉದಾಹರಣೆಗಳು

WordPress ಗಾಗಿ Robots.txt ಅನ್ನು ಹೊಂದಿಸುವುದು

ಈ ವಿಭಾಗದಲ್ಲಿ, ನಾವು WordPress ಗಾಗಿ ಸಿದ್ಧವಾದ ಸಂರಚನೆಯನ್ನು ಪರಿಗಣಿಸುತ್ತೇವೆ. ಗೌಪ್ಯ ಡೇಟಾಗೆ ಪ್ರವೇಶವನ್ನು ನಿರ್ಬಂಧಿಸುವುದು ಮತ್ತು ಮುಖ್ಯ ಪುಟಗಳಿಗೆ ಪ್ರವೇಶವನ್ನು ಅನುಮತಿಸುವುದನ್ನು ನಾವು ಅನ್ವೇಷಿಸುತ್ತೇವೆ.

ಸಿದ್ಧ ಪರಿಹಾರವಾಗಿ, ನೀವು ಈ ಕೆಳಗಿನ ಕೋಡ್ ಅನ್ನು ಬಳಸಬಹುದು:

User-agent: *
# Block access to files containing confidential data
Disallow: /cgi-bin
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php

# Allow access to the main site pages
Allow: /wp-content/uploads/
Allow: /sitemap.xml
Allow: /feed/
Allow: /trackback/
Allow: /comments/feed/
Allow: /category/*/*
Allow: /tag/*

# Prohibit the indexing of old versions of posts and parameterized queries to avoid content duplication or suboptimal indexing.
Disallow: /*?*
Disallow: /?s=*
Disallow: /?p=*
Disallow: /?page_id=*
Disallow: /?cat=*
Disallow: /?tag=*

# Include the sitemap (location needs to be replaced with your own)
Sitemap: http://yourdomain.com/sitemap.xml

ಎಲ್ಲಾ ನಿರ್ದೇಶನಗಳು ಕಾಮೆಂಟ್‌ಗಳೊಂದಿಗೆ ಇದ್ದರೂ, ತೀರ್ಮಾನಗಳನ್ನು ಆಳವಾಗಿ ಪರಿಶೀಲಿಸೋಣ.

1. ರೋಬೋಟ್‌ಗಳು ಸೂಕ್ಷ್ಮ ಫೈಲ್‌ಗಳು ಮತ್ತು ಡೈರೆಕ್ಟರಿಗಳನ್ನು ಸೂಚಿಕೆ ಮಾಡುವುದಿಲ್ಲ.
2. ಅದೇ ಸಮಯದಲ್ಲಿ, ಸೈಟ್‌ನ ಮುಖ್ಯ ಪುಟಗಳು ಮತ್ತು ಸಂಪನ್ಮೂಲಗಳಿಗೆ ರೋಬೋಟ್‌ಗಳಿಗೆ ಪ್ರವೇಶವನ್ನು ಅನುಮತಿಸಲಾಗಿದೆ.
3. ವಿಷಯ ನಕಲು ಮಾಡುವುದನ್ನು ತಡೆಯಲು ಪೋಸ್ಟ್‌ಗಳ ಹಳೆಯ ಆವೃತ್ತಿಗಳು ಮತ್ತು ಪ್ಯಾರಾಮೀಟರ್ ಮಾಡಿದ ಪ್ರಶ್ನೆಗಳನ್ನು ಸೂಚಿಕೆ ಮಾಡುವುದರ ಮೇಲೆ ನಿಷೇಧವನ್ನು ನಿಗದಿಪಡಿಸಲಾಗಿದೆ.
4. ಸುಧಾರಿತ ಸೂಚಿಕೆಗಾಗಿ ಸೈಟ್‌ಮ್ಯಾಪ್‌ನ ಸ್ಥಳವನ್ನು ಸೂಚಿಸಲಾಗಿದೆ.

ಹೀಗಾಗಿ, ನಾವು ಸಿದ್ಧ ಸಂರಚನೆಯ ಸಾಮಾನ್ಯ ಉದಾಹರಣೆಯನ್ನು ಪರಿಗಣಿಸಿದ್ದೇವೆ, ಇದರಲ್ಲಿ ಕೆಲವು ಸೂಕ್ಷ್ಮ ಫೈಲ್‌ಗಳು ಮತ್ತು ಮಾರ್ಗಗಳನ್ನು ಇಂಡೆಕ್ಸಿಂಗ್‌ನಿಂದ ಮರೆಮಾಡಲಾಗಿದೆ, ಆದರೆ ಮುಖ್ಯ ಡೈರೆಕ್ಟರಿಗಳನ್ನು ಪ್ರವೇಶಿಸಬಹುದು.

ಅನೇಕ ಜನಪ್ರಿಯ CMS ಅಥವಾ ಕಸ್ಟಮ್-ಲಿಖಿತ ಸೈಟ್‌ಗಳಿಗಿಂತ ಭಿನ್ನವಾಗಿ, ವರ್ಡ್ಪ್ರೆಸ್ robots.txt ಫೈಲ್‌ನ ರಚನೆ ಮತ್ತು ನಿರ್ವಹಣೆಯನ್ನು ಸುಗಮಗೊಳಿಸುವ ಹಲವಾರು ಪ್ಲಗಿನ್‌ಗಳನ್ನು ಹೊಂದಿದೆ. ಈ ಉದ್ದೇಶಕ್ಕಾಗಿ ಜನಪ್ರಿಯ ಪರಿಹಾರಗಳಲ್ಲಿ ಒಂದು Yoast ಎಸ್ಇಒ.

ಅದನ್ನು ಸ್ಥಾಪಿಸಲು, ನೀವು ಹೀಗೆ ಮಾಡಬೇಕು:

1. ವರ್ಡ್ಪ್ರೆಸ್ ನಿರ್ವಾಹಕ ಫಲಕಕ್ಕೆ ಹೋಗಿ.
2. "ಪ್ಲಗಿನ್‌ಗಳು" ವಿಭಾಗದಲ್ಲಿ, "ಹೊಸದನ್ನು ಸೇರಿಸಿ" ಆಯ್ಕೆಮಾಡಿ.
3. "Yoast SEO" ಪ್ಲಗಿನ್ ಅನ್ನು ಹುಡುಕಿ ಮತ್ತು ಅದನ್ನು ಸ್ಥಾಪಿಸಿ.
4. ಪ್ಲಗಿನ್ ಸಕ್ರಿಯಗೊಳಿಸಿ.

robots.txt ಫೈಲ್ ಅನ್ನು ಸಂಪಾದಿಸಲು, ನೀವು ಹೀಗೆ ಮಾಡಬೇಕಾಗಿದೆ:

1. ನಿರ್ವಾಹಕ ಫಲಕದ ಪಕ್ಕದ ಮೆನುವಿನಲ್ಲಿರುವ "SEO" ವಿಭಾಗಕ್ಕೆ ಹೋಗಿ "ಸಾಮಾನ್ಯ" ಆಯ್ಕೆಮಾಡಿ.
2. "ಪರಿಕರಗಳು" ಟ್ಯಾಬ್‌ಗೆ ಹೋಗಿ.
3. "ಫೈಲ್ಸ್" ಮೇಲೆ ಕ್ಲಿಕ್ ಮಾಡಿ. ಇಲ್ಲಿ ನೀವು robots.txt ಸೇರಿದಂತೆ ವಿವಿಧ ಫೈಲ್‌ಗಳನ್ನು ನೋಡುತ್ತೀರಿ.
4. ನಿಮ್ಮ ಅವಶ್ಯಕತೆಗಳಿಗೆ ಅನುಗುಣವಾಗಿ ಅಗತ್ಯವಾದ ಸೂಚಿಕೆ ನಿಯಮಗಳನ್ನು ನಮೂದಿಸಿ.
5. ಫೈಲ್‌ಗೆ ಬದಲಾವಣೆಗಳನ್ನು ಮಾಡಿದ ನಂತರ, "robots.txt ಗೆ ಬದಲಾವಣೆಗಳನ್ನು ಉಳಿಸು" ಬಟನ್ ಕ್ಲಿಕ್ ಮಾಡಿ.

WordPress ಗಾಗಿ ಪ್ರತಿಯೊಂದು robots.txt ಫೈಲ್ ಸೆಟ್ಟಿಂಗ್ ವಿಶಿಷ್ಟವಾಗಿದೆ ಮತ್ತು ಸೈಟ್‌ನ ನಿರ್ದಿಷ್ಟ ಅಗತ್ಯತೆಗಳು ಮತ್ತು ವೈಶಿಷ್ಟ್ಯಗಳನ್ನು ಅವಲಂಬಿಸಿರುತ್ತದೆ ಎಂಬುದನ್ನು ಗಮನಿಸಿ. ವಿನಾಯಿತಿ ಇಲ್ಲದೆ ಎಲ್ಲಾ ಸಂಪನ್ಮೂಲಗಳಿಗೆ ಸರಿಹೊಂದುವ ಯಾವುದೇ ಸಾರ್ವತ್ರಿಕ ಟೆಂಪ್ಲೇಟ್ ಇಲ್ಲ. ಆದಾಗ್ಯೂ, ಈ ಉದಾಹರಣೆ ಮತ್ತು ಪ್ಲಗಿನ್‌ಗಳ ಬಳಕೆಯು ಕಾರ್ಯವನ್ನು ಗಮನಾರ್ಹವಾಗಿ ಸರಳಗೊಳಿಸುತ್ತದೆ.

Robots.txt ನ ಹಸ್ತಚಾಲಿತ ಸೆಟ್ಟಿಂಗ್

ಅದೇ ರೀತಿ, ಸೈಟ್‌ಗೆ ಸಿದ್ಧವಾದ CMS ಇಲ್ಲದಿದ್ದರೂ ಸಹ ನೀವು ಫೈಲ್‌ನ ನಿಮ್ಮ ಸಂರಚನೆಯನ್ನು ಹೊಂದಿಸಬಹುದು. ಬಳಕೆದಾರರು robots.txt ಫೈಲ್ ಅನ್ನು ಸೈಟ್‌ನ ಮೂಲ ಡೈರೆಕ್ಟರಿಗೆ ಅಪ್‌ಲೋಡ್ ಮಾಡಬೇಕಾಗುತ್ತದೆ ಮತ್ತು ಅಗತ್ಯ ನಿಯಮಗಳನ್ನು ನಿರ್ದಿಷ್ಟಪಡಿಸಬೇಕಾಗುತ್ತದೆ. ಲಭ್ಯವಿರುವ ಎಲ್ಲಾ ನಿರ್ದೇಶನಗಳನ್ನು ಸೂಚಿಸುವ ಉದಾಹರಣೆಗಳಲ್ಲಿ ಒಂದು ಇಲ್ಲಿದೆ:

User-agent: *
Disallow: /admin/             # Prohibit access to the administrative panel
Disallow: /secret.html	      # Prohibit access to a specific file
Disallow: /*.pdf$	      # Prohibit indexing of certain file types
Disallow: /*?sort=	      # Prohibit indexing of certain URL parameters
Allow: /public/		      # Allow access to public pages
Sitemap: http://yourdomain.com/sitemap.xml # Include the sitemap

Robots.txt ಫೈಲ್ ಅನ್ನು ಹೇಗೆ ಪರಿಶೀಲಿಸುವುದು

ದೋಷಗಳಿಗಾಗಿ robots.txt ಫೈಲ್ ಅನ್ನು ಪರಿಶೀಲಿಸುವಾಗ ಸಹಾಯಕ ಸಾಧನವಾಗಿ, ಆನ್‌ಲೈನ್ ಸೇವೆಗಳನ್ನು ಬಳಸಲು ಶಿಫಾರಸು ಮಾಡಲಾಗಿದೆ.

ಉದಾಹರಣೆಯನ್ನು ಪರಿಗಣಿಸಿ ಯಾಂಡೆಕ್ಸ್ ವೆಬ್‌ಮಾಸ್ಟರ್ ಸೇವೆ. ಪರಿಶೀಲಿಸಲು, ಫೈಲ್ ಈಗಾಗಲೇ ಸರ್ವರ್‌ಗೆ ಅಪ್‌ಲೋಡ್ ಆಗಿದ್ದರೆ, ಅನುಗುಣವಾದ ಕ್ಷೇತ್ರದಲ್ಲಿ ನಿಮ್ಮ ಸೈಟ್‌ಗೆ ಲಿಂಕ್ ಅನ್ನು ಸೇರಿಸಬೇಕಾಗುತ್ತದೆ. ಅದರ ನಂತರ, ಉಪಕರಣವು ಫೈಲ್ ಕಾನ್ಫಿಗರೇಶನ್ ಅನ್ನು ಲೋಡ್ ಮಾಡುತ್ತದೆ. ಕಾನ್ಫಿಗರೇಶನ್ ಅನ್ನು ಹಸ್ತಚಾಲಿತವಾಗಿ ನಮೂದಿಸಲು ಒಂದು ಆಯ್ಕೆಯೂ ಇದೆ:

ಮುಂದೆ, ನೀವು ಚೆಕ್ ಅನ್ನು ವಿನಂತಿಸಬೇಕು ಮತ್ತು ಫಲಿತಾಂಶಗಳಿಗಾಗಿ ಕಾಯಬೇಕು:

ನೀಡಿರುವ ಉದಾಹರಣೆಯಲ್ಲಿ, ಯಾವುದೇ ದೋಷಗಳಿಲ್ಲ. ಯಾವುದಾದರೂ ದೋಷಗಳಿದ್ದರೆ, ಸೇವೆಯು ಸಮಸ್ಯಾತ್ಮಕ ಪ್ರದೇಶಗಳನ್ನು ಮತ್ತು ಅವುಗಳನ್ನು ಸರಿಪಡಿಸುವ ಮಾರ್ಗಗಳನ್ನು ತೋರಿಸುತ್ತದೆ.

ತೀರ್ಮಾನ

ಸಂಕ್ಷಿಪ್ತವಾಗಿ ಹೇಳುವುದಾದರೆ, ಸೈಟ್‌ನಲ್ಲಿ ಟ್ರಾಫಿಕ್ ಅನ್ನು ನಿಯಂತ್ರಿಸಲು robots.txt ಫೈಲ್ ಎಷ್ಟು ಮುಖ್ಯ ಎಂಬುದನ್ನು ನಾವು ಒತ್ತಿ ಹೇಳಿದ್ದೇವೆ. ಸರ್ಚ್ ಇಂಜಿನ್‌ಗಳು ಪುಟಗಳನ್ನು ಹೇಗೆ ಸೂಚ್ಯಂಕ ಮಾಡುತ್ತವೆ ಎಂಬುದನ್ನು ನಿರ್ವಹಿಸಲು ಅದನ್ನು ಸರಿಯಾಗಿ ಹೊಂದಿಸುವುದು ಹೇಗೆ ಎಂಬುದರ ಕುರಿತು ನಾವು ಸಲಹೆಯನ್ನು ನೀಡಿದ್ದೇವೆ. ಇದರ ಜೊತೆಗೆ, ಈ ಫೈಲ್ ಅನ್ನು ಸರಿಯಾಗಿ ಬಳಸುವುದು ಹೇಗೆ ಎಂಬುದರ ಉದಾಹರಣೆಗಳನ್ನು ಸಹ ನಾವು ನೋಡಿದ್ದೇವೆ ಮತ್ತು ಎಲ್ಲಾ ಸೆಟ್ಟಿಂಗ್‌ಗಳು ಸರಿಯಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತಿವೆಯೇ ಎಂದು ಪರಿಶೀಲಿಸುವುದು ಹೇಗೆ ಎಂಬುದರ ಕುರಿತು ಸೂಚನೆಗಳನ್ನು ನೀಡಿದ್ದೇವೆ.