Robots.txt

ਇਸ ਲੇਖ ਵਿੱਚ, ਅਸੀਂ ਵੈੱਬਸਾਈਟਾਂ 'ਤੇ ਟ੍ਰੈਫਿਕ ਦੇ ਪ੍ਰਬੰਧਨ ਵਿੱਚ robots.txt ਫਾਈਲ ਦੀ ਮੁੱਖ ਭੂਮਿਕਾ ਦੀ ਜਾਂਚ ਕਰਾਂਗੇ, ਇਸਦੀ ਮੌਜੂਦਗੀ ਦੀ ਜ਼ਰੂਰਤ 'ਤੇ ਚਰਚਾ ਕਰਾਂਗੇ, ਅਤੇ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਪੰਨਾ ਇੰਡੈਕਸਿੰਗ ਪ੍ਰਬੰਧਨ ਲਈ ਇਸਨੂੰ ਸੈੱਟ ਕਰਨ ਲਈ ਸਿਫ਼ਾਰਸ਼ਾਂ ਪ੍ਰਦਾਨ ਕਰਾਂਗੇ। ਇਸ ਤੋਂ ਇਲਾਵਾ, ਅਸੀਂ robots.txt ਫਾਈਲ ਵਿੱਚ ਸਹੀ ਨਿਰਦੇਸ਼ਾਂ ਦੀ ਵਰਤੋਂ ਦੀਆਂ ਉਦਾਹਰਣਾਂ ਦਾ ਵਿਸ਼ਲੇਸ਼ਣ ਕਰਾਂਗੇ ਅਤੇ ਇਸ ਦੀਆਂ ਸੈਟਿੰਗਾਂ ਦੀ ਸ਼ੁੱਧਤਾ ਦੀ ਜਾਂਚ ਕਰਨ ਦੇ ਤਰੀਕੇ ਬਾਰੇ ਇੱਕ ਗਾਈਡ ਪ੍ਰਦਾਨ ਕਰਾਂਗੇ।

Robots.txt ਦੀ ਲੋੜ ਕਿਉਂ ਹੈ?

Robots.txt ਇੱਕ ਫਾਈਲ ਹੈ ਜੋ ਸਾਈਟ ਦੇ ਸਰਵਰ 'ਤੇ ਇਸਦੀ ਰੂਟ ਡਾਇਰੈਕਟਰੀ ਵਿੱਚ ਸਥਿਤ ਹੈ। ਇਹ ਖੋਜ ਇੰਜਣ ਰੋਬੋਟਾਂ ਨੂੰ ਸੂਚਿਤ ਕਰਦੀ ਹੈ ਕਿ ਉਹਨਾਂ ਨੂੰ ਸਰੋਤ ਦੀ ਸਮੱਗਰੀ ਨੂੰ ਕਿਵੇਂ ਸਕੈਨ ਕਰਨਾ ਚਾਹੀਦਾ ਹੈ। ਇਸ ਫਾਈਲ ਦੀ ਸਹੀ ਵਰਤੋਂ ਅਣਚਾਹੇ ਪੰਨਿਆਂ ਦੀ ਇੰਡੈਕਸਿੰਗ ਨੂੰ ਰੋਕਣ ਵਿੱਚ ਮਦਦ ਕਰਦੀ ਹੈ, ਗੁਪਤ ਡੇਟਾ ਦੀ ਰੱਖਿਆ ਕਰਦੀ ਹੈ, ਅਤੇ SEO ਅਨੁਕੂਲਨ ਦੀ ਕੁਸ਼ਲਤਾ ਅਤੇ ਖੋਜ ਨਤੀਜਿਆਂ ਵਿੱਚ ਸਾਈਟ ਦੀ ਦਿੱਖ ਨੂੰ ਬਿਹਤਰ ਬਣਾ ਸਕਦੀ ਹੈ। robots.txt ਦੀ ਸੰਰਚਨਾ ਨਿਰਦੇਸ਼ਾਂ ਦੁਆਰਾ ਕੀਤੀ ਜਾਂਦੀ ਹੈ, ਜਿਸਨੂੰ ਅਸੀਂ ਅੱਗੇ ਦੇਖਾਂਗੇ।

Robots.txt ਵਿੱਚ ਨਿਰਦੇਸ਼ ਸੈੱਟ ਕਰਨਾ

ਉਪਭੋਗਤਾ ਏਜੰਟ

ਪ੍ਰਾਇਮਰੀ ਨਿਰਦੇਸ਼ ਨੂੰ ਯੂਜ਼ਰ-ਏਜੰਟ ਕਿਹਾ ਜਾਂਦਾ ਹੈ, ਜਿੱਥੇ ਅਸੀਂ ਰੋਬੋਟਾਂ ਲਈ ਇੱਕ ਵਿਸ਼ੇਸ਼ ਕੀਵਰਡ ਸੈੱਟ ਕਰਦੇ ਹਾਂ। ਇਸ ਸ਼ਬਦ ਦਾ ਪਤਾ ਲਗਾਉਣ 'ਤੇ, ਰੋਬੋਟ ਸਮਝਦਾ ਹੈ ਕਿ ਇਹ ਨਿਯਮ ਖਾਸ ਤੌਰ 'ਤੇ ਇਸਦੇ ਲਈ ਹੈ।

robots.txt ਫਾਈਲ ਵਿੱਚ ਯੂਜ਼ਰ-ਏਜੰਟ ਦੀ ਵਰਤੋਂ ਦੀ ਇੱਕ ਉਦਾਹਰਣ 'ਤੇ ਵਿਚਾਰ ਕਰੋ:

User-Agent: *
Disallow: /private/

ਇਹ ਉਦਾਹਰਣ ਦਰਸਾਉਂਦੀ ਹੈ ਕਿ ਸਾਰੇ ਖੋਜ ਰੋਬੋਟ (" * " ਚਿੰਨ੍ਹ ਦੁਆਰਾ ਦਰਸਾਏ ਗਏ ) ਨੂੰ /private/ ਡਾਇਰੈਕਟਰੀ ਵਿੱਚ ਸਥਿਤ ਪੰਨਿਆਂ ਨੂੰ ਨਜ਼ਰਅੰਦਾਜ਼ ਕਰਨਾ ਚਾਹੀਦਾ ਹੈ ।

ਖਾਸ ਖੋਜ ਰੋਬੋਟਾਂ ਲਈ ਹਦਾਇਤ ਇਸ ਤਰ੍ਹਾਂ ਦਿਖਾਈ ਦਿੰਦੀ ਹੈ:

User-Agent: Googlebot
Disallow: /admin/

User-Agent: Bingbot
Disallow: /private/

ਇਸ ਸਥਿਤੀ ਵਿੱਚ, Googlebot ਖੋਜ ਰੋਬੋਟ ਨੂੰ /admin/ ਡਾਇਰੈਕਟਰੀ ਵਿੱਚ ਪੰਨਿਆਂ ਨੂੰ ਨਜ਼ਰਅੰਦਾਜ਼ ਕਰਨਾ ਚਾਹੀਦਾ ਹੈ, ਜਦੋਂ ਕਿ Bingbot ਨੂੰ /private/ ਡਾਇਰੈਕਟਰੀ ਵਿੱਚ ਪੰਨਿਆਂ ਨੂੰ ਨਜ਼ਰਅੰਦਾਜ਼ ਕਰਨਾ ਚਾਹੀਦਾ ਹੈ ।

ਅਸਵੀਕਾਰ ਕਰੋ

ਡਿਸਆਲੋ ਖੋਜ ਰੋਬੋਟਾਂ ਨੂੰ ਦੱਸਦਾ ਹੈ ਕਿ ਵੈੱਬਸਾਈਟ 'ਤੇ ਕਿਹੜੇ URL ਛੱਡਣੇ ਹਨ ਜਾਂ ਇੰਡੈਕਸ ਨਹੀਂ ਕਰਨੇ ਹਨ। ਇਹ ਨਿਰਦੇਸ਼ ਉਦੋਂ ਉਪਯੋਗੀ ਹੁੰਦਾ ਹੈ ਜਦੋਂ ਤੁਸੀਂ ਸੰਵੇਦਨਸ਼ੀਲ ਡੇਟਾ ਜਾਂ ਘੱਟ-ਗੁਣਵੱਤਾ ਵਾਲੇ ਸਮੱਗਰੀ ਪੰਨਿਆਂ ਨੂੰ ਖੋਜ ਇੰਜਣਾਂ ਦੁਆਰਾ ਇੰਡੈਕਸ ਕੀਤੇ ਜਾਣ ਤੋਂ ਲੁਕਾਉਣਾ ਚਾਹੁੰਦੇ ਹੋ। ਜੇਕਰ robots.txt ਫਾਈਲ ਵਿੱਚ ਐਂਟਰੀ ਡਿਸਆਲੋ: /directory/ ਹੈ, ਤਾਂ ਰੋਬੋਟਾਂ ਨੂੰ ਨਿਰਧਾਰਤ ਡਾਇਰੈਕਟਰੀ ਦੀ ਸਮੱਗਰੀ ਤੱਕ ਪਹੁੰਚ ਤੋਂ ਇਨਕਾਰ ਕਰ ਦਿੱਤਾ ਜਾਵੇਗਾ। ਉਦਾਹਰਣ ਵਜੋਂ,

User-agent: *
Disallow: /admin/

ਇਹ ਮੁੱਲ ਦਰਸਾਉਂਦਾ ਹੈ ਕਿ ਸਾਰੇ ਰੋਬੋਟਾਂ ਨੂੰ /admin/ ਨਾਲ ਸ਼ੁਰੂ ਹੋਣ ਵਾਲੇ URL ਨੂੰ ਨਜ਼ਰਅੰਦਾਜ਼ ਕਰਨਾ ਚਾਹੀਦਾ ਹੈ । ਪੂਰੀ ਸਾਈਟ ਨੂੰ ਕਿਸੇ ਵੀ ਰੋਬੋਟ ਦੁਆਰਾ ਇੰਡੈਕਸ ਕੀਤੇ ਜਾਣ ਤੋਂ ਰੋਕਣ ਲਈ, ਰੂਟ ਡਾਇਰੈਕਟਰੀ ਨੂੰ ਨਿਯਮ ਦੇ ਤੌਰ 'ਤੇ ਸੈੱਟ ਕਰੋ:

User-agent: *
Disallow: /

ਦੀ ਇਜ਼ਾਜਤ

"Allow" ਮੁੱਲ "Disallow" ਦੇ ਉਲਟ ਕੰਮ ਕਰਦਾ ਹੈ: ਇਹ ਖੋਜ ਰੋਬੋਟਾਂ ਨੂੰ ਇੱਕ ਖਾਸ ਪੰਨੇ ਜਾਂ ਡਾਇਰੈਕਟਰੀ ਤੱਕ ਪਹੁੰਚ ਦੀ ਆਗਿਆ ਦਿੰਦਾ ਹੈ, ਭਾਵੇਂ robots.txt ਫਾਈਲ ਵਿੱਚ ਹੋਰ ਨਿਰਦੇਸ਼ ਇਸ ਤੱਕ ਪਹੁੰਚ ਨੂੰ ਵਰਜਿਤ ਕਰਦੇ ਹਨ।

ਇੱਕ ਉਦਾਹਰਨ 'ਤੇ ਗੌਰ ਕਰੋ:

User-agent: *
Disallow: /admin/
Allow: /admin/login.html

ਇਸ ਉਦਾਹਰਨ ਵਿੱਚ, ਇਹ ਦਰਸਾਇਆ ਗਿਆ ਹੈ ਕਿ ਰੋਬੋਟਾਂ ਨੂੰ /admin/ ਡਾਇਰੈਕਟਰੀ ਤੱਕ ਪਹੁੰਚ ਦੀ ਇਜਾਜ਼ਤ ਨਹੀਂ ਹੈ, /admin/login.html ਪੰਨੇ ਨੂੰ ਛੱਡ ਕੇ, ਜੋ ਕਿ ਇੰਡੈਕਸਿੰਗ ਅਤੇ ਸਕੈਨਿੰਗ ਲਈ ਉਪਲਬਧ ਹੈ।

Robots.txt ਅਤੇ ਸਾਈਟਮੈਪ

ਸਾਈਟਮੈਪ ਇੱਕ XML ਫਾਈਲ ਹੈ ਜਿਸ ਵਿੱਚ ਸਾਈਟ 'ਤੇ ਸਾਰੇ ਪੰਨਿਆਂ ਅਤੇ ਫਾਈਲਾਂ ਦੇ URL ਦੀ ਸੂਚੀ ਹੁੰਦੀ ਹੈ ਜਿਨ੍ਹਾਂ ਨੂੰ ਖੋਜ ਇੰਜਣਾਂ ਦੁਆਰਾ ਇੰਡੈਕਸ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ। ਜਦੋਂ ਇੱਕ ਖੋਜ ਰੋਬੋਟ robots.txt ਫਾਈਲ ਤੱਕ ਪਹੁੰਚ ਕਰਦਾ ਹੈ ਅਤੇ ਇੱਕ ਸਾਈਟਮੈਪ XML ਫਾਈਲ ਦਾ ਲਿੰਕ ਦੇਖਦਾ ਹੈ, ਤਾਂ ਇਹ ਸਾਈਟ 'ਤੇ ਸਾਰੇ ਉਪਲਬਧ URL ਅਤੇ ਸਰੋਤਾਂ ਨੂੰ ਲੱਭਣ ਲਈ ਇਸ ਫਾਈਲ ਦੀ ਵਰਤੋਂ ਕਰ ਸਕਦਾ ਹੈ। ਨਿਰਦੇਸ਼ ਇਸ ਫਾਰਮੈਟ ਵਿੱਚ ਦਰਸਾਇਆ ਗਿਆ ਹੈ:

Sitemap: https://yoursite.com/filesitemap.xml

ਇਹ ਨਿਯਮ ਆਮ ਤੌਰ 'ਤੇ ਦਸਤਾਵੇਜ਼ ਦੇ ਅੰਤ ਵਿੱਚ ਕਿਸੇ ਖਾਸ ਉਪਭੋਗਤਾ-ਏਜੰਟ ਨਾਲ ਜੁੜੇ ਬਿਨਾਂ ਰੱਖਿਆ ਜਾਂਦਾ ਹੈ ਅਤੇ ਬਿਨਾਂ ਕਿਸੇ ਅਪਵਾਦ ਦੇ ਸਾਰੇ ਰੋਬੋਟਾਂ ਦੁਆਰਾ ਪ੍ਰਕਿਰਿਆ ਕੀਤਾ ਜਾਂਦਾ ਹੈ। ਜੇਕਰ ਸਾਈਟ ਮਾਲਕ sitemap.xml ਦੀ ਵਰਤੋਂ ਨਹੀਂ ਕਰਦਾ ਹੈ, ਤਾਂ ਨਿਯਮ ਜੋੜਨਾ ਜ਼ਰੂਰੀ ਨਹੀਂ ਹੈ।

ਕੌਂਫਿਗਰਡ Robots.txt ਦੀਆਂ ਉਦਾਹਰਣਾਂ

ਵਰਡਪ੍ਰੈਸ ਲਈ Robots.txt ਸੈੱਟਅੱਪ ਕਰਨਾ

ਇਸ ਭਾਗ ਵਿੱਚ, ਅਸੀਂ ਵਰਡਪ੍ਰੈਸ ਲਈ ਇੱਕ ਤਿਆਰ ਸੰਰਚਨਾ 'ਤੇ ਵਿਚਾਰ ਕਰਾਂਗੇ। ਅਸੀਂ ਗੁਪਤ ਡੇਟਾ ਤੱਕ ਪਹੁੰਚ ਨੂੰ ਰੋਕਣ ਅਤੇ ਮੁੱਖ ਪੰਨਿਆਂ ਤੱਕ ਪਹੁੰਚ ਦੀ ਆਗਿਆ ਦੇਣ ਦੀ ਪੜਚੋਲ ਕਰਾਂਗੇ।

ਇੱਕ ਤਿਆਰ ਹੱਲ ਵਜੋਂ, ਤੁਸੀਂ ਹੇਠਾਂ ਦਿੱਤੇ ਕੋਡ ਦੀ ਵਰਤੋਂ ਕਰ ਸਕਦੇ ਹੋ:

User-agent: *
# Block access to files containing confidential data
Disallow: /cgi-bin
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php

# Allow access to the main site pages
Allow: /wp-content/uploads/
Allow: /sitemap.xml
Allow: /feed/
Allow: /trackback/
Allow: /comments/feed/
Allow: /category/*/*
Allow: /tag/*

# Prohibit the indexing of old versions of posts and parameterized queries to avoid content duplication or suboptimal indexing.
Disallow: /*?*
Disallow: /?s=*
Disallow: /?p=*
Disallow: /?page_id=*
Disallow: /?cat=*
Disallow: /?tag=*

# Include the sitemap (location needs to be replaced with your own)
Sitemap: http://yourdomain.com/sitemap.xml

ਹਾਲਾਂਕਿ ਸਾਰੇ ਨਿਰਦੇਸ਼ ਟਿੱਪਣੀਆਂ ਦੇ ਨਾਲ ਹਨ, ਆਓ ਸਿੱਟਿਆਂ ਦੀ ਡੂੰਘਾਈ ਨਾਲ ਜਾਂਚ ਕਰੀਏ।

1. ਰੋਬੋਟ ਸੰਵੇਦਨਸ਼ੀਲ ਫਾਈਲਾਂ ਅਤੇ ਡਾਇਰੈਕਟਰੀਆਂ ਨੂੰ ਇੰਡੈਕਸ ਨਹੀਂ ਕਰਨਗੇ।
2. ਇਸ ਦੇ ਨਾਲ ਹੀ, ਰੋਬੋਟਾਂ ਨੂੰ ਸਾਈਟ ਦੇ ਮੁੱਖ ਪੰਨਿਆਂ ਅਤੇ ਸਰੋਤਾਂ ਤੱਕ ਪਹੁੰਚ ਦੀ ਆਗਿਆ ਹੈ।
3. ਸਮੱਗਰੀ ਦੀ ਡੁਪਲੀਕੇਸ਼ਨ ਨੂੰ ਰੋਕਣ ਲਈ ਪੋਸਟਾਂ ਦੇ ਪੁਰਾਣੇ ਸੰਸਕਰਣਾਂ ਅਤੇ ਪੈਰਾਮੀਟਰਾਈਜ਼ਡ ਪੁੱਛਗਿੱਛਾਂ ਨੂੰ ਇੰਡੈਕਸ ਕਰਨ 'ਤੇ ਪਾਬੰਦੀ ਲਗਾਈ ਗਈ ਹੈ।
4. ਸਾਈਟਮੈਪ ਦੀ ਸਥਿਤੀ ਬਿਹਤਰ ਇੰਡੈਕਸਿੰਗ ਲਈ ਦਰਸਾਈ ਗਈ ਹੈ।

ਇਸ ਤਰ੍ਹਾਂ, ਅਸੀਂ ਇੱਕ ਤਿਆਰ ਸੰਰਚਨਾ ਦੀ ਇੱਕ ਆਮ ਉਦਾਹਰਣ 'ਤੇ ਵਿਚਾਰ ਕੀਤਾ ਹੈ, ਜਿਸ ਵਿੱਚ ਕੁਝ ਸੰਵੇਦਨਸ਼ੀਲ ਫਾਈਲਾਂ ਅਤੇ ਮਾਰਗ ਇੰਡੈਕਸਿੰਗ ਤੋਂ ਲੁਕੇ ਹੋਏ ਹਨ, ਪਰ ਮੁੱਖ ਡਾਇਰੈਕਟਰੀਆਂ ਪਹੁੰਚਯੋਗ ਹਨ।

ਕਈ ਮਸ਼ਹੂਰ CMS ਜਾਂ ਕਸਟਮ-ਲਿਖੀਆਂ ਸਾਈਟਾਂ ਦੇ ਉਲਟ, ਵਰਡਪ੍ਰੈਸ ਵਿੱਚ ਕਈ ਪਲੱਗਇਨ ਹਨ ਜੋ robots.txt ਫਾਈਲ ਦੀ ਸਿਰਜਣਾ ਅਤੇ ਪ੍ਰਬੰਧਨ ਦੀ ਸਹੂਲਤ ਦਿੰਦੇ ਹਨ। ਇਸ ਉਦੇਸ਼ ਲਈ ਪ੍ਰਸਿੱਧ ਹੱਲਾਂ ਵਿੱਚੋਂ ਇੱਕ Yoast SEO ਹੈ ।

ਇਸਨੂੰ ਸਥਾਪਿਤ ਕਰਨ ਲਈ, ਤੁਹਾਨੂੰ ਇਹ ਕਰਨ ਦੀ ਲੋੜ ਹੈ:

1. ਵਰਡਪ੍ਰੈਸ ਐਡਮਿਨ ਪੈਨਲ 'ਤੇ ਜਾਓ।
2. "ਪਲੱਗਇਨ" ਭਾਗ ਵਿੱਚ, "ਨਵਾਂ ਸ਼ਾਮਲ ਕਰੋ" ਚੁਣੋ।
3. "Yoast SEO" ਪਲੱਗਇਨ ਲੱਭੋ ਅਤੇ ਇਸਨੂੰ ਸਥਾਪਿਤ ਕਰੋ।
4. ਪਲੱਗਇਨ ਨੂੰ ਸਰਗਰਮ ਕਰੋ.

robots.txt ਫਾਈਲ ਨੂੰ ਸੰਪਾਦਿਤ ਕਰਨ ਲਈ, ਤੁਹਾਨੂੰ ਇਹ ਕਰਨ ਦੀ ਲੋੜ ਹੈ:

1. ਐਡਮਿਨ ਪੈਨਲ ਦੇ ਸਾਈਡ ਮੀਨੂ ਵਿੱਚ "SEO" ਭਾਗ ਵਿੱਚ ਜਾਓ ਅਤੇ "ਜਨਰਲ" ਚੁਣੋ।
2. "ਟੂਲਜ਼" ਟੈਬ 'ਤੇ ਜਾਓ।
3. "ਫਾਈਲਾਂ" 'ਤੇ ਕਲਿੱਕ ਕਰੋ। ਇੱਥੇ ਤੁਸੀਂ ਕਈ ਫਾਈਲਾਂ ਵੇਖੋਗੇ, ਜਿਸ ਵਿੱਚ robots.txt ਵੀ ਸ਼ਾਮਲ ਹੈ।
4. ਆਪਣੀਆਂ ਜ਼ਰੂਰਤਾਂ ਦੇ ਅਨੁਸਾਰ ਜ਼ਰੂਰੀ ਇੰਡੈਕਸਿੰਗ ਨਿਯਮ ਦਰਜ ਕਰੋ।
5. ਫਾਈਲ ਵਿੱਚ ਬਦਲਾਅ ਕਰਨ ਤੋਂ ਬਾਅਦ, "robots.txt ਵਿੱਚ ਬਦਲਾਅ ਸੁਰੱਖਿਅਤ ਕਰੋ" ਬਟਨ 'ਤੇ ਕਲਿੱਕ ਕਰੋ।

ਧਿਆਨ ਦਿਓ ਕਿ ਵਰਡਪ੍ਰੈਸ ਲਈ ਹਰੇਕ robots.txt ਫਾਈਲ ਸੈਟਿੰਗ ਵਿਲੱਖਣ ਹੈ ਅਤੇ ਸਾਈਟ ਦੀਆਂ ਖਾਸ ਜ਼ਰੂਰਤਾਂ ਅਤੇ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ 'ਤੇ ਨਿਰਭਰ ਕਰਦੀ ਹੈ। ਕੋਈ ਵੀ ਯੂਨੀਵਰਸਲ ਟੈਂਪਲੇਟ ਨਹੀਂ ਹੈ ਜੋ ਬਿਨਾਂ ਕਿਸੇ ਅਪਵਾਦ ਦੇ ਸਾਰੇ ਸਰੋਤਾਂ ਦੇ ਅਨੁਕੂਲ ਹੋਵੇ। ਹਾਲਾਂਕਿ, ਇਹ ਉਦਾਹਰਣ ਅਤੇ ਪਲੱਗਇਨਾਂ ਦੀ ਵਰਤੋਂ ਕੰਮ ਨੂੰ ਕਾਫ਼ੀ ਸਰਲ ਬਣਾ ਸਕਦੀ ਹੈ।

Robots.txt ਦੀ ਮੈਨੁਅਲ ਸੈਟਿੰਗ

ਇਸੇ ਤਰ੍ਹਾਂ, ਤੁਸੀਂ ਸਾਈਟ ਲਈ ਤਿਆਰ CMS ਦੀ ਅਣਹੋਂਦ ਵਿੱਚ ਵੀ ਫਾਈਲ ਦੀ ਆਪਣੀ ਸੰਰਚਨਾ ਸੈੱਟ ਕਰ ਸਕਦੇ ਹੋ। ਉਪਭੋਗਤਾ ਨੂੰ ਸਾਈਟ ਦੀ ਰੂਟ ਡਾਇਰੈਕਟਰੀ ਵਿੱਚ robots.txt ਫਾਈਲ ਅਪਲੋਡ ਕਰਨ ਅਤੇ ਜ਼ਰੂਰੀ ਨਿਯਮਾਂ ਨੂੰ ਨਿਰਧਾਰਤ ਕਰਨ ਦੀ ਵੀ ਲੋੜ ਹੁੰਦੀ ਹੈ। ਇੱਥੇ ਇੱਕ ਉਦਾਹਰਣ ਹੈ, ਜਿਸ ਵਿੱਚ ਸਾਰੇ ਉਪਲਬਧ ਨਿਰਦੇਸ਼ ਦਰਸਾਏ ਗਏ ਹਨ:

User-agent: *
Disallow: /admin/             # Prohibit access to the administrative panel
Disallow: /secret.html	      # Prohibit access to a specific file
Disallow: /*.pdf$	      # Prohibit indexing of certain file types
Disallow: /*?sort=	      # Prohibit indexing of certain URL parameters
Allow: /public/		      # Allow access to public pages
Sitemap: http://yourdomain.com/sitemap.xml # Include the sitemap

Robots.txt ਫਾਈਲ ਦੀ ਜਾਂਚ ਕਿਵੇਂ ਕਰੀਏ

robots.txt ਫਾਈਲ ਨੂੰ ਗਲਤੀਆਂ ਲਈ ਚੈੱਕ ਕਰਦੇ ਸਮੇਂ ਇੱਕ ਸਹਾਇਕ ਟੂਲ ਵਜੋਂ, ਔਨਲਾਈਨ ਸੇਵਾਵਾਂ ਦੀ ਵਰਤੋਂ ਕਰਨ ਦੀ ਸਿਫਾਰਸ਼ ਕੀਤੀ ਜਾਂਦੀ ਹੈ।

ਯਾਂਡੇਕਸ ਵੈੱਬਮਾਸਟਰ ਸੇਵਾ ਦੀ ਉਦਾਹਰਣ 'ਤੇ ਗੌਰ ਕਰੋ । ਜਾਂਚ ਕਰਨ ਲਈ, ਤੁਹਾਨੂੰ ਸੰਬੰਧਿਤ ਖੇਤਰ ਵਿੱਚ ਆਪਣੀ ਸਾਈਟ ਦਾ ਲਿੰਕ ਪਾਉਣ ਦੀ ਲੋੜ ਹੈ ਜੇਕਰ ਫਾਈਲ ਪਹਿਲਾਂ ਹੀ ਸਰਵਰ 'ਤੇ ਅਪਲੋਡ ਕੀਤੀ ਗਈ ਹੈ। ਉਸ ਤੋਂ ਬਾਅਦ, ਟੂਲ ਖੁਦ ਫਾਈਲ ਕੌਂਫਿਗਰੇਸ਼ਨ ਲੋਡ ਕਰੇਗਾ। ਕੌਂਫਿਗਰੇਸ਼ਨ ਨੂੰ ਹੱਥੀਂ ਦਰਜ ਕਰਨ ਦਾ ਇੱਕ ਵਿਕਲਪ ਵੀ ਹੈ:

ਅੱਗੇ, ਤੁਹਾਨੂੰ ਇੱਕ ਜਾਂਚ ਦੀ ਬੇਨਤੀ ਕਰਨ ਅਤੇ ਨਤੀਜਿਆਂ ਦੀ ਉਡੀਕ ਕਰਨ ਦੀ ਲੋੜ ਹੈ:

ਦਿੱਤੀ ਗਈ ਉਦਾਹਰਣ ਵਿੱਚ, ਕੋਈ ਗਲਤੀਆਂ ਨਹੀਂ ਹਨ। ਜੇਕਰ ਕੋਈ ਹਨ, ਤਾਂ ਸੇਵਾ ਸਮੱਸਿਆ ਵਾਲੇ ਖੇਤਰਾਂ ਅਤੇ ਉਹਨਾਂ ਨੂੰ ਠੀਕ ਕਰਨ ਦੇ ਤਰੀਕੇ ਦਿਖਾਏਗੀ।

ਸਿੱਟਾ

ਸੰਖੇਪ ਵਿੱਚ, ਅਸੀਂ ਇਸ ਗੱਲ 'ਤੇ ਜ਼ੋਰ ਦਿੱਤਾ ਕਿ ਸਾਈਟ 'ਤੇ ਟ੍ਰੈਫਿਕ ਨੂੰ ਕੰਟਰੋਲ ਕਰਨ ਲਈ robots.txt ਫਾਈਲ ਕਿੰਨੀ ਮਹੱਤਵਪੂਰਨ ਹੈ। ਅਸੀਂ ਸਰਚ ਇੰਜਣ ਪੰਨਿਆਂ ਨੂੰ ਇੰਡੈਕਸ ਕਰਨ ਦੇ ਤਰੀਕੇ ਨੂੰ ਪ੍ਰਬੰਧਿਤ ਕਰਨ ਲਈ ਇਸਨੂੰ ਸਹੀ ਢੰਗ ਨਾਲ ਕਿਵੇਂ ਸੈੱਟ ਕਰਨਾ ਹੈ ਇਸ ਬਾਰੇ ਸਲਾਹ ਦਿੱਤੀ। ਇਸ ਤੋਂ ਇਲਾਵਾ, ਅਸੀਂ ਇਸ ਫਾਈਲ ਦੀ ਸਹੀ ਵਰਤੋਂ ਕਰਨ ਦੀਆਂ ਉਦਾਹਰਣਾਂ ਵੀ ਦੇਖੀਆਂ ਅਤੇ ਇਹ ਵੀ ਹਦਾਇਤਾਂ ਦਿੱਤੀਆਂ ਕਿ ਸਾਰੀਆਂ ਸੈਟਿੰਗਾਂ ਸਹੀ ਢੰਗ ਨਾਲ ਕੰਮ ਕਰ ਰਹੀਆਂ ਹਨ ਜਾਂ ਨਹੀਂ।