robots.txt

ဤဆောင်းပါးတွင်၊ ဝဘ်ဆိုက်များပေါ်တွင် အသွားအလာကို စီမံခန့်ခွဲရာတွင် robots.txt ဖိုင်၏ အဓိကအခန်းကဏ္ဍကို ဆန်းစစ်ပြီး၊ ၎င်း၏ရှိနေခြင်း၏ လိုအပ်ချက်များကို ဆွေးနွေးကာ ထိရောက်သော စာမျက်နှာအညွှန်းရေးခြင်း စီမံခန့်ခွဲမှုအတွက် ၎င်းကို ပြင်ဆင်သတ်မှတ်ခြင်းအတွက် အကြံပြုချက်များကို ပေးပါမည်။ ထို့အပြင်၊ ကျွန်ုပ်တို့သည် robots.txt ဖိုင်တွင် မှန်ကန်သော ညွှန်ကြားချက်များ အသုံးပြုမှု နမူနာများကို ပိုင်းခြားစိတ်ဖြာပြီး ၎င်း၏ ဆက်တင်များ၏ မှန်ကန်မှုကို စစ်ဆေးနည်းကို လမ်းညွှန်ပေးပါမည်။

အဘယ်ကြောင့် Robots.txt လိုအပ်သနည်း။

Robots.txt သည် ၎င်း၏ အမြစ်လမ်းညွှန်တွင်ရှိသော ဝဘ်ဆိုက်၏ဆာဗာတွင်ရှိသော ဖိုင်တစ်ခုဖြစ်သည်။ ၎င်းသည် ရှာဖွေရေးအင်ဂျင်စက်ရုပ်များအား အရင်းအမြစ်၏အကြောင်းအရာကို မည်သို့စကင်န်ဖတ်ရမည်ကို အသိပေးသည်။ ဤဖိုင်ကို မှန်ကန်စွာအသုံးပြုခြင်းသည် မလိုလားအပ်သော စာမျက်နှာများကို အညွှန်းပြုလုပ်ခြင်းမှ ကာကွယ်နိုင်ပြီး လျှို့ဝှက်အချက်အလက်များကို ကာကွယ်ပေးကာ ရှာဖွေမှုရလဒ်များတွင် ဆိုက်၏ SEO ပိုမိုကောင်းမွန်အောင်နှင့် မြင်နိုင်စွမ်းကို ပိုမိုကောင်းမွန်စေနိုင်သည်။ robots.txt ၏ configuration ကို ကျွန်ုပ်တို့ ဆက်လက်ကြည့်ရှုမည့် ညွှန်ကြားချက်များဖြင့် လုပ်ဆောင်ပါသည်။

Robots.txt တွင် ညွှန်ကြားချက်များ သတ်မှတ်ခြင်း။

user-အေးဂျင့်

ပင်မညွှန်ကြားချက်ကို စက်ရုပ်များအတွက် အထူးသော့ချက်စာလုံးတစ်ခု သတ်မှတ်ပေးသည့် User-Agent ဟုခေါ်သည်။ ဤစကားလုံးကို တွေ့ရှိသောအခါ၊ စည်းမျဉ်းသည် ၎င်းအတွက် အထူးရည်ရွယ်ထားကြောင်း စက်ရုပ်က နားလည်သည်။

robots.txt ဖိုင်တွင် User-Agent အသုံးပြုခြင်း၏ ဥပမာကို သုံးသပ်ကြည့်ပါ-

User-Agent: *
Disallow: /private/

ဤဥပမာသည် ရှာဖွေရေးစက်ရုပ်များအားလုံး (သင်္ကေတ "" ကိုကိုယ်စားပြုသည်*") တွင်ရှိသော စာမျက်နှာများကို လျစ်လျူရှုသင့်သည်။ /ပုဂ္ဂလိက/ directory ကို။

ဤနေရာတွင် ညွှန်ကြားချက်သည် သီးခြားရှာဖွေရေးစက်ရုပ်များကို ရှာဖွေပုံဖြစ်သည်-

User-Agent: Googlebot
Disallow: /admin/

User-Agent: Bingbot
Disallow: /private/

ဤကိစ္စတွင်ခုနှစ်, googlebot search robot သည် စာမျက်နှာများရှိ စာမျက်နှာများကို လျစ်လျူရှုသင့်သည်။ /admin/ လမ်းညွှန်နေစဉ် bingbot စာမျက်နှာများကို လျစ်လျူရှုသင့်သည်။ /ပုဂ္ဂလိက/ directory ကို။

ခွင့်မပြုပါ။

ခွင့်မပြုပါ။ ဝဘ်ဆိုက်ပေါ်ရှိ မည်သည့် URL များကို ကျော်ရန် သို့မဟုတ် အညွှန်းမတင်ရန် ရှာဖွေရေး စက်ရုပ်များကို ပြောပြသည်။ အကဲဆတ်သောဒေတာ သို့မဟုတ် အရည်အသွေးနိမ့်သောအကြောင်းအရာစာမျက်နှာများကို ရှာဖွေရေးအင်ဂျင်များဖြင့် အညွှန်းမတင်လိုသည့်အခါ ဤလမ်းညွှန်ချက်သည် အသုံးဝင်ပါသည်။ အကယ်၍ robots.txt ဖိုင်တွင် ထည့်သွင်းမှုပါရှိသည်။ ခွင့်မပြုပါ- /directory/ထို့နောက် စက်ရုပ်များသည် သတ်မှတ်ထားသော လမ်းညွှန်၏ အကြောင်းအရာများသို့ ဝင်ရောက်ခွင့်ကို ငြင်းပယ်ပါမည်။ ဥပမာအားဖြင့်,

User-agent: *
Disallow: /admin/

ဤတန်ဖိုးကို ဖော်ပြသည်။ စက်ရုပ်အားလုံး URL များကို လျစ်လျူရှုသင့်သည်။ /admin/. ဆိုက်တစ်ခုလုံးအား မည်သည့်စက်ရုပ်များဖြင့် အညွှန်းမခံရစေရန် တားမြစ်ရန်၊ အမြစ်လမ်းညွှန်ကို စည်းကမ်းအဖြစ် သတ်မှတ်ပါ-

User-agent: *
Disallow: /

ခွင့်ပြု

"Allow" တန်ဖိုးသည် "Disallow" နှင့် ဆန့်ကျင်ဘက်ပြုမူသည်- ၎င်းသည် robots.txt ဖိုင်ရှိ အခြားသော လမ်းညွှန်ချက်များမှ ၎င်းကို ဝင်ရောက်ခွင့်ကို တားမြစ်ထားသော်လည်း၊ ၎င်းသည် ရှာဖွေရေးစက်ရုပ်များအား သီးခြားစာမျက်နှာ သို့မဟုတ် လမ်းညွှန်တစ်ခုသို့ ဝင်ရောက်ခွင့်ပေးသည်။

ဥပမာတစ်ခုကို သုံးသပ်ကြည့်ပါ-

User-agent: *
Disallow: /admin/
Allow: /admin/login.html

ဤဥပမာတွင်၊ စက်ရုပ်များကို အသုံးပြုခွင့်မပြုဟု သတ်မှတ်ထားသည်။ /admin/ လမ်းညွှန်မှလွဲ၍ /admin/login.html အညွှန်းရေးခြင်းနှင့် စကင်ဖတ်ခြင်းအတွက် ရနိုင်သော စာမျက်နှာ။

Robots.txt နှင့် Sitemap

Sitemap သည် ရှာဖွေရေးအင်ဂျင်များဖြင့် အညွှန်းပြုနိုင်သော ဝဘ်ဆိုက်ရှိ စာမျက်နှာများနှင့် ဖိုင်များအားလုံး၏ URL များစာရင်းပါရှိသော XML ဖိုင်တစ်ခုဖြစ်သည်။ ရှာဖွေရေးစက်ရုပ်သည် robots.txt ဖိုင်ကို ဝင်ရောက်ကြည့်ရှုပြီး sitemap XML ဖိုင်သို့ လင့်ခ်တစ်ခုကို တွေ့သောအခါ၊ ၎င်းသည် ဆိုက်ပေါ်ရှိရရှိနိုင်သည့် URL များနှင့် အရင်းအမြစ်အားလုံးကို ရှာဖွေရန် ဤဖိုင်ကို အသုံးပြုနိုင်သည်။ ညွှန်ကြားချက်ကို ဖော်မတ်ဖြင့် သတ်မှတ်ထားသည်-

Sitemap: https://yoursite.com/filesitemap.xml

ဤစည်းမျဉ်းကို သီးခြား User-Agent နှင့် ချိတ်ဆက်ခြင်းမပြုဘဲ စာရွက်စာတမ်း၏အဆုံးတွင် ထားရှိလေ့ရှိပြီး ခြွင်းချက်မရှိဘဲ စက်ရုပ်များအားလုံးက လုပ်ဆောင်ပါသည်။ ဆိုက်ပိုင်ရှင်သည် sitemap.xml ကို အသုံးမပြုပါက၊ စည်းမျဉ်းကို ထည့်သွင်းရန် မလိုအပ်ပါ။

Configured Robots.txt နမူနာများ

WordPress အတွက် Robots.txt ကို စနစ်ထည့်သွင်းခြင်း။

ဤကဏ္ဍတွင်၊ WordPress အတွက် အဆင်သင့်လုပ်ထားသော ဖွဲ့စည်းမှုတစ်ခုကို သုံးသပ်ပါမည်။ ကျွန်ုပ်တို့သည် လျှို့ဝှက်အချက်အလက်များသို့ ဝင်ရောက်ခွင့်ကို ပိတ်ဆို့ထားပြီး ပင်မစာမျက်နှာများသို့ ဝင်ရောက်ခွင့်ကို စူးစမ်းပါမည်။

အဆင်သင့်ဖြေရှင်းချက်အနေဖြင့် သင်သည် အောက်ပါကုဒ်ကို အသုံးပြုနိုင်ပါသည်။

User-agent: *
# Block access to files containing confidential data
Disallow: /cgi-bin
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php

# Allow access to the main site pages
Allow: /wp-content/uploads/
Allow: /sitemap.xml
Allow: /feed/
Allow: /trackback/
Allow: /comments/feed/
Allow: /category/*/*
Allow: /tag/*

# Prohibit the indexing of old versions of posts and parameterized queries to avoid content duplication or suboptimal indexing.
Disallow: /*?*
Disallow: /?s=*
Disallow: /?p=*
Disallow: /?page_id=*
Disallow: /?cat=*
Disallow: /?tag=*

# Include the sitemap (location needs to be replaced with your own)
Sitemap: http://yourdomain.com/sitemap.xml

လမ်းညွှန်ချက်အားလုံးသည် မှတ်ချက်များဖြင့် ပါ၀င်သော်လည်း၊ ကောက်ချက်များအား လေးလေးနက်နက် ထည့်သွင်းကြည့်ကြပါစို့။

1. စက်ရုပ်များသည် အရေးကြီးသောဖိုင်များနှင့် လမ်းညွှန်များကို အညွှန်းပေးမည်မဟုတ်ပါ။
2. တစ်ချိန်တည်းမှာပင် စက်ရုပ်များသည် ဆိုက်၏ ပင်မစာမျက်နှာများနှင့် အရင်းအမြစ်များကို ဝင်ရောက်ကြည့်ရှုခွင့် ပေးထားသည်။
3. တားမြစ်ချက်သည် အကြောင်းအရာ ပွားခြင်းကို ကာကွယ်ရန် ပို့စ်များ၏ ဗားရှင်းဟောင်းများနှင့် ကန့်သတ်ချက်ဆိုင်ရာ မေးခွန်းများကို ညွှန်းခြင်းတွင် သတ်မှတ်ထားသည်။
4. ပိုမိုကောင်းမွန်သော အညွှန်းပြုလုပ်ခြင်းအတွက် ဆိုက်မြေပုံ၏တည်နေရာကို ညွှန်ပြထားသည်။

ထို့ကြောင့်၊ အချို့သော အရေးကြီးသောဖိုင်များနှင့် လမ်းကြောင်းများကို အညွှန်းပြုလုပ်ခြင်းမှ ဝှက်ထားသော်လည်း ပင်မလမ်းညွှန်များသည် ဝင်ရောက်အသုံးပြုနိုင်သည့် အဆင်သင့်ဖွဲ့စည်းမှုတစ်ခု၏ ယေဘူယျဥပမာတစ်ခုအား ကျွန်ုပ်တို့သုံးသပ်ထားပါသည်။

နာမည်ကြီး CMS သို့မဟုတ် စိတ်ကြိုက်ရေးထားသော ဆိုက်များစွာနှင့်မတူဘဲ၊ WordPress တွင် robots.txt ဖိုင်ကို ဖန်တီးခြင်းနှင့် စီမံခန့်ခွဲရာတွင် လွယ်ကူချောမွေ့စေသည့် ပလပ်အင်များစွာ ရှိသည်။ ဤရည်ရွယ်ချက်အတွက် ရေပန်းစားသော ဖြေရှင်းနည်းများထဲမှ တစ်ခုဖြစ်သည်။ Yoast SEO ဆိုသည်မှာ.

၎င်းကိုထည့်သွင်းရန်၊ သင်လိုအပ်သည်-

1. WordPress admin panel သို့သွားပါ။
2. "Plugins" ကဏ္ဍတွင်၊ "Add New" ကိုရွေးချယ်ပါ။
3. "Yoast SEO" ပလပ်အင်ကို ရှာပြီး ထည့်သွင်းပါ။
4. plugin ကိုသက်ဝင်စေပါ။

robots.txt ဖိုင်ကို တည်းဖြတ်ရန်၊ သင် လိုအပ်သည်-

1. admin panel ၏ဘေးထွက်မီနူးရှိ "SEO" ကဏ္ဍသို့သွားပြီး "အထွေထွေ" ကိုရွေးချယ်ပါ။
2. "Tools" tab ကိုသွားပါ။
3. "Files" ကိုနှိပ်ပါ။ ဤနေရာတွင် robots.txt အပါအဝင် ဖိုင်အမျိုးမျိုးကို တွေ့ရပါမည်။
4. သင့်လိုအပ်ချက်အရ လိုအပ်သော အညွှန်းကိန်းစည်းမျဉ်းများကို ထည့်သွင်းပါ။
5. ဖိုင်ကို အပြောင်းအလဲများ ပြုလုပ်ပြီးနောက်၊ "Save changes to robots.txt" ခလုတ်ကို နှိပ်ပါ။

WordPress အတွက် robots.txt ဖိုင်ဆက်တင်တစ်ခုစီသည် ထူးခြားပြီး ဝဘ်ဆိုက်၏ သီးခြားလိုအပ်ချက်များနှင့် အင်္ဂါရပ်များပေါ်တွင် မူတည်ကြောင်း သတိပြုပါ။ ခြွင်းချက်မရှိဘဲ အရင်းအမြစ်အားလုံးနှင့် ကိုက်ညီမည့် universal template မရှိပါ။ သို့သော်၊ ဤဥပမာနှင့် ပလပ်အင်များကို အသုံးပြုခြင်းသည် လုပ်ငန်းကို သိသိသာသာ ရိုးရှင်းစေသည်။

Robots.txt ၏ လူကိုယ်တိုင် ဆက်တင်

အလားတူ၊ ဆိုက်အတွက် အဆင်သင့် CMS မရှိလျှင်ပင် ဖိုင်၏ဖွဲ့စည်းပုံကို သင်သတ်မှတ်နိုင်သည်။ အသုံးပြုသူသည် site ၏ root directory သို့ robots.txt ဖိုင်ကို အပ်လုဒ်လုပ်ပြီး လိုအပ်သော စည်းမျဉ်းများကို သတ်မှတ်ပေးရန်လိုအပ်ပါသည်။ ဤသည်မှာ ရရှိနိုင်သော လမ်းညွှန်ချက်များအားလုံးကို ဖော်ပြထားသည့် ဥပမာများထဲမှ တစ်ခုဖြစ်သည်-

User-agent: *
Disallow: /admin/             # Prohibit access to the administrative panel
Disallow: /secret.html	      # Prohibit access to a specific file
Disallow: /*.pdf$	      # Prohibit indexing of certain file types
Disallow: /*?sort=	      # Prohibit indexing of certain URL parameters
Allow: /public/		      # Allow access to public pages
Sitemap: http://yourdomain.com/sitemap.xml # Include the sitemap

Robots.txt ဖိုင်ကို စစ်ဆေးနည်း

အမှားအယွင်းများအတွက် robots.txt ဖိုင်ကို စစ်ဆေးသည့်အခါ အရန်ကိရိယာအနေဖြင့် အွန်လိုင်းဝန်ဆောင်မှုများကို အသုံးပြုရန် အကြံပြုထားသည်။

ဥပမာကို ဆင်ခြင်ပါ။ Yandex ဝက်ဘ်မာစတာ ဝန်ဆောင်မှု။ စစ်ဆေးရန်၊ ဖိုင်ကို ဆာဗာသို့ အပ်လုဒ်တင်ပြီးဖြစ်ပါက သက်ဆိုင်ရာအကွက်တွင် သင့်ဆိုဒ်သို့ လင့်ခ်တစ်ခုကို ထည့်သွင်းရန် လိုအပ်ပါသည်။ ထို့နောက်၊ tool ကိုယ်တိုင်က file configuration ကို load လုပ်ပါလိမ့်မယ်။ ဖွဲ့စည်းမှုပုံစံကို ကိုယ်တိုင်ထည့်သွင်းရန် ရွေးချယ်ခွင့်လည်း ရှိပါသည်။

ထို့နောက် သင်သည် စစ်ဆေးချက်တစ်ခုတောင်းဆိုပြီး ရလဒ်များကို စောင့်ရန် လိုအပ်သည်-

ပေးထားသော ဥပမာတွင် အမှားအယွင်းမရှိပါ။ တစ်စုံတစ်ရာရှိပါက ဝန်ဆောင်မှုသည် ပြဿနာရှိသော နေရာများနှင့် ၎င်းတို့ကို ဖြေရှင်းရန် နည်းလမ်းများကို ပြသပါမည်။

ကောက်ချက်

အချုပ်အားဖြင့်၊ ကျွန်ုပ်တို့သည် ဆိုက်ပေါ်ရှိ အသွားအလာကို ထိန်းချုပ်ရန်အတွက် robots.txt ဖိုင်သည် မည်မျှအရေးကြီးကြောင်း အလေးပေးဖော်ပြခဲ့သည်။ ရှာဖွေရေးအင်ဂျင်များ အညွှန်းစာမျက်နှာများကို မည်ကဲ့သို့ စီမံခန့်ခွဲရန် ၎င်းကို မှန်ကန်စွာ သတ်မှတ်ရမည်နှင့်ပတ်သက်၍ အကြံဉာဏ်များ ပေးထားသည်။ ၎င်းအပြင်၊ ဤဖိုင်ကို မှန်ကန်စွာအသုံးပြုပုံနမူနာများကိုလည်း ကြည့်ရှုပြီး ဆက်တင်များအားလုံး မှန်ကန်ကြောင်း စစ်ဆေးနည်းကို လမ်းညွှန်ပေးပါသည်။