Дар ин мақола, мо нақши калидии файли robots.txt-ро дар идоракунии трафик дар вебсайтҳо дида мебароем, зарурати мавҷудияти онро баррасӣ мекунем ва тавсияҳо оид ба таъсиси он барои идоракунии самараноки индексатсияи саҳифаҳо медиҳем. Илова бар ин, мо мисолҳои истифодаи дурусти дастурҳоро дар файли robots.txt таҳлил карда, дастур оид ба тафтиши дурустии танзимоти он пешниҳод мекунем.
Чаро Robots.txt лозим аст
Robots.txt файлест, ки дар сервери сайт дар директорияи решавӣ ҷойгир аст. Он ба роботҳои муҳаррики ҷустуҷӯ маълумот медиҳад, ки чӣ гуна онҳо бояд мундариҷаи манбаъро скан кунанд. Истифодаи дурусти ин файл барои пешгирии индексатсияи саҳифаҳои номатлуб кӯмак мекунад, маълумоти махфиро муҳофизат мекунад ва метавонад самаранокии оптимизатсияи SEO ва дидани сайтро дар натиҷаҳои ҷустуҷӯ беҳтар кунад. Конфигуратсияи robots.txt тавассути директиваҳо анҷом дода мешавад, ки мо минбаъд онҳоро дида мебароем.
Муқаррар кардани дастурҳо дар Robots.txt
Корбар-Агент
Дастури асосӣ бо номи User-Agent маълум аст, ки дар он мо калимаи махсусро барои роботҳо муқаррар мекунем. Ҳангоми муайян кардани ин калима, робот мефаҳмад, ки қоида махсус барои он пешбинӣ шудааст.
Намунаи истифодаи User-Agent дар файли robots.txt-ро дида бароед:
User-Agent: *
Disallow: /private/Ин мисол нишон медиҳад, ки ҳамаи роботҳои ҷустуҷӯ (бо аломати "*") бояд саҳифаҳои дар /хусусӣ/ феҳристи.
Ин аст, ки дастур барои роботҳои мушаххаси ҷустуҷӯ чӣ гуна назар мекунад:
User-Agent: Googlebot
Disallow: /admin/
User-Agent: Bingbot
Disallow: /private/Дар ин ҳолат, googlebot роботи ҷустуҷӯ бояд саҳифаҳои дар /админ/ директория, дар ҳоле бингбот бояд саҳифаҳои дар /хусусӣ/ феҳристи.
Нагузоред
Нагузоред ба роботҳои ҷустуҷӯ мегӯяд, ки кадом URL-ҳоро дар вебсайт гузаред ё индексатсия накунанд. Ин дастур вақте муфид аст, ки шумо мехоҳед маълумоти ҳассос ё саҳифаҳои мундариҷаи пастсифатро аз индексатсия кардани системаҳои ҷустуҷӯӣ пинҳон кунед. Агар файли robots.txt сабтро дар бар гирад Иҷозат надиҳед: /директор/, пас ба роботҳо дастрасӣ ба мундариҷаи феҳристи муайяншуда манъ карда мешавад. Барои намуна,
User-agent: *
Disallow: /admin/Ин арзиш нишон медиҳад, ки ҳама роботҳо бояд URL-ҳои аз он саршударо сарфи назар кунад /админ/. Барои манъ кардани индексатсияи тамоми сайт аз ҷониби ягон робот, директорияи решаро ҳамчун қоида муқаррар кунед:
User-agent: *
Disallow: /Иҷозат
Қимати "Иҷозат додан" дар муқобили "Иҷозат додан" амал мекунад: он ба роботҳои ҷустуҷӯ ба саҳифа ё директорияи мушаххас иҷозат медиҳад, ҳатто агар дастурҳои дигари файли robots.txt дастрасӣ ба онро манъ кунанд.
Як мисолро дида мебароем:
User-agent: *
Disallow: /admin/
Allow: /admin/login.htmlДар ин мисол нишон дода шудааст, ки ба роботҳо дастрасӣ надоранд /админ/ директория, ба истиснои /admin/login.html саҳифа, ки барои индексатсия ва сканер дастрас аст.
Robots.txt ва Харитаи сайт
Харитаи сайт як файли XML аст, ки дорои рӯйхати URL-ҳои ҳама саҳифаҳо ва файлҳои сайт аст, ки онҳоро муҳаррикҳои ҷустуҷӯ индексатсия карда метавонанд. Вақте ки роботи ҷустуҷӯӣ ба файли robots.txt дастрасӣ пайдо мекунад ва пайвандеро ба файли харитаи сайти XML мебинад, он метавонад ин файлро барои дарёфти ҳама URL-ҳо ва захираҳои мавҷуда дар сайт истифода барад. Директива дар формати зерин муайян карда шудааст:
Sitemap: https://yoursite.com/filesitemap.xmlИн қоида одатан дар охири ҳуҷҷат бидуни пайвастшавӣ ба корбар-агенти мушаххас ҷойгир карда мешавад ва аз ҷониби ҳама роботҳо бидуни истисно коркард карда мешаванд. Агар соҳиби сайт sitemap.xml-ро истифода набарад, илова кардани қоида шарт нест.
Намунаҳои Configured Robots.txt
Насб кардани Robots.txt барои WordPress
Дар ин бахш мо конфигуратсияи тайёрро барои WordPress баррасӣ хоҳем кард. Мо масдуд кардани дастрасӣ ба маълумоти махфӣ ва иҷозати дастрасӣ ба саҳифаҳои асосиро меомӯзем.
Ҳамчун ҳалли омода, шумо метавонед рамзи зеринро истифода баред:
User-agent: *
# Block access to files containing confidential data
Disallow: /cgi-bin
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
# Allow access to the main site pages
Allow: /wp-content/uploads/
Allow: /sitemap.xml
Allow: /feed/
Allow: /trackback/
Allow: /comments/feed/
Allow: /category/*/*
Allow: /tag/*
# Prohibit the indexing of old versions of posts and parameterized queries to avoid content duplication or suboptimal indexing.
Disallow: /*?*
Disallow: /?s=*
Disallow: /?p=*
Disallow: /?page_id=*
Disallow: /?cat=*
Disallow: /?tag=*
# Include the sitemap (location needs to be replaced with your own)
Sitemap: http://yourdomain.com/sitemap.xmlГарчанде ки ҳама дастурҳо бо шарҳҳо ҳамроҳ мешаванд, биёед ба хулосаҳо амиқтар омӯзем.
- Роботҳо файлҳо ва директорияҳои ҳассосро индексатсия намекунанд.
- Ҳамзамон ба роботҳо иҷозат дода мешавад, ки ба саҳифаҳои асосӣ ва захираҳои сайт дастрасӣ пайдо кунанд.
- Манъи индексатсияи версияҳои кӯҳнаи паёмҳо ва дархостҳои параметрӣ барои пешгирии такрори мундариҷа муқаррар карда шудааст.
- Ҷойгиршавии харитаи сайт барои беҳтар кардани индексатсия нишон дода шудааст.
Ҳамин тариқ, мо намунаи умумии конфигуратсияи тайёрро баррасӣ кардем, ки дар он баъзе файлҳо ва роҳҳои ҳассос аз индексатсия пинҳон карда мешаванд, аммо директорияҳои асосӣ дастрасанд.
Баръакси бисёр сайтҳои маъмули CMS ё сайтҳои фармоишӣ, WordPress дорои якчанд плагинҳо мебошад, ки эҷод ва идоракунии файли robots.txt-ро осон мекунанд. Яке аз роҳҳои маъмул барои ин мақсад аст SEO.
Барои насб кардани он, шумо бояд:
- Ба панели идоракунии WordPress гузаред.
- Дар бахши "Плагинҳо" "Иловаи нав" -ро интихоб кунед.
- Васлкунаки "Yoast SEO" -ро пайдо кунед ва онро насб кунед.
- Пайвастшавӣ фаъол аст.
Барои таҳрир кардани файли robots.txt, шумо бояд:
- Ба бахши "SEO" дар менюи паҳлӯи панели идоракунӣ равед ва "Умумӣ" -ро интихоб кунед.
- Ба ҷадвали "Асбобҳо" гузаред.
- "Файлҳо" -ро клик кунед. Дар ин ҷо шумо файлҳои гуногунро мебинед, аз ҷумла robots.txt.
- Қоидаҳои индексатсияро мувофиқи талаботи худ ворид кунед.
- Пас аз ворид кардани тағирот ба файл, тугмаи "Захира кардани тағирот дар robots.txt" -ро клик кунед.
Дар хотир доред, ки ҳар як танзимоти файли robots.txt барои WordPress беназир аст ва аз ниёзҳо ва хусусиятҳои мушаххаси сайт вобаста аст. Шаблони универсалӣ вуҷуд надорад, ки бидуни истисно ба ҳама захираҳо мувофиқат кунад. Аммо, ин мисол ва истифодаи плагинҳо метавонад вазифаро ба таври назаррас содда кунад.
Танзимоти дастӣ аз Robots.txt
Ба ҳамин монанд, шумо метавонед конфигуратсияи файли худро ҳатто дар сурати мавҷуд набудани CMS-и омода барои сайт танзим кунед. Корбар инчунин бояд файли robots.txt-ро ба директорияи решаи сайт бор кунад ва қоидаҳои заруриро муайян кунад. Ин аст яке аз мисолҳое, ки дар он ҳама дастурҳои дастрас нишон дода шудаанд:
User-agent: *
Disallow: /admin/ # Prohibit access to the administrative panel
Disallow: /secret.html # Prohibit access to a specific file
Disallow: /*.pdf$ # Prohibit indexing of certain file types
Disallow: /*?sort= # Prohibit indexing of certain URL parameters
Allow: /public/ # Allow access to public pages
Sitemap: http://yourdomain.com/sitemap.xml # Include the sitemapЧӣ тавр тафтиш кардани файли Robots.txt
Ҳамчун воситаи ёрирасон ҳангоми тафтиши файли robots.txt барои хатогиҳо тавсия дода мешавад, ки хидматҳои онлайнро истифода баред.
Мисоли онро дида мебароем Яндекс Вебмастер хизматрасонй. Барои тафтиш, шумо бояд истиноди сайти худро дар майдони мувофиқ ворид кунед, агар файл аллакай ба сервер бор карда шуда бошад. Пас аз он, худи асбоб конфигуратсияи файлро бор мекунад. Инчунин имкони ворид кардани конфигуратсияро дастӣ вуҷуд дорад:
Баъд, шумо бояд чек дархост кунед ва натиҷаҳоро интизор шавед:
Дар мисоли овардашуда ягон хатогӣ вуҷуд надорад. Агар вуҷуд дошта бошад, хидмат соҳаҳои мушкилот ва роҳҳои ислоҳи онҳоро нишон медиҳад.
хулоса
Хулоса, мо таъкид кардем, ки файли robots.txt барои назорати трафик дар сайт то чӣ андоза муҳим аст. Мо маслиҳат додем, ки чӣ гуна дуруст танзим кардани он барои идора кардани саҳифаҳои муҳаррикҳои ҷустуҷӯӣ чӣ гуна аст. Илова бар ин, мо инчунин мисолҳоро оид ба дуруст истифода бурдани ин файл дида баромадем ва дастур додем, ки чӣ тавр дуруст кор кардани ҳама танзимотро тафтиш кунем.
