Роботсинг

Дар ин мақола, мо нақши калидии файли robots.txt-ро дар идоракунии трафик дар вебсайтҳо дида мебароем, зарурати мавҷудияти онро баррасӣ мекунем ва тавсияҳо оид ба таъсиси он барои идоракунии самараноки индексатсияи саҳифаҳо медиҳем. Илова бар ин, мо мисолҳои истифодаи дурусти дастурҳоро дар файли robots.txt таҳлил карда, дастур оид ба тафтиши дурустии танзимоти он пешниҳод мекунем.

Чаро Robots.txt лозим аст

Robots.txt файлест, ки дар сервери сайт дар директорияи решавӣ ҷойгир аст. Он ба роботҳои муҳаррики ҷустуҷӯ маълумот медиҳад, ки чӣ гуна онҳо бояд мундариҷаи манбаъро скан кунанд. Истифодаи дурусти ин файл барои пешгирии индексатсияи саҳифаҳои номатлуб кӯмак мекунад, маълумоти махфиро муҳофизат мекунад ва метавонад самаранокии оптимизатсияи SEO ва дидани сайтро дар натиҷаҳои ҷустуҷӯ беҳтар кунад. Конфигуратсияи robots.txt тавассути директиваҳо анҷом дода мешавад, ки мо минбаъд онҳоро дида мебароем.

Муқаррар кардани дастурҳо дар Robots.txt

Корбар-Агент

Дастури асосӣ бо номи User-Agent маълум аст, ки дар он мо калимаи махсусро барои роботҳо муқаррар мекунем. Ҳангоми муайян кардани ин калима, робот мефаҳмад, ки қоида махсус барои он пешбинӣ шудааст.

Намунаи истифодаи User-Agent дар файли robots.txt-ро дида бароед:

User-Agent: *
Disallow: /private/

Ин мисол нишон медиҳад, ки ҳамаи роботҳои ҷустуҷӯӣ (ки бо рамзи " * " ифода мешаванд) бояд саҳифаҳои дар директорияи /private/ ҷойгиршударо нодида гиранд.

Ин аст, ки дастур барои роботҳои мушаххаси ҷустуҷӯ чӣ гуна назар мекунад:

User-Agent: Googlebot
Disallow: /admin/

User-Agent: Bingbot
Disallow: /private/

Дар ин ҳолат, роботи ҷустуҷӯии Googlebot бояд саҳифаҳоро дар феҳристи /admin/ нодида гирад , дар ҳоле ки Bingbot бояд саҳифаҳоро дар феҳристи /private/ нодида гирад.

Нагузоред

"Имконнопазир" ба роботҳои ҷустуҷӯӣ мегӯяд, ки кадом URL-ҳоро бояд гузаранд ё дар вебсайт индексатсия накунанд. Ин дастур вақте муфид аст, ки шумо мехоҳед маълумоти ҳассос ё саҳифаҳои мундариҷаи пастсифатро аз индексатсия аз ҷониби системаҳои ҷустуҷӯ пинҳон кунед. Агар файли robots.txt вуруди " Имконнопазир: /directory/" -ро дошта бошад , пас роботҳо дастрасӣ ба мундариҷаи директорияи муайяншударо рад мекунанд. Масалан,

User-agent: *
Disallow: /admin/

Ин арзиш нишон медиҳад, ки ҳамаи роботҳо бояд URL-ҳоеро, ки бо /admin/ сар мешаванд, нодида гиранд . Барои манъ кардани индексатсияи тамоми сайт аз ҷониби ягон робот, директорияи решаро ҳамчун қоида муқаррар кунед:

User-agent: *
Disallow: /

Иҷозат

Қимати "Иҷозат додан" дар муқобили "Иҷозат додан" амал мекунад: он ба роботҳои ҷустуҷӯ ба саҳифа ё директорияи мушаххас иҷозат медиҳад, ҳатто агар дастурҳои дигари файли robots.txt дастрасӣ ба онро манъ кунанд.

Як мисолро дида мебароем:

User-agent: *
Disallow: /admin/
Allow: /admin/login.html

Дар ин мисол, муайян карда мешавад, ки роботҳо ба директорияи /admin/ дастрасӣ надоранд , ба истиснои саҳифаи /admin/login.html , ки барои индексатсия ва сканкунӣ дастрас аст.

Robots.txt ва Харитаи сайт

Харитаи сайт як файли XML аст, ки дорои рӯйхати URL-ҳои ҳама саҳифаҳо ва файлҳои сайт аст, ки онҳоро муҳаррикҳои ҷустуҷӯ индексатсия карда метавонанд. Вақте ки роботи ҷустуҷӯӣ ба файли robots.txt дастрасӣ пайдо мекунад ва пайвандеро ба файли харитаи сайти XML мебинад, он метавонад ин файлро барои дарёфти ҳама URL-ҳо ва захираҳои мавҷуда дар сайт истифода барад. Директива дар формати зерин муайян карда шудааст:

Sitemap: https://yoursite.com/filesitemap.xml

Ин қоида одатан дар охири ҳуҷҷат бидуни пайвастшавӣ ба корбар-агенти мушаххас ҷойгир карда мешавад ва аз ҷониби ҳама роботҳо бидуни истисно коркард карда мешаванд. Агар соҳиби сайт sitemap.xml-ро истифода набарад, илова кардани қоида шарт нест.

Намунаҳои Configured Robots.txt

Насб кардани Robots.txt барои WordPress

Дар ин бахш мо конфигуратсияи тайёрро барои WordPress баррасӣ хоҳем кард. Мо масдуд кардани дастрасӣ ба маълумоти махфӣ ва иҷозати дастрасӣ ба саҳифаҳои асосиро меомӯзем.

Ҳамчун ҳалли омода, шумо метавонед рамзи зеринро истифода баред:

User-agent: *
# Block access to files containing confidential data
Disallow: /cgi-bin
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php

# Allow access to the main site pages
Allow: /wp-content/uploads/
Allow: /sitemap.xml
Allow: /feed/
Allow: /trackback/
Allow: /comments/feed/
Allow: /category/*/*
Allow: /tag/*

# Prohibit the indexing of old versions of posts and parameterized queries to avoid content duplication or suboptimal indexing.
Disallow: /*?*
Disallow: /?s=*
Disallow: /?p=*
Disallow: /?page_id=*
Disallow: /?cat=*
Disallow: /?tag=*

# Include the sitemap (location needs to be replaced with your own)
Sitemap: http://yourdomain.com/sitemap.xml

Гарчанде ки ҳама дастурҳо бо шарҳҳо ҳамроҳ мешаванд, биёед ба хулосаҳо амиқтар омӯзем.

1. Роботҳо файлҳо ва директорияҳои ҳассосро индексатсия намекунанд.
2. Ҳамзамон ба роботҳо иҷозат дода мешавад, ки ба саҳифаҳои асосӣ ва захираҳои сайт дастрасӣ пайдо кунанд.
3. Манъи индексатсияи версияҳои кӯҳнаи паёмҳо ва дархостҳои параметрӣ барои пешгирии такрори мундариҷа муқаррар карда шудааст.
4. Ҷойгиршавии харитаи сайт барои беҳтар кардани индексатсия нишон дода шудааст.

Ҳамин тариқ, мо намунаи умумии конфигуратсияи тайёрро баррасӣ кардем, ки дар он баъзе файлҳо ва роҳҳои ҳассос аз индексатсия пинҳон карда мешаванд, аммо директорияҳои асосӣ дастрасанд.

Бар хилофи бисёр CMS-ҳои маъмул ё сайтҳои фармоишӣ, WordPress якчанд плагинҳо дорад, ки эҷод ва идоракунии файли robots.txt-ро осон мекунанд. Яке аз роҳҳои ҳалли маъмул барои ин мақсад Yoast SEO мебошад.

Барои насб кардани он, шумо бояд:

1. Ба панели идоракунии WordPress гузаред.
2. Дар бахши "Плагинҳо" "Иловаи нав" -ро интихоб кунед.
3. Васлкунаки "Yoast SEO" -ро пайдо кунед ва онро насб кунед.
4. Пайвастшавӣ фаъол аст.

Барои таҳрир кардани файли robots.txt, шумо бояд:

1. Ба бахши "SEO" дар менюи паҳлӯи панели идоракунӣ равед ва "Умумӣ" -ро интихоб кунед.
2. Ба ҷадвали "Асбобҳо" гузаред.
3. "Файлҳо" -ро клик кунед. Дар ин ҷо шумо файлҳои гуногунро мебинед, аз ҷумла robots.txt.
4. Қоидаҳои индексатсияро мувофиқи талаботи худ ворид кунед.
5. Пас аз ворид кардани тағирот ба файл, тугмаи "Захира кардани тағирот дар robots.txt" -ро клик кунед.

Дар хотир доред, ки ҳар як танзимоти файли robots.txt барои WordPress беназир аст ва аз ниёзҳо ва хусусиятҳои мушаххаси сайт вобаста аст. Шаблони универсалӣ вуҷуд надорад, ки бидуни истисно ба ҳама захираҳо мувофиқат кунад. Аммо, ин мисол ва истифодаи плагинҳо метавонад вазифаро ба таври назаррас содда кунад.

Танзимоти дастӣ аз Robots.txt

Ба ҳамин монанд, шумо метавонед конфигуратсияи файли худро ҳатто дар сурати мавҷуд набудани CMS-и омода барои сайт танзим кунед. Корбар инчунин бояд файли robots.txt-ро ба директорияи решаи сайт бор кунад ва қоидаҳои заруриро муайян кунад. Ин аст яке аз мисолҳое, ки дар он ҳама дастурҳои дастрас нишон дода шудаанд:

User-agent: *
Disallow: /admin/             # Prohibit access to the administrative panel
Disallow: /secret.html	      # Prohibit access to a specific file
Disallow: /*.pdf$	      # Prohibit indexing of certain file types
Disallow: /*?sort=	      # Prohibit indexing of certain URL parameters
Allow: /public/		      # Allow access to public pages
Sitemap: http://yourdomain.com/sitemap.xml # Include the sitemap

Чӣ тавр тафтиш кардани файли Robots.txt

Ҳамчун воситаи ёрирасон ҳангоми тафтиши файли robots.txt барои хатогиҳо тавсия дода мешавад, ки хидматҳои онлайнро истифода баред.

Мисоли хидмати Yandex Webmaster -ро дида бароед . Барои санҷидан, агар файл аллакай ба сервер бор карда шуда бошад, шумо бояд истиноди сайти худро дар майдони мувофиқ ворид кунед. Пас аз ин, худи асбоб файли конфигуратсияро бор мекунад. Инчунин имкони ворид кардани дастӣ ба конфигуратсия вуҷуд дорад:

Баъд, шумо бояд чек дархост кунед ва натиҷаҳоро интизор шавед:

Дар мисоли овардашуда ягон хатогӣ вуҷуд надорад. Агар вуҷуд дошта бошад, хидмат соҳаҳои мушкилот ва роҳҳои ислоҳи онҳоро нишон медиҳад.

хулоса

Хулоса, мо таъкид кардем, ки файли robots.txt барои назорати трафик дар сайт то чӣ андоза муҳим аст. Мо маслиҳат додем, ки чӣ гуна дуруст танзим кардани он барои идора кардани саҳифаҳои муҳаррикҳои ҷустуҷӯӣ чӣ гуна аст. Илова бар ин, мо инчунин мисолҳоро оид ба дуруст истифода бурдани ин файл дида баромадем ва дастур додем, ки чӣ тавр дуруст кор кардани ҳама танзимотро тафтиш кунем.