Роботс.ткт

У овом чланку ћемо испитати кључну улогу датотеке роботс.ткт у управљању саобраћајем на веб локацијама, размотрићемо неопходност њеног присуства и дати препоруке за њено подешавање за ефикасно управљање индексирањем страница. Поред тога, анализираћемо примере исправне употребе директива у датотеци роботс.ткт и обезбедити водич за проверу исправности њених подешавања.

Зашто је Роботс.ткт потребан

Роботс.ткт је датотека која се налази на серверу сајта у његовом основном директоријуму. Он информише роботе претраживача како треба да скенирају садржај ресурса. Правилна употреба ове датотеке помаже у спречавању индексирања нежељених страница, штити поверљиве податке и може побољшати ефикасност СЕО оптимизације и видљивост сајта у резултатима претраге. Конфигурација роботс.ткт се врши путем директива, које ћемо даље погледати.

Постављање директива у Роботс.ткт

Усер-агент

Примарна директива је позната као Усер-Агент, где постављамо посебну кључну реч за роботе. Када открије ову реч, робот схвата да је правило намењено посебно за њега.

Размотрите пример коришћења корисничког агента у датотеци роботс.ткт:

User-Agent: *
Disallow: /private/

Овај пример показује да су сви роботи за претрагу (представљени симболом "*") треба да игнорише странице које се налазе у /приватно/ директоријум.

Ево како изгледа упутство за одређене роботе за претрагу:

User-Agent: Googlebot
Disallow: /admin/

User-Agent: Bingbot
Disallow: /private/

У овом случају, гооглебот робот за претрагу треба да игнорише странице у /админ/ именик, док Бингбот треба да игнорише странице у /приватно/ директоријум.

Дисаллов

Дисаллов говори роботима за претрагу које УРЛ адресе да прескоче или не индексирају на веб локацији. Ова директива је корисна када желите да сакријете осетљиве податке или странице са садржајем ниског квалитета од индексирања од стране претраживача. Ако датотека роботс.ткт садржи унос Дисаллов: /директорији/, тада ће роботима бити одбијен приступ садржају наведеног директоријума. на пример,

User-agent: *
Disallow: /admin/

Ова вредност указује на то сви роботи треба да игнорише УРЛ-ове који почињу са /админ/. Да бисте блокирали да роботи не индексирају целу веб локацију, поставите основни директоријум као правило:

User-agent: *
Disallow: /

Дозволити

Вредност „Аллов“ делује супротно од „Дисаллов“: дозвољава роботима за претрагу да приступе одређеној страници или директоријуму, чак и ако друге директиве у датотеци роботс.ткт забрањују приступ.

Размотримо пример:

User-agent: *
Disallow: /admin/
Allow: /admin/login.html

У овом примеру је наведено да роботима није дозвољен приступ /админ/ именик, осим за /админ/логин.хтмл страница, која је доступна за индексирање и скенирање.

Роботс.ткт и Ситемап

Ситемап је КСМЛ датотека која садржи листу УРЛ адреса свих страница и датотека на сајту које претраживачи могу индексирати. Када робот за претрагу приступи датотеци роботс.ткт и види везу до КСМЛ датотеке мапе сајта, може да користи ову датотеку да пронађе све доступне УРЛ адресе и ресурсе на сајту. Директива је наведена у формату:

Sitemap: https://yoursite.com/filesitemap.xml

Ово правило се обично поставља на крај документа без везивања за одређеног корисничког агента и обрађују га сви роботи без изузетка. Ако власник сајта не користи ситемап.кмл, није потребно додати правило.

Примери конфигурисаних робота.ткт

Подешавање Роботс.ткт за ВордПресс

У овом одељку ћемо размотрити готову конфигурацију за ВордПресс. Истражићемо блокирање приступа поверљивим подацима и омогућавање приступа главним страницама.

Као спремно решење, можете користити следећи код:

User-agent: *
# Block access to files containing confidential data
Disallow: /cgi-bin
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php

# Allow access to the main site pages
Allow: /wp-content/uploads/
Allow: /sitemap.xml
Allow: /feed/
Allow: /trackback/
Allow: /comments/feed/
Allow: /category/*/*
Allow: /tag/*

# Prohibit the indexing of old versions of posts and parameterized queries to avoid content duplication or suboptimal indexing.
Disallow: /*?*
Disallow: /?s=*
Disallow: /?p=*
Disallow: /?page_id=*
Disallow: /?cat=*
Disallow: /?tag=*

# Include the sitemap (location needs to be replaced with your own)
Sitemap: http://yourdomain.com/sitemap.xml

Иако су све директиве пропраћене коментарима, хајде да се удубимо у закључке.

Роботи неће индексирати осетљиве датотеке и директоријуме.
Истовремено, роботима је дозвољен приступ главним страницама и ресурсима сајта.
постављена је забрана индексирања старих верзија постова и параметризованих упита како би се спречило дуплицирање садржаја.
Локација мапе сајта је назначена ради побољшаног индексирања.

Дакле, размотрили смо општи пример готове конфигурације, у којој су неке осетљиве датотеке и путање скривене од индексирања, али су главни директоријуми доступни.

За разлику од многих популарних ЦМС или прилагођених сајтова, ВордПресс има неколико додатака који олакшавају креирање и управљање датотеком роботс.ткт. Једно од популарних решења за ову сврху је Иоаст СЕО.

Да бисте га инсталирали, потребно је:

Идите на админ панел ВордПресс-а.
У одељку „Додаци“ изаберите „Додај ново“.
Пронађите додатак „Иоаст СЕО“ и инсталирајте га.
Активирајте додатак.

Да бисте уредили датотеку роботс.ткт, потребно је да:

Идите у одељак „СЕО“ у бочном менију административног панела и изаберите „Опште“.
Идите на картицу "Алати".
Кликните на "Датотеке". Овде ћете видети разне датотеке, укључујући роботс.ткт.
Унесите неопходна правила индексирања у складу са вашим захтевима.
Након што унесете измене у датотеку, кликните на дугме „Сачувај промене у роботс.ткт“.

Имајте на уму да је свако подешавање датотеке роботс.ткт за ВордПресс јединствено и зависи од специфичних потреба и карактеристика сајта. Не постоји универзални шаблон који би одговарао свим ресурсима без изузетка. Међутим, овај пример и употреба додатака могу значајно да поједноставе задатак.

Ручно подешавање робота.ткт

Слично томе, можете подесити своју конфигурацију датотеке чак иу одсуству спремног ЦМС-а за сајт. Корисник такође треба да отпреми датотеку роботс.ткт у основни директоријум сајта и наведе потребна правила. Ево једног од примера у коме су наведене све доступне директиве:

User-agent: *
Disallow: /admin/             # Prohibit access to the administrative panel
Disallow: /secret.html	      # Prohibit access to a specific file
Disallow: /*.pdf$	      # Prohibit indexing of certain file types
Disallow: /*?sort=	      # Prohibit indexing of certain URL parameters
Allow: /public/		      # Allow access to public pages
Sitemap: http://yourdomain.com/sitemap.xml # Include the sitemap

Како проверити датотеку Роботс.ткт

Као помоћни алат приликом провере грешака у фајлу роботс.ткт, препоручује се коришћење онлајн услуга.

Размотрите пример на Иандек Вебмастер услуга. Да бисте проверили, потребно је да у одговарајуће поље унесете везу ка вашој веб локацији ако је датотека већ отпремљена на сервер. Након тога, сам алат ће учитати конфигурацију датотеке. Постоји и опција да ручно унесете конфигурацију:

Затим морате затражити проверу и сачекати резултате:

У датом примеру нема грешака. Ако их има, сервис ће показати проблематична подручја и начине да их поправите.

Закључак

Укратко, нагласили смо колико је датотека роботс.ткт важна за контролу саобраћаја на сајту. Дали смо савете о томе како да га правилно подесите да управља начином на који претраживачи индексирају странице. Поред овога, погледали смо и примере како правилно користити ову датотеку и дали упутства како да проверимо да ли сва подешавања исправно раде.

❮ Претходни чланак Како се повезати на Линук сервер преко ССХ-а

Следећи чланак ❯ Како да конфигуришете веб сервер (Апацхе-ПХП-МиСКЛ/МариаДБ) на Линук-у