F'dan l-artikolu, se neżaminaw ir-rwol ewlieni tal-fajl robots.txt fil-ġestjoni tat-traffiku fuq il-websajts, niddiskutu l-ħtieġa tal-preżenza tiegħu, u nipprovdu rakkomandazzjonijiet għat-twaqqif tiegħu għal ġestjoni effettiva tal-indiċjar tal-paġna. Barra minn hekk, aħna se nanalizzaw eżempji ta 'użu korrett tad-direttivi fil-fajl robots.txt u nipprovdu gwida dwar kif tivverifika l-korrettezza tas-settings tiegħu.
Għaliex Robots.txt huwa meħtieġ
Robots.txt huwa fajl li jinsab fuq is-server tas-sit fid-direttorju tal-għeruq tiegħu. Tinforma lir-robots tal-magni tat-tiftix kif għandhom jiskannjaw il-kontenut tar-riżorsa. L-użu xieraq ta 'dan il-fajl jgħin biex jipprevjeni l-indiċjar ta' paġni mhux mixtieqa, jipproteġi d-dejta kunfidenzjali, u jista 'jtejjeb l-effiċjenza tal-ottimizzazzjoni SEO u l-viżibilità tas-sit fir-riżultati tat-tfittxija. Il-konfigurazzjoni ta 'robots.txt issir permezz ta' direttivi, li se nħarsu lejhom aktar.
Twaqqif ta' Direttivi f'Robots.txt
Aġent tal-Utent
Id-direttiva primarja hija magħrufa bħala User-Agent, fejn aħna waqqafna keyword speċjali għar-robots. Malli jinstab din il-kelma, ir-robot jifhem li r-regola hija maħsuba speċifikament għaliha.
Ikkunsidra eżempju ta’ kif tuża User-Agent fil-fajl robots.txt:
User-Agent: *
Disallow: /private/Dan l-eżempju jindika li r-robots kollha tat-tiftix (rappreżentati bis-simbolu "*") għandha tinjora paġni li jinsabu fil- /privat/ direttorju.
Hawn kif tidher l-istruzzjoni għal robots ta' tfittxija speċifiċi:
User-Agent: Googlebot
Disallow: /admin/
User-Agent: Bingbot
Disallow: /private/F'dan il - każ, il - Googlebot tfittxija robot għandu jinjora paġni fil- /admin/ direttorju, filwaqt li bingbot għandha tinjora paġni fil- /privat/ direttorju.
tippermettix
tippermettix jgħid lir-robots tat-tiftix liema URLs għandhom jaqbżu jew le indiċi fuq il-websajt. Din id-direttiva hija utli meta trid taħbi dejta sensittiva jew paġni ta’ kontenut ta’ kwalità baxxa milli jiġu indiċjati minn magni tat-tiftix. Jekk il-fajl robots.txt fih l-entrata Ma tħallix: /direttorju/, allura r-robots jiġu miċħuda aċċess għall-kontenut tad-direttorju speċifikat. Per eżempju,
User-agent: *
Disallow: /admin/Dan il-valur jindika li robots kollha għandha tinjora URLs li jibdew bi /admin/. Biex timblokka s-sit kollu milli jiġi indiċjat minn xi robots, issettja d-direttorju tal-għeruq bħala regola:
User-agent: *
Disallow: /Ħalli
Il-valur "Ħalli" jaġixxi bil-maqlub ta' "Jitħalli": jippermetti li robots tat-tiftix jkollhom aċċess għal paġna jew direttorju speċifiċi, anke jekk direttivi oħra fil-fajl robots.txt jipprojbixxu l-aċċess għaliha.
Ikkunsidra eżempju:
User-agent: *
Disallow: /admin/
Allow: /admin/login.htmlF'dan l-eżempju, huwa speċifikat li r-robots mhumiex permessi aċċess għall- /admin/ direttorju, ħlief għall- /admin/login.html paġna, li hija disponibbli għall-indiċjar u l-iskannjar.
Robots.txt u Mappa tas-Sit
Mappa tas-sit hija fajl XML li fih lista ta' URLs tal-paġni u l-fajls kollha fuq is-sit li jistgħu jiġu indiċjati minn magni tat-tiftix. Meta robot ta' tfittxija jaċċessa l-fajl robots.txt u jara link għal fajl XML tal-mappa tas-sit, jista' juża dan il-fajl biex isib l-URLs u r-riżorsi kollha disponibbli fuq is-sit. Id-direttiva hija speċifikata fil-format:
Sitemap: https://yoursite.com/filesitemap.xmlDin ir-regola normalment titqiegħed fl-aħħar tad-dokument mingħajr ma tkun marbuta ma 'Utent-Agent speċifiku u tiġi pproċessata mir-robots kollha mingħajr eċċezzjoni. Jekk is-sid tas-sit ma jużax sitemap.xml, mhux meħtieġ li tiżdied ir-regola.
Eżempji ta' Robots.txt Konfigurati
Twaqqif ta' Robots.txt għal WordPress
F'din it-taqsima, se nikkunsidraw konfigurazzjoni lesta għal WordPress. Se nesploraw l-imblukkar tal-aċċess għad-dejta kunfidenzjali u l-permess tal-aċċess għall-paġni ewlenin.
Bħala soluzzjoni lesta, tista 'tuża l-kodiċi li ġej:
User-agent: *
# Block access to files containing confidential data
Disallow: /cgi-bin
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
# Allow access to the main site pages
Allow: /wp-content/uploads/
Allow: /sitemap.xml
Allow: /feed/
Allow: /trackback/
Allow: /comments/feed/
Allow: /category/*/*
Allow: /tag/*
# Prohibit the indexing of old versions of posts and parameterized queries to avoid content duplication or suboptimal indexing.
Disallow: /*?*
Disallow: /?s=*
Disallow: /?p=*
Disallow: /?page_id=*
Disallow: /?cat=*
Disallow: /?tag=*
# Include the sitemap (location needs to be replaced with your own)
Sitemap: http://yourdomain.com/sitemap.xmlGħalkemm id-direttivi kollha huma akkumpanjati minn kummenti, ejja nidħlu aktar fil-fond fil-konklużjonijiet.
- Robots mhux se indiċi fajls sensittivi u direttorji.
- Fl-istess ħin, ir-robots għandhom aċċess għall-paġni u r-riżorsi ewlenin tas-sit.
- projbizzjoni hija stabbilita fuq l-indiċjar ta 'verżjonijiet qodma ta' postijiet u mistoqsijiet parametrizzati biex tiġi evitata d-duplikazzjoni tal-kontenut.
- Il-post tal-mappa tas-sit huwa indikat għal indiċjar imtejjeb.
Għalhekk, ikkunsidrajna eżempju ġenerali ta 'konfigurazzjoni lesta, li fiha xi fajls u mogħdijiet sensittivi huma moħbija mill-indiċjar, iżda d-direttorji ewlenin huma aċċessibbli.
B'differenza minn ħafna CMS popolari jew siti miktuba apposta, WordPress għandu diversi plugins li jiffaċilitaw il-ħolqien u l-ġestjoni tal-fajl robots.txt. Waħda mis-soluzzjonijiet popolari għal dan il-għan hija Yoast SEO.
Biex tinstallah, għandek bżonn:
- Mur fil-pannell tal-amministrazzjoni WordPress.
- Fit-taqsima "Plugins", agħżel "Żid Ġdid".
- Sib il-plugin "Yoast SEO" u installah.
- Attiva l-plugin.
Biex teditja l-fajl robots.txt, għandek bżonn:
- Mur fit-taqsima "SEO" fil-menu tal-ġenb tal-pannell tal-amministrazzjoni u agħżel "Ġenerali".
- Mur fit-tab "Għodda".
- Ikklikkja fuq "Fajls". Hawnhekk se tara diversi fajls, inkluż robots.txt.
- Daħħal ir-regoli ta' indiċjar meħtieġa skond il-ħtiġijiet tiegħek.
- Wara li tagħmel bidliet fil-fajl, ikklikkja l-buttuna "Save changes to robots.txt".
Innota li kull setting tal-fajl robots.txt għal WordPress huwa uniku u jiddependi fuq il-ħtiġijiet u l-karatteristiċi speċifiċi tas-sit. M'hemm l-ebda mudell universali li jkun adattat għar-riżorsi kollha mingħajr eċċezzjoni. Madankollu, dan l-eżempju u l-użu ta 'plugins jistgħu jissimplifikaw il-kompitu b'mod sinifikanti.
L-issettjar manwali ta' Robots.txt
Bl-istess mod, tista 'twaqqaf il-konfigurazzjoni tiegħek tal-fajl anki fin-nuqqas ta' CMS lest għas-sit. L-utent jeħtieġ ukoll li jtella’ l-fajl robots.txt fid-direttorju tal-għeruq tas-sit u jispeċifika r-regoli meħtieġa. Hawn hu wieħed mill-eżempji, li fih huma indikati d-direttivi kollha disponibbli:
User-agent: *
Disallow: /admin/ # Prohibit access to the administrative panel
Disallow: /secret.html # Prohibit access to a specific file
Disallow: /*.pdf$ # Prohibit indexing of certain file types
Disallow: /*?sort= # Prohibit indexing of certain URL parameters
Allow: /public/ # Allow access to public pages
Sitemap: http://yourdomain.com/sitemap.xml # Include the sitemapKif Tiċċekkja l-Fajl Robots.txt
Bħala għodda awżiljarja meta tiċċekkja l-fajl robots.txt għal żbalji, huwa rakkomandat li tuża servizzi onlajn.
Ikkunsidra l-eżempju tal- Webmaster Yandex servizz. Biex tiċċekkja, għandek bżonn daħħal link għas-sit tiegħek fil-qasam korrispondenti jekk il-fajl ikun diġà mtella fuq is-server. Wara dan, l-għodda nnifisha se tagħbija l-konfigurazzjoni tal-fajl. Hemm ukoll għażla biex tidħol il-konfigurazzjoni manwalment:
Sussegwentement, trid titlob verifika u tistenna r-riżultati:
Fl-eżempju mogħti, m'hemm l-ebda żbalji. Jekk ikun hemm, is-servizz se juri l-oqsma problematiċi u l-modi kif jiġu ffissati.
konklużjoni
Fil-qosor, enfasizzajna kemm hu importanti l-fajl robots.txt għall-kontroll tat-traffiku fuq is-sit. Aħna pprovdejna pariri dwar kif twaqqafha sew biex timmaniġġja kif il-paġni tal-indiċi tal-magni tat-tiftix. Minbarra dan, ħaresna wkoll lejn eżempji ta 'kif tuża dan il-fajl b'mod korrett u tajna istruzzjonijiet dwar kif tiċċekkja li s-settings kollha qed jaħdmu b'mod korrett.
