Какво е robots.txt и как да настроиш robots.txt в WordPress

TL;DR: Ето какво е robots.txt – прост текстов файл в корена на сайта, който казва на уеб роботите кои страници могат да обхождат при краулинг. В WordPress го редактираш през плъгина Rank Math, не ръчно. Файлът управлява само краулинга, не защитава съдържание.

Всеки път, когато Googlebot, Bingbot или който и да е друг уеб робот посети сайта ти, той първо спира на една невидима „входна врата“ и чете един файл: robots.txt. Този файл му казва къде може да ходи и къде – не. Ако го имаш настроен правилно, роботите обхождат сайта ти ефективно. Ако е объркан, рискуваш страниците ти да изчезнат от Google.

robots.txt е публичен текстов файл с директиви за уеб роботи, който се чете на адрес https://твоятсайт.com/robots.txt и управлява достъпа при краулинг. Не защитава съдържанието, не скрива страници от индекс и не е технически бариера, а джентълменско споразумение.

В тази статия ще научиш какво е robots.txt, какво точно прави, какъв е синтаксисът му, как да настроиш robots.txt в WordPress и кои са най-честите грешки.

За по-големия въпрос – дали robots.txt наистина защитава съдържанието ти (включително от AI обучение) – виж отделната статия Защо robots.txt не е защита – нито от Google, нито от AI.

Виж още: GEO-промотиране: как те търсят клиентите в ИИ и как да станеш част от техните отговори

Какво е robots.txt

robots.txt е текстов файл в корена на сайта, който дава инструкции на уеб роботите. Протоколът се казва Robots Exclusion Protocol, съществува от 1994 г. и днес се спазва от легитимните търсачки.

Файлът robots.txt е прост текстов документ, който се поставя в основната директория на уебсайта, т.нар. „корен“. Адресът му винаги изглежда така:

https://твоятсайт.com/robots.txt

Когато търсещ робот посети сайта ти, той първо проверява дали този файл съществува. Ако го намери, го чете и спазва правилата. Ако не намери файл, приема, че целият сайт е свободен за обхождане.

Протоколът, по който работи файлът, се казва Robots Exclusion Protocol (REP) и е създаден през 1994 г. от Мартайн Костер – в ерата, когато уеб роботите са били малко и дисциплинирани. Днес, в ерата на AI краулерите, картината е различна, но за това в отделната статия.

Важно е да запомниш едно нещо от самото начало: robots.txt не е техническа бариера. Той е публикувана молба. Легитимните роботи я спазват. Злонамерените скрейпъри и много AI краулери – не.

Основен синтаксис на robots.txt

Синтаксисът на robots.txt се състои от четири основни директиви – User-agent, Disallow, Allow и Sitemap – плюс специалните символи * (всичко) и $ (точно край на URL). Файлът се чете отгоре надолу.

Файлът се пише на обикновен текст, без форматиране, без HTML. Всяка група от правила започва с директивата User-agent: и завършва с празен ред.

Базова структура

User-agent: [име на робота]
Disallow: [път, който е забранен]
Allow: [път, който е разрешен]

Sitemap: [URL на sitemap]

Символът * в User-agent означава „всички роботи“. Символът * в път означава „всичко, което съответства на шаблона“. Символът $ в края на път означава „точно тази URL – без нищо след нея“.

Примерен файл

User-agent: *
Disallow: /wp-admin/
Disallow: /cart/
Disallow: /checkout/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://твоятсайт.com/sitemap_index.xml

В примера:

• Всички роботи получават едни и същи правила (User-agent: *)
• Блокирани са административната зона, количката и чекаута
• Файлът admin-ajax.php е изрично разрешен, защото е нужен за динамичните функции на WordPress
• В края е посочен sitemap картата, за да може търсачките да я намерят лесно

Специални символи

Disallow: /*.pdf$

Тази директива блокира достъпа до всички URL адреси, завършващи на .pdf. Символът $ гарантира, че URL /документи/файл.pdf?v=2 няма да бъде блокиран – само тези, които завършват точно на .pdf.

Таблица: основни директиви на robots.txt

Как да настроиш robots.txt в WordPress през Rank Math

В WordPress не е нужно да редактираш robots.txt ръчно на сървъра. Rank Math го генерира динамично и ти го редактираш през табло → Rank Math → Общи настройки → Edit robots.txt. Промените се прилагат веднага.

Ако използваш WordPress с плъгина Rank Math SEO, не е нужно (и не е препоръчително) да качваш физически файл robots.txt на сървъра. Rank Math генерира файла динамично – тоест при всяка заявка към /robots.txt плъгинът го изгражда и го връща.

Път през менюто

1. Влез в табло на WordPress.
2. Отвори Rank Math SEO → Общи настройки (General Settings).
3. Избери раздела Edit robots.txt.
4. Направи промените в текстовото поле.
5. Натисни Save Changes.

Промените се прилагат веднага. Можеш да провериш резултата, като отвориш https://твоятсайт.com/robots.txt в браузъра.

Защо не ръчно

Ако качиш собствен robots.txt файл в корена на сайта през FTP, Rank Math няма да може да го презапише. Това не е грешка – сървърът така обработва заявките (физическите файлове имат приоритет пред динамично генерираните). Проблемът е, че губиш контрола през интерфейса и трябва да редактираш през FTP всеки път.

Проверка през Google Search Console

Google предлага инструмент за тестване на robots.txt директно в Google Search Console. Там можеш да провериш дали конкретна URL ще бъде блокирана или разрешена от текущата конфигурация. Пътят е: Search Console → Настройки → robots.txt.

Таблица: типични конфигурации на robots.txt

Различните видове сайтове имат нужда от различни правила. Ето три типични конфигурации:

Минимална конфигурация

User-agent: *
Allow: /

Sitemap: https://твоятсайт.com/sitemap.xml

Стандартна WordPress конфигурация

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://твоятсайт.com/sitemap_index.xml

Електронен магазин (WooCommerce)

User-agent: *
Disallow: /wp-admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /*?orderby=
Disallow: /*?filter_
Allow: /wp-admin/admin-ajax.php

Sitemap: https://твоятсайт.com/sitemap_index.xml

Виж още: Как AI търсенето революционизира SEO в 2026 година

Чести грешки при настройване на robots.txt

Виж още: Как да направим структурата на сайта си удобна за посетителите и оптимизирана за Google

FAQ: честите въпроси за robots.txt