Защо robots.txt не е защита – нито от Google, нито от AI

TL;DR robots.txt не е защита. Той е публична вежлива молба, която AI ботовете често игнорират. Google потвърди през 2026 г., че файлът управлява краулинг, но не и използване на съдържание за AI обучение. Защитата се мести към GEO стратегия.

Две години хиляди блогъри дописваха едни и същи редове в своя robots.txt: Disallow: / за GPTBot, за CCBot, за ClaudeBot, за Google-Extended.

Инструкциите идваха от AI инструменти, от SEO блогове, от Facebook групи – и създаваха едно много удобно усещане: „сега съм защитен“. През октомври 2026 г. Gary Illyes от Google прекрачи тази граница с едно изречение: robots.txt управлява краулинг, а не използване на съдържание за обучение.

Това са два различни процеса. Две различни точки на контрол. И един колективен навик на записване на редове в robots.txt, който внезапно се оказа илюзия.

robots.txt е публичен текстов файл с директиви за уеб роботи, но robots.txt не е защита, не е техническа бариера нито срещу Google индексация, нито срещу AI обучение, нито срещу злонамерени скрейпъри. Той е джентълменско споразумение, което дисциплинираните ботове спазват, а всички останали четат и подминават.

Тази статия е концептуалното продължение на „Какво е robots.txt и как да го настроиш в WordPress“. Там научаваш синтаксиса и настройката. Тук – защо тази настройка решава по-малко, отколкото мислиш, и накъде се мести защитата в ерата на AI търсенето.

Трите мита за robots.txt

Трите най-разпространени мита за robots.txt са: че скрива страници от Google, че защитава чувствително съдържание и че е задължителен за роботите. Нито едно от трите не е вярно.

Мит 1: „Ще сложа Disallow и страницата няма да е в Google“

Не е вярно. Директивата Disallow казва на Googlebot „не влизай тук“ – но не му казва „не показвай тази страница в резултатите“. Ако друг сайт има линк към нея, тя може да се появи в търсенето с описание „Описанието за този резултат не е достъпно поради robots.txt на сайта“. Google знае, че страницата съществува, но не знае какво има в нея.

За да изключиш страница от индекса, използвай мета таг noindex в самата страница. А за да работи noindex, Googlebot трябва да може да я обхожда – тоест не трябва да е блокирана в robots.txt. Двете директиви си противоречат, когато се използват заедно.

Мит 2: „Ще скрия чувствителните пътища в robots.txt“

Robots.txt е публичен файл. Всеки може да го отвори на https://твоятсайт.com/robots.txt и да види какво си блокирал. Ако напишеш Disallow: /админ-таен-път/, току-що си съобщил на целия свят, че този път съществува и че не искаш никой да го види. Точно обратното на защита.

За чувствени пътища използвай защита с парола на ниво сървър (.htaccess), не инструкции в robots.txt.

Мит 3: „Всички роботи са длъжни да го спазват“

Не са. Robots Exclusion Protocol е стандарт от 1994 г., но спазването му е доброволно. Googlebot го спазва. Bingbot – също. Повечето легитимни търсачки – също. Но:

• Злонамерените скрейпъри го игнорират по дизайн;
• Според проучване на Tollbit за края на 2025 г. около 30% от AI ботовете не спазват директивите в robots.txt;
• Дори Google понякога игнорира инструкциите, когато има силен сигнал от външни линкове.

Robots.txt не блокира никого, той моли. Молбата се спазва от тези, които желаят да я спазят.

Какво каза Гари Илес от Google през 2026 г. защо robots.txt не е защита

Гари Илес от Google официално заяви през октомври 2026 г., че robots.txt управлява краулинг, но не и използване на съдържание за обучение на AI модели. Това са два различни процеса с две различни точки на контрол.

През октомври 2026 г. Гари Илес, един от публичните гласове на Google по теми, свързани с краулинг и индексация, направи изявление, което обърна наопаки две години работа на хиляди уебмастъри. Според публикацията в Search Engine Journal, цитирана в руската технологична преса (Хабр), Илес ясно разграничи два процеса:

Процес 1: краулинг. Може ли ботът да отвори страницата и да прочете съдържанието? Този въпрос управлява robots.txt. Файлът съществува отдавна преди генеративния AI. Роден е в ерата на дисциплинираните търсачки и беше създаден с една задача: ред в обхождането.

Процес 2: използване на съдържанието за обучение на модели. Къде отива текстът, след като е прочетен? Този въпрос се регулира от нещо съвсем друго – политиките на конкретните AI компании, opt-out програмите и, в крайна сметка, авторското право. Блокирането на AI краулер през robots.txt не означава, че съдържанието ти няма да попадне в датасет (dataset): то може да е било събрано по-рано, да е дошло по друг канал, да е част от друга програма.

Казано по друг начин: ти решаваш задачата за краулинг, но мислиш, че решаваш задачата за защита от обучение. Два различни процеса. Две различни точки на контрол. Строял си стена на едно място, докато всички минават през друго.

Важна уговорка, за да не изпадаме в другата крайност: robots.txt не е отменен и не е счупен. За задачата, за която е създаден – управление на обхождането – той работи точно както е работил. Променя се не файлът, а разбирането ти какво точно решава и какво не.

Какво казват SEO експерти: решението е архитектурно, не кръпки

Италианският SEO специалист Roberto Serra обяснява, че robots.txt, noindex и canonical се използват като „пластири“ за лошо проектирани сайтове. Потвърждава, че robots.txt не е защита. Истинското решение не е нова директива, а правилна архитектура от самото начало.

Проблемът с директивите като инструмент за контрол не е нов и не е само за AI.

robots.txt, noindex, canonical, параметърният инструмент в Search Console, инструкциите в .htaccess – всичко това са „пластири“, които се използват, когато на сайта има твърде много ненужно съдържание, което по политически или организационни причини не може да бъде премахнато. Или когато сайтът е проектиран от самото начало без ясни критерии за приоритет.

Два примера:

Пример 1: корпоративен сайт с 100 продукта и 10 000 стари прес съобщения. Прес съобщенията не се позиционират за нищо смислено, но не могат да бъдат изтрити. Какво правиш? Блокираш ги с robots.txt? Поставяш им noindex? И двете са грешни. noindex не икономисва ресурси за обхождане – той само скрива страниците от резултатите, но Googlebot пак губи време да ги обхожда. А ако блокираш 95% от сайта в robots.txt, Google основателно пита: „ами ти какво искаш тогава от мен?“

Правилното решение според Francesco Margherita, друг известен италиански SEO, е архитектурно: пренасяш цялата рубрика „прес съобщения“ на поддомейн от трето ниво (press.твоятсайт.com), минимизираш вътрешните линкове между двата домейна, и Google ги третира като практически независими сайтове.

Пример 2: електронен магазин с параметризирани URL-и (филтри за търсене, grid/list визуализация, пагинация). Тези линкове са навсякъде из сайта, като стафидите в кейка. Да ги блокираш с robots.txt? Файлът ти ще стане огромен и ще се опитваш да покриеш всеки възможен шаблон – бъркотия. Решението е архитектурно (пак според Francesco Margherita): страниците, които искаш да позиционираш, се сервират като нормални линкове (с реален href в тага <a>). Параметризираните URL-и се зареждат динамично чрез AJAX или подобна технология – тоест Google дори не ги вижда като линкове за обхождане.

Поуката е същата като при AI обучението: директивите в robots.txt не поправят проблем, който идва от архитектурата на сайта. Google може спокойно да ги игнорира (и вече е доказано, че го прави). Истинското решение е да проектираш сайта правилно от самото начало – или да го преструктурираш, когато е нужно.

Таблица: какво robots.txt НЕ прави и какво наистина работи

Задача	„Пластирно“ решение (не работи)	Истинско решение
Скриване на страница от Google резултатите	Disallow в robots.txt	Мета таг noindex в самата страница
Защита на чувствителни пътища	Disallow: /админ-таен-път/ в robots.txt	Защита с парола на ниво сървър (.htaccess)
Защита на съдържанието от AI обучение	Disallow: / за GPTBot, CCBot, ClaudeBot	Opt-out през политиките на всяка AI компания + GEO стратегия
Контрол над индексирането на тагове и категории	Блокиране в robots.txt	noindex в SEO плъгина (Rank Math)
Икономия на crawl budget за ирелевантни страници	Блокиране в robots.txt	Пренасяне на ирелевантното съдържание на поддомейн
Контрол над параметризирани URL-и в електронен магазин	Disallow: /*?filter_ в robots.txt	Динамично зареждане (AJAX) вместо реален href
Изключване на дублирано съдържание	canonical към главната версия	Правилна информационна архитектура от самото начало

Смяна на защитата: от „как да забраня“ към „как да стана незаменим“

Старата логика „скрий се от AI с един ред в robots.txt“ губи смисъл. Новата логика е GEO: стани източник с толкова уникална експертиза, факти и опит, че AI моделите да не могат да дадат пълен отговор без теб.

Цялата стратегия „ще се скрия от AI с една директива“ почиваше на едно скрито допускане: че ценността ти е в самия факт на наличието на текст. Но ценността не е там.

В AI отговора – дали в ChatGPT, Perplexity, Google AI Overviews или Claude – моделът събира десетина източника и връща един синтезиран отговор. И в този отговор не попада този, който най-гръмко се е затворил, а този, който има какво да каже по същество. AI отсява тези, които нямат какво да покажат.

Това е смяна на точката на зрение. Защитата се мести от въпроса „как да забраня“ към въпроса „как да направя така, че без мен отговорът да е непълен„. Това е работата на GEO (Generative Engine Optimization) – нова дисциплина, която замества част от класическото SEO именно за тази нова ситуация.

Нещата се променят:

• Не крий съдържание, надстройвай с експертиза, цифри, личен опит, конкретни случки, оригинални данни;
• Пиши неща, които не могат да бъдат преразказани три пъти с различни думи и да звучат по същия начин;
• Включи първични източници, собствени изследвания, конкретни примери от твоята ниша;
• Използвай принципите на невромаркетинга, за да създаваш съдържание, което носи реална информационна тежест, не само ключови думи

Търсенето на видимост в AI не се появи, защото някой го измисли и ти го наложи. То се появи, защото хората започнаха да задават въпросите си на модели вместо в търсачката. Маркетингът следва нуждата, не я създава. И защитата на съдържанието, и начините на промоция се преструктурират след това, не преди него.

Таблица: стари навици срещу нов подход към защита на съдържанието

Стара логика (2023–2025)	Нова логика (2026+)	Защо новата работи
„Блокирай GPTBot в robots.txt и си защитен от обучение“	„GPTBot в robots.txt блокира само нови обхождания – за старото съдържание използвай opt-out програмата на OpenAI“	Google (Илес) потвърди, че robots.txt ≠ контрол над обучението
„Крий данните си от AI“	„Публикувай данни, които само ти имаш“	AI отсява празните източници; незаменимостта е новата защита
„SEO = ключови думи и мета тагове“	„GEO = първични данни, личен опит, цитируема експертиза“	AI моделите цитират източници с факти, не с ключови думи
„Повече статии = повече видимост“	„По-дълбоки статии = повече шансове да бъдеш цитиран“	Моделите избират един уникален източник, не три повтарящи се
„Защитавам се чрез отказ“	„Защитавам се чрез присъствие“	Отказът те прави невидим; присъствието те прави незаобиколим

Чести грешки в стратегията за защита на съдържанието

Грешка	Защо е проблем	Алтернатива
Разчитане само на robots.txt за защита от AI обучение	~30% от AI ботовете игнорират файла; Google потвърди, че краулинг ≠ обучение	Комбиниране на opt-out програми + GEO стратегия
Блокиране на AI търсачки (OAI-SearchBot, PerplexityBot) заедно с обучаващите ботове	Губиш видимост в AI отговорите, където сайтът ти би бил цитиран	Блокирай само обучаващите ботове (GPTBot, CCBot, ClaudeBot); разреши търсачките
Използване на robots.txt за всичко – индексация, защита, AI, канонизация	Файлът става огромен и често се самопротиворечи; Google може да го игнорира	Всяка задача – с правилния инструмент (noindex, canonical, парола, архитектура)
„Скриване“ на цели части от сайта в robots.txt вместо изтриване	Google вижда, че 90% от сайта е блокиран, и губи доверие в целия домейн	Изтрий ненужното съдържание или го премести на поддомейн
Писане на еднакви статии като всички останали в нишата	AI моделите избират един източник, не десет повторения	Добавяй уникална експертиза, собствени данни, личен опит
Чакане AI компаниите „сами“ да спрат да използват съдържанието ти	Opt-out програмите изискват активно действие от твоя страна	Регистрирай се проактивно във всяка програма (OpenAI, Anthropic, Google)
Блокиране на Claude-User и ChatGPT-User (ботове за заявки от потребители)	Губиш шанса да бъдеш цитиран в реално време при потребителски въпрос	Разреши ги – те носят цитирания, не обучават модели

FAQ – често задавани въпроси: защитата на съдържанието в ерата на AI, когато robots.txt не е защита