رباتس‌تکست Robots.txt

توضیح کامل

این فایل مسیرهای مدیریتی، سبد خرید و صفحات تکراری را از خزش خارج می‌کند تا بودجه خزش (Crawl Budget) روی صفحات مهم صرف شود.

نکته مهم: robots.txt از ایندکس جلوگیری نمی‌کند، فقط از خزش؛ برای ایندکس نشدن، باید noindex یا canonical استفاده شود.

مفاهیم مرتبط