Robots.txt là gì và hướng dẫn cài đặt

1. File robots.txt là gì ?Sau khi tạo web thì website của bạn như một ngôi nhà thì file Robots.txt chính là nội quy khi vào ngôi nhà đó. Việc đầu tiên mà khi khách (Spider của các máy tìm kiếm) đến nhà là phải đọc nội quy của ngôi nhà để biết chủ nhà có cho phép nó vào tham quan hay không? Và nếu c&oa