Hướng dẫn sử dụng file Robots.txt và cài đặt Robotsl.txt cho WordPress
Robots.txt là một tệp văn bản nằm trong thư mục gốc của trang web chỉ định cho trình thu thập thông tin của công cụ tìm kiếm cho những trang web và tệp nào bạn muốn hoặc không muốn truy cập. Thông thường, chủ sở hữu trang web cố gắng để được các công cụ tìm kiếm chú ý, nhưng có những trường hợp không cần thiết: Chẳng hạn, nếu bạn lưu trữ dữ liệu nhạy cảm hoặc bạn muốn tiết kiệm băng thô
Đọc bài viết đầy đủ