Vui lòng không đóng trang trong khi chuẩn bị file.
🤖 Robots.txt Generator – Tạo cấu hình thu thập dữ liệu
Sinh file robots.txt tối ưu SEO, chặn môi trường staging hoặc tùy chỉnh chi tiết cho từng nhu cầu. Tất cả tùy chọn đều có lời giải thích bằng tiếng Việt.
Cài đặt chính
Tên miền chính (tùy chọn)
Dùng để tự động chèn đường dẫn sitemap. Để trống nếu bạn sẽ nhập sitemap thủ công.
Chế độ tạo robots.txt
Tùy chọn dành cho User-agent *
* Các lựa chọn trên chỉ áp dụng khi chế độ = "Khuyến nghị SEO" hoặc bạn đang tạo rule tùy chỉnh dựa trên User-agent mặc định *.
Sitemap
Mỗi dòng một sitemap. Nếu để trống, công cụ sẽ thử tạo sitemap mặc định dựa trên tên miền bên trên.
Rule bổ sung cho User-agent *
Khối User-agent tùy chỉnh (hiển thị khi chọn "Tùy chỉnh")
Nhập tên user-agent cụ thể và các dòng rule tương ứng. Khi để trống, hệ thống sẽ sử dụng User-agent: *.
Gợi ý: đổi thành robots-preprod.txt nếu tạo riêng cho môi trường staging.
Kết quả robots.txt
# Nội dung robots.txt sẽ hiển thị tại đây sau khi generate.
Lịch sử gần đây
💡 Tips quan trọng khi cấu hình robots.txt
Không nên chặn toàn bộ site trên môi trường production – Google sẽ gỡ chỉ mục nếu gặp Disallow: /.
Chỉ chặn những thư mục riêng tư hoặc nội dung trùng lặp. Robots.txt không ẩn thông tin bí mật khỏi người dùng.
Sau khi thay đổi, dùng Google Search Console > URL Inspection để kiểm tra bot có thể truy cập trang quan trọng.
Giữ file gọn gàng, có chú thích nếu cần, và cập nhật sitemap khi đổi cấu trúc site.
