Thiết lập file robots.txt tối ưu cho website BĐS: để Google crawl đúng trang “tiền”

Một web bất động sản dễ phát sinh “rừng URL”: lọc giá/diện tích, tìm kiếm nội bộ, tham số sắp xếp, UTM, phân trang… Nếu không kiểm soát, Google sẽ crawl rất nhiều trang không mang giá trị SEO, còn trang dự án/tin quan trọng lại bị crawl chậm. Lúc này, robots.txt là “cánh cổng” để hướng bot đi đúng đường.

Bài này Bdsweb mở theo kiểu so sánh đối lập: cùng một website, chỉ cần robots.txt được cấu hình đúng, bạn sẽ thấy index sạch hơn và crawl budget tập trung hơn; cấu hình sai thì ngược lại—thậm chí chặn nhầm CSS/JS làm Google render sai giao diện.

1) Robots.txt là gì và nó làm được/không làm được gì?

• Làm được: hướng dẫn bot không crawl một số đường dẫn/URL pattern
• Không đảm bảo: “không index” tuyệt đối (muốn chắc: dùng noindex hoặc loại bỏ URL)
• Không dùng để bảo mật: robots.txt không phải tường lửa

Điểm quan trọng: robots.txt tối ưu để cắt crawl lãng phí và tránh bot đi vào khu vực vô ích.

2) Mục tiêu robots.txt cho website BĐS

• Cho bot crawl đầy đủ trang dự án, tin đăng, danh mục, blog
• Giảm crawl các URL rác: tìm kiếm nội bộ, lọc tham số, trang hệ thống
• Không chặn tài nguyên cần render: CSS/JS/ảnh quan trọng
• Khai báo sitemap để bot tìm nhanh

Chiến lược SEO tổng thể: Tối ưu SEO cho website bất động sản.

3) Những khu vực nên chặn crawl trên web BĐS (phổ biến)

Tùy hệ thống, nhưng thường gồm:

• Trang admin: /wp-admin/ hoặc /admin/
• Trang đăng nhập/đăng ký nội bộ
• Trang tìm kiếm nội bộ: /search/ hoặc tham số ?s=
• URL lọc tham số: ?price=, ?area=, ?sort=, ?page= (tuỳ chiến lược)
• Trang giỏ hàng/checkout (nếu có module thương mại)
• Trang tag mỏng, trang archive không cần SEO

Lưu ý quan trọng: với web BĐS, URL lọc có thể tạo ra landing SEO nếu bạn “đóng gói” thành URL tĩnh có nội dung. Trường hợp đó, không nên chặn bừa.

4) Những thứ KHÔNG nên chặn (dễ gây lỗi SEO)

• Thư mục CSS/JS (Google cần để render)
• Ảnh quan trọng hiển thị trên trang
• API/endpoint cần cho tải nội dung server-side (tuỳ cấu trúc)

Nhiều website tụt SEO vì chặn nhầm /wp-includes/ hoặc file JS/CSS làm Google nhìn thấy trang “trống” hoặc vỡ layout.

5) Cấu trúc robots.txt gợi ý cho web BĐS (mang tính mẫu)

Dưới đây là mẫu nguyên tắc (bạn cần điều chỉnh theo đường dẫn thực tế website):

 User-agent: * Disallow: /wp-admin/ Disallow: /admin/ Disallow: /login/ Disallow: /search/ Disallow: /*?s= Disallow: /*?sort= Disallow: /*?filter= Disallow: /*?price= Disallow: /*?area= Allow: /wp-admin/admin-ajax.php Sitemap: https://yourdomain.com/sitemap_index.xml 

Giải thích nhanh:

• Disallow: chặn crawl đường dẫn/pattern
• Allow: mở lại một endpoint cần thiết (ví dụ admin-ajax)
• Sitemap: giúp bot tìm sitemap nhanh

Quan trọng: Mẫu trên không phải “copy dán” cho mọi site. Bạn phải kiểm tra URL thực tế của bộ lọc và tìm kiếm nội bộ.

6) Robots.txt và URL tham số: chặn thế nào để không “giết” SEO?

Với tham số lọc, Bdsweb thường chọn 1 trong 2 hướng:

6.1 Hướng A: Không SEO URL lọc

• Chặn crawl một số tham số phổ biến bằng robots.txt
• Dùng canonical/noindex cho trang lọc nếu cần

6.2 Hướng B: SEO một số landing lọc cố định

• Tạo URL tĩnh (không tham số) cho vài bộ lọc “đinh”
• Không chặn các URL tĩnh này
• Chặn phần còn lại để tránh bùng nổ URL

Nếu bạn đang đẩy SEO theo cụm và cấu trúc rõ, hướng B rất hiệu quả nhưng phải làm bài bản.

Cấu trúc web hỗ trợ SEO tốt hơn: Cấu trúc website bất động sản chuyên nghiệp.

7) Kiểm tra robots.txt trước khi đưa lên live

Trước khi áp dụng, hãy làm 5 bước kiểm tra:

• Mở file robots.txt trên domain để xem đã truy cập được chưa
• Kiểm tra trang dự án/tin đăng có bị chặn nhầm không
• Kiểm tra CSS/JS có bị chặn không (render trang có đủ không)
• Kiểm tra sitemap đã khai báo đúng URL chưa
• So sánh log crawl (nếu có) để biết bot đang tốn crawl vào đâu

8) Robots.txt liên quan thế nào đến sitemap và index?

• Sitemap giúp “gợi ý” URL quan trọng
• Robots.txt giúp “ngăn” crawl URL không quan trọng
• Noindex/canonical mới là công cụ chính để kiểm soát index

Bài hướng dẫn sitemap: Tối ưu SEO cho website bất động sản.

9) Lỗi robots.txt thường gặp trên website BĐS

• Chặn nhầm thư mục chứa CSS/JS
• Chặn toàn site bằng Disallow: / (thảm hoạ khi lên live)
• Chặn cả trang dự án/tin quan trọng do pattern quá rộng
• Không khai báo sitemap
• Chỉ chặn crawl nhưng vẫn bị index URL rác (do thiếu noindex/canonical)

10) Checklist tối ưu robots.txt cho web BĐS (copy dùng ngay)

• [ ] Không chặn CSS/JS/ảnh quan trọng
• [ ] Chặn khu vực admin/login
• [ ] Chặn tìm kiếm nội bộ và tham số rác (theo chiến lược)
• [ ] Không dùng pattern quá rộng làm chặn nhầm trang dự án/tin
• [ ] Có khai báo sitemap index
• [ ] Kiểm tra sau khi deploy: crawl/index biến động

Robots.txt tối ưu cho website BĐS không phải để “giấu” trang, mà để hướng bot crawl đúng: tập trung vào dự án, tin đăng, danh mục và blog; hạn chế tìm kiếm nội bộ và URL tham số rác. Chỉ cần cấu hình đúng và kiểm tra kỹ, bạn sẽ có index sạch hơn, crawl budget hiệu quả hơn và nền tảng SEO ổn định hơn.