Ai mới bắt đầu tự bước vào lĩnh vực SEO đều phải làm quen với các
khái niệm, những thuật ngữ hay những tên gọi đặc biệt trong lĩnh vực
SEO. Robots.txt không hẳn là một khái niệm gì mà nó đơn giản chỉ là một
file dữ liệu trên host. Nhưng nó có ý nghĩa gì trong SEO? Cách tạo ra nó
như thế nào? Sau đây mời các bạn tìm hiểu nó qua bài viết đơn giản.
Khái niệm:
Robots.txt: Là một file đặt trong thu mục Root trên host, file text này chứa các câu lệnh cho phép quản trị viên website có thể chỉ định quyền hạn truy cập vào những thư mục, file... của bọ tìm kiếm. Từ đó các công cụ tìm kiếm sẻ chỉ index những nội dung nào bạn muốn mà thôi.
Cách tạo và sử dụng file Robots.txt:
Để tạo file robots.txt bạn chỉ cần sử dụng chương trình Notepad và gõ các câu lệnh đơn giản vào, sau đó lưu lại với tên robots.txt và upload lên thư mục Root của website là được.
3 lệnh cơ bản nhất của 1 tâp tin robots.txt:
- User-agent : Để xác định bot của công cụ tìm kiếm nào. Để dấu * là tất cả các công cụ tìm kiếm
- Allow: Cho phép bot vào thư mục, file
- Disallow: Không cho bot vào thư mục, file.
Lưu ý:
- Bạn có thể thêm nhiều dòng để cho phép hoặc không cho phép bot truy cập ở nhiều thư mục hoặc file khác nhau.
- Không thay đổi trật tự của các dòng lệnh (User-agent luôn ở trên).
- Phân biệt chữ hoa chữ thường.
- Không được viết dư, thiếu khoảng trắng.
- Không nên chèn thêm bất kỳ ký tự nào khác ngoài các câu lệnh.
- Mỗi một câu lệnh nên viết trên 1 dòng.
- Không được để khoảng trắng ở đầu dòng lệnh
Chúc các bạn làm SEO tốt!
Khái niệm:
Robots.txt: Là một file đặt trong thu mục Root trên host, file text này chứa các câu lệnh cho phép quản trị viên website có thể chỉ định quyền hạn truy cập vào những thư mục, file... của bọ tìm kiếm. Từ đó các công cụ tìm kiếm sẻ chỉ index những nội dung nào bạn muốn mà thôi.
Cách tạo và sử dụng file Robots.txt:
Để tạo file robots.txt bạn chỉ cần sử dụng chương trình Notepad và gõ các câu lệnh đơn giản vào, sau đó lưu lại với tên robots.txt và upload lên thư mục Root của website là được.
3 lệnh cơ bản nhất của 1 tâp tin robots.txt:
User-agent: *Ý nghĩa:
Allow: /index-ct/
Disallow: /admin/
- User-agent : Để xác định bot của công cụ tìm kiếm nào. Để dấu * là tất cả các công cụ tìm kiếm
- Allow: Cho phép bot vào thư mục, file
- Disallow: Không cho bot vào thư mục, file.
Lưu ý:
- Bạn có thể thêm nhiều dòng để cho phép hoặc không cho phép bot truy cập ở nhiều thư mục hoặc file khác nhau.
- Không thay đổi trật tự của các dòng lệnh (User-agent luôn ở trên).
- Phân biệt chữ hoa chữ thường.
- Không được viết dư, thiếu khoảng trắng.
- Không nên chèn thêm bất kỳ ký tự nào khác ngoài các câu lệnh.
- Mỗi một câu lệnh nên viết trên 1 dòng.
- Không được để khoảng trắng ở đầu dòng lệnh
Chúc các bạn làm SEO tốt!