Tạo File Robots.txt trong Blogspot
Tệp robot.txt cho biết trình thu thập thông tin của công cụ tìm kiếm những trang hoặc tệp mà trình thu thập thông tin có thể hoặc không thể yêu cầu từ trang web của bạn. Nói cũng khá nhiều về nó rồi bây giờ mình tập trung đi vào tạo nó trong blog thôi.
Khi chúng ta đã có Sitemap được tạo ra 1 số dòng code chúng ta copy nó và dán vào file tạm nào đó đã. Bạn có thể xem lại Cách Tạo Sitemap Cho Blogspot và chức năng của nó cũng có trong chuyên mục Webmaster
Để làm việc đó hãy truy cập vào trang quản trị và vào phần Cài đặt > Tùy chọn tìm kiếm và kéo xuống phía dưới có phần Robots.txt tùy chỉnh hãy click vào và mở chức năng của nó lên.
Cấu trúc 1 file Robots vì nó có nhiều thuộc tình nằm trong đó mình chỉ nói sơ qua những đơn giản cần thiết cho Blog mình
User-agent: *
Allow: /
Disallow: /search
Trong đó
- User-agent: cho phép con bọ của các công cụ tìm kiếm có thể vào blogspot của mình. Nếu bạn cho phép tất cả thì nên để dấu *
- Allow: / cho phép các công cụ tìm kiếm index toàn bộ nội dung của trang
- Disallow: /search báo với bộ máy tìm kiếm là không nên tò mò về nội dung của trang này và không được index chúng.
User-agent: *
Allow: /
Disallow: /search
Sitemap: https://ngocgn90.blogspot.com/sitemap.xml
- Sitemap: Đã tạo ở bài trước
Thay Url của mình thành của các bạn. Chúc các bạn thành công. Với những đoạn mã trên khi bạn tạo xong thì hãy chèn chúng vào trong hộp thoại Robots tùy chỉnh và lưu lại. Như vậy là đã hoàn thành một file robots.txt hoàn chỉnh cho Blogspot