1900 0366         info@vdo.vn

Cấu hình file robots.txt cho website

Cấu hình file robots.txt cho website là cách tạo ra 1 văn bản chứa các mã lênh mà người quản trị web muốn điều hướng các bots của công cụ tìm kiếm khi vào website của bạn. Nó là dạng file rất đơn giản có thể được tạo bở công cụ notepad, file robots.txt được tạo ra và đặt vào thư mục root của trang web.

File robots.txt được sủ dụng để hướng dẫn công cụ tìm kiếm tự động đến những trang nào mà bạn muốn nó tìm kiếm và sau đó thì index trang đó. Hầu hết trang web nào cũng có nhưng thư mục và file không cần đến robots của công cụ tìm kiếm ghé thăm. Do vậy tạo ra file robots.txt có thể giúp bạn điều chỉnh việc đó.

Cấu hình file robots.txt

cau-hinh-file-robots-txt

Cấu hình file robots.txt

File robots.txt được đặt trong thư mục gốc đầu tiên của website và ngang hàng với các file index.php, sitemap.xml,… Và cấu hình file robots.txt sẽ có dạng sau:

User-agent: *

Disallow: /wp-

Allow: /wp-

Sitemap: đường dẫn url trang web

Trong đó:

  • User-agent: * -> cho google có thể vào tất cả source code của mình
  • Disallow: [đường dẫn url mà mình muốn chặn]
  • Sitemap : [đường dẫn url đến sơ đồ trang web của mình]
  • Allow: [đường dẫn url trong 1 thư mục con trong thư mục gốc bị chặn, mà mình muốn bỏ chặn].

Để rõ hơn bạn hãy theo dõi ví dụ :

User-agent: *

Disallow: /wp-admin/

Sitemap:  https://webbee.vn /sitemap.xml

Để dẫn bots google đến sơ đồ của trang webbee.vn thì khai báo trong sitemap. Cũng như muốn chặn bots google hay bỏ chặn và theo dõi 1 trang thết kế website shop thời trang chuyên nghiệp. Bạn dẫn đị chỉ trang web vào allow.

Sau khi cấu hình file robots.txt bạn có thể vào trực tiếp bằng công cụ webmaster tool để gửi cập nhật và kiểm tra lại cho chính xác. Chúc bạn thành công!

>> Xem Thêm:  Debug và fix bug trong thiết kế website có ý nghĩa gì?

Hotline tư vấn miễn phí