Chặn bọ Ahrefs index backlink trên website

Ahrefs là một công cụ kiểm tra website và hơn hết là thường kiểm tra lượng backlink trên website. Ahrefs sở dĩ có thể đọc và cung cấp thông tin backlink của một website nào đó là bởi vì nó 1 con bọ vào các website khác nhau để đọc và thu thập dữ liệu.

Bằng việc phân tích website đối thủ bằng công cụ Ahrefs bạn sẽ biết được rất nhiều thông tin như sau:

Thông tin khi phân tích website toilaquantri.com với ahref

Từ đó bạn sẽ lên các kế hoạch xây dựng từ khóa, backlink cho phù hợp để cạnh tranh với đối thủ trong SEO.

Tương tự như Bot (Bọ) Google, Ahrefs có hệ thống server lớn nên bọ Ahrefs được và thu thập dữ liệu rất nhanh và chính xác cao. Thường thì công cụ Google Webmaster Tool cập nhập khoảng 1 tuần thì Ahrefs chỉ trong 1-2 ngày.

Xem thêm bài phân tích: Phân tích backlink website với Ahrefs

=> Do vậy nhằm để bảo mật thông tin về backlink về website để đối thủ không phân tích được, chúng ta sẽ chặn bọ của Ahrefs index.

Chặn bot Ahrefs index website của bạn

Cách làm như sau:

Thêm dòng code sau vào trang file Robot.txt

User-agent: AhrefsBot Disallow: /

Ví dụ đoạn Robot.txt như sau:

Thì sẽ chèn vào như sau

User-agent: AhrefsBot
Disallow: /
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Allow: /search/label/
Sitemap: Domain/feeds/posts/default?orderby=UPDATED
Sitemap: Domain/sitemap.xml
Sitemap: Domain/atom.xml?redirect=false&start-index=1&max-results=500
Sitemap: Domain/atom.xml?redirect=false&start-index=501&max-results=500
Sitemap: Domain/atom.xml?redirect=false&start-index=1001&max-results=500