Công cụ kiểm tra các quy tắc trong file robots.txt
Sơ đồ trang
Trước đây mình có viết 1 bài chia sẽ các quy tắc (rules) robots.tx cho các CMS phổ biến nhất là WordPress | Joomla | Drupal | Magento bạn có thể xem qua ở đây để biết file robots.txt là gì nhé, trong bài này là chia sẽ 1 số công cụ mình hay sử dụng để test xem các quy tắc mình tạo trong robots.txt đang áp dụng trên website của bạn có đúng yêu cầu hay không.
Hiện giờ đã có AI hỗ trợ nên bạn sẽ dễ dàng nhờ sự trợ giúp của AI nhưng bạn cũng nên kiểm tra lại bằng 1 số công cụ sau vì mình gặp 1 case chatGPT là top AI nhưng trả lời rất ngô nghê, rule rõ ràng không hề có tác dụng mà khẳng định như đúng rồi :D, case bạn có thể xem ở gần cuối bài này
Robots.txt Testing Tool
Có 3 công cụ mình hay sử dụng để test file robots.txt đó là.
1. Logeix robots.txt Testing Tool
Bạn có thể sử dụng công cụ này địa chỉ
Sau khi truy cập bạn nhập link robots.txt vào input đầu tiên
Ví dụ nhập vào: https://vutruso.vn/robots.txt sau đó nhấn Fetch Robots.txt để công cụ này lấy được các quy tắc trong file robots.txt đang áp dụng trên website của bạn
Tiếp theo bạn cần nhập đường dẫn bạn cần test vào input Enter the URL to test là có thể xem được kết quả bạn đang muốn kiểm tra
Bài viết liên quan
Trong trường hợp này mình nhập link cần test đó là mình sẽ chặn mọi query do bộ lọc trên web tạo ra
https://vutruso.vn/nep-hop-kim/?chat_lieu[]=1228&chat_lieu[]=1227&be_mat[]=1231&be_mat[]=1232&be_mat[]=1233
Enter the URL to test
Như hình bạn có thể thấy, mình set rule như này là chuẩn xác, có nghĩa là khi robot đọc qua url này sẽ bị chặn lại
User-Agent: *
Disallow: /*?*
Quy tắc này sẽ chặn tất cả các URL có dấu “?” trong URL, tức là tất cả các trang có tham số query string.
Công cụ mình giới thiệu ở trên là live test, còn 2 công cụ tiếp theo là bạn sẽ test rule thoải mái trước khi áp dụng quy tắc vào file robots.txt
2. Công cụ test của technicalseo
Đây là công cụ mình cũng rất hay dùng và chúng nằm trong bộ đồ nghề technical SEO, ngoài chức năng test robots.txt thì website technicalseo.com cung cấp hàng đống công cụ khác mà bạn có thể khám phá thêm nhé.
Để test và validator robots.txt bạn có thể truy cập vào đường dẫn
sau đó sử dụng chức năng live hoặc editor tuỳ ý.
Chức năng live nghĩa là test file robots.txt đang áp dụng cho website của bạn, còn editor thì cho bạn kiểm thử, testing thoải mái, nếu ok hãy dán quy tắc vào file robots.txt
3. Công cụ khác
Ngoài 2 công cụ trên bạn cũng có thể tham khảo thêm 1 số công cụ như:
https://tamethebots.com/tools/robotstxt-checker
https://spotibo.com/robots-tester/
ChatGPT cho giải pháp sai
Trở lại case mình đã nói ban đầu là chatGPT sẽ cho bạn giải pháp sai hoàn toàn, sau khi tham khảo ông chatGPT thì ổng cho ra rules như sau
User-agent: *
Disallow: /?
ChatGPT cho giải pháp đi vào lòng đất
Rule ông chatGPT trên là sai nhé, thử bỏ vào phần test sẽ thấy các bộ lọc vẫn allow chứ không có blocked
Result: Allowed là sai yêu cầu, vì cần blocked
Dù gì AI cũng là công cụ nên bạn cần test cẩn thận trước khi áp dụng vào website của mình kẻo thêm quy tắc vào mà không có tác dụng, google nó cào nát web rồi mới phát hiện thì toi..
Hy vọng bài viết này sẽ giúp ích được cho nhiều người.
Bài viết liên quan
