Việc khai báo tệp Robots trên Google Search Console để những con bọ của Google lục lọi trang web/blog của bạn nhằm index bài viết mới trên website của bạn. Robot.txt file được cài đặt trong thư mục gốc để cho phép các công cụ tìm kiếm được phép lấy phần thông tin dữ liệu nào ở bên trong web/blog phần nào không được phép lấy.