Làm thế nào để loại bỏ một trang web hoặc các mảnh vỡ của nó từ chỉ mục của Google

Theo khái niệm lập chỉ mục thông qua bởi Google, chiếm đầy đủ, khách quan của thông tin và phù hợp với truy vấn tìm kiếm trong việc ban hành các kết quả. Nếu chỉ số rơi trang web với nội dung bất hợp pháp, hoặc tài nguyên cho thư rác, các trang của trang web này sẽ không được đánh dấu trong công cụ tìm kiếm cơ sở dữ liệu chung. Đối với chúng tôi, điều quan trọng là tìm hiểu làm thế nào để loại bỏ một trang web từ đợt phát hành kết quả của máy chủ tìm kiếm.

Biến thể của zero lập chỉ mục của Google

Một khi các robot tìm kiếm - một chương trình để thu thập thông tin về tài nguyên mới - sẽ quét các trang trang web của trang, sau đó, khi dưới yêu cầu chính sách của Google cho phân tích cú pháp, nó sẽ được lập chỉ mục. Nhưng chúng tôi cũng cho bạn thấy làm thế nào để loại bỏ trang web hoặc mảnh vỡ của bạn cho công cụ tìm kiếm thông qua một robots.txt - chỉ mục và tìm kiếm đồng thời dừng tương tự.

Để loại trừ từ đợt phát hành của tài nguyên như một toàn thể, trong thư mục gốc của máy chủ mà trên đó các trang web có vị trí, tạo ra một vùng văn bản nào đó - cho biết robots.txt. Vùng này được xử lý bằng công cụ tìm kiếm và hành động theo hướng dẫn đọc.

Hãy ghi nhớ rằng các chỉ số công cụ tìm kiếm Google trang, thậm chí nếu người dùng có quyền truy cập để xem các clip bị cấm. Khi trình duyệt đáp ứng với 401 hoặc 403 "Truy cập không hợp lệ", nó chỉ áp dụng cho khách, chứ không phải là chương trình thu thập cho điều này công cụ tìm kiếm.

Để hiểu làm thế nào để loại bỏ trang web từ chỉ mục công cụ tìm kiếm, một con trỏ văn bản phải nhập những dòng sau:

User-agent: Googlebot

Disallow: /

Điều này cho thấy vào bánh xích để đánh chỉ mục cấm tất cả nội dung trên trang web. Dưới đây là làm thế nào để loại bỏ một trang web của Google, do đó sau này không cache tài nguyên trong danh sách của phát hiện.

Hiện thân của quét cho các giao thức khác nhau

Nếu bạn cần phải liệt kê các tiêu chuẩn thông tin liên lạc cá nhân, mà bạn muốn áp dụng quy tắc đặc biệt cho lập chỉ mục của Google, ví dụ, riêng cho siêu văn bản giao thức http / https, nó cũng là cần thiết để đăng ký trong robots.txt theo cách sau (chẳng hạn).

(Http://yourserver.com/robots.txt) - một tên miền của trang web của bạn (bất kỳ)

User-agent: * - bất kỳ công cụ tìm kiếm

Allow: / - cho phép đầy đủ đánh chỉ mục

Làm thế nào để xóa trang web khỏi vấn đề này hoàn toàn với giao thức https

(Https://yourserver.com/robots.txt):

User-agent: *

Disallow: / hoàn thành lệnh cấm lập chỉ mục

Giải quyết nhanh các địa chỉ nguồn loại bỏ URL- từ Google SERPs

Nếu bạn không muốn chờ tái lập chỉ số, và các trang web mà bạn muốn ẩn như thế nào, tôi khuyên bạn nên sử dụng dịch vụ http://services.google.com/urlconsole/controller sớm càng tốt. robots.txt trước phải được đặt trong thư mục gốc của máy chủ trang web. Nên quy định hướng dẫn thích hợp.

Nếu con trỏ vì một lý do không thể chỉnh sửa trong thư mục gốc, tạo ra nó đủ trong thư mục với mục tiêu mà bạn muốn ẩn từ các công cụ tìm kiếm. Khi bạn làm điều này và tham khảo các dịch vụ tự động loại bỏ các địa chỉ siêu văn bản, Google sẽ không quét thư mục mà nêu ra một lỗ hổng trong robots.txt.

Thời gian tàng hình này được thiết lập trong vòng 3 tháng. Sau giai đoạn này, các thư mục rút từ phát hành, sẽ một lần nữa được xử lý bởi máy chủ của Google.

H ow để loại bỏ một trang web để quét một phần

Khi một bot tìm kiếm được đọc nội dung của robots.txt, rằng quyết định nào đó được thực hiện trên cơ sở nội dung của nó. Hãy nói rằng bạn muốn loại trừ hiển thị toàn bộ thư mục gọi là anatom. Nó là đủ để định quy định như vậy:

User-agent: Googlebot

Disallow: / anatom

Hoặc, ví dụ, bạn muốn không chỉ mục tất cả các loại hình ảnh .GIF. Để làm điều này, thêm danh sách sau đây:

User-agent: Googlebot

Disallow: /*.gif$

Dưới đây là một ví dụ khác. Hãy để họ bị xóa khỏi phân tích thông tin trên các trang tự động tạo ra, trong khi thêm các loại chỉ mục:

User-agent: Googlebot

Disallow: / *?

Đó là về, và giải thích rõ ràng các quy tắc cho các công cụ tìm kiếm. Một điều nữa là nó có nhiều thuận tiện hơn để chỉ cần sử dụng thẻ META này. Và quản trị web thường sử dụng chỉ như một tiêu chuẩn quy định về hoạt động của công cụ tìm kiếm. Nhưng chúng tôi sẽ thảo luận điều này trong các bài sau.