360搜索 > 使用幫助

簡介

 
 

感謝您使用360搜索。為了實現對網站更好的收錄,我們在此公布360搜索對Robots協議的支持和擴展說明,以便站長們了解,實現對網站內容更高效、智能的收錄。

 

360搜索對Robots協議的支持

 
 

360搜索支持Robots協議的主要命令,以下為具體說明:

1. user-agent

360搜索各產品的爬蟲user-agent為:

- 網頁搜索 360Spider

- 圖片搜索 360Spider-Image

- 視頻搜索 360Spider-Video

2. Allow

站長可通過Allow命令指定建議收錄的文件、目錄 。

3. Disallow

站長可通過Disallow命令指定不建議收錄的文件、目錄。

 
回到頂部 ↑

360搜索對Robots協議的擴展

360搜索根據站長們的反饋,會陸續推出擴展的Robots協議命令。這些命令將能幫助站長們提高和360搜索爬蟲溝通的效率,減少站長們維護Robots協議文件的技術成本。

360搜索首個擴展命令是:indexpage,站長們可以使用此命令告知360搜索哪些網頁經常更新。360搜索會根據站長的指示以及自己的算法,智能調整爬蟲抓取頻率,實現對您網站新內容的更高頻率抓取。

在命令中可以使用*、$等通配符。

示例:

使用通配符的

Indexpage: http://bbs.360safe.com/forum-*-1.html$

Indexpage: http://ent.sina.com.cn/*/roll.html

不用通配符的:

Indexpage: http://roll.tech.sina.com.cn/internet_all/index.shtml

Indexpage: http://roll.tech.sina.com.cn/it/index.shtml

Indexpage: http://roll.tech.sina.com.cn/tele/index.shtml

Indexpage: http://roll.tech.sina.com.cn/discovery/index.shtml

Indexpage: http://roll.tech.sina.com.cn/elec/index.shtml

回到頂部 ↑

對Robots協議的善意使用

Robots協議是一個搜索引擎和網站之間的善意協議,我們鼓勵站長們也以善意的方式使用這一協議,盡量提供準確的信息,除非有充足理由,不使用Robots協議屏蔽某些特定搜索引擎爬蟲。

360搜索愿和站長們一起,共建一個更健康、公平、透明的搜索引擎生態系統。



 
Copyright ? 360.CN All Rights Reserved.
多乐11选5