搜尋引擎的原理是通過一種爬蟲spider程式，自動蒐集網際網路上的網頁並獲取相關信息。而鑒於網路安全與隱私的考慮，每個網站都會設定自己的Robots協定，來明示搜尋引擎，哪些內容是願意和允許被搜尋引擎收錄的，哪些則不允許。而搜尋引擎則會按照Robots協定給與自己的許可權來進行抓取。Robots協定已經成為所有搜尋引擎必須遵守的國際慣例。這就好比一個正常的人去到別人家裡，需要先敲門，得到許可以後才能進入客廳。除非有主人的進一步許可和邀請，否則你不能擅自進入內室，或者在別人家裡四處遛達。
