robots.txt、noindex 與登入保護：三種需求別混用

先問頁面為什麼需要限制

報價草稿、客戶圖紙和管理後臺屬於訪問許可權問題，應使用認證與伺服器許可權控制。公開但不希望進入搜尋的感謝頁，屬於索引管理問題。大量無價值的篩選組合，可能涉及抓取管理。不能把所有路徑寫進 robots.txt 就認為資料已經保密。

建立一張頁面清單，列出產品、文章、搜尋結果、賬戶、測試頁等型別，分別指定期望行為。尤其檢查測試環境遷移到正式域名時，是否把整站限制也帶了過去。

三種方法的邊界

HTML 頁面可透過相應 meta 標記表達 noindex，其他檔案可考慮響應頭中的 X-Robots-Tag。實際採用哪種方式取決於伺服器與內容型別，不應在不瞭解配置的情況下直接複製全站規則。

用四個樣例驗收，不只看配置檔案

選一個應收錄產品頁、一個公開但不應收錄頁面、一個後臺地址和一個靜態資源。分別檢查狀態碼、響應頭、HTML 標記及未登入訪問結果。再用 Search Console 的網址檢查驗證公開頁面的可抓取情況。

假設產品頁寫了 noindex，同時 robots 又不允許抓取，搜尋系統可能無法讀取新標記。此時不要連續新增更多限制，應先確認目標和處理順序。移除結果也需要處理時間，不能把設定儲存成功等同於搜尋結果即時變化。

把上線檢查寫入交接單

對於 WordPress，要檢查閱讀設定、SEO 外掛與主機規則是否重複控制索引；對於 AI 建站或靜態站，要檢查模板是否給所有頁面複製了測試標記。雲典專案交接時，可記錄四個樣例的檢查日期與結果，後續遷移再次複查。

執行清單

• 敏感資料由許可權保護，不依賴搜尋引擎規則。
• 產品與知識文章沒有誤加 noindex。
• 限制規則不會擋住關鍵渲染資源。
• 已上線變更有樣例、責任人和複查計劃。