霸王别姬 发表于 2026-4-16 17:57:14

robots.txt 的問題 New

請教先進Discuz! X3.5 的內建robots.txt 問題，內建有下列4行︰


Allow: /data/attachment/


Allow: /data/avatar/


Allow: /data/cache/


Allow: /uc_server/data/avatar/


上面第1行是請網路蜘蛛去/data/attachment/ 目錄抓取，但是這個目錄下面還有很多目錄，是只同意網路蜘蛛抓取/data/attachment/這個而已，或是連同該目錄下所有的目錄一併抓取？


上面第2行請網路蜘蛛去/data/avatar/ 目錄抓取，這個目錄只有index.htm 及noavatar.svg 這兩個檔案，沒有其它目錄，index.htm 大小為0，noavatar.svg 查詢是個空白人頭，允許抓這兩個檔案對SEO 有影響嗎？


上面第3行是請網路蜘蛛去/data/cache/ 目錄抓取，這個目錄有非常多的js，及css，沒有其它目錄，抓取js 與css 對SEO 有幫助是嗎？沒有幫助的話其用途為何？


上面第4行是請網路蜘蛛去/uc_server/data/avatar/ 目錄抓取，這個目錄裡面跟2. 一樣只有index.htm 及noavatar.svg 這兩個檔案，但還有一個000目錄，這個目錄裡面是一些會員頭像圖，跟1. 問題一樣，網路蜘蛛會抓會連同抓取子目錄嗎？


最後就是如果robots.txt 裡面沒有Allow，也沒有Disallow 的目錄及檔案，網路蜘蛛會如何處置？


謝謝


1 贡献最佳答案

      wish 发表于 2026-1-20 15:23
感謝回覆，針對請網路蜘蛛去/data/attachment/ 目錄抓取，但是這個目錄下面還有很多目錄，Allow: /data/a ...
Allow: /data/attachment/ 這條規則：
允許抓取 /data/attachment/ 目錄本身
同時允許抓取該目錄下所有的子目錄
包括任意層級的子目錄和所有文件


duckweed发表于2026-1-20 15:32:40
[*]详细答案 >

霸王别姬 发表于 2026-4-16 17:57:26

# 允許附件目錄（用戶上傳的內容可能有價值） Allow: /data/attachment/# 禁止訪問快取和頭像目錄 Disallow: /data/avatar/ Disallow: /data/cache/ Disallow: /uc_server/data/avatar/# 其他建議的禁止目錄 Disallow: /data/backup/ Disallow: /data/log/ Disallow: /data/tmp/ Disallow: /install/ Disallow: /config/ Disallow: /uc_server/data/cache/ Disallow: /uc_server/data/logs/

IT618应用中心 发表于 2026-4-16 17:58:01

# 允許附件目錄（用戶上傳的內容可能有價值）Allow: /data/attachment/# 禁止訪問快取和頭像目錄Disallow: /data/avatar/Disallow: /data/cache/Disallow: /uc_server/data/avatar/# 其他建議的禁止目錄Disallow: /data/backup/Disallow: /data/log/Disallow: /data/tmp/Disallow: /install/Disallow: /config/Disallow: /uc_server/data/cache/Disallow: /uc_server/data/logs/
附件目錄：用戶上傳的圖片/文件可能有價值，可以保留
頭像目錄：個人頭像對 SEO 無價值，且可能涉及隱私
快取目錄：臨時文件，無索引價值，浪費爬蟲配額
系統目錄：保護敏感信息和後台路徑

建議
使用 XML 網站地圖：明確告訴爬蟲哪些是重要頁面
檢查實際被索引的頁面：在 Google Search Console 查看
考慮用戶隱私：特別是頭像等個人信息

yusr 发表于 2026-4-16 17:58:58

这都是标准规范，并不是DZ独有的，搜索一下基本就知道了

月落秋水 发表于 2026-4-16 17:59:31

感謝回覆，針對請網路蜘蛛去/data/attachment/ 目錄抓取，但是這個目錄下面還有很多目錄，Allow: /data/attachment/ 是只同意網路蜘蛛抓取/data/attachment/這個目錄而已，或是連同該目錄下所有的目錄一併抓取？

霸王别姬 发表于 2026-4-16 17:59:48



wish 发表于 2026-1-20 15:23
感謝回覆，針對請網路蜘蛛去/data/attachment/ 目錄抓取，但是這個目錄下面還有很多目錄，Allow: /data/a ...
Allow: /data/attachment/ 這條規則：
允許抓取 /data/attachment/ 目錄本身
同時允許抓取該目錄下所有的子目錄
包括任意層級的子目錄和所有文件

IT618应用中心 发表于 2026-4-16 17:59:56

除非有进一步的禁止命令，否则就是覆盖子级的

yusr 发表于 2026-4-16 18:00:33

Allow: /data/attachment/
誤解：只允許目錄本身
錯誤理解：只允許訪問 http://example.com/data/attachment/（目錄列表頁）
實際情況：目錄下的所有內容都允許

限制訪問深度：
明確禁止子目錄
Allow: /data/attachment/
Disallow: /data/attachment/*/
# 這表示允許文件，但禁止子目錄

霸王别姬 发表于 2026-4-16 18:01:03

事實上，作為一名 spider，是不會看和遵守這個協議的。採集的深度是看需求的程度，當然我也明白你這個協議是以後法律的依據

IT618应用中心 发表于 2026-4-16 18:01:15

好的 知晓
页: [1]
查看完整版本: robots.txt 的問題 New