无锡这家传感器厂的收录卡了四个月，问题都写在日志里

去年秋天，无锡一家做工业传感器的客户找到我们，语气有点急。他们新站上线四个月，百度搜公司名，跳出来的页面只有十二个，连核心产品页都搜不到。这家厂给本地设备厂供感知层模块，产品型号上百个，站里其实有八十多个页面，可搜索引擎像是只看见了零头。他们之前做网站建设时最在意的是页面好不好看、首页动画炫不炫，没人想到收录会悄无声息地卡住。

先别动页面，去把日志拉出来

收录慢这种事，最容易犯的错是一上来就改标题、堆关键词。我们让运维把服务器访问日志按百度蜘蛛的 UA 过滤出来，单独导出那段时间段的记录。这一步不复杂，宝塔面板或者 Nginx 的 access_log 里 grep 一下 Baiduspider 就行，半小时内能拿到一份干净的数据。无锡不少制造企业把官网当一次性项目，交付完就没人再碰日志，网站建设阶段更是没人把抓取预算当回事。可它才是收录问题的第一现场——蜘蛛来没来、来了几次、点了什么、拿到什么状态码，全写在里面。

日志里第一个刺眼的数字：四个月只来三次

把筛选后的记录按月排开，结论很直接：百度蜘蛛在这四个月里只来访了三次，分别是上线后第 9 天、第 51 天、第 103 天，每次停留不到两分钟，抓取的请求数都在六到九条之间。一个八十多页的站，三次访问显然喂不饱。问题立刻从「内容好不好」转成了「蜘蛛为什么不爱来」。我们查了下，他们从没向百度搜索资源平台提交过 sitemap，新站又几乎没有外链牵引，蜘蛛发现页面的入口几乎只有首页那一条，自然来得稀。

四成请求卡在重定向，预算白白烧掉

再细看那几次来访里的请求明细，更麻烦的地方暴露了。蜘蛛点进来的链接里，大约四成返回的是 301。原因是站点强制跳 https 加 www，可旧的外链和站内少数入口还指着 http 非 www 地址，于是每一次抓取都要先经历一次跳转才拿到真内容。抓取预算是有限的水，三分之一先漏在重定向管道里，真正落到产品页的份额就被挤薄了。这个坑在网站建设阶段就能堵：把首选域名定死，站内链接一律写绝对地址，301 数量能压到个位数。

蜘蛛在爬 CSS 和图片，真内容反而没排上

日志里还有一类占比不小的 200 响应，点开一看是 /static/css/、/assets/js/ 下面的文件。原来 footer 里那些样式和脚本路径被写成了可被跟踪的链接，蜘蛛顺藤摸瓜把这些静态资源也当页面抓了。更糟的是部分产品页响应时间到了 2.8 秒以上，蜘蛛在慢页面上耗完当次预算就走了。我们当时权衡过：是把这些路径直接 robots 屏蔽，还是从页面里去掉对它们的可抓取链接。最后选了后者——现在百度已经要求能读取 css 和 js 来判断移动适配，硬屏蔽反而误伤，把链接从爬虫视野里拿掉才是正解。

几个 404 把老产品的权重搅浑了

明细末尾还躺着几个 404，指向 /product/detail?id= 开头的老地址。这是上一版站点遗留下来的死链，新站改了路由却没做映射，旧产品页在站内某处还被引用着。蜘蛛撞上 404 本身不致命，可它说明站内有「断头路」，每撞一次都在浪费当次本就不多的抓取次数。处理上我们没一刀切，只把确实下架的老型号做了 301 归并到现存的类目页，保留权重的连续，其余彻底清掉。

结果：从三天一访到天天来，收录翻了五倍

改动分两批做。第一周先交 sitemap、把首选域名和绝对链接理顺、清掉死链，相当于把「欢迎光临」的牌子挂正。第二周再上速度优化：产品图迁到 CDN、开 gzip、把详情页服务端渲染提前，TTFB 从 2.8 秒压到九百毫秒以内。两周后蜘蛛来访频率从三个月三次变成几乎每天一次，第六周复查时，收录页面从 12 个涨到 63 个，核心 product 页基本都能搜到。对无锡这类以制造业、物联网见长的城市，企业站的收录问题往往不是内容少，而是爬取这条通道自己堵了。

留得下的一两条经验

复盘完这个项目，最值得带走的不是某个具体参数，而是看问题的顺序。第一，收录慢的第一现场在日志不在页面，先看蜘蛛来没来、来了多少次、拿了什么状态码，再去谈标题关键词。第二，抓取预算有限，把 301、404、静态资源这些无效抓取挤掉，蜘蛛才有余力碰真内容。把抓取日志当成网站建设交付里的一项常态检查，比上线后干着急现实得多——它不报错，只是悄悄少了一半该被发现的页面。