网站建设发布教程,网页设计师收费标准,云校网站建设,网站设计就业压力#x1f9f1; 一、滥用 Meta Robots 标签
❌ 常见问题#xff1a;
问题描述设置了 noindex 不该屏蔽的页面比如产品页、分类页被意外 noindex#xff0c;导致不被收录设置 nofollow 导致内链失效所有链接都被 nofollow#xff0c;影响爬虫抓取路径在 meta 标签和… 一、滥用 Meta Robots 标签
❌ 常见问题
问题描述设置了 noindex 不该屏蔽的页面比如产品页、分类页被意外 noindex导致不被收录设置 nofollow 导致内链失效所有链接都被 nofollow影响爬虫抓取路径在 meta 标签和 HTTP header 中冲突比如 meta 设为 index但 HTTP header 设为 noindex
✅ 改善建议 核心页面使用meta namerobots contentindex, follow 仅对 隐私页、后台页、重复内容页 使用 noindex, nofollow 使用 GSC 检查“已排除的页面”原因确认是否因 noindex 二、滥用 Canonical 标签relcanonical
❌ 常见问题
问题描述所有页面都指向主页导致所有页面内容都不被索引Google 以为是重复页指向错误的 URL比如 HTTP 版本会造成错误页面收录动态参数页未正确规范如分页、筛选页 canonical 到非匹配内容页
✅ 改善建议 每个页面都应规范到自己或等价的原始版本如 link relcanonical hrefhttps://example.com/product/123 / 使用绝对路径确保协议https和域名一致 不要全站统一写 link relcanonical hrefhttps://example.com/ 三、滥用 hreflang 标签多语言/地区
❌ 常见问题
问题描述hreflang 设置国家语言代码不对比如写成 en 而非 en-us或漏了地区自引用缺失页面未包含指向自己的 hreflang 标签hreflang 与 canonical 指向不同页面会让 Google 不知道信哪一个页面语言不对应hreflang 指的是西班牙语页面内容却是英语
✅ 改善建议 每个页面都应包含 自我引用 所有语言版本如 link relalternate hreflangen-us hrefhttps://example.com/us/page / link relalternate hreflanges-pe hrefhttps://example.com/pe/page / link relalternate hreflangx-default hrefhttps://example.com/ / hreflang 和 canonical 应该保持一致指向自己或同内容的页面 用 Google 的 hreflang 检查工具 检查是否互相指向 快速排查方法
工具用法Google Search Console查看抓取/索引状态、noindex/canonical/hreflang 错误Screaming Frog SEO Spider批量检查 meta robots、canonical、hreflang 设置是否正确Ahrefs / SEMrush查看重复页面、索引异常页面Site:example.com 搜索检查哪些页面已被 Google 收录可能被 canonical 指错 ✅ 总结改进要点
标签正确用法改善关键meta robots只屏蔽非核心页面核心页面必须 index, followrelcanonical每页只指向等价唯一页面避免全站统一、避免参数误指hreflang含自引用、语言正确、页面匹配与 canonical 保持一致 元机器人
meta namerobots content指令1, 指令2
放在 head 中。 常见的 content 指令解释
指令含义index✅ 允许搜索引擎收录此页面默认noindex❌ 不让搜索引擎收录此页面页面不会出现在搜索结果中follow✅ 允许搜索引擎继续抓取页面上的链接nofollow❌ 不让搜索引擎抓取页面上的链接noarchive不显示缓存快照Google 搜索结果的“缓存”nosnippet不显示摘要片段meta 描述、结构化数据max-snippet:0限制摘要片段字数max-image-preview:none禁止图像预览 ✅ 示例
1. 允许索引和跟踪链接默认无需设置
meta namerobots contentindex, follow
2. 不收录但允许抓取链接
meta namerobots contentnoindex, follow 常用于登陆页、重复内容页、支付成功页等
3. 不收录也不跟踪链接
meta namerobots contentnoindex, nofollow 常用于后台、测试页面、用户隐私页面 注意事项 不写 robots 标签默认就是 index, follow。 一旦设置了 noindex页面就不会被收录无论链接多好。 若 robots.txt 中屏蔽了页面meta robots 不会生效因为根本访问不到页面。 检查工具 浏览器 → 右键查看网页源代码 → 搜索 meta namerobots Google Search Console → URL 检查工具 → 查看“页面可索引性”
