现在谈谈死链与Robot的关系，很多人就把死链提交到Robots定义里面，认为用Disallow来禁止百度蜘蛛的抓取，这个想法是好的，出发点无非是不想让百度收录自己网站的死链，但是有没有考虑到快照问题，就是这个链接是个死链，但是在网站收录里面还有快照存在，你就会想，是不是百度还能抓取到我的死链，所以你就在Robot里面加了N多行的Disallow，来禁止百度收录你的死链，seven一直不太认可这么一个做法，其实这完全是一个本末倒置的做法。

 

 

需要搞清楚死链是如何产生的？死链是由于文件删除或者路径修改产生的不可访问的链接，那么你需要做的第一步是完全清除死链，第二步是提交死链，而Robots的禁止收录，是因为路径存在，但是你不希望被搜索引擎收录，比如网站后台或者用户中心一类，所以才加的Disallow去禁止收录，死链是访问不到的链接，如果你第一步清除完了，存在这个Disallow的必要吗？因为你不完全清除死链，势必影响用户体验。