seo培训:Robots文件的写法不对,网站收录难上加难!

  想要网站健康收录,那一定离不开Robots协议的设置以及robots正确写法,如何设置robots协议,首先从了解robots协议开始。

      seo网络培训,seo培训公司,seo营销培训,培训seo,


  

1G2596353-0.jpg

  第一:认识Robots

  Robots简单来说就是搜索引擎和我们网站之间的一个协议,用于定义搜索引擎抓取和禁止的协议。robots基本语法符号:/ 、* 、$

  / 在允许和禁止的文件和文件夹前写; * 通配符,能够匹配所有的英文字符包括数字0; $ 表示结束符,用于屏蔽图片时候用。

  第二:Robots.txt正确写法注意事项

  ①要顶格写。不要前面空几格。

  

robots爬虫协议正确写法与实操经验分享

  ②要在英文输入法下写语句。因为中文下的冒号和英文冒号不一样。

  

1G25a015-2.jpg

  ③开头要大些。如:User-agent,Baiduspider

1G2591943-3.jpg

④冒号后要空一格。User-agent: /Baiduspider


  

1G25945X-4.jpg

  第三:实操Robots写法

  在写robots协议时,首先先要定义什么样的蜘蛛,如:User-agent: Baiduspider 指的就是定义百度蜘蛛,除了百度蜘蛛外还包括谷歌机器人、搜狗蜘蛛等等。

  其次在下一行写上允许和禁止的语句,如:

  如何屏蔽整站:Disallow: / 指的就是屏蔽整个网站(/单个符号搜索引擎认为是根目录);

  如何屏蔽具体路径:Disallow: /toutiao.com/forum-53-1.html 指的是屏蔽具体某一个路径;

  如何屏蔽文件和文件夹:Disallow: /uploads 指的是屏蔽uploads开头的文件和文件夹;

  如何屏蔽文件夹:Disallow: /uploads/ 指的是只屏蔽uploads文件夹;

  如何屏蔽动态路径:例如:toutiao.com/speedtest.aspx?host=bbs.moonseo.cn为动态路径,问号前toutiao.com/speedtest.aspx可以用通配符*代替,接着一个问号,然后问号后host=toutiao.com也可以用一个通配符*代替,所以其语句可以这样写:Disallow: /*?*

  如何屏蔽图片:Disallow: /*.jpg$ 如果单纯的写Disallow: /*.jpg是屏蔽不了图片的,所以要在图片后面写上结束符$,指的是屏蔽所以jpg格式的图片;

  那么相应的Allow语句写法也是如上所说。seo网络培训,seo培训公司,seo营销培训,培训seo



获取更多知识分享
添加导师 微信、QQ号:3909832

标签: Robots HTML标签 seo教程

作者头像
胜一seo截拳道创始人

[黑帽SEO截拳道],奉行“轻理论、重实战”的理念,采取直截了当的授课方法一对一指导。让小白也能快速起飞!

  • 自我介绍:[胜一],2006年开始从事SEO优化工作,操作过境内外多个行业和项目,积累了大量的一线实战经验。结合SEO培训行业的现状,2015年开创“SEO截拳道”理念,为的是让SEO新人能够快速成长、快速变现!我的宗旨是先培养能开车的司机,再把司机培养成汽车工程师!
  • 版权声明:本站原创文章,于2019-10-01,由胜一seo截拳道发表,共 1226个字。
  • 转载请注明出处:胜一seo截拳道,如有疑问,请联系我们
  • 本文地址:http://www.cqms8.com/2019101548.html
上一篇:seo培训:网站地图是什么,网站地图的作用,如何制作网站地图?
下一篇:seo培训:图文并茂的告诉你什么是倒排索引!seo优化技术、教程

发表评论