robots文件生成工具-boke112联盟

搜一下搜索关闭本站首页 最新文章宝塔面板 建站经验 办公软件 最新资讯 海纳百川 博客网站 Plugins Themes WordPress ZBlogPHP 老薛主机 阿里云 腾讯云 5118优惠码 WPS专题 服务器专题 虚拟主机专题 活动推荐 最新文章 老薛主机 5118 阿里云 腾讯云 华为云 WPS专题 优惠活动  导航地图导航站内搜索 ——————    阿里云1核2G服务器87元/年  —————— 当前位置:boke112联盟robots文件生成工具robots文件生成工具(adsbygoogle = window.adsbygoogle || []).push({});工具简介Robots.txt 是存放在站点根目录下的一个纯文本文件。虽然它的设置很简单,但是作用却很强大。它可以指定搜索引擎蜘蛛只抓取指定的内容,或者是禁止搜索引擎蜘蛛抓取网站的部分或全部内容。 马上使用使用方法:Robots.txt 文件应该放在网站根目录下,并且该文件是可以通过互联网进行访问的。例如:如果您的网站地址是 https://boke112.com/那么,该文件必须能够通过 https://boke112.com/robots.txt 打开并看到里面的内容。站长建议:计划搭建免备案博客网站推荐使用免备案老薛主机,建议优先考虑香港虚拟主机!购买老薛虚拟主机或VPS主机时请输入优惠码:boke112 即可享受终身7折优惠(以后续费价格也跟新购价一样),所以千万不要直接原价购买哦,而且这样购买更优惠:香港2号低至88元/年、美国2号低至43元/年格式:User-agent:用于描述搜索引擎蜘蛛的名字,在” Robots.txt “文件中,如果有多条 User-agent 记录说明有多个搜索引擎蜘蛛会受到该协议的限制,对该文件来说,至少要有一条 User-agent 记录。如果该项的值设为*,则该协议对任何搜索引擎蜘蛛均有效,在” Robots.txt “文件中,”User-agent:*”这样的记录只能有一条。Disallow:用于描述不希望被访问到的一个 URL,这个 URL 可以是一条完整的路径,也可以是部分的,任何以 Disallow 开头的 URL 均不会被 Robot 访问到。举例:例一:”Disallow:/help”是指/help.html 和/help/index.html 都不允许搜索引擎蜘蛛抓取。例二:”Disallow:/help/”是指允许搜索引擎蜘蛛抓取/help.html,而不能抓取/help/index.html。例三:Disallow 记录为空说明该网站的所有页面都允许被搜索引擎抓取,在”/robots.txt”文件中,至少要有一条 Disallow 记录。如果”/robots.txt”是一个空文件,则对于所有的搜索引擎蜘蛛,该网站都是开放的可以被抓取的。#:Robots.txt 协议中的注释符。综合例子 :例一:通过”/robots.txt”禁止所有搜索引擎蜘蛛抓取”/bin/cgi/”目录,以及 “/tmp/”目录和 /foo.html 文件,设置方法如下:User-agent: *Disallow: /bin/cgi/Disallow: /tmp/Disallow: /foo.html例二:通过”/robots.txt”只允许某个搜索引擎抓取,而禁止其他的搜索引擎抓取。如:只允许名为”slurp”的搜索引擎蜘蛛抓取,而拒绝其他的搜索引擎蜘蛛抓取 “/cgi/” 目录下的内容,设置方法如下:User-agent: *Disallow: /cgi/User-agent: slurpDisallow:例三:禁止任何搜索引擎抓取我的网站,设置方法如下:User-agent: *Disallow: /例四:只禁止某个搜索引擎抓取我的网站如:只禁止名为“slurp”的搜索引擎蜘蛛抓取,设置方法如下:User-agent: slurpDisallow: /更多参考资料 (英文版)(adsbygoogle = window.adsbygoogle || []).push({});极乐博客发表于2018-12-24 07:54  4楼学习了,之前为了这个让百度干了好几次!60影院发表于2018-03-22 12:28  地板这个不知道有什么作用,小白看不太懂薅羊毛发表于2018-02-26 22:27  板凳试试这个,自己还不懂什么意思了QQ游客发表于2017-11-30 10:39  沙发这个功能还是很不错,能提高收录(adsbygoogle = window.adsbygoogle || []).push({});boke112联盟(boke112.com)是一个面向个人站长的技术交流博客,致力于推荐阿里云和腾讯云各种优惠活动,分享老薛主机优惠码boke112、5118优惠码iboke112,关注个人建立博客网站的相关教程经验及各种问题,旨在与更多人分享独立博客的乐趣!微信公众号站长QQ群 官方微博 推荐栏目关于本站免责声明站点地图宝塔建站老薛建站博客导航阿里云建站腾讯云建站赞助光荣榜 Copyright © boke112联盟   |   基于 阿里云 + WP 构建  |   桂ICP备14004711号-3  |   桂公网安备 45010502000016号站长QQ 回到顶部 function Search(type){ if (type==”baidu”) { var valuebd=$(“#baidu”).val(); if(valuebd){window.open(“https://www.baidu.com/s?wd=”+valuebd+”+site%3Aboke112.com”); }}else{ var value=$(“#s”).val(); window.open(“https://boke112.com/search/”+value+”/”,_self);}return false;}

Posted in 未分类

互喷

发表评论

邮箱地址不会被公开。 必填项已用*标注

2 × 3 =

Next Post

清风小吧

周日 5月 2 , 2021
搜一下搜索关闭本站首页 最新文章宝塔面板 建站经验 办公软件 最新资讯 海纳百川 博客网站 Plug […]