我要投稿
投诉建议
首页
传统文化
武术天地
编程技术
好听音乐
养生中医
智慧人生
常用工具
写作园地
影视娱乐
php专栏
道德经专栏
您当前的位置:
首页
>
编程技术
seo搜索规则文件robot.txt文件作用和语法
时间:2021-07-27 16:14:18 来源:网络 编辑:本站 点击:
seo工作者应该不陌生,robots.txt文件是每一个搜索引擎蜘蛛到你的网站之后要寻找和访问的第一个文件,robots.txt是你对搜索引擎制定的一个如何索引你的网站的规则。通过该文件,搜索引擎就可以知道在你的网站中哪些文件是可以被索引的,哪些文件是被拒绝索引的,我们就可以很方便地控制搜索索引网站内容了。
robots.txt文件的作用:
1、屏蔽网站内的死链接。2、屏蔽搜索引擎蜘蛛抓取站点内重复内容和页面。3、阻止搜索引擎索引网站隐私性的内容。
因此建立robots.txt文件是很有必要的,网站中重复的内容、页面或者404信息过多,搜索引擎蜘蛛就会认为该网站价值较低,从而降低对该网站的“印象分”,这就是我们经常听到的“降低权重”,这样网站的排名就不好了。
robots.txt文件需要注意的最大问题是:必须放置在一个站点的根目录下,而且文件名必须全部小写。
robots.txt文件的基本语法只有两条,第一条是:User-agent,即搜索引擎蜘蛛的名称;第二条是:Disallow,即要拦截的部分。
下面我们看一下撰写基本的robots.txt文件所需要知道的一些语法和作用。
(1),允许所有的搜索引擎访问网站的所有部分或者建立一个空白的文本文档,命名为robots.txt。
User-agent:*
Disallow:
或者
User-agent:*
Allow:/
(2),禁止所有搜索引擎访问网站的所有部分。
User-agent:*
Disallow:/
(3),禁止百度索引你的网站。
User-agent:Baiduspider
Disallow:/
(4),禁止Google索引你的网站。
User-agent:Googlebot
Disallow:/
(5),禁止除百度以外的一切搜索引擎索引你的网站。
User-agent:Baiduspider
Disallow:
User-agent:*
Disallow:/
(6),禁止除Google以外的一切搜索引擎索引你的网站。
User-agent:Googlebot
Disallow:
User-agent:*
Disallow:/
(7),禁止和允许搜索引擎访问某个目录,如:禁止访问admin目录;允许访问images目录。
User-agent:*
Disallow:/admin/
Allow:/images/
(8),禁止和允许搜索引擎访问某个后缀,如:禁止访问admin目录下所有php文件;允许访问asp文件。
User-agent:*
Disallow:/admin/*.php$
Allow:/admin/*.asp$
(9),禁止索引网站中所有的动态页面(这里限制的是有“?”的域名,如:index.php?id=8)。
User-agent:*
Disallow:/*?*
点赞
返回
发表评论
共有
条评论
用户名:
密码:
验证码:
匿名发表
栏目导航
●
|
传统文化
|
武术天地
|
编程技术
|
好听音乐
|
养生中医
|
智慧人生
|
常用工具
|
写作园地
|
影视娱乐
|
php专栏
|
道德经专栏
|
最新推荐
python内建函数大…
点击按钮(button)…
帝国cms网络视频引…
相关文章
栏目更新
栏目热门
友情链接
帝国CMS
b站视频解析
哔哩哔哩
5sing音乐
劝学网
易文言
php中文网
喜马拉雅
引用视频
代码段生成
道医书库
墨鱼部落格
妍婷姝专辑
中华武术
周易全文
星座123
好看视频
汉程测试
桃花仙人
b站解析(91666)
菜鸟教程
小甲鱼学习计划
太极剑视频
零基础学Python
零基础学Web
零基础学汇编
数据结构和算法
网易云课堂
小甲鱼答案
Python 标准库
360图书馆
天涯知识库
emmet
传智播客
21世纪视频
超星视频
我爱自学网
51cto学院
极客学院
外唐教程网
CSDN
千字文
小不点
emmet文档
emmet手册
HTML中文网
U钙网LOGO
w3cschool
博客园
找盘网
前沿视频
百度技术
百度智能
腾讯课堂
慕课网
邢帅教育
网易公开课
大学生自学网
千锋教育视频
教程之家
北风网
渡一教育腾讯课堂
渡一教育
小甲鱼python新视频
鱼C工作室
小甲鱼系列视频
摄图网
爱拍剪辑
爱剪辑
傲软压缩宝
Arctime字幕软件
字幕在线转换器
喜马拉雅音频提取
U盘安装盘制作
我爱卡
汉字五行
五行查询
卜易居
片库网
学堂在线
易通cms
太极拳师师
中医世家
抖音视频解析
快手视频解析
微博视频解析
斗鱼视频解析
虎牙视频解析
左岸抖音歌曲
北京深度矩阵网络
海南息垚
北京深度矩阵
腾牛网
96开发网
创金游戏库
逗游
逗游网
007游戏网
逗游红包游戏
TapTap
网站首页
|
关于我们
|
服务条款
|
广告服务
|
联系我们
|
网站地图
|
免责声明
|
代码运行
|
手机版
声明:本网站尊重并保护知识产权,根据《信息网络传播权保护条例》,如果我们转载的作品侵犯了您的权利,请在一个月内通知我们,我们会及时删除。
Powered by
家园网www.jy.wang
© 2021-2029