问题背景:现在在线上直接搭建了网站,但是有很多内容没有具体完善,但是百度和其他的搜索引擎收录了首页站点内容,具体怎么解决?
1.本站内容为作者独立观点,该内容系由用户自主上传,不代表本平台立场,版权归原作者所有,未经允许不得转载。
3.如对本稿件有异议或投诉,请 邮件 联系或小窗 小助手 进行反馈!
这里需要确认下你的站点开发CMS管理系统,假若是wordpress建站则可以采用方法一和方法四,若是其他定制开发类,可以采用其他的4个:
方法一:WordPress 站点的直接后台设置
WordPress 站点可以直接登录站点后台 >> 设置 >> 阅读 >> 勾选“建议搜索引擎不索引本站点”并点击【保存更改】即可。
方法二:通过 robots.txt 禁止
直接在网站根目录中新建一个 robots.txt 文件,然后在文件中添加以下代码:
User-Agent: * Disallow: /
方法三:通过 noindex 标记来禁止
直接在站点的头文件 header.php 文件中添加以下代码:
<meta name="robots" content="noindex" >
方法四:通过 PHP 代码禁止(WordPress 站点为例)
将以下代码添加到主题目录的 functions.php 当中:
ob_start("Deny_Spider_Advanced"); function Deny_Spider_Advanced() { $UA = $_SERVER['HTTP_USER_AGENT']; $Spider_UA = '/(spider|bot|)/i'; //定义需要禁止的蜘蛛 UA,一般是 spider 和 bot //如果检测到 UA 不为空而且发现是蜘蛛则返回 404 if($UA && preg_match_all($Spider_UA,$UA)) { header('HTTP/1.1 403 Forbidden'); header("status: 403 Forbidden"); } }
可以自行替换或添加以上的 spider|bot,多个用|隔开即可。
方法五:Nginx 禁止
在 server{}中添加以下代码:
#如果抓取的 UA 中含有 spider 或 bot 时返回 403 if ($http_user_agent ~* "spider|bot") { return 403; #如果是删除已收录的,则可以返回 404 break; }
方法六:Apache 禁止
在.htaccess 中添加以下代码:
RewriteEngine On RewriteCond %{HTTP_USER_AGENT} (^$|spider|bot) [NC] RewriteRule ^(.*)$ - [F]
总结
理论上以上 6 种方法都有效,建议找适合自己站点的一种办法来使用即可。一般采用方法二比较普遍,如果能够结合方法五或六来使用估计效果更佳。
有任何问题可以骚扰小助手哟!
我就是青年才俊呀!
十年生死两茫茫,不思量,自难忘。
每个人的心里,都有一个忘不记,却无法拥抱珍惜的人。
请登录之后再进行评论
解锁会员姿势
开通会员
解锁海量优质VIP资源
立即开通
大家经常搜的
数字营销
内容营销
在线问答
ToB官网建设
品牌营销
#营销PDF#
#Wordpress主题#
#数字营销#
这里需要确认下你的站点开发CMS管理系统,假若是wordpress建站则可以采用方法一和方法四,若是其他定制开发类,可以采用其他的4个:
方法一:WordPress 站点的直接后台设置
方法二:通过 robots.txt 禁止
直接在网站根目录中新建一个 robots.txt 文件,然后在文件中添加以下代码:
方法三:通过 noindex 标记来禁止
直接在站点的头文件 header.php 文件中添加以下代码:
方法四:通过 PHP 代码禁止(WordPress 站点为例)
将以下代码添加到主题目录的 functions.php 当中:
可以自行替换或添加以上的 spider|bot,多个用|隔开即可。
方法五:Nginx 禁止
在 server{}中添加以下代码:
可以自行替换或添加以上的 spider|bot,多个用|隔开即可。
方法六:Apache 禁止
在.htaccess 中添加以下代码:
可以自行替换或添加以上的 spider|bot,多个用|隔开即可。
总结
理论上以上 6 种方法都有效,建议找适合自己站点的一种办法来使用即可。一般采用方法二比较普遍,如果能够结合方法五或六来使用估计效果更佳。
有任何问题可以骚扰小助手哟!
我就是青年才俊呀!
十年生死两茫茫,不思量,自难忘。
每个人的心里,都有一个忘不记,却无法拥抱珍惜的人。