• 注册
  • 发布
  • APP下载安卓
  • 注册
  • 常见问题 常见问题 关注:13 内容:27

    如何解决测试站已收录的问题?

  • 查看作者
  • 打赏作者
  • 当前位置: 飞优网 > 在线问答 > 常见问题 > 正文
    • 6
    • 常见问题
    • MarTech·新手

      问题背景:现在在线上直接搭建了网站,但是有很多内容没有具体完善,但是百度和其他的搜索引擎收录了首页站点内容,具体怎么解决?

      MarTech·神人
      官方
      置顶

      这里需要确认下你的站点开发CMS管理系统,假若是wordpress建站则可以采用方法一和方法四,若是其他定制开发类,可以采用其他的4个:


      方法一:WordPress 站点的直接后台设置

      WordPress 站点可以直接登录站点后台 >> 设置 >> 阅读 >> 勾选“建议搜索引擎不索引本站点”并点击【保存更改】即可。


      方法二:通过 robots.txt 禁止

      直接在网站根目录中新建一个 robots.txt 文件,然后在文件中添加以下代码:

      User-Agent: *
      Disallow: /

      方法三:通过 noindex 标记来禁止

      直接在站点的头文件 header.php 文件中添加以下代码:

      <meta name="robots" content="noindex" >

      方法四:通过 PHP 代码禁止(WordPress 站点为例)

      将以下代码添加到主题目录的 functions.php 当中:

      ob_start("Deny_Spider_Advanced");
      function Deny_Spider_Advanced() {
      $UA = $_SERVER['HTTP_USER_AGENT'];
      $Spider_UA  = '/(spider|bot|)/i'; //定义需要禁止的蜘蛛 UA,一般是 spider 和 bot
      //如果检测到 UA 不为空而且发现是蜘蛛则返回 404
      if($UA && preg_match_all($Spider_UA,$UA)) {
      header('HTTP/1.1 403 Forbidden');
      header("status: 403 Forbidden");
      }
      }

      可以自行替换或添加以上的 spider|bot,多个用|隔开即可。


      方法五:Nginx 禁止

      在 server{}中添加以下代码:

      #如果抓取的 UA 中含有 spider 或 bot 时返回 403
      if ($http_user_agent ~* "spider|bot") {
      return 403; #如果是删除已收录的,则可以返回 404
      break;
      }

      可以自行替换或添加以上的 spider|bot,多个用|隔开即可。


      方法六:Apache 禁止

      在.htaccess 中添加以下代码:

      RewriteEngine On
      RewriteCond %{HTTP_USER_AGENT} (^$|spider|bot) [NC]
      RewriteRule ^(.*)$ - [F]

      可以自行替换或添加以上的 spider|bot,多个用|隔开即可。


      总结

      理论上以上 6 种方法都有效,建议找适合自己站点的一种办法来使用即可。一般采用方法二比较普遍,如果能够结合方法五或六来使用估计效果更佳。


      有任何问题可以骚扰小助手哟!

      回复
      MarTech·神人
      精神小伙
      干货

      我就是青年才俊呀!

      回复
      MarTech·小生
      爱心

      十年生死两茫茫,不思量,自难忘。

      回复
      MarTech·新手
      比心
      回复
      MarTech·新手
      比心
      回复
      MarTech·新手
      感谢

      每个人的心里,都有一个忘不记,却无法拥抱珍惜的人。

      回复

      请登录之后再进行评论

      登录
      聊天
      关注 56
      高手大咖在线讨论
    • 赚金币
    • 发布
    • 飞优网小程序码 小程序扫码
    • 签到中心
      小黑屋
      举报中心
    • 帖子间隔 侧栏位置: