搜索引擎通过自动的方式分析网页的超链接和代码分析

目录

1. 搜索引擎原理

1. 基本概念

中文维基百科的解释：（互联网）搜索引擎是指自动从互联网上收集信息，并经过一定整理后提供给用户查询的系统。

解释来自英文维基百科：Web to for on the World。 可能是网页和其他类型。 文档）

2. 分类

根据工作原理的不同，它们可以分为两个基本类别：全文搜索引擎（）和目录）。

分类目录是人工收集、整理网站信息，形成数据库，如中国雅虎和国内搜狐、新浪、网易分类目录。 另外，互联网上的一些导航网站也可以归为原来的类别，例如“网站首页”()。

全文搜索引擎自动分析网页的超链接，依靠超链接和HTML代码分析来获取网页的信息内容，并按照预先设计的规则进行分析和排序，形成索引供用户查询。

两者的区别可以用一句话来概括：分类目录是手动构建的网站索引，全文检索是自动构建的网页索引。 （有些人经常将搜索引擎与数据库检索进行比较，这实际上是错误的）。

3. 全文搜索的工作原理

全文搜索引擎一般由信息采集、索引和搜索三部分组成。 具体来说，它可以由五个部分组成：搜索器、分析器、索引器、检索器和用户界面。

(1)信息收集()：信息收集的工作由检索者和分析者共同完成。 搜索引擎使用称为网络爬虫（）、网络蜘蛛（）或网络机器人（）的自动搜索机器人程序来查询网页。 的超链接。

进一步解释一下：“机器人”实际上是一些基于网络的程序，通过在网站上请求来收集 HTML 网页。 它遍历指定范围内的整个网络空间，不断地从一个网页切换到另一个网页，从一个站点移动到另一个站点，并将收集到的网页添加到网页数据库中。 “机器人”每次遇到一个新的网页，都要搜索其中的所有链接，所以理论上，如果为“机器人”建立了一个合适的初始网页集，从这个初始网页集开始，所有的链接都会被搜索到。可以遍历，“机器人”将能够收集整个网络空间中的网页。

网上有很多开源的爬虫程序，你可以在一些开源社区找到它们。

要点1：核心在于html分析，所以严谨、结构化、可读性强、不易出错的html代码更容易被采集机器人分析和采集。 比如某个页面上有这样的结尾，在网页上显示没有问题，但很可能被收录而被拒绝收录。 例如，../../***.htm 等超链接也可能导致蜘蛛无法识别。 这也是网络标准需要推广的原因之一。 按照网络标准制作的网页更容易被搜索引擎检索和收录。

要点2：搜索机器人有专门的搜索链接库。 当搜索相同的超链接时，它会自动比较新旧网页的内容和大小。 如果一致，则不会被收集。 因此，有人担心修改后的网页能否收录，这是多余的。

(2)索引()：搜索引擎组织信息的过程称为“索引”。 搜索引擎不仅需要保存收集到的信息，而且还要按照一定的规则进行排列。 索引可以存储在通用大型数据库等中，也可以自己定义文件格式。 索引是搜索中比较复杂的部分，涉及到网页结构分析、分词、排序等技术。 一个好的索引可以大大提高检索速度。

关键点一：虽然现在的搜索引擎都支持增量索引，但是创建索引还是需要很长时间，而且搜索引擎会定期更新索引，所以即使爬虫来了，我们在页面上搜索，也会有是一定的时间间隔。

关键点2：索引是区分好搜索和坏搜索的重要标志。

(3)()：用户向搜索引擎发送查询，搜索引擎接受查询并将信息返回给用户。 有的系统在返回结果之前对网页的相关性进行计算和评估，并根据相关性进行排序，相关性较高的放在前面，相关性较低的放在后面； 计算每个网页的页面排名（后面会介绍），返回查询结果时，排名较高的页面放在前面，排名较低的页面放在后面。

关键点1：不同的搜索引擎有不同的排序规则，所以在不同的搜索引擎中搜索相同的关键词时，排序是不同的。

1.1 百度搜索引擎的工作原理

我对百度搜索的了解：由于工作原因，小生有幸使用了百度百石企业搜索引擎（这个部门现在已经被裁掉，主要是百度的策略开始向靠拢，不再单独销售搜索引擎，并转向搜索服务），据百度销售人员介绍，百事通的搜索核心与大搜相同，只是版本可能稍低一些，所以我有理由相信搜索也是一样的。 以下是一些简单介绍和注意事项：

1、网站搜索更新频率

百度搜索可以设置网站的更新频率和时间。 一般大型网站的更新频率都很快，会专门设置独立的爬虫来跟踪。 不过百度比较勤快，中小型网站一般每天都会更新。 因此，如果你想让你的网站更新得更快，最好把你的链接放在一个大的目录里（比如网易），或者在百度自己的相关网站里有一个指向你网站的超链接，或者你的网站的网址在一些大型网站，比如大型网站的博客。

2.关于采集深度

百度搜索可以定义采集的深度，也就是说，百度可能不会检索你网站的全部内容，它可能只会索引你网站首页的内容，特别是对于小型网站。

3.关于经常无法访问的网站的收集

百度对网站的持续性有特殊的判断。 一旦发现某个网站不可用，尤其是一些中小型网站，百度会自动停止向这些网站发送爬虫。 因此，选择一个好的服务器并保持网站24小时畅通非常重要。

4.关于更改IP网站

百度搜索可以基于域名或ip地址。 如果是域名的话，会自动解析到对应的ip地址，这样就会出现两个问题。 首先是，如果你的网站使用了和别人相同的IP地址，如果别人的网站被百度封杀了，那么你的网站就会受到牵连。 其次，如果你更改了IP地址，百度会发现你的域名与之前的IP地址不对应，并且会拒绝向你的网站发送爬虫。 因此，建议不要随意更改ip地址。 如果能够尽可能的享有ip，那么保持网站的稳定性就显得非常重要。

5、静态、动态网站合集

很多人担心像asp?id=这样的页面很难收集，而像html这样的页面很容易收集。 事实上，情况并没有想象中的那么糟糕。 目前大多数搜索引擎都支持动态网站的收录和收录。 检索，包括需要登录的网站都可以检索，这样您就不用担心自己的动态网站搜索引擎无法识别。 百度搜索中的动态支持可以定制。 但是，如果可能，请尝试生成静态页面。 同时，对于大多数搜索引擎来说，脚本跳转（JS）、框架（frame）、

Flash超链接、动态页面中含有非法字符的页面都无关。

6.关于索引消失

正如前面提到的网站排名优化，需要创建搜索索引。 通常，为了进行良好的搜索，索引是文本文件，而不是数据库。 因此，删除索引中的记录并不方便。 例如，百度需要使用专门的工具来手动删除索引记录。 据百度员工透露，百度有一个专门小组专门负责这件事——受理投诉、删除记录、人工处理。 当然，你也可以直接删除某个规则下的所有索引，即可以删除某个网站下的所有索引。 还有一种机制（未经验证），就是对于过期网页和作弊网页（主要是网页标题、关键词、内容不匹配），在索引重建过程中也会被删除。

7. 关于重复数据删除

百度搜索的去重不如那么理想。 主要是判断文章的标题和来源地址。 只要不同，就不会自动去重。 因此，您不必担心相同的收集内容会很快受到搜索惩罚。 谷歌则不同，不会同时收录很多具有相同标题的内容。

还要补充一点，不要以为搜索引擎那么聪明，它们基本上遵循一定的规则和公式，如果你想避免被搜索引擎惩罚，就避开这些规则即可。

1.2 搜索排名技术

在搜索方面，谷歌比百度强。 主要原因是谷歌比较公平，而百度则有很多人为因素（这也符合我国国情）。 之所以公平，来自于它的排名技术。

很多人都知道是网站的质量水平，网站越小越好。 事实上，它是通过一个特殊的公式计算出来的。 当我们搜索关键词时，页面排名较低的网页排名会较高。 这个公式没有人工干预，所以是公平的。

论文最初的想法来自于论文档案的管理。 我们知道每篇论文的末尾都有参考文献。 如果一篇文章被不同论文多次引用，那么它就可以被认为是一篇优秀的文章。

同样的道理，简单来说，可以对网页的重要性做出客观的评价。 直接链接的数量不计算在内，但从页面 A 到页面 B 的链接将被解释为页面 A 对页面 B 的投票。这样，页面 B 的重要性就根据其获得的投票数来评估。 此外，还评估了每个投票页面的重要性，因为某些页面的投票被认为具有较高的价值，从而使其链接的页面获得较高的价值。

这里省略Page Rank的公式，我们来说一下影响Page Rank的主要因素

1、指向您网站的超链接数量（您的网站被他人引用）。 值越大，您的网站越重要。 通俗地说网站排名优化，就是其他网站是否有友好链接或者推荐链接到你的网站；

2、网站超链接的重要性意味着高质量的网站有你网站的超链接，就意味着你的网站也是优秀的。

3、网页具体因素：包括网页的内容、标题和URL，即网页的关键词和位置。

1.3 新网站如何响应搜索

对以上分析进行总结如下：

1.为什么搜索引擎不收录您的网站，有以下几种可能（不是绝对的，要看每种情况）

（1）没有指向链接的孤岛页面，也没有索引网站指向您的超链接，因此搜索引擎将无法找到您；

（2）网站中的网页性质和文件类型（如flash、JS跳转、部分动态网页、框架等）无法被搜索引擎识别；

（3）您网站所在的服务器已被搜索引擎惩罚，不收录相同IP的内容；

（4）服务器IP地址近期发生变化，搜索引擎需要一定时间重新采集；

（5）服务器不稳定、频繁宕机或无法承受爬虫采集压力；

(6)网页代码较差，搜索无法正确分析页面内容。 请至少了解HTML的基本语法，推荐使用XHTML；

（7）网站使用（.txt）协议拒绝搜索引擎抓取的网页；

（8）利用关键词作弊的网页，网页关键词与内容严重不匹配，或者某些关键词密度过高；

(9) 含有违法内容的网页；

（十）同一网站内存在大量相同标题的网页，或者网页标题没有实际意义的；

2、新站如何正确做（仅供参考）

(1)与优秀网站交换链接；

（2）广泛登录各类大型网站的网站目录列表；

（3）多去优质论坛发言，演讲质量一定要高，最好不要回复，并在演讲中留下自己的网址；

（4）申请各大网站（新浪、网易、CSDN）的博客，并在博客中推广自己的网站；

（5）使用好的建站程序，最好能生成静态页面并自动生成关键词；

（6）注意每个网页的标题和区域，尽量把相应的关键词放在这些容易被搜索和索引的位置，注意文章的开头，尽量使用一个功能类似于文章开头的摘要（可以学习网易的文章风格）。

例如“基于开源的内部即时通讯服务搭建解决方案（XMPP）”；

标题部分：基于开源（XMPP）搭建内部即时通讯服务的解决方案 – 飞龙龙（）的专栏 –

关键字部分：安装、">

文章描述部分：是著名的即时通讯服务服务器。 它是一款免费的开源软件，允许用户建立自己的即时通讯服务器，可以在互联网或局域网中使用。

XMPP（可扩展消息存在协议）是一种基于可扩展标记语言（XML）的协议，用于即时消息（IM）和在线存在检测。它方便服务器

准实时操作。 该协议最终可能允许互联网用户向互联网上的其他任何人发送即时消息，即使他们的操作系统和浏览器不同。 XMPP的技术来源于

因为，实际上它是XMPP的核心协议，所以XMPP有时会被误称为协议。 它是一个基于XMPP协议的IM应用程序。 此外，XMPP还支持许多应用程序。

2 SEO优化优化要点

从业务角度来看，前端工程师SEO建议最重要的方面是：URL、移动友好性、性能、页面元素、内容呈现。

2.1 URL的三要素

URL是SEO工作的基础，也是很容易被忽视的因素之一。 URL必须注意以下三个方面：

先说第一点，不同的内容使用不同的URL来承接。 我们前端工程师在做一些特殊项目的时候，往往会使用JS来呈现网页的内容，而不是使用单独的URL来承担。 例如下面的页面：

当用户点击某个类别时，前端工程师会用新获取的内容更新原来的页面，而不需要生成新的URL。 这会导致该频道只有一个 URL。

SEO启动的时候，其实是根据页面的纬度来启动的。 如果特殊页面只有一个URL，即只能投放一个网页，而该类别的那些页面则因为没有生成单独的URL而无法投放（一般来说，投放的网页越多， SEO流量就会越多）生成）。

其次，URL的唯一性。 一般情况下，URL和网页是一一对应的。 一个网页只有一个URL，一个URL只能承载一个主题的网页。 （注：如果一个网页有多个URL，可以用来指定规范URL）。

最后，URL 应该简短且可读。 URL将用来决定网页在整个网站中的级别，因此不要使用过长的URL。 另外，简短易读的URL会给用户带来更好的体验，吸引用户点击（对于英文URL尤其如此）。

注意：不排除动态URL，例如标准URL (?p=) 是动态的。 但需要解决参数过多、参数顺序不一致的问题。

参考文档：《保持 URL 结构简单》

2.2 移动端不可忽视

有些前端朋友还抱着以前的思维方式，认为做好PC网页就够了。 而且产品和老板都是用电脑浏览的，所以没有问题。 但事实上，在大多数国家和地区，移动端流量已经超过PC端流量。

该网站数据显示，2016年11月移动端流量已超过PC端流量，因此移动端网页不容忽视。

移动网页指数已上线，即移动网页为主要权重页面（此前以PC为主）。

对于移动网页，有3种配置方法，即：自适应设计、动态内容提供和单独的URL。 另外还推出了AMP框架，可以缓存内容和静态文件，性能更快（国内的百度和搜狗也兼容）。

参考文件：

2.3 速度/性能直接影响SEO

对SEO有直接影响的速度指标有两个，一是TTFB，二是页面打开时间。

TTFB直接影响爬虫的爬行。 首先，大多数爬虫仍然抓取网页的源代码网站排名优化，而不进行渲染； 其次，每个网站的爬行配额是有限的，爬虫更高效的访问会带来更多的索引量，从而产生流量。

（注：爬虫技术也在发展，部分JS内容已经可以识别，但由于效率较低，这个比例还比较小。）

网页的打开时间会影响用户的搜索体验，也是公众排名因素之一。 网页打开速度越慢，用户跳出率越高，就会被识别为Bad Click，从而降低排名。 以下是关于速度如何影响排名的官方博客文章：

之后，它推出了一个帮助网站管理员优化网页性能的项目。 从我的实际测试来看，它的功能更强大，也更符合现在的Web技术，远远超过了之前的YSlow和.

参考文件：

2.4 页面元素分为三级

页面元素对SEO也有影响，根据重要性可以分为三个层次：

TDK是Title、Title这三个标签的缩写，其中Title最为关键，直接影响SEO （简称SERP）的搜索词和搜索结果展示。 面包屑和结构化数据也直接影响 SERP。

H标签和ALT标签帮助搜索引擎理解网页的关键内容和图片。

参考文档：《在搜索结果中创建好的标题和片段》

2.5 最好同时显示重要内容

官方文档曾经说过：

大多数“蜘蛛”查看网站的方式与 Lynx 相同。 如果由于应用了诸如会话ID、DHTML或Flash等技术而无法在文本浏览器中看到整个网站，“蜘蛛”程序也可能无法爬行该网站。

之前参加会议的时候，我了解到自己已经可以爬取和解析简单的JS，并且可以通过CSS识别重要的内容。 但从成本上来说，解析识别JS和CSS的效率仍然较低（相比只抓取源码）。 因此，还是建议重要内容同步显示，而不是异步显示。

今年还引入了动态渲染技术作为临时解决方案。 下面是动态渲染技术的原型图：

参考文件：

3 网站代码优化实战操作 3.1 优化要点

1. 标题：

标题要强调重点，重要关键词放在前面，不要重复出现，各页面标题不要设置相同；

2、关键词：

只列出几个关键词即可，不要过多；

3、网页说明：

这里是对网页内容的高度概括，不要太长，而且每个页面的内容应该有所不同。

4、对于网页中的代码，一定要遵循语义代码（html标签有其特定的含义，适当的标签应该用在适当的地方，无论是人还是搜索引擎程序都应该一目了然）

如何从语义上做到这一点？

(1)h1~h6标签多用于标题

(2)ul标签多用于无序列表

(3) ol标签用于有序列表

(4) dl标签用于定义数据列表

(5)em，表示强调

(6)span标签是html中语义最少的

3.2 标签优化

1/标签：添加链接描述标题，指向其他网站的链接添加“rel=”，请勿抓取该链接。

2/标签：网站的标题不仅要用h还要用它，因为它对于爬虫来说是最重要的，如果样式太大的话可以用css来修改。 使用文本标题，使用副标题，不要在其他不重要的地方滥用h标签。

3/

标签为

除非注明，否则均为未来可期SEO原创文章，转载必须以链接形式标明本文链接

本文链接：https://www.szsinotech.com/seo_5837.html