何是文本指纹和内容指纹系统
发布时间：2022-06-09 16:47:52 所属栏目：搜索优化 来源：互联网
导读：什么是文本指纹和内容指纹系统?对于收集内容的站长来说，文本指纹算法是百度爬虫系统中最麻烦的算法之一，但是对于像白帽子一样努力工作的站长来说，这是一个好处。 文本指纹算法如今，网络上对小说、新闻和图片的盗版十分猖獗，因此有必要对网页或文本进
|
什么是文本指纹和内容指纹系统?对于收集内容的站长来说，文本指纹算法是百度爬虫系统中最麻烦的算法之一，但是对于像白帽子一样努力工作的站长来说，这是一个好处。 文本指纹算法如今，网络上对小说、新闻和图片的盗版十分猖獗，因此有必要对网页或文本进行复制和过滤。最简单的文本相似性计算文本中的md5或sha哈希值。但是，它可能会导致非常小的文本差异，并且由md5或sha哈希值计算的指纹会有所不同。一个好的指纹应该具有以下特征(1)指纹是确定性的，同一文本的指纹是相同的；②指纹越相似，文本的相似度越高。③指纹生成和匹配效率高。常见指纹算法k-瓦片算法瓦片在英语中是指重叠的瓦片。 对于一段文本，根据字母顺序，分词向量将数字特征连接成一个数字，即指纹。如果空是20位整数，则需要2 64，8字节如果空为，则20位八位字节，即8 20，需要8个字节如果空是，则只需要4 20，总共40位，5字节如果空为，则需要2 20，20位，3字节假设粒子长度为m，归一化过程的算法步骤如下:哲学指纹系统的体系结构基本架构哲学指纹跟踪系统主要由爬虫系统、指纹生成系统、指纹存储、指纹查询和比对、数据分析、后台管理系统等主要模块组成，。存储层包括匹配结果信息库、网页库和指纹库。指纹跟踪系统的框图履带式系统爬虫系统的目的主要是捕获互联网上特定领域的网页(如新闻网页)。 爬虫系统是原始数据的唯一来源。只有通过爬虫系统，类似的网页才能从广阔的互联网上捕捉到。爬虫系统需要具有较高的抓取能力和抗爬行能力，为整个系统提供大量待检测页面。指纹存储模块指纹存储模块计算父母的指纹(大量文本)，这可以理解为一行文本的矢量表示。该系统的指纹存储系统采用蒙古数据库进行存储。指纹生成模块指纹生成模块的输入是一行文本，其输出是文本的指纹表示。 匹配信息库存储指纹匹配结果，包括两个要匹配的指纹、原始网页id、匹配相似度等。4.2系统架构图5系统架构图4.3系统处理流程该系统的处理流程如图6所示。该系统支持每天自动调度父数据库中的新任务，以执行重复数据消除操作。图6系统流程图4.4查询和比较系统查询和比较系统的目的是快速有效地找到与目标指纹高度相似的父指纹。根据指纹查询的特点，对父指纹数据库进行索引，通过查询索引可以找到最可能匹配的父指纹。指纹查询和比较流程如下:创建索引每个父指纹描述父标识-；特征之间的关系可以通过以特征为关键和以父标识为值来反转。如果矩阵为:；，b-；，c-；，d-；[1]，e-；[2]，f-；[2]，g-；[3].像其他算法一样，索引的粒度也应该考虑，指纹算法的粒度也应该考虑。 抽样根据要匹配的文本的特征(长度)，选择适当的粒度和片段。重要的是确保匹配的正确性，同时减少生成指纹的计算量。提取指纹根据指纹生成算法。查询指纹对要查询的指纹进行索引，统计命中数和命中次数，选择命中次数高的命中数作为可疑对象，命中数低于阈值，可以忽略。后加工结合历史统计模型，对结果进行筛选。如果匹配结果不确定，可以进行第二轮仔细比较或人工验证。摘要指纹模块是网页去重、内容盗版跟踪、内容聚类等应用中极其重要的模块。本文介绍了一些常用的指纹算法，包括k-瓦片、simhash、minhash同时介绍了由哲学数据独立开发的指纹跟踪系统及其关键算法。这些哲学数据为指纹系统的构建和算法积累了丰富的经验。没有最好的算法，只有合适的算法。在实际使用过程中，架构和算法需要根据具体的业务场景来确定。 （编辑：常州站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
