鑫系列第二季 DeepSeek 新专利公布：减少数据荟萃时收集资源阔绰

IT之家 4 月 2 日音书，IT之家从国度学问产权局中国专利公布公告网获悉鑫系列第二季，DeepSeek 说合公司杭州深度求索东说念主工智能基础时刻盘考有限公司请求的“一种广度数据荟萃的要领颠倒系统”专利于 4 月 1 日公布。

专利选录袒露：

该发明的有意后果在于：发现尽可能多的网页勾通，并减少对网站的流量冲击；对仍是下载的实际进行分析，对未下载的勾通进行质料臆测，通过择优下载分派额度的模式，减少低质料网页下载和近似下载，提升数据质料及下载着力鑫系列第二季，减少在数据荟萃经由中收集资源的阔绰；接收单独的信息回灌部队，保证网页元信息库修改操作的原子性和褂讪性。

布景时刻称：频年来，跟着东说念主工智能时刻的证实，NLP 当然言语领域取得了弘大的朝上。好多大言语模子 (Large Language Models，LLMs) 被考试哄骗于当然言语经管领域，用于盘考已毕东说念主与策画机之间用当然言语进行灵验通讯的千般表面和要领。

大言语模子的考试需要构建一个高质料、千般化的大言语模子数据集，这需要将网页数据荟萃并经管后得到宽敞高质料的文本信息算作模子的输入，用于大言语模子进行考试。

说合词，现存的数据荟萃时刻存在诸多问题，比如对复杂站点进行荟萃时，无法得到完好勾通；容易过量下载，变成对方网站崩溃；对下载页面不进行实际质料分析和臆测，变成近似下载或低质下载、影响数据荟萃的着力。

因此鑫系列第二季，在宽敞网页数据得到的经由中，怎么快速、精确、安全、高效地荟萃互联网数据变得至关紧迫。