采集需求如下: 1、采集某网站的若干文章和评论,入库 2、本站用户新发布文章、评论(包括对已采集的文章附加评论) 3、定期再将采集网站相关文章最近更新的未采集评论附加入库 大家对这个采集需求有什么好的思路呢,如何做到更新最高效?
谢谢大家,这个问题已解决了! 将已采集的数据做标记保存起来,下次采集的时候进行比对。
欢迎来到随意问技术百科, 这是一个面向专业开发者的IT问答网站,提供途径助开发者查找IT技术方案,解决程序bug和网站运维难题等。 温馨提示:本网站禁止用户发布与IT技术无关的、粗浅的、毫无意义的或者违法国家法规的等不合理内容,谢谢支持。