干采集系统，采集后的文章URL在历史表中做记录，以后采集文章的时候，从历史表中比较，采集过的就不要采集了
日期：2014-05-19 浏览次数：20551 次
做采集系统，采集后的文章URL在历史表中做记录，以后采集文章的时候，从历史表中比较，采集过的就不要采集了。
做采集系统，采集后的文章URL在历史表中做记录，以后采集文章的时候，从历史表中比较，采集过的就不要采集了。
但是历史表越拉越大，以后即使采集一篇文章都要和历史表所有记录比较一下，是不是效率太低了？有啥解决办法？
------解决方案--------------------
学习
做采集系统，采集后的文章URL在历史表中做记录，以后采集文章的时候，从历史表中比较，采集过的就不要采集了。
但是历史表越拉越大，以后即使采集一篇文章都要和历史表所有记录比较一下，是不是效率太低了？有啥解决办法？
------解决方案--------------------
学习
免责声明： 本文仅代表作者个人观点，与爱易网无关。其原创性以及文中陈述文字和内容未经本站证实，对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺，请读者仅作参考，并请自行核实相关内容。
