使用动态规划优化提高计算性能 about generalnewsextractor HOT 1 OPEN

1. 把 utils.py 中的正则表达式使用 re.compile 提前编译了能提速。
2. 提取所有文字的 XPath 改为 //body//text() 的话可能算是一个提速点。尝试过通过 XPath 把 iframe / script / style 排除在外，这个可以考虑但没大规模尝试过。
3. 从 meta 标签提取时间，如果先把 meta 标签全部提取出来，并且改为 Trie based 的 regexp 进行匹配，大概有 60x 的提升：(?:OriginalPublicationDate|Pub(?:Date|lishDate)|_pubtime|a(?:pub:time|rticle(?::published_time|_date_original))|date(?:Published|Update)|og:(?:published_time|release_date|time)|pub(?:date|li(?:cation_date|shdate)|time)|rnews:datePublished|sailthru\\.date|weibo:\\ article:create_at)。

from generalnewsextractor.