数百个中文新闻网站的HTML代码使用方法及方法

710866866 · 发表于 2022-1-11 18:01:43

\

GNE()是一个通用的新闻网站文本提取模块论坛开发源代码，输入新闻网页的HTML，输出文本中的文本内容、标题、作者、发布时间、图片地址以及文本所在标签的源代码位于。GNE对今日头条、网易新闻、游民星空、观察者网、凤凰网、腾讯新闻、新浪新闻等数百个中文新闻网站的提取非常有效，准确率几乎100%。！

使用非常简单：

    from gne import GeneralNewsExtractor
extractor = GeneralNewsExtractor()
html = '网站源代码'
result = extractor.extract(html)
print(result)

GNE 的输入是 js 渲染后的 HTML 代码，所以 GNE 可以配合使用。下图是一个用GNE实现的Demo：

对应的代码是：

    import time
from gne import GeneralNewsExtractor
from selenium.webdriver import Chrome
driver = Chrome('./chromedriver')
driver.get('https://www.toutiao.com/a6766986211736158727/')
time.sleep(3)
extractor = GeneralNewsExtractor()
result = extractor.extract(driver.page_source)
print(result)

下图是一个用GNE实现的Demo：

对应的代码如下：

    import asyncio
from gne import GeneralNewsExtractor
from pyppeteer import launch
async def main():
    browser = await launch(executablePath='/Applications/Google Chrome.app/Contents/MacOS/Google Chrome')
    page = await browser.newPage()
    await page.goto('https://news.163.com/20/0101/17/F1QS286R000187R2.html')
    extractor = GeneralNewsExtractor()
    result = extractor.extract(await page.content())
    print(result)
    input('检查完成以后回到这里按下任意键')
asyncio.run(main())

如何安装 GNE 现在您可以使用 pip 直接安装 GNE：

    pip install gne

如果访问官方pypi源太慢天外神坛源码网，也可以使用网易源：

    pip install gne -i https://mirrors.163.com/pypi/simple/

安装过程如下图所示：

功能获取文本源代码当()方法只传入网页源代码，不添加任何额外参数时，GNE返回如下字段：有的朋友可能想获取新闻文本所在标签的源码。这时候可以给()方法传参数，设置为True：

    extractor = GeneralNewsExtractor()
extractor.extract(html, with_body_html=True)

返回的数据中会添加一个字段，其值为文本对应的HTML源代码。运行效果如下图所示：总是返回图像的绝对路径默认情况下，如果新闻中的图片使用相对路径，则GNE返回的字段对应的值也是图片的相对路径列表。如果想让GNE一直返回绝对路径，那么可以在()方法中加入host参数，这个参数的值就是图片的域名，例如：

    extractor = GeneralNewsExtractor()
extractor.extract(html, host='https://www.kingname.info')

这样，如果新闻中的图片是 //pic.png，GNE 会自动将其更改为 . 指定新闻标题所在的 XPath GNE 预定义了一组用于提取新闻标题的 XPath 和正则表达式。但是，一些特殊的新闻网站可能无法提取标题。在这种情况下，您可以为 () 方法指定参数以提取新闻标题：

    extractor = GeneralNewsExtractor()
extractor.extract(html, title_xpath='//title/text()')

尽早去除嘈杂的标签一些新闻下可能会有长篇大论的评论。这些评论看起来“更像”新闻的正文。为了防止它们干扰新闻的提取，可以通过向()方法传递参数来提前去除这些噪声节点。该值是一个或多个 XPath 的列表：

    extractor = GeneralNewsExtractor()
extractor.extract(html, noise_node_list=['//div[@class="comment-list"]', '//*[@style="display:none"]'])

使用配置文件除了直接写入()方法外，API中的参数host, , 也可以通过配置文件进行设置。请在项目的根目录中创建一个文件 .gne。配置文件可以是 YAML 格式，也可以是 JSON 格式。

    title:
   xpath: //title/text()
host: https://www.xxx.com
noise_node_list:
   - //div[@class=\"comment-list\"]
   - //*[@style=\"display:none\"]
with_body_html: true

    {
   "title": {
       "xpath": "//title/text()"
   },
   "host": "https://www.xxx.com",
   "noise_node_list": ["//div[@class=\"comment-list\"]",
                       "//*[@style=\"display:none\"]"],
   "with_body_html": true
}

这两个符号是完全等价的。配置文件和()方法的参数一样，不是所有的字段都需要提供。您可以组合并填写您需要的字段。如果 () 方法和 .gne 配置文件中的参数具有不同的值，则 () 方法中的参数优先。 FAQ（以下简称GNE）是爬虫吗？ GNE 不是爬虫，它的项目名称 News 代表 News 。它的输入是HTML，它的输出是一个包含新闻标题、新闻正文、作者、出版时间的字典。您需要找到自己的方式来获取目标页面的 HTML。 GNE 不会也不会在未来提供请求网页的功能。 GNE 支持翻页吗？ GNE 不支持翻页。因为GNE不提供网页请求的功能，所以需要自己获取每个页面的HTML，单独传给GNE。 GNE 支持哪些版本？不小于3.6.0 我用 /get HTML 传入 GNE，为什么我不能提取正文？ GNE 基于 HTML 提取文本，因此传入的 HTML 必须呈现为 HTML。并且只在渲染前获取源代码，因此无法正确提取。此外，还有一些网页，比如今日头条，其新闻文本实际上是直接用JSON格式的网页源代码编写的。当在浏览器上打开页面时论坛开发源代码，源代码中的文本被解析为 HTML。在这种情况下，您不会看到上面的 Ajax 请求。所以建议你使用像 // 这样的工具来获取渲染后的 HTML 并将其传递给 GNE。 GNE 是否支持非新闻网站（例如博客、论坛...）不支持。关于 GNE GNE 官方文档： GNE 项目源代码位于：.

数百个中文新闻网站的HTML代码使用方法及方法

相关帖子

个人中心

个人中心