各种网站新闻正文抽取利器GeneralNewsExtractor

GNE在提取今日头条、新浪,腾讯新闻等数百个中文新闻网站上效果非常出色,几乎能够达到100%的准确率。

先安装库

pip install --upgrade gne

调用

url 一个新闻链接 如“

https://www.qmwu.com/171415.html

import requests
from gne import GeneralNewsExtractor

url = "新闻链接"

payload={}
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.54 Safari/537.36"
}

response = requests.request("GET", url, headers=headers, data=payload)

# print(response.text)
extractor = GeneralNewsExtractor()
article_content = extractor.extract(response.text)
print(article_content)

返回结果

{‘title’: ‘带钰字富有诗意的名字(带钰女孩子的名字怎么样)’, ‘author’: ”, ‘publish_time’: ‘2023-02-07’, ‘content’: ‘导读:带钰字富有诗意的\n名字\n非常感谢您的\n委托\n,\n我会\n尽力为您提供最好的\n答案\n。易经是\n中国\n古代一部关于\n天地\n人三才相应、\n五行\n相生的哲学思想体系,乾”坤”两\n卦\n为根本,将八卦分为上卦和下卦,内含九宫六十四卦,并以此来解释全\n世界\n的一切事物。下面我们用易经来起名,可以以“作为起名的出发点,根据易经的理念,\n乾坤\n之交“这个名字可以理解为”天地\n交泰\n“寓意人间大吉大利”太平盛世,可以用来给\n新生儿\n起名。…下面看带钰字富有诗意的名字(带钰女孩子的名字怎么样)具体解释,希望周易云起名网小编能给你带来帮助。\n带钰字富有诗意的名字\n非常感谢您的委托,我会尽力为您提供最好的答案。\n易经是中国古代一部关于天地人三才相应、五行相生的哲学思想体系,它以“乾”、“坤”两卦为根本,将八卦分为上卦和下卦,内含九宫六十四卦,并以此来解释全世界的一切事物。下面我们用易经来起名,可以以“乾坤之交”作为起名的出发点,根据易经的理念,“乾坤之交”这个名字可以理解为“天地交泰”,寓意人间大吉大利,太平盛世,可以用来给新生儿起名,祝福他能够在这个世界里得到幸福。\n五行是中国古代五大基本\n元素\n——金、木、水、火、土,它们影响着自然界的变化,而且也可以用来起名。比如说,可以以“炎阳”作为起名,它既有火的元素,也有阳光的元素,寓意热情、勤奋、明朗,可以用来给新生儿起名,祝福他能够在这个世界里不断前行,开创美好的未来。\n生肖\n是中国古代的一种纪年方法,它以十二种动物来代表十二个生肖,每一个生肖都有其独特的性格和特点,可以用来起名。比如说,可以以“龙飞凤舞”作为起名,它既有龙的元素,也有凤的元素,寓意雄壮、豪迈、高贵,可以用来给新生儿起名,祝福他能够在这个世界里勇往直前,实现自己的梦想。\n五格是中国古代的一种命理学,它通过研究五行元素的相互关系,来预测一个人的性格、命运和未来发展。可以用来起名。比如说,可以以“破竹之势”作为起名,它既有破的元素,也有竹的元素,寓意勇敢、刚毅、不屈不挠,可以用来给新生儿起名,祝福他能够在这个世界里超越自我,取得辉煌成就。\n唐诗宋词是中国古代文学的精华,它们描绘了古人的情感与思想,可以用来起名。比如说,可以以“月落乌啼”作为起名,它既有月的元素,也有乌的元素,寓意悠远、宁静、深邃,可以用来给新生儿起名,祝福他能够在这个世界里学习知识,求真务实。\n国学是中国古代的一种综合性学问,它以中国古代的文化、传统、历史为基础,可以用来起名。比如说,可以以“追星逐月”作为起名,它既有星的元素,也有月的元素,寓意梦想、追求、不屈不挠,可以用来给新生儿起名,祝福他能够在这个世界里勇往直前,实现自己的梦想。\n带钰女孩子的名字怎么样\n钰,又称“渊”,是一种宝石,代表了永恒、坚韧不拔的意思。以钰为女孩子起名,最好能够体现出这样的寓意:牢记使命、勇往直前,充满正义感、勇敢无畏,在人生道路上始终追求卓越,成就辉煌。\n1. 五行起名:金——钰琪;木——钰怡;水——钰涵;火——钰然;土——钰熹。\n2. 生肖起名:鼠年——钰洁;牛年——钰竹;虎年——钰彤;兔年——钰妍;龙年——钰玲;蛇年——钰诗;马年——钰珊;羊年——钰文;猴年——钰芸;鸡年——钰雅;狗年——钰晴;猪年——钰珍。\n3. 唐诗宋词起名:《春晓》——钰昕;《望庐山瀑布》——钰泓;《念奴娇·赤壁怀古》——钰枫;《蝶恋花·春景》——钰芳;《静夜思》——钰思;《芭蕉》——钰芝;《清平乐·杨柳枝》——钰翎;《浣溪沙·春景》——钰景;《鹊桥仙·纤云弄巧》——钰纤;《长相思·其三》——钰情。\n4. 五格起名:天格——钰慧;人格——钰珺;地格——钰瑶;外格——钰珊;中格——钰晴。\n5. 国学起名:《易经》——钰玉;《老子》——钰悟;《孟子》——钰慧;《论语》——钰谦;《庄子》——钰芝;《大学》——钰智;《中庸》——钰婉;《荀子》——钰琪;《孙子兵法》——钰军;《诗经》——钰诗。\n名字带钰的名人\n一位起名专家会用易经、五行、生肖、五格、唐诗、宋词、国学等知识来起名,并且能够对其含义进行解释。以“带钰”为例,我们可以使用易经中的卦象来命名,比如“大壮”,“大壮”是火水相加而得,此时就有了“钰”。在五行中,“钰”代表火,所以可以选择“烈火”、“焚炎”等作为名字。在生肖中,“钰”代表狗,所以可以选择“勇狗”、“威狗”等作为名字。在五格中,“钰”代表天,所以可以选择“天行”、“天道”等作为名字。在唐诗宋词中,“钰”也可以作为一个关键词,比如《登金陵凤凰台》中的“钰花弄影”,可以选择“弄影”作为名字。此外,“钰”在国学中也有不同的解释,比如“钰冠三尺,文章百篇”,可以选择“文章”作为名字。总之,要想起一个带钰的名字,可以结合上述知识,灵活运用,从而起到一个好的名字。’, ‘images’: [‘/wp-content/uploads/20230203/04f45f4d1dcd848e9e60577e1c60c676.jpg’, ‘https://www.qmwu.com/wp-content/themes/justnews/themer/assets/images/lazy.png’]}

注:正文抽取的解决方案主要有两种思路:
1、对所有新闻网站的构建内容特征库。其实也很快,估计一个网站用时20分钟就可以了。200主流媒体,也花不了1天的时间,而且准确100%!
2、想研究一个放之四海而皆准的方案。参考知网一篇文章《基于文本及符号密度的网页正文提取方法》,以及一些相关机器学习等思路的算法。但是都会存在一些先天的痼疾。本项目也是如此。如果找一篇正文内容只有1行字,或者是图片多于文字的这种网页,准确率就下降了。

© 版权声明
THE END
喜欢就支持一下吧
点赞9 分享
评论 抢沙发
头像
欢迎您留下宝贵的见解!
提交
头像

昵称

取消
昵称表情代码图片

    暂无评论内容