当前位置：文江博客话题详情

我正在写一个爬虫，怎么通过网页内容误别出是否为中文网页？

发布于 2022-08-28 12:34:26 字数 108 浏览 22 评论 0

因定制内容较多，暂时无发现现有爬虫框架满足要求，所以需要自己写（用redis做队列）。
我的问题是在爬虫得到一个网页之后，怎么识别出这个网页是否为中文网页？

分享到QQ

分享到微博

如果你对这篇内容有疑问，欢迎到本站社区发帖提问参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。

发布评论

需要登录才能够评论，你可以免费注册一个本站的账号。

半枫 2022-09-04 12:34:26

用 Google Chrome 的识别算法吧，支持 HTML，有 Python 绑定。

回复收藏 0

许仙没带伞 2022-09-04 12:34:26

过了N久，今天总算有时间实验一下了。下面是我综合@依云和@Syeerzy 的解决方案，谢谢大家的回答。

#! /usr/bin/env python
# -*- encoding: utf-8 -*-
import requests
import cld2

class Detector(object):
    zh_cn_encodes = ('gbk', 'gb2312', 'gb18030')
    def __init__(self, context):
        self.context = context

    def is_zh_cn_encoding(self, ctype):
        ctype = ctype.lower()
        for ec in self.zh_cn_encodes:
            if ec in ctype:
                return True
        return False

    def detect(self):
        assert type(self.context) == type(u''), 'detect unicode string only'
        ret = cld2.detect(self.context.encode('utf-8'))
        return ret[2][0][1] == 'zh'

    def url_detect(self):
        r = requests.get(self.context)
        assert r.status_code == 200, 'http code 200 is required'
        ctype = r.encoding
        if ctype and self.is_zh_cn_encoding(ctype):
            return True
        else:
            self.context = r.text
            return self.detect()

if __name__ == '__main__':
    print Detector(u'短中文有bug').detect()
    print Detector(u'网页文件一般没问题').detect()
    print Detector(u'これは日本で').detect()
    url = 'http://segmentfault.com/q/1010000000432652'
    print Detector(url).url_detect()
    url = 'https://code.google.com/p/chromium-compact-language-detector/source/browse/README'
    print Detector(url).url_detect()

输出是

False
True
False
True
False

回复收藏 0

韵柒 2022-09-04 12:34:26

首先取响应头里的编码,
如果是几种中文编码之一,则认为中文网页,
如果不是中文编码, 也不是几种unicode方案之一, 则不是中文.
否则再在<head>标签里找 charset ,
如果有并且为几种中文编码之一, 则是中文
如果不是中文编码, 也不是几种unicode方案之一, 则不是中文.
否则对body的内容(如果考虑性能问题,可以不对整个body,只对前N个字节)用正则洗标签
过滤所有ASCII码字符, 剩余部分按字取内码,
如果考虑性能问题其实取第一个字符就可以了,
如果性能不重要,可以多采样几个(防止一个页面有中文日文等各种文字混合)
判断采到的字符的内码是否位于中文unicode区域.

(PS: 如果性能非常不重要, 只是要代码简单, 那么做法可以: 正则 [^\x00-\xff] 这样可以取到第一个不是ASCII的字符, 判断这个字符是否是中文字符就可以了)

回复收藏 0

凯凯我们等你回来 2022-09-04 12:34:26

检查网页编码，看看有没有对应编码的中文字符。

回复收藏 0

城歌 2022-09-04 12:34:26

正则取出中文字符，看看在整个页面上的占比

回复收藏 0

陌伤ぢ 2022-09-04 12:34:26

我想我的博客是一个会让大多数检测“失效”的站点：http://tangzx.qiniudn.com/

因为我的 html 里完全没有中文字符，html 全是 ascii 字符，ascii 字符外的内容，都用 html 的 entity（&#entity_number; 或者 ntity_number_hex）表示了。比如源码里的“Koans | 呓语”其实就是“Koans | 呓语”。

我这么做的好处是不用再指定语言，全部 utf-8 解决。只要对方装了相应的字体，就能显示出来。

回复收藏 0

~没有更多了~