您现在的位置是:网站首页>列表内容
python实现统计汉字/英文单词数的正则表达式_正则表达式_
2023-05-25 14:37:40
183人已围观
简介 python实现统计汉字/英文单词数的正则表达式_正则表达式_
思路
•使用正则式 "(?x) (?: [\w-]+ | [\x80-\xff]{3} )"获得utf-8文档中的英文单词和汉字的列表。
•使用dictionary来记录每个单词/汉字出现的频率,如果出现过则+1,如果没出现则置1。
•将dictionary按照value排序,输出。
源码
#!/usr/bin/python
# -*- coding: utf-8 -*-
#
#author: rex
#blog: http://iregex.org
#filename counter.py
#created: Mon Sep 20 21:00:52 2010
#desc: convert .py file to html with VIM.
import sys
import re
from operator import itemgetter
def readfile(f):
with file(f,"r") as pFile:
return pFile.read()
def divide(c, regex):
#the regex below is only valid for utf8 coding
return regex.findall(c)
def update_dict(di,li):
for i in li:
if di.has_key(i):
di[i]+=1
else:
di[i]=1
return di
def main():
#receive files from bash
files=sys.argv[1:]
#regex compile only once
regex=re.compile("(?x) (?: [\w-]+ | [\x80-\xff]{3} )")
dict={}
#get all words from files
for f in files:
words=divide(readfile(f), regex)
dict=update_dict(dict, words)
#sort dictionary by value
#dict is now a list.
dict=sorted(dict.items(), key=itemgetter(1), reverse=True)
#output to standard-output
for i in dict:
print i[0], i[1]
if __name__=='__main__':
main()
Tips
由于使用了files=sys.argv[1:] 来接收参数,因此./counter.py file1 file2 ...可以将参数指定的文件的词频累加计算输出。
可以自定义该程序。例如,
•使用
regex=re.compile("(?x) ( [\w-]+ | [\x80-\xff]{3} )")
words=[w for w in regex.split(line) if w]
这样得到的列表是包含分隔符在内的单词列表,方便于以后对全文分词再做操作。
•以行为单位处理文件,而不是将整个文件读入内存,在处理大文件时可以节约内存。
•可以使用这样的正则表达式先对整个文件预处理一下,去掉可能的html tags: content=re.sub(r"<[^>]+","",content),这样的结果对于某些文档更精确。
•使用正则式 "(?x) (?: [\w-]+ | [\x80-\xff]{3} )"获得utf-8文档中的英文单词和汉字的列表。
•使用dictionary来记录每个单词/汉字出现的频率,如果出现过则+1,如果没出现则置1。
•将dictionary按照value排序,输出。
源码
复制代码 代码如下:
#!/usr/bin/python
# -*- coding: utf-8 -*-
#
#author: rex
#blog: http://iregex.org
#filename counter.py
#created: Mon Sep 20 21:00:52 2010
#desc: convert .py file to html with VIM.
import sys
import re
from operator import itemgetter
def readfile(f):
with file(f,"r") as pFile:
return pFile.read()
def divide(c, regex):
#the regex below is only valid for utf8 coding
return regex.findall(c)
def update_dict(di,li):
for i in li:
if di.has_key(i):
di[i]+=1
else:
di[i]=1
return di
def main():
#receive files from bash
files=sys.argv[1:]
#regex compile only once
regex=re.compile("(?x) (?: [\w-]+ | [\x80-\xff]{3} )")
dict={}
#get all words from files
for f in files:
words=divide(readfile(f), regex)
dict=update_dict(dict, words)
#sort dictionary by value
#dict is now a list.
dict=sorted(dict.items(), key=itemgetter(1), reverse=True)
#output to standard-output
for i in dict:
print i[0], i[1]
if __name__=='__main__':
main()
Tips
由于使用了files=sys.argv[1:] 来接收参数,因此./counter.py file1 file2 ...可以将参数指定的文件的词频累加计算输出。
可以自定义该程序。例如,
•使用
复制代码 代码如下:
regex=re.compile("(?x) ( [\w-]+ | [\x80-\xff]{3} )")
words=[w for w in regex.split(line) if w]
这样得到的列表是包含分隔符在内的单词列表,方便于以后对全文分词再做操作。
•以行为单位处理文件,而不是将整个文件读入内存,在处理大文件时可以节约内存。
•可以使用这样的正则表达式先对整个文件预处理一下,去掉可能的html tags: content=re.sub(r"<[^>]+","",content),这样的结果对于某些文档更精确。
您可能感兴趣的文章:
点击排行
![](http://img.jbzj.com/file_images/game/201408/201408290847225.png)
- 仙剑奇侠传6最新消息 四位神秘角色剪影曝光_单机游戏_游戏攻略_
- 我的世界齿轮怎么得 我的世界齿轮作用属性介绍_单机游戏_游戏攻略_
- 声名狼藉:破晓 全成就达成及白金技能挑战攻略详解_单机游戏_游戏攻略_
- 国王的恩赐:黑暗面 新版添加公主秘籍介绍_单机游戏_游戏攻略_
- 国王的恩赐:黑暗面 假公主获得方法_单机游戏_游戏攻略_
- 饥荒 猪人革命主线任务及通关攻略详细介绍_单机游戏_游戏攻略_
- 真三国无双7:猛将传 无成本锻造稀有武器属性方法介绍_单机游戏_游戏攻略_
- 未变异者(Unturned)新手注意事项及搜刮物资图文攻略_单机游戏_游戏攻略_
- 国王的恩赐:黑暗面 游戏技巧及装备选择心得分享_单机游戏_游戏攻略_
本栏推荐
![](http://img.jbzj.com/file_images/game/201408/201408290847225.png)
-
仙剑奇侠传6最新消息 四位神秘角色剪影曝光_单机游戏_游戏攻略_
-
我的世界齿轮怎么得 我的世界齿轮作用属性介绍_单机游戏_游戏攻略_
-
声名狼藉:破晓 全成就达成及白金技能挑战攻略详解_单机游戏_游戏攻略_
-
国王的恩赐:黑暗面 新版添加公主秘籍介绍_单机游戏_游戏攻略_
-
国王的恩赐:黑暗面 假公主获得方法_单机游戏_游戏攻略_
-
饥荒 猪人革命主线任务及通关攻略详细介绍_单机游戏_游戏攻略_
-
真三国无双7:猛将传 无成本锻造稀有武器属性方法介绍_单机游戏_游戏攻略_
-
未变异者(Unturned)新手注意事项及搜刮物资图文攻略_单机游戏_游戏攻略_
-
国王的恩赐:黑暗面 游戏技巧及装备选择心得分享_单机游戏_游戏攻略_