数据清洗:用一行Python代码去掉文本中的各种符号

MyBatisPlus 重定向原理

前言

在搜集了很多文本语料之后,会开始漫长的数据清洗设备管理器手动安装驱动过程,通常要不断迭代。

1. 问题描述

有些文本数据中&#xFOCff0c;会包含一些特殊符号。

猜想可能是从某些富文本编辑器中直接粘贴到了网页。

如果要清除这些特殊符号,就需要专门的工具。

2. 相关知识双端队列

Unicode标准把符号分为四大类毕业设计项目实战+论文,分别是:

缩写 详情
[Sc] Symbol, Currency
[Sk] Symbol, Modifier
评估指标[Sm] Symbol, Math
[So] Symbol, Other

一般需要清理掉的符号会是So类型的,但还是要根据自己的数据情况具体分析

3. 解决方案

在数据清洗过程中遇到的符号可能包括:杂项符号、几何形状、箭头、心形、星形、表情Emoji、货币符号等。
如果以上这些符号都要删除,可以用下面的代码。

text = &#微信小程序导入字体文件34;".join(ch for ch in text if unicodedata.category(ch)[0]!= 'S')

如果需要单独去除某一类,或者希望知道某个符号所属的具体类别,就需要到这个网站:
https://www.unicode.org/charts/charindex.html
查找对应的MODBUS符号增删改查类型。

以箭头符号为例。

先用Arrow搜索上面的网页,找到纯粹的箭头项Arrows,对应的文档是:https://www.unicode.org/charts/PDF/U2190.pdf

找到自己需要的箭头,并查stylegan看对应的名字。

举例:箭头
RIGHTWARDS ARROW,然后用python提供的unicodedata标准库,查找这个符号的类别。

unicodedata.lookup('RIGHTWARDS ARROW')
'→'
unicodedata.category('→')
'Sm'

这样,就知道要查找的箭头符号,属于Sm类别&#xf内部类f08;数学符号)。

举例:黑色方块

swooleBLACK 深度搜索SQUARE ■ U+25A0

unicodedata.lookup('BLACK SQUARE')
'■'
unicodedata.category('■')
'So'

举例:黑色心形taro

unicodedata.lookup(&#电视39;BLACK HEART SUIT')
'♥'
unicodedata.category('♥')
'So'

举例:黑色星形

unicodedata.lookup('BLACK FOUR POINTED STAR')
'✦'
unicodedata.category('✦')
'So'

如果只需要去除杂项符号,可以用下面的python代码。

text = "".join(ch for ch in text if unicodedata.category(ch) != 'So')

另一个有用的网址:

https://www.fileforVOC2007mat.info/info/unicode/category/index.htm

日期时间选择器

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注