Python 如何提取非结构化数据

正则表达式

py 不知道。
antlr 倒是非常简单。

@matsuz 谢谢老哥，除了正则还有什么方便的库么

C 语言可以 sscanf

Python 可以 正则

如果只是这种，不是可以按空格分割吗？

@recall704 是可以按照空格分割，但是比如说我想提 src=232.190.252.222 后面的 ip 地址，我在想有没有这种方法可以直接 getline('src') 这种 好像也不麻烦哈~ 而且字段不一定存在

@lastpass 你这种结构的最合适的就是正则

```python
import re

match = re.match(
r'ad=([^ ]+)\W+cd=([^ ]+)\W+rcode=([^ ]+)\W+qdcount=([^ ]+)\W+ancount=([^ ]+)\W+nscount=([^ ]+)\W+arcount=([^ ]+)\W+src=([^ ]+)\W+dst=([^ ]+)',
'ad=0 cd=0 rcode=ok qdcount=1 ancount=0 nscount=0 arcount=1 src=232.190.252.222 dst=45.80.170.1',
)

for i in range(1, 10):
print(match.group(i))
```

这么简单的文本，可以自己解析了

为什么我想到的是两个 spilt ？我思维太初级了？

这么简单的处理都写不出来吗？

要我这外行来搞的话，那就直接先 split 空格然后 split 等号，2 个循环就变成了一个 dict，之后处理就很随便了。每行格式固定的话，不计较什么性能代码好看的还是非常简单的。
希望有大佬来说说，看看有什么高级搞法学习一下。

from collections import defaultdict
import re

ini = defaultdict(lambda: None, re.findall('(?:^|\s+)([^\=]+)\=([\S]+)','''ad=0 cd=0 rcode=ok qdcount=1 ancount=0 nscount=0 arcount=1 src=232.190.252.222 dst=45.80.170.1'''))

print(ini['helloworld'], ini['src'])


如果结构复杂一点， 比如 xx=xx xx="yy" xx='yy' xx='zz abc'这种， 用 pyparsing 更方便一点

``` python
>>> s = 'ad=0 cd=0 rcode=ok qdcount=1 ancount=0 nscount=0 arcount=1 src=232.190.252.222 dst=45.80.170.1'
>>>
>>> from urllib import parse
>>> d = parse.parse_qs(s.replace(' ', '&'))
>>>
>>> d['src']
['232.190.252.222']
>>>
```

@CEBBCAT split 不低级，而且比 re 模块快

非结构化用正则，结构化用 xpath。。。

先 split，然后用个 json 来结构化存储

@matsuz 不不不，正则并没有 antlr 强大。而且正则那又臭又长辣眼睛的代码无论是写还是维护都是灾难。所以，我目前项目里处理这种字符串都是使用的 antlr。

s = "ad=0 cd=0 rcode=ok qdcount=1 ancount=0 nscount=0 arcount=1 src=232.190.252.222 dst=45.80.170.1"
data = dict(map(lambda x:x.split("="),str.split()))
print(data["rcode"])

一行处理就够了

split 之后存个字典 再查找键值就行了 求大佬评价一下。。。

用 pyparsing 定义语法之后解析

split 生成以空格分割的列表，迭代列表查找=号所在位置，用这个位置坐切片取封号前面的字符串，和你需要的字符串做 if 判断。

以空格 split 啊，然后转 json

直接两次 split 多简单啊

src = 'ad=0 cd=0 rcode=ok qdcount=1 ancount=0 nscount=0 arcount=1 src=232.190.252.222 dst=45.80.170.1'
dst = dict(parts.split('=') for parts in src.split())
print(dst.get('ad'))

除开正则还有各种文法库。

比如我写的一个库的话，
import rbnf.zero as ze
ze_exp = ze.compile("""
import std.common.[Number Name Space]
Pair ::= keys=Name '::=' values=(~Space)*
-> (k.value, "".join(x.value for x in v))
Row ::= pairs=Pair+ -> dict(pairs)
Logs ::= (rows<<Row '\n'+)+ -> rows
"""
ze_exp.match("你的日志字符串").result

两个 split 加上 字典推导式 用默认字典可以避免键可能不存在的情况

应该可以直接转 dict 吧

@lastpass 最近在搞 antlr，有啥好的资料看看吗

看你的场景咯。你对性能有需求么？有的话还是不要正则了。另外，这种简单场景正则真的有利于维护么？？？

噗，其实说真的，如果要搜索的字符串格式固定的话，首先想到的不应该是转为 dict，而是
for line in log_lines:
if "rcode=ok" in line:
xxxxxxxxxxxxxxxxxxx

cat dns.log | awk -F ' ' '{print $3}' >> res.log

cat dns.log | awk -F ' ' '{if ($3=="rcode=ok") {print $3} else {print "rcode=error"}}'

http://pypi.python.org/pypi/parse
类似于 C 语言的 sscanf 字符串扫描

用 BNF 写一下文法？然后用 BNF Parser Generator 生成一下相应的解析器

（其实这种正则就行，逃
（再复杂直接用递归下降写就好

cOntent= "ad=0 cd=0 rcode=ok qdcount=1 ancount=0 nscount=0 arcount=1 src=232.190.252.222 dst=45.80.170.1 test test2"

1
直接字符串判断
rocde_is_ok = "rcode=ok"
rocde_is_ok in content

2

pairs = content.split(' ')

content_dict = {}
for name_value in pairs:
nv = name_value.split('=', 1)
if len(nv) != 2:
nv.append("")

key, value = nv
content_dict[key] = value

上来就先 Split，然后写个函数分析 split 之后的结果，决定要不要将每个=加入最终结果。
我不建议用正则，你这个规律性太强了......

@C0dEr 我看的就是 The Definitive ANTLR 4 Reference 这本书。简单易懂\(////)\。

https://github.com/google/textfsm/wiki

解析半结构化的的数据，满足你的一切需求
如果不是很复杂还是用正则吧

空格换成换行就是 ini 格式了。

空格换成&，前面随便添加一个 baseUrl，用现成的 url 解析库解析。