建设银行网站 查余额,企业客户信息管理软件,网站支持ipv6做哪些改造,柳州网站建设排行榜Python拾遗1#xff1a;collections、itertools和内存io
转自#xff1a;https://www.liaoxuefeng.com/wiki/1016959663602400
本系列旨在补充python中一些很好用但是并非常规课程主线中的知识。
collections
collections是Python内建的一个集合模块#xff0c;提供了许…Python拾遗1collections、itertools和内存io
转自https://www.liaoxuefeng.com/wiki/1016959663602400
本系列旨在补充python中一些很好用但是并非常规课程主线中的知识。
collections
collections是Python内建的一个集合模块提供了许多有用的集合类。
namedtuple
我们知道tuple可以表示不变集合例如一个点的二维坐标就可以表示成
p (1, 2)但是看到 (1, 2)很难看出这个tuple是用来表示一个坐标的。
定义一个class又小题大做了这时namedtuple就派上了用场
from collections import namedtuplePoint namedtuple(Point, [x, y])
p Point(1, 2)
print(p.x, p.y)namedtuple是一个函数它用来创建一个自定义的tuple对象并且规定了tuple元素的个数并可以用属性而不是索引来引用tuple的某个元素。
这样一来我们用namedtuple可以很方便地定义一种数据类型它具备tuple的不变性又可以根据属性来引用使用十分方便。
可以验证创建的Point对象是tuple的一种子类
print(isinstance(p, Point))
print(isinstance(p, tuple))类似的如果要用坐标和半径表示一个圆也可以用namedtuple定义
# namedtuple(名称, [属性list]):
Circle namedtuple(Circle, [x, y, r])deque
使用list存储数据时按索引访问元素很快但是插入和删除元素就很慢了因为list是线性存储数据量大的时候插入和删除效率很低。
deque是为了高效实现插入和删除操作的双向列表适合用于队列和栈
from collections import dequeq deque([a, b, c])
q.append(x)
q.appendleft(y)
print(q)输出
deque([y, a, b, c, x])deque除了实现list的append()和pop()外还支持appendleft()和popleft()这样就可以非常高效地往头部添加或删除元素。
defaultdict
使用dict时如果引用的Key不存在就会抛出KeyError。如果希望key不存在时返回一个默认值就可以用defaultdict
from collections import defaultdictdd defaultdict(lambda: N/A)
dd[key1] abc
print(dd[key1], dd[key2])注意默认值是调用函数返回的而函数在创建defaultdict对象时传入。
除了在Key不存在时返回默认值defaultdict的其他行为跟dict是完全一样的。
OrderedDict
使用dict时Key是无序的。在对dict做迭代时我们无法确定Key的顺序。
如果要保持Key的顺序可以用OrderedDict
from collections import OrderedDictod OrderedDict([(a, 1), (b, 2), (c, 3)])
print(od)输出
OrderedDict([(a, 1), (b, 2), (c, 3)])注意OrderedDict的Key会按照插入的顺序排列不是Key本身排序
od OrderedDict()
od[z] 1
od[y] 2
od[x] 3
list(od.keys()) # 按照插入的Key的顺序返回输出
[z, y, x]OrderedDict可以实现一个FIFO先进先出的dict当容量超出限制时先删除最早添加的Key
from collections import OrderedDictclass LastUpdatedOrderedDict(OrderedDict):def __init__(self, capacity):super(LastUpdatedOrderedDict, self).__init__()self._capacity capacitydef __setitem__(self, key, value):containsKey 1 if key in self else 0if len(self) - containsKey self._capacity:last self.popitem(lastFalse)print(remove:, last)if containsKey:del self[key]print(set:, (key, value))else:print(add:, (key, value))OrderedDict.__setitem__(self, key, value)ChainMap
ChainMap可以把一组dict串起来并组成一个逻辑上的dict。ChainMap本身也是一个dict但是查找的时候会按照顺序在内部的dict依次查找。
什么时候使用ChainMap最合适举个例子应用程序往往都需要传入参数参数可以通过命令行传入可以通过环境变量传入还可以有默认参数。我们可以用ChainMap实现参数的优先级查找即先查命令行参数如果没有传入再查环境变量如果没有就使用默认参数。
下面的代码演示了如何查找user和color这两个参数
from collections import ChainMap
import os, argparse# 构造缺省参数:
defaults {color: red,user: guest
}# 构造命令行参数:
parser argparse.ArgumentParser()
parser.add_argument(-u, --user)
parser.add_argument(-c, --color)
namespace parser.parse_args()
command_line_args { k: v for k, v in vars(namespace).items() if v }# 组合成ChainMap:
combined ChainMap(command_line_args, os.environ, defaults)# 打印参数:
print(color%s % combined[color])
print(user%s % combined[user])没有任何参数时打印出默认参数
python3 use_chainmap.py
colorred
userguest当传入命令行参数时优先使用命令行参数
python3 use_chainmap.py -u bob
colorred
userbob同时传入命令行参数和环境变量命令行参数的优先级较高
useradmin colorgreen python3 use_chainmap.py -u bob
colorgreen
userbobCounter
Counter是一个简单的计数器例如统计字符出现的个数
rom collections import Counterc Counter()
for ch in programming:c[ch] c[ch] 1
print(c)
c.update(hello) # 也可以一次性update
print(c)输出
Counter({r: 2, g: 2, m: 2, p: 1, o: 1, a: 1, i: 1, n: 1})
Counter({r: 2, o: 2, g: 2, m: 2, l: 2, p: 1, a: 1, i: 1, n: 1, h: 1, e: 1})Counter实际上也是dict的一个子类上面的结果可以看出每个字符出现的次数。
itertools
Python的内建模块itertools提供了非常有用的用于操作迭代对象的函数。
”无限“迭代器
count
首先我们看看itertools提供的几个**“无限”迭代器**(包括 count, cycle, repeat)
import itertoolsnaturals itertools.count(1)
for n in naturals:print(n, end )输出
1 2 3 4 5 6 ...因为**count()**会创建一个无限的迭代器所以上述代码会打印出自然数序列根本停不下来只能按CtrlC退出。
cycle
**cycle()**会把传入的一个序列无限循环重复下去
import itertoolscs itertools.cycle(ABC)
for c in cs:print(c, end )输出
A B C A B C A B C ...同样停不下来。
repeat
**repeat()**负责把一个元素无限重复下去不过如果提供第二个参数就可以限定重复次数
import itertoolsns itertools.repeat(A, 3)
for n in ns:print(n, end )输出
A A A无限序列只有在 for 迭代时才会无限地迭代下去如果只是创建了一个迭代对象它不会事先把无限个元素生成出来事实上也不可能在内存中创建无限多个元素itertools 模块提供的全部是处理迭代功能的函数它们的返回值不是list而是 Iterator只有用 for 循环迭代的时候才真正计算。
几个有用的迭代器操作函数
takewile
无限序列虽然可以无限迭代下去但是通常我们会通过 takewhile() 等函数根据条件判断来截取出一个有限的序列
import itertoolsnaturals itertools.count(1)
ns itertools.takewhile(lambda x: x10, naturals)
for i in ns:print(i, end )输出
1 2 3 4 5 6 7 8 9 10chain
chain() 可以把一组迭代对象串联起来形成一个更大的迭代器
import itertoolsfor c in itertools.chain(ABC, XYZ):print(c, end )输出
A B C X Y Zgroupby
groupby() 把迭代器中相邻的重复元素挑出来放在一起
import itertoolsfor key, group in itertools.groupby(AAABBBCCAAA):print(key, list(group))输出
A [A, A, A]
B [B, B, B]
C [C, C]
A [A, A, A]如果换成AAABBBCCAAA
则输出
A [A, A]
D [D]
A [A]
B [B, B, B]
C [C, C]
A [A, A, A]实际上挑选规则是通过函数完成的只要作用于函数的两个元素返回的值相等这两个元素就被认为是在一组的而函数返回值作为组的key。比如我们要忽略大小写分组就可以让元素A和a都返回相同的key
for key, group in itertools.groupby(AaaBBbcCAAa, lambda c: c.upper()):print(key, list(group))输出
A [A, a, a]
B [B, B, b]
C [c, C]
A [A, A, a]StringIO与BytesIO
StringIO
很多时候数据读写不一定是文件也可以在内存中读写。
StringIO顾名思义就是在内存中读写str。
要把str写入StringIO我们需要先创建一个StringIO然后像文件一样写入即可
from io import StringIO
f StringIO()
f.write(hello)
f.write( )
f.write(world!)
print(f.getvalue())输出
hello world!getvalue()方法用于获得写入后的str。
要读取StringIO可以用一个str初始化StringIO然后像读文件一样读取
from io import StringIO
f StringIO(Hello!\nHi!\nGoodbye!)
while True:s f.readline()if s :breakprint(s.strip())输出
Hello!
Hi!
Goodbye!BytesIO
StringIO操作的只能是str如果要操作二进制数据就需要使用BytesIO。
BytesIO实现了在内存中读写bytes我们创建一个BytesIO然后写入一些bytes
from io import BytesIO
f BytesIO()
f.write(中文.encode(utf-8))
print(f.getvalue())输出
b\xe4\xb8\xad\xe6\x96\x87请注意写入的不是str而是经过UTF-8编码的bytes。
和StringIO类似可以用一个bytes初始化BytesIO然后像读文件一样读取
from io import BytesIO
f BytesIO(b\xe4\xb8\xad\xe6\x96\x87)
print(f.read())输出
b\xe4\xb8\xad\xe6\x96\x87StringIO和BytesIO是在内存中操作str和bytes的方法使得和读写文件具有一致的接口。
