itertools-为高效循环创建迭代器的函数详解(1)Python语言的功能编程模块(必读进阶学习教程)(参考资料)
该模块实现了许多迭代器构建块,其灵感来自APL,Haskell和SML的构造。每个都以适合Python的形式重铸。
该模块标准化了一组核心的快速,内存有效的工具,这些工具本身或组合使用。它们共同组成了一个“迭代器代数”,可以在纯Python中简洁有效地构建专用工具。
例如,SML提供了一个制表工具:tabulate(f)
它产生一个序列。通过组合和形成,可以在Python中实现相同的效果。f(0), f(1), ...
map()
count()
map(f, count())
这些工具及其内置对应设备也可与operator
模块中的高速功能配合使用。例如,乘法运算符可以跨两个向量映射,以形成有效的点积: 。sum(map(operator.mul, vector1, vector2))
无限迭代器:
迭代器 | 参数 | 结果 | 例 |
---|---|---|---|
count() |
开始,[步骤] | 开始,开始+步骤,开始+ 2 *步骤,… | count(10) --> 10 11 12 13 14... |
cycle() |
p | p0,p1,… plast,p0,p1,… | cycle('ABCD') --> A B C D A B CD ... |
repeat() |
elem [,n] | elem,elem,elem,…无休止地或多达n次 | repeat(10, 3) --> 10 10 10 |
迭代器终止于最短的输入序列:
迭代器 | 参数 | 结果 | 例 |
---|---|---|---|
accumulate() |
p [,func] | p0,p0 + p1,p0 + p1 + p2,… | accumulate([1,2,3,4,5]) --> 1 3 610 15 |
chain() |
p,q,… | p0,p1,… plast,q0,q1,… | chain('ABC', 'DEF') --> A B C D EF |
chain.from_iterable() |
迭代 | p0,p1,… plast,q0,q1,… | chain.from_iterable(['ABC','DEF']) --> A B C D E F |
compress() |
数据,选择器 | (d [0]如果s [0]),(d [1]如果s [1]),…… | compress('ABCDEF', [1,0,1,0,1,1])--> A C E F |
dropwhile() |
pred,seq | seq [n],seq [n + 1],当pred失败时开始 | dropwhile(lambda x: x<5,[1,4,6,4,1]) --> 6 4 1 |
filterfalse() |
pred,seq | seq的元素,其中pred(elem)是假的 | filterfalse(lambda x: x%2,range(10)) --> 0 2 4 6 8 |
groupby() |
可迭代的[,关键] | 按键值(v)分组的子迭代器 | |
islice() |
seq,[start,] stop [,step] | 来自seq [start:stop:step]的元素 | islice('ABCDEFG', 2, None) --> CD E F G |
starmap() |
func,seq | func(* seq [0]),func(* seq [1]),… | starmap(pow, [(2,5), (3,2),(10,3)]) --> 32 9 1000 |
takewhile() |
pred,seq | seq [0],seq [1],直到pred失败 | takewhile(lambda x: x<5,[1,4,6,4,1]) --> 1 4 |
tee() |
它,n | it1,it2,… itn将一个迭代器拆分为n | |
zip_longest() |
p,q,… | (p [0],q [0]),(p [1],q [1]),… | zip_longest('ABCD', 'xy',fillvalue='-') --> Ax By C- D- |
组合迭代器:
迭代器 | 参数 | 结果 |
---|---|---|
product() |
p,q,… [repeat = 1] | 笛卡尔积,相当于嵌套的for循环 |
permutations() |
p [,r] | r长度元组,所有可能的排序,没有重复的元素 |
combinations() |
p,r | r长度元组,按排序顺序,没有重复元素 |
combinations_with_replacement() |
p,r | r-长度元组,按排序顺序,具有重复元素 |
product('ABCD', repeat=2) |
AA AB AC AD BA BB BC BD CA CB CC CD DA DB DCDD |
|
permutations('ABCD', 2) |
AB AC AD BA BC BD CA CB CD DA DB DC |
|
combinations('ABCD', 2) |
AB AC AD BC BD CD |
|
combinations_with_replacement('ABCD',2) |
AA AB AC AD BB BC BD CC CD DD |
Itertool功能
以下模块函数构造并返回迭代器。有些提供无限长度的流,因此只能通过截断流的函数或循环来访问它们。
itertools.
accumulate
(iterable [,func ] )- 创建一个迭代器,返回累积的总和,或其他二进制函数的累计结果(通过可选的func参数指定 )。如果提供了func,它应该是两个参数的函数。输入可迭代的元素可以是可以被接受为func的参数的任何类型。(例如,使用add的默认操作,元素可以是包含
Decimal
or的 任何可添加类型Fraction
。)如果输入iterable为空,则输出iterable也将为空。大致相当于:
def accumulate(iterable, func=operator.add): 'Return running totals' # accumulate([1,2,3,4,5]) --> 1 3 6 10 15 # accumulate([1,2,3,4,5], operator.mul) --> 1 2 6 24 120 it = iter(iterable) try: total = next(it) except StopIteration: return yield total for element in it: total = func(total, element) yield total
func参数有很多用途。它可以设置
min()
为运行最小值,max()
运行最大值或operator.mul()
运行产品。可以通过累积利息和应用付款来建立摊销表。 可以通过在iterable中提供初始值并仅使用func参数中的累计total来建模一阶 递归关系:>>> >>> data = [3, 4, 6, 2, 1, 9, 0, 7, 5, 8] >>> list(accumulate(data, operator.mul)) # running product [3, 12, 72, 144, 144, 1296, 0, 0, 0, 0] >>> list(accumulate(data, max)) # running maximum [3, 4, 6, 6, 6, 9, 9, 9, 9, 9] # Amortize a 5% loan of 1000 with 4 annual payments of 90 >>> cashflows = [1000, -90, -90, -90, -90] >>> list(accumulate(cashflows, lambda bal, pmt: bal*1.05 + pmt)) [1000, 960.0, 918.0, 873.9000000000001, 827.5950000000001] # Chaotic recurrence relation https://en.wikipedia.org/wiki/Logistic_map >>> logistic_map = lambda x, _: r * x * (1 - x) >>> r = 3.8 >>> x0 = 0.4 >>> inputs = repeat(x0, 36) # only the initial value is used >>> [format(x, '.2f') for x in accumulate(inputs, logistic_map)] ['0.40', '0.91', '0.30', '0.81', '0.60', '0.92', '0.29', '0.79', '0.63', '0.88', '0.39', '0.90', '0.33', '0.84', '0.52', '0.95', '0.18', '0.57', '0.93', '0.25', '0.71', '0.79', '0.63', '0.88', '0.39', '0.91', '0.32', '0.83', '0.54', '0.95', '0.20', '0.60', '0.91', '0.30', '0.80', '0.60']
请参阅查看
functools.reduce()
类似函数,该函数仅返回最终累计值。版本3.2中的新功能。
版本3.3中已更改:添加了可选的func参数。
itertools.
chain
(* iterables )- 创建一个迭代器,它返回第一个iterable中的元素,直到它耗尽,然后进入下一个iterable,直到所有的iterables都用完为止。用于将连续序列作为单个序列处理。大致相当于:
def chain(*iterables): # chain('ABC', 'DEF') --> A B C D E F for it in iterables: for element in it: yield element
- classmethod
chain.
from_iterable
(iterable ) - 替代构造函数
chain()
。从懒惰计算的单个可迭代参数中获取链式输入。大致相当于:def from_iterable(iterables): # chain.from_iterable(['ABC', 'DEF']) --> A B C D E F for it in iterables: for element in it: yield element
itertools.
combinations
(可迭代的,r )- 返回输入iterable中元素的r个子序列。
组合以字典排序顺序发出。因此,如果对输入iterable进行排序,则将按排序顺序生成组合元组。
元素根据其位置而不是其价值被视为唯一元素。因此,如果输入元素是唯一的,则每个组合中将不存在重复值。
大致相当于:
def combinations(iterable, r): # combinations('ABCD', 2) --> AB AC AD BC BD CD # combinations(range(4), 3) --> 012 013 023 123 pool = tuple(iterable) n = len(pool) if r > n: return indices = list(range(r)) yield tuple(pool[i] for i in indices) while True: for i in reversed(range(r)): if indices[i] != i + n - r: break else: return indices[i] += 1 for j in range(i+1, r): indices[j] = indices[j-1] + 1 yield tuple(pool[i] for i in indices)
代码
combinations()
也可以表示为permutations()
过滤条目后的子序列,其中元素不按排序顺序(根据它们在输入池中的位置):def combinations(iterable, r): pool = tuple(iterable) n = len(pool) for indices in permutations(range(n), r): if sorted(indices) == list(indices): yield tuple(pool[i] for i in indices)
返回的项目数为when 或0 。
n! / r! / (n-r)!
0 <= r <= n
r > n
itertools.
combinations_with_replacement
(可迭代的,r )- 返回输入iterable中元素的r长度子序列, 允许单个元素重复多次。
组合以字典排序顺序发出。因此,如果对输入iterable进行排序,则将按排序顺序生成组合元组。
元素根据其位置而不是其价值被视为唯一元素。因此,如果输入元素是唯一的,则生成的组合也将是唯一的。
大致相当于:
def combinations_with_replacement(iterable, r): # combinations_with_replacement('ABC', 2) --> AA AB AC BB BC CC pool = tuple(iterable) n = len(pool) if not n and r: return indices = [0] * r yield tuple(pool[i] for i in indices) while True: for i in reversed(range(r)): if indices[i] != n - 1: break else: return indices[i:] = [indices[i] + 1] * (r - i) yield tuple(pool[i] for i in indices)
代码
combinations_with_replacement()
也可以表示为product()
过滤条目后的子序列,其中元素不按排序顺序(根据它们在输入池中的位置):def combinations_with_replacement(iterable, r): pool = tuple(iterable) n = len(pool) for indices in product(range(n), repeat=r): if sorted(indices) == list(indices): yield tuple(pool[i] for i in indices)
返回的项目的数量时。
(n+r-1)! / r! / (n-1)!
n > 0
3.1版中的新功能。
itertools.
compress
(数据,选择器)- 创建一个迭代器,从数据中过滤元素,只返回那些在选择器中具有相应元素的元素
True
。当数据或选择器可迭代用尽时停止。大致相当于:def compress(data, selectors): # compress('ABCDEF', [1,0,1,0,1,1]) --> A C E F return (d for d, s in zip(data, selectors) if s)
3.1版中的新功能。
itertools.
count
(start = 0,step = 1 )- 创建一个迭代器,返回以数字start开头的均匀间隔值。通常用作
map()
生成连续数据点的参数。此外,用于zip()
添加序列号。大致相当于:def count(start=0, step=1): # count(10) --> 10 11 12 13 14 ... # count(2.5, 0.5) -> 2.5 3.0 3.5 ... n = start while True: yield n n += step
当使用浮点数进行计数时,有时可以通过替换乘法代码来实现更高的准确性,例如:。
(start + step * ifor i in count())
版本3.1中已更改:添加了步骤参数和允许的非整数参数。
itertools.
cycle
(可迭代的)- 使迭代器返回迭代中的元素并保存每个元素的副本。当iterable耗尽时,返回保存副本中的元素。无限期地重复。大致相当于:
def cycle(iterable): # cycle('ABCD') --> A B C D A B C D A B C D ... saved = [] for element in iterable: yield element saved.append(element) while saved: for element in saved: yield element
注意,该工具包的这个成员可能需要大量的辅助存储(取决于可迭代的长度)。
itertools.
dropwhile
(谓词,可迭代)- 只要谓词为真,就创建一个从迭代中删除元素的迭代器; 之后,返回每个元素。注意,在谓词首次变为false之前,迭代器不会产生 任何输出,因此它可能具有较长的启动时间。大致相当于:
def dropwhile(predicate, iterable): # dropwhile(lambda x: x<5, [1,4,6,4,1]) --> 6 4 1 iterable = iter(iterable) for x in iterable: if not predicate(x): yield x break for x in iterable: yield x
itertools.
filterfalse
(谓词,可迭代)- 创建一个迭代器,从迭代中过滤元素,只返回谓词所在的元素
False
。如果是谓词None
,则返回false项。大致相当于:def filterfalse(predicate, iterable): # filterfalse(lambda x: x%2, range(10)) --> 0 2 4 6 8 if predicate is None: predicate = bool for x in iterable: if not predicate(x): yield x
itertools.
groupby
(iterable,key = None )- 创建一个从迭代中返回连续键和组的迭代器。关键是计算每个元素的键值的函数。如果未指定或是
None
,则键默认为标识函数并返回元素不变。通常,可迭代需要已经在相同的键函数上排序。操作
groupby()
类似于uniq
Unix中的过滤器。每次键函数的值发生变化时,它都会生成一个中断或新组(这就是为什么通常需要使用相同的键函数对数据进行排序)。这种行为不同于SQL的GROUP BY,它聚合了常见元素而不管它们的输入顺序如何。返回的组本身是一个迭代器,它与底层的iterable共享
groupby()
。由于源是共享的,因此当groupby()
对象处于高级时,前一个组将不再可见。因此,如果稍后需要该数据,则应将其存储为列表:groups = [] uniquekeys = [] data = sorted(data, key=keyfunc) for k, g in groupby(data, keyfunc): groups.append(list(g)) # Store group iterator as a list uniquekeys.append(k)
groupby()
大致相当于:class groupby: # [k for k, g in groupby('AAAABBBCCDAABBB')] --> A B C D A B # [list(g) for k, g in groupby('AAAABBBCCD')] --> AAAA BBB CC D def __init__(self, iterable, key=None): if key is None: key = lambda x: x self.keyfunc = key self.it = iter(iterable) self.tgtkey = self.currkey = self.currvalue = object() def __iter__(self): return self def __next__(self): self.id = object() while self.currkey == self.tgtkey: self.currvalue = next(self.it) # Exit on StopIteration self.currkey = self.keyfunc(self.currvalue) self.tgtkey = self.currkey return (self.currkey, self._grouper(self.tgtkey, self.id)) def _grouper(self, tgtkey, id): while self.id is id and self.currkey == tgtkey: yield self.currvalue try: self.currvalue = next(self.it) except StopIteration: return self.currkey = self.keyfunc(self.currvalue)
itertools.
islice
(可迭代,停止)itertools.
islice
(可迭代,开始,停止[,步骤] )- 创建一个迭代器,从迭代中返回所选元素。如果start为非零,则跳过iterable中的元素,直到达到start。之后,连续返回元素,除非将step设置为高于导致跳过项目的步骤。如果停止的
None
,那么迭代继续进行,直到迭代器被耗尽,如果在所有; 否则,它停在指定位置。与常规切片不同,islice()
不支持start,stop或step的负值。可用于从内部结构已展平的数据中提取相关字段(例如,多行报表可在每第三行列出名称字段)。大致相当于:def islice(iterable, *args): # islice('ABCDEFG', 2) --> A B # islice('ABCDEFG', 2, 4) --> C D # islice('ABCDEFG', 2, None) --> C D E F G # islice('ABCDEFG', 0, None, 2) --> A C E G s = slice(*args) start, stop, step = s.start or 0, s.stop or sys.maxsize, s.step or 1 it = iter(range(start, stop, step)) try: nexti = next(it) except StopIteration: # Consume *iterable* up to the *start* position. for i, element in zip(range(start), iterable): pass return try: for i, element in enumerate(iterable): if i == nexti: yield element nexti = next(it) except StopIteration: # Consume to *stop*. for i, element in zip(range(i + 1, stop), iterable): pass
如果是start
None
,则迭代从零开始。如果是步骤None
,则步骤默认为1。
itertools.
permutations
(可迭代,r =无)- 返回迭代中元素的连续r长度排列。
如果未指定r或是
None
,则r默认为iterable的长度,并生成所有可能的全长排列。排列以字典排序顺序发出。因此,如果输入iterable被排序,则排列元组将按排序顺序生成。
元素根据其位置而不是其价值被视为唯一元素。因此,如果输入元素是唯一的,则每个排列中都不会有重复值。
大致相当于:
def permutations(iterable, r=None): # permutations('ABCD', 2) --> AB AC AD BA BC BD CA CB CD DA DB DC # permutations(range(3)) --> 012 021 102 120 201 210 pool = tuple(iterable) n = len(pool) r = n if r is None else r if r > n: return indices = list(range(n)) cycles = list(range(n, n-r, -1)) yield tuple(pool[i] for i in indices[:r]) while n: for i in reversed(range(r)): cycles[i] -= 1 if cycles[i] == 0: indices[i:] = indices[i+1:] + indices[i:i+1] cycles[i] = n - i else: j = cycles[i] indices[i], indices[-j] = indices[-j], indices[i] yield tuple(pool[i] for i in indices[:r]) break else: return
代码
permutations()
也可以表示为子序列product()
,过滤以排除具有重复元素的条目(来自输入池中相同位置的条目):def permutations(iterable, r=None): pool = tuple(iterable) n = len(pool) r = n if r is None else r for indices in product(range(n), repeat=r): if len(set(indices)) == r: yield tuple(pool[i] for i in indices)
返回的项目数为when 或0 。
n! / (n-r)!
0 <= r <= n
r > n
itertools.
product
(* iterables,repeat = 1 )- 输入迭代的笛卡儿乘积。
大致相当于生成器表达式中的嵌套for循环。例如, 返回相同的。
product(A, B)
((x,y) for x in A for y inB)
嵌套循环像里程表一样循环,最右边的元素在每次迭代时前进。此模式创建了一个词典排序,以便在输入的可迭代内容进行排序时,产品元组按排序顺序发出。
要计算iterable与其自身的乘积,请使用可选的repeat关键字参数指定重复次数。例如, 意思相同。
product(A, repeat=4)
product(A, A, A, A)
此函数大致等同于以下代码,但实际实现不会在内存中构建中间结果:
def product(*args, repeat=1): # product('ABCD', 'xy') --> Ax Ay Bx By Cx Cy Dx Dy # product(range(2), repeat=3) --> 000 001 010 011 100 101 110 111 pools = [tuple(pool) for pool in args] * repeat result = [[]] for pool in pools: result = [x+[y] for x in result for y in pool] for prod in result: yield tuple(prod)
itertools.
repeat
(对象[,次] )- 创建一个一遍又一遍地返回对象的迭代器。除非指定了times参数,否则无限期运行。用作
map()
被调用函数的不变参数的参数。还用于zip()
创建元组记录的不变部分。大致相当于:
def repeat(object, times=None): # repeat(10, 3) --> 10 10 10 if times is None: while True: yield object else: for i in range(times): yield object
重复的一个常见用途是为map 或zip提供常量值流:
>>> >>> list(map(pow, range(10), repeat(2))) [0, 1, 4, 9, 16, 25, 36, 49, 64, 81]
itertools.
starmap
(功能,可迭代)- 创建一个迭代器,使用从iterable中获取的参数来计算函数。使用而不是
map()
在参数参数已经从单个可迭代的元组中分组时(数据已经“预先压缩”)。之间的差异map()
和starmap()
相似之处之间的区别function(a,b)
和function(*c)
。大致相当于:def starmap(function, iterable): # starmap(pow, [(2,5), (3,2), (10,3)]) --> 32 9 1000 for args in iterable: yield function(*args)
itertools.
takewhile
(谓词,可迭代)- 只要谓词为true,创建一个迭代器,从迭代器返回元素。大致相当于:
def takewhile(predicate, iterable): # takewhile(lambda x: x<5, [1,4,6,4,1]) --> 1 4 for x in iterable: if predicate(x): yield x else: break
itertools.
tee
(可迭代,n = 2 )- 从单个iterable中返回n个独立迭代器。
以下Python代码有助于解释tee的作用(尽管实际实现更复杂并且仅使用单个底层 FIFO队列)。
大致相当于:
def tee(iterable, n=2): it = iter(iterable) deques = [collections.deque() for i in range(n)] def gen(mydeque): while True: if not mydeque: # when the local deque is empty try: newval = next(it) # fetch a new value and except StopIteration: return for d in deques: # load it to all the deques d.append(newval) yield mydeque.popleft() return tuple(gen(d) for d in deques)
一旦
tee()
进行了拆分,原始的可迭代不应该在其他任何地方使用; 否则,迭代可以在没有通知tee对象的情况下进行。这个itertool可能需要大量的辅助存储(取决于需要存储多少临时数据)。一般来说,如果一个迭代器使用了大部分或全部数据的另一迭代开始前,它是更快地使用
list()
替代tee()
。
itertools.
zip_longest
(* iterables,fillvalue =无)- 创建一个聚合来自每个迭代的元素的迭代器。如果迭代的长度不均匀,则使用fillvalue填充缺失值。迭代继续,直到最长的可迭代用尽。大致相当于:
def zip_longest(*args, fillvalue=None): # zip_longest('ABCD', 'xy', fillvalue='-') --> Ax By C- D- iterators = [iter(it) for it in args] num_active = len(iterators) if not num_active: return while True: values = [] for i, it in enumerate(iterators): try: value = next(it) except StopIteration: num_active -= 1 if not num_active: return iterators[i] = repeat(fillvalue) value = fillvalue values.append(value) yield tuple(values)
如果其中一个迭代可能是无限的,那么该
zip_longest()
函数应该包含一些限制调用次数的东西(例如islice()
或takewhile()
)。如果未指定,则 fillvalue默认为None
。
Itertools演示
本节显示使用现有itertools作为构建块创建扩展工具集的配方。
扩展工具提供与底层工具集相同的高性能。通过一次处理一个元素而不是将整个迭代一次性地存储到存储器中来保持优异的存储器性能。通过以功能样式链接工具来保持代码量很小,这有助于消除临时变量。通过使用for循环和生成器来优先使用“矢量化”构建块来保留高速,这会产生解释器开销。
def take(n, iterable):
"Return first n items of the iterable as a list"
return list(islice(iterable, n))
def prepend(value, iterator):
"Prepend a single value in front of an iterator"
# prepend(1, [2, 3, 4]) -> 1 2 3 4
return chain([value], iterator)
def tabulate(function, start=0):
"Return function(0), function(1), ..."
return map(function, count(start))
def tail(n, iterable):
"Return an iterator over the last n items"
# tail(3, 'ABCDEFG') --> E F G
return iter(collections.deque(iterable, maxlen=n))
def consume(iterator, n=None):
"Advance the iterator n-steps ahead. If n is None, consume entirely."
# Use functions that consume iterators at C speed.
if n is None:
# feed the entire iterator into a zero-length deque
collections.deque(iterator, maxlen=0)
else:
# advance to the empty slice starting at position n
next(islice(iterator, n, n), None)
def nth(iterable, n, default=None):
"Returns the nth item or a default value"
return next(islice(iterable, n, None), default)
def all_equal(iterable):
"Returns True if all the elements are equal to each other"
g = groupby(iterable)
return next(g, True) and not next(g, False)
def quantify(iterable, pred=bool):
"Count how many times the predicate is true"
return sum(map(pred, iterable))
def padnone(iterable):
"""Returns the sequence elements and then returns None indefinitely.
Useful for emulating the behavior of the built-in map() function.
"""
return chain(iterable, repeat(None))
def ncycles(iterable, n):
"Returns the sequence elements n times"
return chain.from_iterable(repeat(tuple(iterable), n))
def dotproduct(vec1, vec2):
return sum(map(operator.mul, vec1, vec2))
def flatten(listOfLists):
"Flatten one level of nesting"
return chain.from_iterable(listOfLists)
def repeatfunc(func, times=None, *args):
"""Repeat calls to func with specified arguments.
Example: repeatfunc(random.random)
"""
if times is None:
return starmap(func, repeat(args))
return starmap(func, repeat(args, times))
def pairwise(iterable):
"s -> (s0,s1), (s1,s2), (s2, s3), ..."
a, b = tee(iterable)
next(b, None)
return zip(a, b)
def grouper(iterable, n, fillvalue=None):
"Collect data into fixed-length chunks or blocks"
# grouper('ABCDEFG', 3, 'x') --> ABC DEF Gxx"
args = [iter(iterable)] * n
return zip_longest(*args, fillvalue=fillvalue)
def roundrobin(*iterables):
"roundrobin('ABC', 'D', 'EF') --> A D E B F C"
# Recipe credited to George Sakkis
num_active = len(iterables)
nexts = cycle(iter(it).__next__ for it in iterables)
while num_active:
try:
for next in nexts:
yield next()
except StopIteration:
# Remove the iterator we just exhausted from the cycle.
num_active -= 1
nexts = cycle(islice(nexts, num_active))
def partition(pred, iterable):
'Use a predicate to partition entries into false entries and true entries'
# partition(is_odd, range(10)) --> 0 2 4 6 8 and 1 3 5 7 9
t1, t2 = tee(iterable)
return filterfalse(pred, t1), filter(pred, t2)
def powerset(iterable):
"powerset([1,2,3]) --> () (1,) (2,) (3,) (1,2) (1,3) (2,3) (1,2,3)"
s = list(iterable)
return chain.from_iterable(combinations(s, r) for r in range(len(s)+1))
def unique_everseen(iterable, key=None):
"List unique elements, preserving order. Remember all elements ever seen."
# unique_everseen('AAAABBBCCDAABBB') --> A B C D
# unique_everseen('ABBCcAD', str.lower) --> A B C D
seen = set()
seen_add = seen.add
if key is None:
for element in filterfalse(seen.__contains__, iterable):
seen_add(element)
yield element
else:
for element in iterable:
k = key(element)
if k not in seen:
seen_add(k)
yield element
def unique_justseen(iterable, key=None):
"List unique elements, preserving order. Remember only the element just seen."
# unique_justseen('AAAABBBCCDAABBB') --> A B C D A B
# unique_justseen('ABBCcAD', str.lower) --> A B C A D
return map(next, map(itemgetter(1), groupby(iterable, key)))
def iter_except(func, exception, first=None):
""" Call a function repeatedly until an exception is raised.
Converts a call-until-exception interface to an iterator interface.
Like builtins.iter(func, sentinel) but uses an exception instead
of a sentinel to end the loop.
Examples:
iter_except(functools.partial(heappop, h), IndexError) # priority queue iterator
iter_except(d.popitem, KeyError) # non-blocking dict iterator
iter_except(d.popleft, IndexError) # non-blocking deque iterator
iter_except(q.get_nowait, Queue.Empty) # loop over a producer Queue
iter_except(s.pop, KeyError) # non-blocking set iterator
"""
try:
if first is not None:
yield first() # For database APIs needing an initial cast to db.first()
while True:
yield func()
except exception:
pass
def first_true(iterable, default=False, pred=None):
"""Returns the first true value in the iterable.
If no true value is found, returns *default*
If *pred* is not None, returns the first item
for which pred(item) is true.
"""
# first_true([a,b,c], x) --> a or b or c or x
# first_true([a,b], x, f) --> a if f(a) else b if f(b) else x
return next(filter(pred, iterable), default)
def random_product(*args, repeat=1):
"Random selection from itertools.product(*args, **kwds)"
pools = [tuple(pool) for pool in args] * repeat
return tuple(random.choice(pool) for pool in pools)
def random_permutation(iterable, r=None):
"Random selection from itertools.permutations(iterable, r)"
pool = tuple(iterable)
r = len(pool) if r is None else r
return tuple(random.sample(pool, r))
def random_combination(iterable, r):
"Random selection from itertools.combinations(iterable, r)"
pool = tuple(iterable)
n = len(pool)
indices = sorted(random.sample(range(n), r))
return tuple(pool[i] for i in indices)
def random_combination_with_replacement(iterable, r):
"Random selection from itertools.combinations_with_replacement(iterable, r)"
pool = tuple(iterable)
n = len(pool)
indices = sorted(random.randrange(n) for i in range(r))
return tuple(pool[i] for i in indices)
def nth_combination(iterable, r, index):
'Equivalent to list(combinations(iterable, r))[index]'
pool = tuple(iterable)
n = len(pool)
if r < 0 or r > n:
raise ValueError
c = 1
k = min(r, n-r)
for i in range(1, k+1):
c = c * (n - k + i) // i
if index < 0:
index += c
if index < 0 or index >= c:
raise IndexError
result = []
while r:
c, n, r = c*r//n, n-1, r-1
while index >= c:
index -= c
c, n = c*(n-r)//n, n-1
result.append(pool[-1-n])
return tuple(result)
注意,可以通过将全局查找替换为定义为默认值的局部变量来优化上述许多配方。例如, dotproduct配方可以写成:
def dotproduct(vec1, vec2, sum=sum, map=map, mul=operator.mul):
return sum(map(mul, vec1, vec2))