精密解析Python切片的用法

精密解析Python切片的用法

眾所周知,我們可以通過索引值(或稱下標)來查找序列類型(如字符串、列表、元組…)中的單個元素,那麼,如果要獲取一個索引區間的元素該怎麼辦呢?

切片(slice)就是一種截取索引片段的技術,藉助切片技術,我們可以十分靈活地處理序列類型的對象。通常來說,切片的作用就是截取序列對象,然而,對於非序列對象,我們是否有辦法做到切片操作呢?在使用切片的過程中,有什麼要點值得重視,又有什麼底層原理值得關注呢?本文將主要跟大家一起來探討這些內容,希望我能與你共同學習進步。

1、切片的基礎用法

列表是 Python 中極為基礎且重要的一種數據結構,也是最能發揮切片的用處的一種數據結構,所以在前兩節,我將以列表為例介紹切片的一些常見用法。

首先是切片的書寫形式:[i : i+n : m] ;其中,i 是切片的起始索引值,為列表首位時可省略;i+n 是切片的結束位置,為列表末位時可省略;m 可以不提供,默認值是1,不允許為0 ,當m為負數時,列表翻轉。注意:這些值都可以大於列表長度,不會報越界。

切片的基本含義是:從序列的第i位索引起,向右取到後n位元素為止,按m間隔過濾

li = [1,4,5,6,7,9,11,14,16]

# 以下寫法都可以表示整個列表,其中 X >= len(li)

li[0:X] == li[0:] == li[:X] == li[:]

== li[::] == li[-X:X] == li[-X:]

li[1:5] == [4,5,6,7]# 從1起,取5-1位元素

li[1:5:2] == [4,6]# 從1起,取5-1位元素,按2間隔過濾

li[-1:] == [16]# 取倒數第一個元素

li[-4:-2] == [9,11]# 從倒數第四起,取-2-(-4)=2位元素

li[:-2] == li[-len(li):-2]

== [1,4,5,6,7,9,11]# 從頭開始,取-2-(-len(li))=7位元素

# 步長為負數時,列表先翻轉,再截取

li[::-1] == [16,14,11,9,7,6,5,4,1]# 翻轉整個列表

li[::-2] == [16,11,7,5,1]# 翻轉整個列表,再按2間隔過濾

li[:-5:-1] == [16,14,11,9]# 翻轉整個列表,取-5-(-len(li))=4位元素

li[:-5:-3] == [16,9]# 翻轉整個列表,取-5-(-len(li))=4位元素,再按3間隔過濾

# 切片的步長不可以為0

li[::0]# 報錯(ValueError: slice step cannot be zero)

上述的某些例子對於初學者(甚至很多老手)來說,可能還不好理解,但是它們都離不開切片的基本語法,所以為方便起見,我將它們也歸入基礎用法中。

對於這些樣例,我個人總結出兩條經驗:

(1)牢牢記住公式[i : i+n : m],當出現缺省值時,通過想象把公式補全;

(2)索引為負且步長為正時,按倒數計算索引位置;索引為負且步長為負時,先翻轉列表,再按倒數計算索引位置。

2、切片的高級用法

一般而言,切片操作的返回結果是一個新的獨立的序列。以列表為例,列表切片後得到的還是一個列表,佔用新的內存地址。

當取出切片的結果時,它是一個獨立對象,因此,可以將其用於賦值操作,也可以用於其它傳遞值的場景。但是,切片只是淺拷貝 ,它拷貝的是原列表中元素的引用,所以,當存在變長對象的元素時,新列表將受制於原列表。

li = [1, 2, 3, 4]

ls = li[::]

li == ls# True

id(li) == id(ls)# False

li.append(li[2:4]) # [1, 2, 3, 4, [3, 4]]

ls.extend(ls[2:4]) # [1, 2, 3, 4, 3, 4]

# 下例等價於判斷li長度是否大於8

if(li[8:]):

print("not empty")

else:

print("empty")

# 切片列表受制於原列表

lo = [1,[1,1],2,3]

lp = lo[:2]# [1, [1, 1]]

lo[1].append(1)# [1, [1, 1, 1], 2, 3]

lp# [1, [1, 1, 1]]

由於可見,將切片結果取出,它可以作為獨立對象使用,但是也要注意,是否取出了變長對象的元素。

切片既可以作為獨立對象被“取出”原序列,也可以留在原序列,作為一種佔位符使用。

不久前,我介紹了幾種拼接字符串的方法(鏈接見文末),其中三種格式化類的拼接方法(即 %、format()、template)就是使用了佔位符的思想。對於列表來說,使用切片作為佔位符,同樣能夠實現拼接列表的效果。特別需要注意的是,給切片賦值的必須是可迭代對象。

li = [1, 2, 3, 4]

# 在頭部拼接

li[:0] = [0] # [0, 1, 2, 3, 4]

# 在末尾拼接

li[len(li):] = [5,7] # [0, 1, 2, 3, 4, 5, 7]

# 在中部拼接

li[6:6] = [6] # [0, 1, 2, 3, 4, 5, 6, 7]

# 給切片賦值的必須是可迭代對象

li[-1:-1] = 6 # (報錯,TypeError: can only assign an iterable)

li[:0] = (9,) # [9, 0, 1, 2, 3, 4, 5, 6, 7]

li[:0] = range(3) # [0, 1, 2, 9, 0, 1, 2, 3, 4, 5, 6, 7]

上述例子中,若將切片作為獨立對象取出,那你會發現它們都是空列表,即li[:0]==li[len(li):]==li[6:6]==[] ,我將這種佔位符稱為“純佔位符”,對純佔位符賦值,並不會破壞原有的元素,只會在特定的索引位置中拼接進新的元素。刪除純佔位符時,也不會影響列表中的元素。

與“純佔位符”相對應,“非純佔位符”的切片是非空列表,對它進行操作(賦值與刪除),將會影響原始列表。如果說純佔位符可以實現列表的拼接,那麼,非純佔位符可以實現列表的替換。

li= [1,2,3,4]

# 不同位置的替換

li[:3] = [7,8,9]# [7, 8, 9, 4]

li[3:] = [5,6,7]# [7, 8, 9, 5, 6, 7]

li[2:4] = ['a','b']# [7, 8, 'a', 'b', 6, 7]

# 非等長替換

li[2:4] = [1,2,3,4]# [7, 8, 1, 2, 3, 4, 6, 7]

li[2:6] = ['a']# [7, 8, 'a', 6, 7]

# 刪除元素

del li[2:3]# [7, 8, 6, 7]

切片佔位符可以帶步長,從而實現連續跨越性的替換或刪除效果。需要注意的是,這種用法只支持等長替換。

li = [1,2,3,4,5,6]

li[::2] = ['a','b','c'] # ['a',2,'b',4,'c',6]

li[::2] = [0]*3# [0,2,0,4,0,6]

li[::2] = ['w'] # 報錯,attempttoassign sequenceofsize1toextended sliceofsize3

del li[::2] # [2,4,6]

3、自定義對象實現切片功能

切片是 Python 中最迷人最強大最 Amazing 的語言特性(幾乎沒有之一),以上兩小節雖然介紹了切片的基礎用法與高級用法,但這些還不足以充分地展露切片的魅力,所以,在接下來的兩章節中,我們將聚焦於它的更高級用法。

前兩節內容都是基於原生的序列類型(如字符串、列表、元組……),那麼,我們是否可以定義自己的序列類型並讓它支持切片語法呢?更進一步,我們是否可以自定義其它對象(如字典)並讓它支持切片呢?

3.1、魔術方法:`getitem()`

想要使自定義對象支持切片語法並不難,只需要在定義類的時候給它實現魔術方法__getitem__() 即可。所以,這裡就先介紹一下這個方法。

語法:object.__getitem__(self, key)

官方文檔釋義:Called to implement evaluation of self[key]. For sequence types, the accepted keys should be integers and slice objects. Note that the special interpretation of negative indexes (if the class wishes to emulate a sequence type) is up to the __getitem__() method. If key is of an inappropriate type, TypeError may be raised; if of a value outside the set of indexes for the sequence (after any special interpretation of negative values), IndexError should be raised. For mapping types, if key is missing (not in the container), KeyError should be raised.

概括翻譯一下:__getitem__() 方法用於返回參數 key 所對應的值,這個 key 可以是整型數值和切片對象,並且支持負數索引;如果 key 不是以上兩種類型,就會拋 TypeError;如果索引越界,會拋 IndexError ;如果定義的是映射類型,當 key 參數不是其對象的鍵值時,則會拋 KeyError 。

3.2、自定義序列實現切片功能

接下來,我們定義一個簡單的 MyList ,並給它加上切片功能。(PS:僅作演示,不保證其它功能的完備性)。

importnumbers

classMyList():

def__init__(self, anylist):

self.data = anylist

def__len__(self):

returnlen(self.data)

def__getitem__(self, index):

print("key is : "+ str(index))

cls = type(self)

ifisinstance(index, slice):

print("data is : "+ str(self.data[index]))

returncls(self.data[index])

elifisinstance(index, numbers.Integral):

returnself.data[index]

else:

msg ="{cls.__name__} indices must be integers"

raiseTypeError(msg.format(cls=cls))

l = MyList(["My","name","is","Python貓"])

### 輸出結果:

keyis:3

Python貓

keyis: slice(None,2,None)

datais: ['My','name']

keyis: hi

Traceback (most recent call last):

...

TypeError: MyList indices must be integersorslices

從輸出結果來看,自定義的 MyList 既支持按索引查找,也支持切片操作,這正是我們的目的。

3.3、自定義字典實現切片功能

切片是序列類型的特性,所以在上例中,我們不需要寫切片的具體實現邏輯。但是,對於其它非序列類型的自定義對象,就得自己實現切片邏輯。以自定義字典為例(PS:僅作演示,不保證其它功能的完備性):

classMyDict():

def__init__(self):

self.data = {}

def__len__(self):

returnlen(self.data)

defappend(self, item):

self.data[len(self)] = item

def__getitem__(self, key):

ifisinstance(key, int):

returnself.data[key]

ifisinstance(key, slice):

slicedkeys = list(self.data.keys())[key]

return{k: self.data[k]forkinslicedkeys}

else:

raiseTypeError

d = MyDict()

d.append("My")

d.append("name")

d.append("is")

d.append("Python貓")

print(d[2])

print(d[:2])

print(d[-4:-2])

print(d['hi'])

### 輸出結果:

is

{0:'My',1:'name'}

{0:'My',1:'name'}

Traceback (most recent call last):

...

TypeError

上例的關鍵點在於將字典的鍵值取出,並對鍵值的列表做切片處理,其妙處在於,不用擔心索引越界和負數索引,將字典切片轉換成了字典鍵值的切片,最終實現目的。

4、迭代器實現切片功能

好了,介紹完一般的自定義對象如何實現切片功能,這裡將迎來另一類非同一般的對象。

迭代器是 Python 中獨特的一種高級對象,它本身不具備切片功能,然而若能將它用於切片,這便彷彿是錦上添花,能達到如虎添翼的效果。所以,本節將隆重地介紹迭代器如何實現切片功能。

4.1、迭代與迭代器

首先,有幾個基本概念要澄清:迭代、可迭代對象、迭代器。

迭代 是一種遍歷容器類型對象(例如字符串、列表、字典等等)的方式,例如,我們說迭代一個字符串“abc”,指的就是從左往右依次地、逐個地取出它的全部字符的過程。(PS:漢語中迭代一詞有循環反覆、層層遞進的意思,但 Python 中此詞要理解成單向水平線性 的,如果你不熟悉它,我建議直接將其理解為遍歷。)

那麼,怎麼寫出迭代操作的指令呢?最通用的書寫語法就是 for 循環。

# for循環實現迭代過程

forcharin"abc":

print(char, end=" ")

# 輸出結果:a b c

for 循環可以實現迭代的過程,但是,並非所有對象都可以用於 for 循環,例如,上例中若將字符串“abc”換成任意整型數字,則會報錯: 'int' object is not iterable .

這句報錯中的單詞“iterable”指的是“可迭代的”,即 int 類型不是可迭代的。而字符串(string)類型是可迭代的,同樣地,列表、元組、字典等類型,都是可迭代的。

那怎麼判斷一個對象是否可迭代呢?為什麼它們是可迭代的呢?怎麼讓一個對象可迭代呢?

要使一個對象可迭代,就要實現可迭代協議,即需要實現__iter__() 魔術方法,換言之,只要實現了這個魔術方法的對象都是可迭代對象。

那怎麼判斷一個對象是否實現了這個方法呢?除了上述的 for 循環外,我還知道四種方法:

# 方法1:dir()查看__iter__

dir(2)# 沒有,略

dir("abc")# 有,略

# 方法2:isinstance()判斷

importcollections

isinstance(2, collections.Iterable)# False

isinstance("abc", collections.Iterable)# True

# 方法3:hasattr()判斷

hasattr(2,"__iter__")# False

hasattr("abc","__iter__")# True

# 方法4:用iter()查看是否報錯

iter(2)# 報錯:'int' object is not iterable

iter("abc")#

### PS:判斷是否可迭代,還可以查看是否實現__getitem__,為方便描述,本文從略。

這幾種方法中最值得一提的是 iter() 方法,它是 Python 的內置方法,其作用是將可迭代對象變成迭代器 。這句話可以解析出兩層意思:(1)可迭代對象跟迭代器是兩種東西;(2)可迭代對象能變成迭代器。

實際上,迭代器必然是可迭代對象,但可迭代對象不一定是迭代器。兩者有多大的區別呢?


精密解析Python切片的用法


如上圖藍圈所示,普通可迭代對象與迭代器的最關鍵區別可概括為:一同兩不同 ,所謂“一同”,即兩者都是可迭代的(__iter__),所謂“兩不同”,即可迭代對象在轉化為迭代器後,它會丟失一些屬性(__getitem__),同時也增加一些屬性(__next__)。

首先看看增加的屬性 __next__ , 它是迭代器之所以是迭代器的關鍵,事實上,我們正是把同時實現了 __iter__ 方法 和 __next__ 方法的對象定義為迭代器的。

有了多出來的這個屬性,可迭代對象不需要藉助外部的 for 循環語法,就能實現自我的迭代/遍歷過程。我發明了兩個概念來描述這兩種遍歷過程(PS:為了易理解,這裡稱遍歷,實際也可稱為迭代):它遍歷 指的是通過外部語法而實現的遍歷,自遍歷 指的是通過自身方法實現的遍歷。

藉助這兩個概念,我們說,可迭代對象就是能被“它遍歷”的對象,而迭代器是在此基礎上,還能做到“自遍歷”的對象。

ob1 ="abc"

ob2 = iter("abc")

ob3 = iter("abc")

# ob1它遍歷

foriinob1:

print(i, end =" ")# a b c

foriinob1:

print(i, end =" ")# a b c

# ob1自遍歷

ob1.__next__()# 報錯: 'str' object has no attribute '__next__'

# ob2它遍歷

foriinob2:

print(i, end =" ")# a b c

foriinob2:

print(i, end =" ")# 無輸出

# ob2自遍歷

ob2.__next__()# 報錯:StopIteration

# ob3自遍歷

ob3.__next__()# a

ob3.__next__()# b

ob3.__next__()# c

ob3.__next__()# 報錯:StopIteration

通過上述例子可看出,迭代器的優勢在於支持自遍歷,同時,它的特點是單向非循環的,一旦完成遍歷,再次調用就會報錯。

對此,我想到一個比方:普通可迭代對象就像是子彈匣,它遍歷就是取出子彈,在完成操作後又裝回去,所以可以反覆遍歷(即多次調用for循環,返回相同結果);而迭代器就像是裝載了子彈匣且不可拆卸的槍,進行它遍歷或者自遍歷都是發射子彈,這是消耗性的遍歷,是無法複用的(即遍歷會有盡頭)。

寫了這麼多,稍微小結一下:迭代是一種遍歷元素的方式,按照實現方式劃分,有外部迭代與內部迭代兩種,支持外部迭代(它遍歷)的對象就是可迭代對象,而同時還支持內部迭代(自遍歷)的對象就是迭代器;按照消費方式劃分,可分為複用型迭代與一次性迭代,普通可迭代對象是複用型的,而迭代器是一次性的。

4.2、迭代器切片

前面提到了“一同兩不同”,最後的不同是,普通可迭代對象在轉化成迭代器的過程中會丟失一些屬性,其中關鍵的屬性是 __getitem__ 。在前一節中,我已經介紹了這個魔術方法,並用它實現了自定義對象的切片特性。

那麼問題來了:為啥迭代器不繼承這個屬性呢?

首先,迭代器使用的是消耗型的遍歷,這意味著它充滿不確定性,即其長度與索引鍵值對是動態衰減的,所以很難 get 到它的 item ,也就不再需要__getitem__ 屬性了。其次,若強行給迭代器加上這個屬性,這並不合理,正所謂強扭的瓜不甜……

由此,新的問題來了:既然會丟失這麼重要的屬性(還包括其它未標識的屬性),為什麼還要使用迭代器呢?

這個問題的答案在於,迭代器擁有不可替代的強大的有用的功能,使得 Python 要如此設計它。限於篇幅,此處不再展開,後續我會專門填坑此話題。

還沒完,死纏爛打的問題來了:能否令迭代器擁有這個屬性呢,即令迭代器繼續支持切片呢?

hi ="歡迎關注公眾號:Python貓"

it = iter(hi)

# 普通切片

hi[-7:]# Python貓

# 反例:迭代器切片

it[-7:]# 報錯:'str_iterator' object is not subscriptable

迭代器因為缺少__getitem__ ,因此不能使用普通的切片語法。想要實現切片,無非兩種思路:一是自己造輪子,寫實現的邏輯;二是找到封裝好的輪子。

Python 的 itertools 模塊就是我們要找的輪子,用它提供的方法可輕鬆實現迭代器切片。

importitertools

# 例1:簡易迭代器

s = iter("123456789")

forxinitertools.islice(s,2,6):

print(x, end =" ")# 輸出:3 4 5 6

forxinitertools.islice(s,2,6):

print(x, end =" ")# 輸出:9

# 例2:斐波那契數列迭代器

classFib():

def__init__(self):

self.a, self.b =1,1

def__iter__(self):

whileTrue:

yieldself.a

self.a, self.b = self.b, self.a + self.b

f = iter(Fib())

forxinitertools.islice(f,2,6):

print(x, end =" ")# 輸出:2 3 5 8

forxinitertools.islice(f,2,6):

print(x, end =" ")# 輸出:34 55 89 144

itertools 模塊的 islice() 方法將迭代器與切片完美結合,終於回答了前面的問題。然而,迭代器切片跟普通切片相比,前者有很多侷限性。首先,這個方法不是“純函數”(純函數需遵守“相同輸入得到相同輸出”的原則);其次,它只支持正向切片,且不支持負數索引,這都是由迭代器的損耗性所決定的。

那麼,我不禁要問:itertools 模塊的切片方法用了什麼實現邏輯呢?下方是官網提供的源碼:

defislice(iterable, *args):

# islice('ABCDEFG', 2) --> A B

# islice('ABCDEFG', 2, 4) --> C D

# islice('ABCDEFG', 2, None) --> C D E F G

# islice('ABCDEFG', 0, None, 2) --> A C E G

s = slice(*args)

# 索引區間是[0,sys.maxsize],默認步長是1

start, stop, step = s.startor0, s.stoporsys.maxsize, s.stepor1

it = iter(range(start, stop, step))

try:

nexti = next(it)

exceptStopIteration:

# Consume *iterable* up to the *start* position.

fori, elementinzip(range(start), iterable):

pass

return

try:

fori, elementinenumerate(iterable):

ifi == nexti:

yieldelement

nexti = next(it)

exceptStopIteration:

# Consume to *stop*.

fori, elementinzip(range(i +1, stop), iterable):

pass

islice() 方法的索引方向是受限的,但它也提供了一種可能性:即允許你對一個無窮的(在系統支持範圍內)迭代器進行切片的能力。這是迭代器切片最具想象力的用途場景。

除此之外,迭代器切片還有一個很實在的應用場景:讀取文件對象中給定行數範圍的數據。

我們知道,從文件中讀取內容主要有兩種方法(參見之前關於文件讀寫的文章):read() 適合讀取內容較少的情況,或者是需要一次性處理全部內容的情況;而 readlines() 適用性更廣,因為它是迭代地讀取內容,既減少內存壓力,又方便逐行對數據處理。

雖然 readlines() 有迭代讀取的優勢,但它是從頭到尾逐行讀取,若文件有幾千行,而我們只想要讀取少數特定行(例如第1000-1009行),那它還是效率太低了。考慮到文件對象天然就是迭代器 ,我們可以使用迭代器切片先行截取,然後再處理,如此效率將大大地提升。

# test.txt 文件內容

'''

Python貓

python is a cat.

this is the end.

'''

fromitertoolsimportislice

withopen('test.txt','r',encoding='utf-8')asf:

print(hasattr(f,"__next__"))# 判斷是否迭代器

content = islice(f,2,4)

forlineincontent:

print(line.strip())

### 輸出結果:

True

pythonisa cat.

thisisthe end.

本節內容較多,簡單回顧一下:迭代器是一種特殊的可迭代對象,可用於它遍歷與自遍歷,但遍歷過程是損耗型的,不具備循環複用性,因此,迭代器本身不支持切片操作;通過藉助 itertools 模塊,我們能實現迭代器切片,將兩者的優勢相結合,其主要用途在於截取大型迭代器(如無限數列、超大文件等等)的片段,實現精準的處理,從而大大地提升性能與效率。

5、小結

最後總結一下,切片是 Python 的一種高級特性,常用於截取序列類型的元素,但並不侷限於此,本文主要介紹了它的基礎用法、高級用法(如佔位符用法)、自定義對象切片、以及迭代器切片等使用內容。除此之外,切片還有更廣闊多樣的使用場景,例如 Numpy 的多維切片、內存視圖切片、異步迭代器切片等等,都值得我們去探索一番。


分享到:


相關文章: