狗狗不聽話?來看看科學家是怎麼訓練實驗動物的(下)

在上一篇文章中( ),我們瞭解到,在狗狗學習握手的初期,最快的訓練策略是連續強化策略,即每一次狗狗做對握手動作,都給它獎勵。

狗狗不聽話?來看看科學家是怎麼訓練實驗動物的(下)

當狗狗學會了握手,接下來我們要做的是,怎麼讓狗狗在缺少獎勵的情況下,仍能不知疲倦地和你握手?這需要用到另外一種訓練策略——間歇強化策略。

間歇強化策略

間歇強化(intermittent reinforcement),又名部分強化(partial reinforcement),顧名思義,只獎勵部分的正確行為。間歇強化大致可分為兩大類策略:間隔策略和比率策略。

間隔策略

間隔策略是指在第一次正確動作之後,間隔一段時間再給獎勵。獎勵之後,重新開始下一輪獎勵。獎勵只依賴時間間隔,跟實驗動物執行了多少次動作無關。

如果時間間隔是固定的,則稱為固定間隔策略(fixed interval)。例如,每次大鼠壓桿後8秒後才獎勵它。固定間隔策略訓練下大鼠,其行為有一個顯著特徵,得到獎勵後壓桿概率大幅下降。

狗狗不聽話?來看看科學家是怎麼訓練實驗動物的(下)

固定間隔策略中,動物的累計反應次數。虛線為獎勵時刻

這容易理解,每次獎勵後,獎勵的概率降低。這時壓桿,要過一定時間(如8秒)之後才會有下一次獎勵。

如果時間間隔是隨機的,則稱為可變間隔策略(variable interval)。例如,大鼠第一次壓桿後2秒給獎勵。下一次獎勵在壓桿8秒之後,再一次20秒。這種策略下,大鼠的壓桿頻率在獎勵後雖然仍然會有所下降,但下降幅度遠小於固定間隔策略。可變間隔策略會讓大鼠保持相對穩定的速率壓桿。

狗狗不聽話?來看看科學家是怎麼訓練實驗動物的(下)

可變間隔策略可讓大鼠保持穩定的壓桿頻率

大鼠的行為也容易理解。試想一下,假如你想考一個好成績,但不知道老師的突擊考試會發生在什麼時候,最佳的策略是把功夫用在平時。這會讓人養成一種用功學習的習慣,即使不再有考試。

其實,科學實驗已經證明,可變間隔策略很容易讓大鼠的壓桿行為變成習慣行為。即,實驗動物不再考慮最終獎勵的價值,而是看見杆就壓,動作固定。即使最終的食物獎勵對大鼠來說已經沒有太大價值,它依然會去壓桿。

比率策略(Ratio schedule)

不同於時間間隔策略,比率策略是指大鼠壓桿一定次數後再給獎勵,跟時間無關。之所以稱比率,是因為大鼠壓桿和獎勵之間有一個比率。比率不是1:1,而是n:1。

比率策略下,大鼠的壓桿頻率要高於間隔策略,因為大鼠知道壓桿頻率越高,獲得獎勵時間越早。

同樣的,比率策略可分為固定比率策略和可變比率策略。

對於

固定比率策略,大鼠壓桿固定次數後可獲得獎勵。固定比率策略一個特徵是,在獲得獎勵後,大鼠會消停一段時間,隨後再開始另一波壓桿。

狗狗不聽話?來看看科學家是怎麼訓練實驗動物的(下)

固定比率策略,大鼠獲得獎勵之後,會有一段休息時間

這種行為也普遍存在我們人類身上。例如,售樓小哥賣出20套房子會得到20萬元獎勵。目標完成之前,他會拼命奔波。當20萬元獎勵拿到後,他感到身心俱疲,他會先放鬆一陣,然後再開始下一個20套房子。

如果是可變比率策略,那麼大鼠壓桿獲得獎勵的次數是隨機的。第一次壓桿4下可獲得獎勵,下一次2下,再下一次10下。這種策略下,大鼠會保持高頻的、穩定的壓桿頻率。因為大鼠不知道壓桿幾次之後才能獲得獎勵,它知道的只是壓桿頻率越高,獲得獎勵的時間越早。

狗狗不聽話?來看看科學家是怎麼訓練實驗動物的(下)

可變比率策略會讓大鼠產生高頻率的壓桿行為

可變比率策略可產生高頻率的行為,這也是賭博讓人上癮的原因。因為每次賭博是否贏錢是隨機的,人們永遠不知道哪一次會贏。當人們輸了錢後,總想著下次可能就會翻盤,這會讓人不停地賭,不停期望下一次贏錢儘快的到來。

哪一種間歇強化策略適合訓練狗狗?

間歇強化策略之所以能讓實驗動物的行為更穩定,更不易消退,是因為經過間歇強化,實驗動物已經瞭解到並不是每一次正確的行為都會有獎勵。

這跟連續強化區別顯著。連續強化後,如果一次正確行為之後沒有獎勵,對實驗動物來說,就是一種懲罰、打擊,它們會受挫。所以,學會的動作很容易消失。而間歇強化卻讓實驗動物理解到,沒有獎勵的行為是正常現象,不會影響它們的心情。這是間歇強化讓行為對沒有獎勵更有抵抗力的根本原因。

所以,我們要讓狗狗知道,並不是每一次握手都會有獎勵,獎勵是隨機給予的。

狗狗不聽話?來看看科學家是怎麼訓練實驗動物的(下)

時間間隔策略操作起來麻煩,最實用的方法是可變比率策略,即在隨機的幾次握手後,給狗狗獎勵。需要注意的是,獎勵比率需要循序漸進的降低。例如,剛開始獎勵次數為十之八九,然後降低為十之五六,十之一二。當然,不能完全不給獎勵。如果狗狗長時間得不到獎勵,最終,它的行為也是會消退的。

好了,趕快用科學的方法開始你的訓狗之旅吧!


分享到:


相關文章: