5.2.3 Variando il numero di epoche

Nel precedente esperimento si è osservato che i learning rates ottimali per le varie tecniche di adattamento sono 0.0002 e 0.00002. Nella successiva prova si è variato il numero di epoche di addestramento, per entrambi i learning rate sopra menzionati, al fine di vedere se ci sono miglioramenti nelle prestazioni generali e se alcune tecniche risentono maggiormente di un aumento del numero di epoche, rispetto ad altre. Si sono eseguite 2, 3, 5 epoche di addestramento rispettivamente per un learning rate di 0.0002 e di 0.00002. Gli altri parametri di configurazione del programma di addestramento sono quelli di sezione (6.1.3).

In tabella (5.3) sono riportati i risultati per gli esperimenti eseguiti con un learning rate pari a 0.0002, mentre in tabella (5.4) sono riportati quelli riferiti ad un learning rate di 0.00002.

Si nota come un aumentare del numero di epoche di addestramento abbia un effetto positivo su tutte le tecniche e con entrambi i valori di learning rate.

Table 5.3: Percentuale di riconoscimento al variare del numero di frasi e di epoche di addestramento del parlatore DM con un learning rate di 0.0002

TUTTA	0	1	2	3	4	5	7	10
1	71.60%	71.43%	71.43%	71.69%	72.11%	72.37%	73.10%	73.49%
2	71.60%	71.55%	71.85%	72.01%	72.19%	72.52%	73.34%	74.58%
3	71.60%	71.68%	71.84%	72.23%	72.35%	72.74%	73.81%	74.71%
5	71.60%	72.16%	71.45%	72.35%	72.14%	72.09%	73.81%	74.40%
	20	30	50	100	300	600	900	1200
1	74.52%	74.56%	76.45%	76.75%	78.04%	77.31%	78.08%	78.64%
2	74.58%	74.88%	76.66%	77.78%	78.29%	78.21%	79.58%	79.49%
3	75.14%	74.96%	76.83%	77.52%	78.72%	77.95%	80.57%	80.82%
5	74.57%	74.17%	76.53%	78.21%	78.89%	79.67%	81.98%	81.64%

OLA	0	1	2	3	4	5	7	10
1	71.60%	71.47%	71.56%	71.26%	71.30%	71.30%	71.26%	72.03%
2	71.60%	71.60%	71.58%	71.71%	71.63%	71.45%	71.88%	72.35%
3	71.60%	71.68%	71.71%	71.76%	71.54%	71.71%	72.22%	72.70%
5	71.60%	71.68%	72.06%	71.76%	71.40%	71.83%	72.57%	72.73%
	20	30	50	100	300	600	900	1200
1	72.16%	72.24%	73.96%	74.60%	75.29%	75.33%	76.71%	75.25%
2	72.61%	73.04%	74.24%	74.99%	75.68%	75.68%	77.31%	75.80%
3	72.69%	73.29%	74.00%	75.08%	75.80%	76.06%	77.95%	76.40%
5	73.03%	73.38%	73.92%	75.55%	75.98%	76.45%	78.51%	77.56%

LIN	0	1	2	3	4	5	7	10
1	71.60%	69.37%	70.31%	71.69%	70.18%	71.81%	72.50%	73.02%
2	71.60%	68.95%	69.34%	70.37%	70.72%	71.20%	72.31%	73.04%
3	71.60%	67.86%	67.48%	70.25%	70.63%	70.76%	71.87%	73.68%
5	71.60%	67.65%	67.22%	68.47%	69.72%	71.27%	71.66%	73.63%
	20	30	50	100	300	600	900	1200
1	73.14%	73.32%	75.42%	76.53%	75.80%	75.93%	75.25%	73.53%
2	73.17%	72.13%	75.56%	76.98%	75.98%	77.61%	75.16%	74.09%
3	72.35%	72.47%	75.52%	77.73%	78.25%	79.28%	77.56%	75.89%
5	72.04%	72.65%	75.64%	78.55%	78.55%	78.64%	78.89%	76.71%

J-LIN	0	1	2	3	4	5	7	10
1	71.60%	69.84%	69.20%	71.69%	70.87%	71.34%	73.66%	75.59%
2	71.60%	69.03%	68.43%	70.95%	71.25%	70.56%	74.55%	75.24%
3	71.60%	68.69%	67.86%	71.42%	70.25%	71.12%	74.94%	74.85%
5	71.60%	66.87%	67.78%	70.60%	70.33%	70.90%	74.50%	74.19%
	20	30	50	100	300	600	900	1200
1	76.79%	76.92%	78.16%	76.45%	76.15%	76.02%	75.93%	75.85%
2	76.74%	77.63%	77.55%	77.66%	77.66%	76.42%	76.40%	75.60%
3	76.49%	76.77%	77.81%	77.66%	77.62%	76.92%	76.58%	76.28%
5	76.56%	76.52%	78.14%	78.26%	78.87%	77.73%	77.73%	77.09%

Table 5.4: Percentuale di riconoscimento al variare del numero di frasi e di epoche di addestramento del parlatore DM con un learning rate di 0.00002

TUTTA	0	1	2	3	4	5	7	10
1	71.60%	71.69%	71.69%	71.73%	71.73%	71.73%	71.81%	71.73%
2	71.60%	71.55%	71.51%	71.81%	72.03%	72.07%	72.93%	73.61%
3	71.60%	71.47%	72.11%	72.11%	72.46%	72.32%	73.04%	73.90%
5	71.60%	71.47%	71.37%	72.19%	72.18%	72.52%	73.51%	74.37%
	20	30	50	100	300	600	900	1200
1	72.16%	72.50%	73.36%	75.16%	75.68%	75.80%	76.75%	76.96%
2	73.82%	74.38%	75.53%	76.19%	77.26%	76.45%	77.91%	77.86%
3	74.55%	74.58%	76.25%	77.48%	76.96%	76.96%	77.99%	78.98%
5	75.05%	74.92%	76.02%	78.08%	77.95%	78.21%	80.14%	81.38%

OLA	0	1	2	3	4	5	7	10
1	71.60%	71.51%	71.43%	71.39%	71.47%	71.47%	71.56%	71.51%
2	71.60%	71.64%	71.51%	71.55%	71.64%	71.64%	71.64%	71.68%
3	71.60%	71.55%	71.55%	71.68%	71.51%	71.64%	71.46%	71.93%
5	71.60%	71.60%	71.42%	71.46%	71.55%	71.55%	72.10%	71.97%
	20	30	50	100	300	600	900	1200
1	71.47%	71.47%	71.90%	72.76%	73.53%	73.66%	74.52%	74.60%
2	71.80%	72.10%	73.26%	74.11%	74.54%	74.47%	75.38%	74.86%
3	72.19%	72.48%	73.64%	74.45%	74.52%	75.03%	76.19%	75.63%
5	72.44%	72.70%	73.89%	74.56%	75.08%	75.63%	76.79%	75.59%

LIN	0	1	2	3	4	5	7	10
1	71.60%	70.53%	71.00%	71.60%	71.73%	71.43%	72.29%	72.33%
2	71.60%	70.69%	70.64%	71.81%	71.94%	71.94%	72.80%	73.30%
3	71.60%	69.78%	70.90%	71.90%	71.68%	71.77%	72.83%	73.69%
5	71.60%	69.39%	69.82%	71.34%	71.07%	72.19%	72.65%	73.13%
	20	30	50	100	300	600	900	1200
1	71.60%	73.32%	75.20%	75.29%	76.71%	77.18%	77.69%	76.58%
2	72.35%	74.29%	76.57%	76.26%	77.88%	78.57%	77.95%	76.36%
3	73.00%	75.24%	77.16%	76.73%	77.10%	78.34%	78.76%	77.01%
5	73.82%	75.54%	77.42%	77.81%	77.69%	78.81%	79.58%	77.73%

J-LIN	0	1	2	3	4	5	7	10
1	71.60%	71.21%	70.53%	71.51%	71.17%	71.69%	71.99%	71.90%
2	71.60%	70.69%	70.55%	70.77%	70.95%	71.34%	72.55%	73.52%
3	71.60%	70.30%	71.16%	71.42%	71.03%	71.16%	72.67%	74.12%
5	71.60%	70.55%	69.90%	71.24%	71.12%	71.03%	73.91%	74.89%
	20	30	50	100	300	600	900	1200
1	73.27%	74.09%	75.59%	76.62%	77.69%	77.52%	77.22%	77.61%
2	75.68%	76.44%	78.04%	77.72%	78.26%	77.45%	77.23%	77.15%
3	75.93%	77.05%	77.94%	78.15%	78.39%	78.01%	77.95%	77.78%
5	77.65%	77.69%	78.98%	79.08%	78.18%	78.26%	78.59%	78.64%

Figure 5.7: Percentuale di riconoscimento al variare del numero di frasi di addestramento del parlatore DM

Il alcuni casi, all'aumentare del numero di epoche di training, si nota una diminuzione della qualità di riconoscimento della rete. Questo effetto può essere presumibilmente provocato da due situazioni:

• quando il numero di frasi di training è piccolo. In questo caso, continuando ad addestrare la rete per diverse volte con le stesse frasi, si provoca una polarizzazione della rete su di esse, peggiorandone notevolmente le prestazioni per quelle frasi di test in cui non è presente nel addestramento una frase simile
• quando è raggiunta la convergenza. Dopo un determinato numero di epoche di addestramento la rete raggiunge una convergenza. Tutti i pesi della rete si trovano ad oscillare attorno ad un minimo locale da cui, con le frasi di training utilizzate, non possono più uscire. Le prestazioni, anche aggiungendo altre epoche di training, non otterranno miglioramenti e oscilleranno, leggermente, attorno ad un valore.

In ogni caso, il tempo di addestramento è linearmente proporzionale al numero di epoche.

Figure 5.8: Percentuale di riconoscimento al variare del numero di frasi di addestramento del parlatore DM

Eccedere con il numero di epoche porta, quindi, ad un aumento sostanziale del tempo di training, senza un corrispettivo aumento delle prestazioni. Dai dati sperimentali si nota come 5 epoche possano ancora dare dei miglioramenti significativi, sebbene il tempo di addestramento sia già elevato. Nell'esperimento, per addestrare la rete con 1200 frasi e 5 epoche, si sono impiegate circa 20 ore utilizzando un microprocessore pentium 3 a 800 MHz. Nei grafici (5.7) sono stati riportati i risultati delle tabelle (5.3) e (5.4) per i quattro metodi di adattamento addestrati con 5 epoche. Si nota nettamente che LIN e J-LIN funzionano meglio con un learning rate basso, mentre l'adattamento di tutta la rete e OLA danno risultati migliori con il learning rate di 0.0002. Questo risultato molto importante è da attribuire, come conferma di quanto discusso in sezione (5.2.2), al fatto che LIN e J-LIN hanno molti meno pesi da addestrare, quindi, un learning rate elevato, porta ad una perdita più rapida delle informazioni acquisite dai pattern precedenti.

Come riepilogo finale in grafico (5.8) sono riportati i risultati migliori, per le varie tecniche, ottenuti per il parlatore DM. In particolare, l'addestramento di tutta la rete e di OLA con un learning rate di 0.0002 e 5 epoche e l'addestramento di di LIN e J-LIN con un learning rate di 0.00002 e 5 epoche. In modo coerente con quanto detto finora si può notare come la tecnica J-LIN da 7 a 100 frasi di addestramento offra i risultati migliori. Aggiungendo ulteriori frasi di addestramento non vi è miglioramento e i risultati si attestano sul 78.50%. Per ottenere miglioramenti maggiori non basta più compiere una trasformazione sui dati di ingresso, ma si dovrebbe procedere con l'addestramento dell'intera rete SI. Dopo le 100 frasi, infatti, l'adattamento di tutta la rete supera i risultati di J-LIN attestandosi al 82%. LIN e OLA rimangono praticamente sempre sotto all'adattamento di tutta la rete o di J-LIN. Durante le prime 5 frasi tutte le tecniche oscillano, in modo meno pronunciato l'addestramento di tutta la rete e OLA , attestandosi in prossimità del valore ottenuto tramite la rete SI.