nomnoos37/stt-turbo-1227-v1.1-peft-eng-2k-rank64-full-test0-1230

Whisper Small ko

This model is a fine-tuned version of openai/whisper-large-v3-turbo on the custom dataset. It achieves the following results on the evaluation set:

• Loss: 0.3702

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 0.0001
• train_batch_size: 64
• eval_batch_size: 256
• seed: 42
• optimizer: Use OptimizerNames.ADAMW_TORCH with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 200
• training_steps: 2000
• mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss
0.6166	0.0152	10	1.5229
0.61	0.0305	20	1.5096
0.5963	0.0457	30	1.4849
0.5808	0.0610	40	1.4404
0.5214	0.0762	50	1.3605
0.454	0.0915	60	1.1945
0.3241	0.1067	70	0.9397
0.2358	0.1220	80	0.8716
0.2073	0.1372	90	0.8378
0.1861	0.1524	100	0.8180
0.166	0.1677	110	0.8042
0.1701	0.1829	120	0.7758
0.1548	0.1982	130	0.7527
0.148	0.2134	140	0.7342
0.1424	0.2287	150	0.7128
0.127	0.2439	160	0.6991
0.1351	0.2591	170	0.6888
0.1308	0.2744	180	0.6735
0.1195	0.2896	190	0.6621
0.1186	0.3049	200	0.6469
0.1253	0.3201	210	0.6364
0.1327	0.3354	220	0.6234
0.1152	0.3506	230	0.6167
0.1173	0.3659	240	0.6223
0.1306	0.3811	250	0.6200
0.1403	0.3963	260	0.6051
0.1334	0.4116	270	0.6016
0.1104	0.4268	280	0.6046
0.1036	0.4421	290	0.6078
0.11	0.4573	300	0.5971
0.1164	0.4726	310	0.5936
0.1237	0.4878	320	0.5758
0.1011	0.5030	330	0.5697
0.1064	0.5183	340	0.5658
0.1144	0.5335	350	0.5598
0.1081	0.5488	360	0.5563
0.1037	0.5640	370	0.5568
0.1025	0.5793	380	0.5554
0.1042	0.5945	390	0.5421
0.0963	0.6098	400	0.5460
0.119	0.625	410	0.5502
0.1087	0.6402	420	0.5390
0.097	0.6555	430	0.5371
0.1045	0.6707	440	0.5270
0.1103	0.6860	450	0.5291
0.1131	0.7012	460	0.5332
0.1094	0.7165	470	0.5350
0.094	0.7317	480	0.5272
0.1009	0.7470	490	0.5304
0.1026	0.7622	500	0.5223
0.1064	0.7774	510	0.5222
0.1039	0.7927	520	0.5207
0.0973	0.8079	530	0.5219
0.1071	0.8232	540	0.5170
0.1032	0.8384	550	0.5121
0.091	0.8537	560	0.5066
0.0925	0.8689	570	0.5050
0.1068	0.8841	580	0.4918
0.0933	0.8994	590	0.4856
0.0901	0.9146	600	0.4923
0.1019	0.9299	610	0.4861
0.0922	0.9451	620	0.4838
0.1019	0.9604	630	0.4890
0.0926	0.9756	640	0.4790
0.0983	0.9909	650	0.4678
0.103	1.0061	660	0.4683
0.0903	1.0213	670	0.4731
0.0958	1.0366	680	0.4817
0.102	1.0518	690	0.4705
0.0867	1.0671	700	0.4733
0.085	1.0823	710	0.4754
0.0947	1.0976	720	0.4663
0.0924	1.1128	730	0.4697
0.0994	1.1280	740	0.4657
0.0833	1.1433	750	0.4758
0.0857	1.1585	760	0.4703
0.1051	1.1738	770	0.4639
0.108	1.1890	780	0.4609
0.0931	1.2043	790	0.4576
0.0877	1.2195	800	0.4603
0.0902	1.2348	810	0.4602
0.0896	1.25	820	0.4513
0.0881	1.2652	830	0.4500
0.101	1.2805	840	0.4477
0.0962	1.2957	850	0.4470
0.0867	1.3110	860	0.4445
0.1042	1.3262	870	0.4348
0.102	1.3415	880	0.4363
0.0842	1.3567	890	0.4299
0.0931	1.3720	900	0.4317
0.092	1.3872	910	0.4316
0.086	1.4024	920	0.4287
0.0903	1.4177	930	0.4265
0.0896	1.4329	940	0.4286
0.092	1.4482	950	0.4267
0.0841	1.4634	960	0.4279
0.09	1.4787	970	0.4320
0.0749	1.4939	980	0.4284
0.0874	1.5091	990	0.4249
0.0833	1.5244	1000	0.4193
0.0849	1.5396	1010	0.4184
0.0806	1.5549	1020	0.4216
0.0851	1.5701	1030	0.4212
0.0921	1.5854	1040	0.4181
0.0842	1.6006	1050	0.4174
0.0913	1.6159	1060	0.4123
0.0795	1.6311	1070	0.4118
0.094	1.6463	1080	0.4123
0.0771	1.6616	1090	0.4121
0.0922	1.6768	1100	0.4112
0.094	1.6921	1110	0.4129
0.0908	1.7073	1120	0.4062
0.0869	1.7226	1130	0.4097
0.0853	1.7378	1140	0.4081
0.0808	1.7530	1150	0.4119
0.0776	1.7683	1160	0.4073
0.0827	1.7835	1170	0.4116
0.0951	1.7988	1180	0.4104
0.0857	1.8140	1190	0.4102
0.085	1.8293	1200	0.4011
0.083	1.8445	1210	0.4021
0.0838	1.8598	1220	0.4067
0.0793	1.875	1230	0.4079
0.0795	1.8902	1240	0.4052
0.0831	1.9055	1250	0.4014
0.0878	1.9207	1260	0.3989
0.0813	1.9360	1270	0.4017
0.0871	1.9512	1280	0.3992
0.0851	1.9665	1290	0.3976
0.0775	1.9817	1300	0.3955
0.0853	1.9970	1310	0.3942
0.0803	2.0122	1320	0.3986
0.0825	2.0274	1330	0.3933
0.0894	2.0427	1340	0.3937
0.0722	2.0579	1350	0.3944
0.0827	2.0732	1360	0.3992
0.0747	2.0884	1370	0.3948
0.0808	2.1037	1380	0.3963
0.0855	2.1189	1390	0.3932
0.0744	2.1341	1400	0.3947
0.0758	2.1494	1410	0.3953
0.0809	2.1646	1420	0.3971
0.0761	2.1799	1430	0.3908
0.0702	2.1951	1440	0.3924
0.0984	2.2104	1450	0.3937
0.0769	2.2256	1460	0.3953
0.0726	2.2409	1470	0.3954
0.0798	2.2561	1480	0.3915
0.092	2.2713	1490	0.3913
0.0723	2.2866	1500	0.3870
0.0811	2.3018	1510	0.3852
0.0769	2.3171	1520	0.3850
0.0911	2.3323	1530	0.3833
0.0799	2.3476	1540	0.3837
0.0821	2.3628	1550	0.3819
0.0864	2.3780	1560	0.3811
0.0813	2.3933	1570	0.3783
0.0774	2.4085	1580	0.3773
0.0734	2.4238	1590	0.3781
0.0786	2.4390	1600	0.3787
0.0677	2.4543	1610	0.3783
0.077	2.4695	1620	0.3791
0.0824	2.4848	1630	0.3801
0.0806	2.5	1640	0.3796
0.0755	2.5152	1650	0.3817
0.0783	2.5305	1660	0.3778
0.0791	2.5457	1670	0.3770
0.083	2.5610	1680	0.3773
0.0789	2.5762	1690	0.3780
0.0801	2.5915	1700	0.3778
0.0803	2.6067	1710	0.3785
0.0795	2.6220	1720	0.3769
0.073	2.6372	1730	0.3756
0.0838	2.6524	1740	0.3753
0.0715	2.6677	1750	0.3758
0.0839	2.6829	1760	0.3742
0.069	2.6982	1770	0.3726
0.0774	2.7134	1780	0.3730
0.0844	2.7287	1790	0.3732
0.0833	2.7439	1800	0.3724
0.0712	2.7591	1810	0.3712
0.0824	2.7744	1820	0.3715
0.0787	2.7896	1830	0.3717
0.0739	2.8049	1840	0.3711
0.0661	2.8201	1850	0.3709
0.0796	2.8354	1860	0.3710
0.0685	2.8506	1870	0.3707
0.088	2.8659	1880	0.3703
0.0815	2.8811	1890	0.3704
0.0776	2.8963	1900	0.3707
0.0733	2.9116	1910	0.3704
0.0758	2.9268	1920	0.3700
0.0763	2.9421	1930	0.3702
0.0861	2.9573	1940	0.3702
0.0813	2.9726	1950	0.3701
0.0728	2.9878	1960	0.3703
0.076	3.0030	1970	0.3702
0.0773	3.0183	1980	0.3702
0.0827	3.0335	1990	0.3702
0.0825	3.0488	2000	0.3702

Framework versions

• PEFT 0.14.0
• Transformers 4.47.1
• Pytorch 2.5.1+cu124
• Datasets 3.2.0
• Tokenizers 0.21.0