LLMBG-Llama-3.1-8B-BG-Reasoning-v0.1 / Training log

	A	B	C	D	E	F
1	Step	Training loss	Reward	Reward std	Completion length	Kullback-Leibler divergence

2	1	0	0.021	0.051439	105.166672	0
3	2	0	0.021	0.051439	232.833344	0
4	3	0	0	0	263.666687	0.000519
5	4	0	0.068833	0.076479	96.5	0.000627
6	5	0	0	0	210.5	0.000493
7	6	0	-0.037833	0.129257	278.833344	0.000479
8	7	0	0.083333	0.204124	205.333344	0.000566
9	8	0	-0.006	0.08023	237.166672	0.00051
10	9	0	-0.060833	0.149011	162.333344	0.00083
11	10	0	-0.0505	0.131693	225.166672	0.000593
12	11	0	-0.036833	0.192641	337.333344	0.000408
13	12	0	0.0205	0.050215	343.333344	0.000544
14	13	0	0.021	0.051439	223	0.000401
15	14	0	0	0	163.666672	0.000446
16	15	0	0.020833	0.051031	363.333344	0.000637
17	16	0	0	0	329.333344	0.000436
18	17	0	0.041333	0.064046	134.166672	0.000595
19	18	0	0.033	0.080833	312.166687	0.000618
20	19	0	0.021	0.051439	399.166687	0.000533
21	20	0	0.3825	0.93693	248.5	0.000697
22	21	0	0.475167	0.996825	212.5	0.000358
23	22	0	-0.331667	0.515408	354.333344	0.000592
24	23	0	-0.007833	0.019188	234.333344	0.000477
25	24	0	0.041667	0.06455	430.5	0.000394
26	25	0	0.374167	1.077317	207.333344	0.000429
27	26	0	-0.0025	0.006124	294.666687	0.000562
28	27	0	-0.023667	0.116644	236.333344	0.00046
29	28	0	0.006167	0.072747	213.666672	0.000565
30	29	0	0.478333	0.988421	246.833344	0.000371
31	30	0	0.289	1.05074	351.5	0.000407
32	31	0	0.116667	0.195212	136.333344	0.00056
33	32	0	0.007667	0.120974	173.333344	0.000527
34	33	0	-0.137167	0.469806	270.666687	0.000823
35	34	0	0.021	0.051439	152.833344	0.000613
36	35	0	0	0	151.833344	0.000556
37	36	0	0.146167	0.18395	320.333344	0.00054
38	37	0	-0.039167	0.095938	199	0.000431
39	38	0	-0.005333	0.221805	227.833344	0.000539
40	39	0	0.015667	0.131284	185.166672	0.000642
41	40	0	0.045667	0.07138	209.666672	0.000643
42	41	0	0.410833	1.039501	137.666672	0.000704
43	42	0	-0.082667	0.193798	262.333344	0.000672
44	43	0	0.117833	0.233614	183.833344	0.000602
45	44	0	0.418167	1.024295	323.5	0.000599
46	45	0	0	0	313.5	0.000499
47	46	0	0.022833	0.077158	91.166672	0.000604
48	47	0	0.0935	0.086523	138	0.000518
49	48	0	0.021	0.051439	297.666687	0.000383
50	49	0	0.03	0.051753	270.5	0.000343
51	50	0	0.3755	0.798718	271.166687	0.000345
52	51	0	0.021	0.051439	191	0.000554
53	52	0	0.0405	0.103173	251.166672	0.000664
54	53	0	0	0	347.666687	0.000634
55	54	0	0.084	0.065066	224.333344	0.000437
56	55	0	-0.006333	0.111744	190.166672	0.00035
57	56	0	0.021	0.051439	328.666687	0.000449
58	57	0	0.447167	1.008639	159.333344	0.000502
59	58	0	0.8465	1.263569	226.5	0.000905
60	59	0	0.4325	0.938456	215.166672	0.000731
61	60	0	-0.224167	0.549094	288	0.000711
62	61	0	0	0	242.833344	0.000851
63	62	0	0.009667	0.023678	288.833344	0.000557
64	63	0	0	0	308.666687	0.000558
65	64	0	0.3125	0.765466	329.833344	0.000435
66	65	0	0.559333	0.981628	206.833344	0.000877
67	66	0	0.435667	1.067161	156.666672	0.000593
68	67	0	0.020833	0.051031	422.333344	0.000591
69	68	0	0.021	0.051439	341.166687	0.000506
70	69	0	0.438167	1.012812	162	0.000504
71	70	0	0.083667	0.102471	352.166687	0.000773
72	71	0	-0.007667	0.155051	281	0.000676
73	72	0	0.3255	0.797309	276.666687	0.000752
74	73	0	0.092	0.262743	189.166672	0.001047
75	74	0	0.021	0.051439	245.5	0.00054
76	75	0	0.0705	0.172689	267.166687	0.000633
77	76	0	0.050333	0.082376	300.833344	0.000701
78	77	0	0.0125	0.030619	291.166687	0.000751
79	78	0	0.035167	0.059674	130.666672	0.000928
80	79	0.0001	0.907833	1.357852	107.666672	0.001437
81	80	0	0.454333	0.929755	288.166687	0.000606
82	81	0	0.458167	0.94791	295.166687	0.000795
83	82	0	0.950333	1.274332	161.166672	0.00087
84	83	0	-0.016333	0.113535	257.666687	0.000922
85	84	0	0.717667	1.351253	173.333344	0.001187
86	85	0	0	0	267.5	0.00086
87	86	0	0.1045	0.188538	307.166687	0.000746
88	87	0.0001	-0.008667	0.113706	230.333344	0.001573
89	88	0	0.021	0.051439	452	0.001017
90	89	0.0001	1.353	1.393332	132.666672	0.002484
91	90	0.0001	0.021333	0.125264	321.833344	0.001681
92	91	0.0001	0.050667	0.116754	247.666672	0.00164
93	92	0	0.021	0.051439	378.166687	0.000786
94	93	0.0001	0.091333	0.094825	156.166672	0.001658
95	94	0.0003	0.126	0	100.333336	0.004215
96	95	0.0001	0.419833	1.02174	121.333336	0.003343
97	96	0.0001	0.336667	0.948699	317.166687	0.002308
98	97	0.0001	0.0675	0.125424	356.5	0.002415
99	98	0.0001	0.0485	0.121284	153.666672	0.00371
100	99	0.0002	0.087167	0.109183	196.166672	0.00398