{
  "best_metric": 0.986004114151001,
  "best_model_checkpoint": "miner_id_24/checkpoint-200",
  "epoch": 2.0833333333333335,
  "eval_steps": 50,
  "global_step": 200,
  "is_hyper_param_search": false,
  "is_local_process_zero": true,
  "is_world_process_zero": true,
  "log_history": [
    {
      "epoch": 0.010416666666666666,
      "grad_norm": 11.280781745910645,
      "learning_rate": 8.000000000000001e-06,
      "loss": 5.4441,
      "step": 1
    },
    {
      "epoch": 0.010416666666666666,
      "eval_loss": 1.5810514688491821,
      "eval_runtime": 12.3879,
      "eval_samples_per_second": 13.077,
      "eval_steps_per_second": 3.31,
      "step": 1
    },
    {
      "epoch": 0.020833333333333332,
      "grad_norm": 11.971577644348145,
      "learning_rate": 1.6000000000000003e-05,
      "loss": 5.4898,
      "step": 2
    },
    {
      "epoch": 0.03125,
      "grad_norm": 11.384745597839355,
      "learning_rate": 2.4e-05,
      "loss": 5.5719,
      "step": 3
    },
    {
      "epoch": 0.041666666666666664,
      "grad_norm": 10.148287773132324,
      "learning_rate": 3.2000000000000005e-05,
      "loss": 5.4068,
      "step": 4
    },
    {
      "epoch": 0.052083333333333336,
      "grad_norm": 11.926627159118652,
      "learning_rate": 4e-05,
      "loss": 5.3455,
      "step": 5
    },
    {
      "epoch": 0.0625,
      "grad_norm": 9.817693710327148,
      "learning_rate": 4.8e-05,
      "loss": 5.1963,
      "step": 6
    },
    {
      "epoch": 0.07291666666666667,
      "grad_norm": 9.60680103302002,
      "learning_rate": 5.6e-05,
      "loss": 5.1528,
      "step": 7
    },
    {
      "epoch": 0.08333333333333333,
      "grad_norm": 9.895963668823242,
      "learning_rate": 6.400000000000001e-05,
      "loss": 5.0005,
      "step": 8
    },
    {
      "epoch": 0.09375,
      "grad_norm": 8.643511772155762,
      "learning_rate": 7.2e-05,
      "loss": 4.9533,
      "step": 9
    },
    {
      "epoch": 0.10416666666666667,
      "grad_norm": 8.086094856262207,
      "learning_rate": 8e-05,
      "loss": 4.7944,
      "step": 10
    },
    {
      "epoch": 0.11458333333333333,
      "grad_norm": 8.04609203338623,
      "learning_rate": 7.999453219969877e-05,
      "loss": 4.586,
      "step": 11
    },
    {
      "epoch": 0.125,
      "grad_norm": 8.573185920715332,
      "learning_rate": 7.997813029363704e-05,
      "loss": 4.904,
      "step": 12
    },
    {
      "epoch": 0.13541666666666666,
      "grad_norm": 600.9924926757812,
      "learning_rate": 7.99507987659322e-05,
      "loss": 5.3512,
      "step": 13
    },
    {
      "epoch": 0.14583333333333334,
      "grad_norm": 30.291379928588867,
      "learning_rate": 7.991254508875098e-05,
      "loss": 4.9444,
      "step": 14
    },
    {
      "epoch": 0.15625,
      "grad_norm": 7.431931018829346,
      "learning_rate": 7.98633797202668e-05,
      "loss": 4.7438,
      "step": 15
    },
    {
      "epoch": 0.16666666666666666,
      "grad_norm": 8.01929759979248,
      "learning_rate": 7.980331610180046e-05,
      "loss": 4.799,
      "step": 16
    },
    {
      "epoch": 0.17708333333333334,
      "grad_norm": 8.046192169189453,
      "learning_rate": 7.973237065414553e-05,
      "loss": 4.6779,
      "step": 17
    },
    {
      "epoch": 0.1875,
      "grad_norm": 7.337327003479004,
      "learning_rate": 7.965056277307902e-05,
      "loss": 4.4264,
      "step": 18
    },
    {
      "epoch": 0.19791666666666666,
      "grad_norm": 7.198958873748779,
      "learning_rate": 7.955791482405875e-05,
      "loss": 4.3606,
      "step": 19
    },
    {
      "epoch": 0.20833333333333334,
      "grad_norm": 7.8494343757629395,
      "learning_rate": 7.94544521361089e-05,
      "loss": 4.2015,
      "step": 20
    },
    {
      "epoch": 0.21875,
      "grad_norm": 7.418194770812988,
      "learning_rate": 7.93402029948953e-05,
      "loss": 4.4461,
      "step": 21
    },
    {
      "epoch": 0.22916666666666666,
      "grad_norm": 7.783334732055664,
      "learning_rate": 7.921519863499239e-05,
      "loss": 4.6302,
      "step": 22
    },
    {
      "epoch": 0.23958333333333334,
      "grad_norm": 9.167252540588379,
      "learning_rate": 7.907947323134398e-05,
      "loss": 5.5673,
      "step": 23
    },
    {
      "epoch": 0.25,
      "grad_norm": 7.267993450164795,
      "learning_rate": 7.893306388992023e-05,
      "loss": 4.6324,
      "step": 24
    },
    {
      "epoch": 0.2604166666666667,
      "grad_norm": 4.847051620483398,
      "learning_rate": 7.877601063757323e-05,
      "loss": 4.568,
      "step": 25
    },
    {
      "epoch": 0.2708333333333333,
      "grad_norm": 4.387670516967773,
      "learning_rate": 7.860835641109395e-05,
      "loss": 4.4359,
      "step": 26
    },
    {
      "epoch": 0.28125,
      "grad_norm": 4.699279308319092,
      "learning_rate": 7.843014704547393e-05,
      "loss": 4.4227,
      "step": 27
    },
    {
      "epoch": 0.2916666666666667,
      "grad_norm": 5.291173934936523,
      "learning_rate": 7.824143126137431e-05,
      "loss": 4.4161,
      "step": 28
    },
    {
      "epoch": 0.3020833333333333,
      "grad_norm": 5.426056385040283,
      "learning_rate": 7.804226065180615e-05,
      "loss": 4.5785,
      "step": 29
    },
    {
      "epoch": 0.3125,
      "grad_norm": 5.04319429397583,
      "learning_rate": 7.783268966802539e-05,
      "loss": 4.4933,
      "step": 30
    },
    {
      "epoch": 0.3229166666666667,
      "grad_norm": 5.2682342529296875,
      "learning_rate": 7.761277560464645e-05,
      "loss": 4.4068,
      "step": 31
    },
    {
      "epoch": 0.3333333333333333,
      "grad_norm": 5.146570205688477,
      "learning_rate": 7.738257858397844e-05,
      "loss": 4.1566,
      "step": 32
    },
    {
      "epoch": 0.34375,
      "grad_norm": 5.453159332275391,
      "learning_rate": 7.71421615395883e-05,
      "loss": 4.3581,
      "step": 33
    },
    {
      "epoch": 0.3541666666666667,
      "grad_norm": 5.605067253112793,
      "learning_rate": 7.68915901990954e-05,
      "loss": 4.2831,
      "step": 34
    },
    {
      "epoch": 0.3645833333333333,
      "grad_norm": 5.579160213470459,
      "learning_rate": 7.663093306620231e-05,
      "loss": 4.4607,
      "step": 35
    },
    {
      "epoch": 0.375,
      "grad_norm": 5.544670581817627,
      "learning_rate": 7.636026140196651e-05,
      "loss": 4.255,
      "step": 36
    },
    {
      "epoch": 0.3854166666666667,
      "grad_norm": 5.51400899887085,
      "learning_rate": 7.607964920531837e-05,
      "loss": 4.1813,
      "step": 37
    },
    {
      "epoch": 0.3958333333333333,
      "grad_norm": 5.693131446838379,
      "learning_rate": 7.578917319283055e-05,
      "loss": 4.5103,
      "step": 38
    },
    {
      "epoch": 0.40625,
      "grad_norm": 5.8311448097229,
      "learning_rate": 7.548891277774448e-05,
      "loss": 4.2608,
      "step": 39
    },
    {
      "epoch": 0.4166666666666667,
      "grad_norm": 5.718422889709473,
      "learning_rate": 7.517895004825956e-05,
      "loss": 4.2481,
      "step": 40
    },
    {
      "epoch": 0.4270833333333333,
      "grad_norm": 6.042418956756592,
      "learning_rate": 7.48593697450911e-05,
      "loss": 3.8565,
      "step": 41
    },
    {
      "epoch": 0.4375,
      "grad_norm": 5.870940208435059,
      "learning_rate": 7.453025923830296e-05,
      "loss": 3.9054,
      "step": 42
    },
    {
      "epoch": 0.4479166666666667,
      "grad_norm": 6.94326639175415,
      "learning_rate": 7.419170850342156e-05,
      "loss": 4.2016,
      "step": 43
    },
    {
      "epoch": 0.4583333333333333,
      "grad_norm": 6.84446907043457,
      "learning_rate": 7.384381009683742e-05,
      "loss": 4.0745,
      "step": 44
    },
    {
      "epoch": 0.46875,
      "grad_norm": 6.566938877105713,
      "learning_rate": 7.348665913050115e-05,
      "loss": 4.588,
      "step": 45
    },
    {
      "epoch": 0.4791666666666667,
      "grad_norm": 7.720722675323486,
      "learning_rate": 7.312035324592081e-05,
      "loss": 5.3125,
      "step": 46
    },
    {
      "epoch": 0.4895833333333333,
      "grad_norm": 5.039053440093994,
      "learning_rate": 7.274499258746771e-05,
      "loss": 4.358,
      "step": 47
    },
    {
      "epoch": 0.5,
      "grad_norm": 4.551259517669678,
      "learning_rate": 7.236067977499791e-05,
      "loss": 4.4355,
      "step": 48
    },
    {
      "epoch": 0.5104166666666666,
      "grad_norm": 3.7661449909210205,
      "learning_rate": 7.196751987579699e-05,
      "loss": 4.2863,
      "step": 49
    },
    {
      "epoch": 0.5208333333333334,
      "grad_norm": 3.963446617126465,
      "learning_rate": 7.156562037585576e-05,
      "loss": 4.1386,
      "step": 50
    },
    {
      "epoch": 0.5208333333333334,
      "eval_loss": 1.0782212018966675,
      "eval_runtime": 12.6203,
      "eval_samples_per_second": 12.836,
      "eval_steps_per_second": 3.249,
      "step": 50
    },
    {
      "epoch": 0.53125,
      "grad_norm": 4.134359359741211,
      "learning_rate": 7.11550911504845e-05,
      "loss": 4.4858,
      "step": 51
    },
    {
      "epoch": 0.5416666666666666,
      "grad_norm": 4.288531303405762,
      "learning_rate": 7.073604443427437e-05,
      "loss": 4.2214,
      "step": 52
    },
    {
      "epoch": 0.5520833333333334,
      "grad_norm": 4.7961955070495605,
      "learning_rate": 7.03085947904134e-05,
      "loss": 4.4175,
      "step": 53
    },
    {
      "epoch": 0.5625,
      "grad_norm": 5.15302038192749,
      "learning_rate": 6.987285907936617e-05,
      "loss": 4.2692,
      "step": 54
    },
    {
      "epoch": 0.5729166666666666,
      "grad_norm": 5.38447904586792,
      "learning_rate": 6.942895642692527e-05,
      "loss": 4.2599,
      "step": 55
    },
    {
      "epoch": 0.5833333333333334,
      "grad_norm": 5.3263421058654785,
      "learning_rate": 6.897700819164357e-05,
      "loss": 4.1761,
      "step": 56
    },
    {
      "epoch": 0.59375,
      "grad_norm": 5.189230918884277,
      "learning_rate": 6.851713793165589e-05,
      "loss": 4.2075,
      "step": 57
    },
    {
      "epoch": 0.6041666666666666,
      "grad_norm": 5.026007652282715,
      "learning_rate": 6.804947137089955e-05,
      "loss": 4.2785,
      "step": 58
    },
    {
      "epoch": 0.6145833333333334,
      "grad_norm": 5.158576011657715,
      "learning_rate": 6.757413636474263e-05,
      "loss": 4.148,
      "step": 59
    },
    {
      "epoch": 0.625,
      "grad_norm": 4.857342720031738,
      "learning_rate": 6.709126286502965e-05,
      "loss": 3.9364,
      "step": 60
    },
    {
      "epoch": 0.6354166666666666,
      "grad_norm": 5.119851112365723,
      "learning_rate": 6.660098288455393e-05,
      "loss": 4.1834,
      "step": 61
    },
    {
      "epoch": 0.6458333333333334,
      "grad_norm": 5.3493971824646,
      "learning_rate": 6.610343046096674e-05,
      "loss": 3.9739,
      "step": 62
    },
    {
      "epoch": 0.65625,
      "grad_norm": 5.555714130401611,
      "learning_rate": 6.559874162013267e-05,
      "loss": 3.9993,
      "step": 63
    },
    {
      "epoch": 0.6666666666666666,
      "grad_norm": 5.457334995269775,
      "learning_rate": 6.508705433894149e-05,
      "loss": 3.937,
      "step": 64
    },
    {
      "epoch": 0.6770833333333334,
      "grad_norm": 5.703939437866211,
      "learning_rate": 6.456850850758673e-05,
      "loss": 3.7872,
      "step": 65
    },
    {
      "epoch": 0.6875,
      "grad_norm": 6.1131978034973145,
      "learning_rate": 6.404324589132101e-05,
      "loss": 3.8418,
      "step": 66
    },
    {
      "epoch": 0.6979166666666666,
      "grad_norm": 6.223927021026611,
      "learning_rate": 6.351141009169893e-05,
      "loss": 3.8756,
      "step": 67
    },
    {
      "epoch": 0.7083333333333334,
      "grad_norm": 6.508042812347412,
      "learning_rate": 6.297314650731775e-05,
      "loss": 4.7346,
      "step": 68
    },
    {
      "epoch": 0.71875,
      "grad_norm": 7.03975772857666,
      "learning_rate": 6.242860229406692e-05,
      "loss": 5.1848,
      "step": 69
    },
    {
      "epoch": 0.7291666666666666,
      "grad_norm": 3.7895100116729736,
      "learning_rate": 6.18779263248971e-05,
      "loss": 4.2408,
      "step": 70
    },
    {
      "epoch": 0.7395833333333334,
      "grad_norm": 4.001533031463623,
      "learning_rate": 6.132126914911976e-05,
      "loss": 4.2736,
      "step": 71
    },
    {
      "epoch": 0.75,
      "grad_norm": 3.717928409576416,
      "learning_rate": 6.075878295124861e-05,
      "loss": 4.2474,
      "step": 72
    },
    {
      "epoch": 0.7604166666666666,
      "grad_norm": 3.8135247230529785,
      "learning_rate": 6.019062150939376e-05,
      "loss": 4.1913,
      "step": 73
    },
    {
      "epoch": 0.7708333333333334,
      "grad_norm": 3.9014365673065186,
      "learning_rate": 5.9616940153220336e-05,
      "loss": 4.0806,
      "step": 74
    },
    {
      "epoch": 0.78125,
      "grad_norm": 4.113763332366943,
      "learning_rate": 5.903789572148295e-05,
      "loss": 4.1414,
      "step": 75
    },
    {
      "epoch": 0.7916666666666666,
      "grad_norm": 4.431257247924805,
      "learning_rate": 5.845364651914752e-05,
      "loss": 3.9735,
      "step": 76
    },
    {
      "epoch": 0.8020833333333334,
      "grad_norm": 4.451569080352783,
      "learning_rate": 5.786435227411227e-05,
      "loss": 3.9796,
      "step": 77
    },
    {
      "epoch": 0.8125,
      "grad_norm": 4.729064464569092,
      "learning_rate": 5.727017409353971e-05,
      "loss": 4.0263,
      "step": 78
    },
    {
      "epoch": 0.8229166666666666,
      "grad_norm": 4.848520278930664,
      "learning_rate": 5.667127441981162e-05,
      "loss": 4.0399,
      "step": 79
    },
    {
      "epoch": 0.8333333333333334,
      "grad_norm": 5.127857208251953,
      "learning_rate": 5.606781698611879e-05,
      "loss": 4.1163,
      "step": 80
    },
    {
      "epoch": 0.84375,
      "grad_norm": 4.99605655670166,
      "learning_rate": 5.5459966771698096e-05,
      "loss": 3.955,
      "step": 81
    },
    {
      "epoch": 0.8541666666666666,
      "grad_norm": 5.035864353179932,
      "learning_rate": 5.4847889956728834e-05,
      "loss": 4.1572,
      "step": 82
    },
    {
      "epoch": 0.8645833333333334,
      "grad_norm": 5.026290416717529,
      "learning_rate": 5.423175387690067e-05,
      "loss": 4.1904,
      "step": 83
    },
    {
      "epoch": 0.875,
      "grad_norm": 4.772809982299805,
      "learning_rate": 5.361172697766573e-05,
      "loss": 3.8289,
      "step": 84
    },
    {
      "epoch": 0.8854166666666666,
      "grad_norm": 4.927221775054932,
      "learning_rate": 5.298797876818735e-05,
      "loss": 4.0878,
      "step": 85
    },
    {
      "epoch": 0.8958333333333334,
      "grad_norm": 4.890384197235107,
      "learning_rate": 5.23606797749979e-05,
      "loss": 3.7772,
      "step": 86
    },
    {
      "epoch": 0.90625,
      "grad_norm": 5.172473907470703,
      "learning_rate": 5.17300014953786e-05,
      "loss": 3.7615,
      "step": 87
    },
    {
      "epoch": 0.9166666666666666,
      "grad_norm": 5.2450103759765625,
      "learning_rate": 5.109611635047379e-05,
      "loss": 3.7306,
      "step": 88
    },
    {
      "epoch": 0.9270833333333334,
      "grad_norm": 5.1563496589660645,
      "learning_rate": 5.04591976381528e-05,
      "loss": 3.9229,
      "step": 89
    },
    {
      "epoch": 0.9375,
      "grad_norm": 5.917119026184082,
      "learning_rate": 4.981941948563197e-05,
      "loss": 3.5887,
      "step": 90
    },
    {
      "epoch": 0.9479166666666666,
      "grad_norm": 5.987504482269287,
      "learning_rate": 4.9176956801870065e-05,
      "loss": 4.0726,
      "step": 91
    },
    {
      "epoch": 0.9583333333333334,
      "grad_norm": 7.82609748840332,
      "learning_rate": 4.853198522974988e-05,
      "loss": 5.3798,
      "step": 92
    },
    {
      "epoch": 0.96875,
      "grad_norm": 4.269325256347656,
      "learning_rate": 4.788468109805921e-05,
      "loss": 4.1387,
      "step": 93
    },
    {
      "epoch": 0.9791666666666666,
      "grad_norm": 5.522583961486816,
      "learning_rate": 4.7235221373284407e-05,
      "loss": 4.219,
      "step": 94
    },
    {
      "epoch": 0.9895833333333334,
      "grad_norm": 5.209097385406494,
      "learning_rate": 4.658378361122936e-05,
      "loss": 3.9444,
      "step": 95
    },
    {
      "epoch": 1.0,
      "grad_norm": 9.663165092468262,
      "learning_rate": 4.593054590847368e-05,
      "loss": 4.3505,
      "step": 96
    },
    {
      "epoch": 1.0104166666666667,
      "grad_norm": 2.879049062728882,
      "learning_rate": 4.5275686853682765e-05,
      "loss": 3.711,
      "step": 97
    },
    {
      "epoch": 1.0208333333333333,
      "grad_norm": 3.294038772583008,
      "learning_rate": 4.4619385478783456e-05,
      "loss": 3.5335,
      "step": 98
    },
    {
      "epoch": 1.03125,
      "grad_norm": 3.3614354133605957,
      "learning_rate": 4.396182121001852e-05,
      "loss": 3.2872,
      "step": 99
    },
    {
      "epoch": 1.0416666666666667,
      "grad_norm": 3.3639588356018066,
      "learning_rate": 4.33031738188933e-05,
      "loss": 3.3324,
      "step": 100
    },
    {
      "epoch": 1.0416666666666667,
      "eval_loss": 1.0018478631973267,
      "eval_runtime": 12.6079,
      "eval_samples_per_second": 12.849,
      "eval_steps_per_second": 3.252,
      "step": 100
    },
    {
      "epoch": 1.0520833333333333,
      "grad_norm": 3.5082290172576904,
      "learning_rate": 4.264362337302798e-05,
      "loss": 3.0991,
      "step": 101
    },
    {
      "epoch": 1.0625,
      "grad_norm": 3.7788312435150146,
      "learning_rate": 4.1983350186928894e-05,
      "loss": 3.0096,
      "step": 102
    },
    {
      "epoch": 1.0729166666666667,
      "grad_norm": 4.188305377960205,
      "learning_rate": 4.132253477269233e-05,
      "loss": 3.0371,
      "step": 103
    },
    {
      "epoch": 1.0833333333333333,
      "grad_norm": 4.451459884643555,
      "learning_rate": 4.0661357790654345e-05,
      "loss": 3.041,
      "step": 104
    },
    {
      "epoch": 1.09375,
      "grad_norm": 4.413529396057129,
      "learning_rate": 4e-05,
      "loss": 2.9031,
      "step": 105
    },
    {
      "epoch": 1.1041666666666667,
      "grad_norm": 5.019748210906982,
      "learning_rate": 3.933864220934566e-05,
      "loss": 2.8697,
      "step": 106
    },
    {
      "epoch": 1.1145833333333333,
      "grad_norm": 5.009162902832031,
      "learning_rate": 3.8677465227307676e-05,
      "loss": 2.8651,
      "step": 107
    },
    {
      "epoch": 1.125,
      "grad_norm": 5.4386820793151855,
      "learning_rate": 3.8016649813071106e-05,
      "loss": 2.9577,
      "step": 108
    },
    {
      "epoch": 1.1354166666666667,
      "grad_norm": 5.88184118270874,
      "learning_rate": 3.735637662697203e-05,
      "loss": 3.3029,
      "step": 109
    },
    {
      "epoch": 1.1458333333333333,
      "grad_norm": 5.3596906661987305,
      "learning_rate": 3.669682618110671e-05,
      "loss": 3.0783,
      "step": 110
    },
    {
      "epoch": 1.15625,
      "grad_norm": 5.149938583374023,
      "learning_rate": 3.6038178789981494e-05,
      "loss": 2.7694,
      "step": 111
    },
    {
      "epoch": 1.1666666666666667,
      "grad_norm": 5.048161029815674,
      "learning_rate": 3.538061452121656e-05,
      "loss": 2.8497,
      "step": 112
    },
    {
      "epoch": 1.1770833333333333,
      "grad_norm": 5.232293605804443,
      "learning_rate": 3.472431314631724e-05,
      "loss": 2.9538,
      "step": 113
    },
    {
      "epoch": 1.1875,
      "grad_norm": 4.9098005294799805,
      "learning_rate": 3.406945409152632e-05,
      "loss": 2.6565,
      "step": 114
    },
    {
      "epoch": 1.1979166666666667,
      "grad_norm": 5.082328796386719,
      "learning_rate": 3.341621638877064e-05,
      "loss": 2.7733,
      "step": 115
    },
    {
      "epoch": 1.2083333333333333,
      "grad_norm": 5.124711513519287,
      "learning_rate": 3.276477862671562e-05,
      "loss": 2.8063,
      "step": 116
    },
    {
      "epoch": 1.21875,
      "grad_norm": 5.474506855010986,
      "learning_rate": 3.21153189019408e-05,
      "loss": 2.778,
      "step": 117
    },
    {
      "epoch": 1.2291666666666667,
      "grad_norm": 5.957343101501465,
      "learning_rate": 3.146801477025013e-05,
      "loss": 2.8683,
      "step": 118
    },
    {
      "epoch": 1.2395833333333333,
      "grad_norm": 7.193364143371582,
      "learning_rate": 3.082304319812994e-05,
      "loss": 3.2624,
      "step": 119
    },
    {
      "epoch": 1.25,
      "grad_norm": 5.49289608001709,
      "learning_rate": 3.0180580514368037e-05,
      "loss": 3.7842,
      "step": 120
    },
    {
      "epoch": 1.2604166666666667,
      "grad_norm": 4.945963382720947,
      "learning_rate": 2.9540802361847212e-05,
      "loss": 3.5527,
      "step": 121
    },
    {
      "epoch": 1.2708333333333333,
      "grad_norm": 4.916148662567139,
      "learning_rate": 2.890388364952623e-05,
      "loss": 3.3904,
      "step": 122
    },
    {
      "epoch": 1.28125,
      "grad_norm": 4.310980319976807,
      "learning_rate": 2.8269998504621416e-05,
      "loss": 3.1866,
      "step": 123
    },
    {
      "epoch": 1.2916666666666667,
      "grad_norm": 4.39262056350708,
      "learning_rate": 2.7639320225002108e-05,
      "loss": 3.2396,
      "step": 124
    },
    {
      "epoch": 1.3020833333333333,
      "grad_norm": 3.9887611865997314,
      "learning_rate": 2.7012021231812666e-05,
      "loss": 3.0874,
      "step": 125
    },
    {
      "epoch": 1.3125,
      "grad_norm": 4.261237621307373,
      "learning_rate": 2.638827302233428e-05,
      "loss": 2.9762,
      "step": 126
    },
    {
      "epoch": 1.3229166666666667,
      "grad_norm": 4.186473369598389,
      "learning_rate": 2.576824612309934e-05,
      "loss": 2.9858,
      "step": 127
    },
    {
      "epoch": 1.3333333333333333,
      "grad_norm": 4.133448123931885,
      "learning_rate": 2.5152110043271166e-05,
      "loss": 2.855,
      "step": 128
    },
    {
      "epoch": 1.34375,
      "grad_norm": 4.298431873321533,
      "learning_rate": 2.454003322830192e-05,
      "loss": 2.8198,
      "step": 129
    },
    {
      "epoch": 1.3541666666666667,
      "grad_norm": 4.645005226135254,
      "learning_rate": 2.393218301388123e-05,
      "loss": 2.8216,
      "step": 130
    },
    {
      "epoch": 1.3645833333333333,
      "grad_norm": 4.73978853225708,
      "learning_rate": 2.3328725580188395e-05,
      "loss": 2.8812,
      "step": 131
    },
    {
      "epoch": 1.375,
      "grad_norm": 4.700712203979492,
      "learning_rate": 2.272982590646029e-05,
      "loss": 2.9739,
      "step": 132
    },
    {
      "epoch": 1.3854166666666667,
      "grad_norm": 5.159914016723633,
      "learning_rate": 2.2135647725887744e-05,
      "loss": 3.1184,
      "step": 133
    },
    {
      "epoch": 1.3958333333333333,
      "grad_norm": 4.859000205993652,
      "learning_rate": 2.1546353480852495e-05,
      "loss": 2.7262,
      "step": 134
    },
    {
      "epoch": 1.40625,
      "grad_norm": 5.152019023895264,
      "learning_rate": 2.096210427851706e-05,
      "loss": 2.9045,
      "step": 135
    },
    {
      "epoch": 1.4166666666666667,
      "grad_norm": 5.160429954528809,
      "learning_rate": 2.038305984677969e-05,
      "loss": 2.7112,
      "step": 136
    },
    {
      "epoch": 1.4270833333333333,
      "grad_norm": 5.2588791847229,
      "learning_rate": 1.9809378490606264e-05,
      "loss": 2.6612,
      "step": 137
    },
    {
      "epoch": 1.4375,
      "grad_norm": 5.2507710456848145,
      "learning_rate": 1.9241217048751406e-05,
      "loss": 2.6327,
      "step": 138
    },
    {
      "epoch": 1.4479166666666667,
      "grad_norm": 5.473627090454102,
      "learning_rate": 1.867873085088026e-05,
      "loss": 2.7342,
      "step": 139
    },
    {
      "epoch": 1.4583333333333333,
      "grad_norm": 5.5412726402282715,
      "learning_rate": 1.8122073675102935e-05,
      "loss": 2.7053,
      "step": 140
    },
    {
      "epoch": 1.46875,
      "grad_norm": 5.873712062835693,
      "learning_rate": 1.75713977059331e-05,
      "loss": 2.973,
      "step": 141
    },
    {
      "epoch": 1.4791666666666667,
      "grad_norm": 8.18358039855957,
      "learning_rate": 1.702685349268226e-05,
      "loss": 3.1285,
      "step": 142
    },
    {
      "epoch": 1.4895833333333333,
      "grad_norm": 3.7975542545318604,
      "learning_rate": 1.648858990830108e-05,
      "loss": 3.6022,
      "step": 143
    },
    {
      "epoch": 1.5,
      "grad_norm": 3.8950040340423584,
      "learning_rate": 1.5956754108678996e-05,
      "loss": 3.454,
      "step": 144
    },
    {
      "epoch": 1.5104166666666665,
      "grad_norm": 3.99422550201416,
      "learning_rate": 1.5431491492413288e-05,
      "loss": 3.1653,
      "step": 145
    },
    {
      "epoch": 1.5208333333333335,
      "grad_norm": 4.071638584136963,
      "learning_rate": 1.491294566105852e-05,
      "loss": 3.2732,
      "step": 146
    },
    {
      "epoch": 1.53125,
      "grad_norm": 3.93701434135437,
      "learning_rate": 1.4401258379867335e-05,
      "loss": 3.0739,
      "step": 147
    },
    {
      "epoch": 1.5416666666666665,
      "grad_norm": 4.332589149475098,
      "learning_rate": 1.3896569539033253e-05,
      "loss": 3.2435,
      "step": 148
    },
    {
      "epoch": 1.5520833333333335,
      "grad_norm": 4.413052082061768,
      "learning_rate": 1.3399017115446067e-05,
      "loss": 3.0764,
      "step": 149
    },
    {
      "epoch": 1.5625,
      "grad_norm": 4.714024066925049,
      "learning_rate": 1.2908737134970367e-05,
      "loss": 2.964,
      "step": 150
    },
    {
      "epoch": 1.5625,
      "eval_loss": 0.9886458516120911,
      "eval_runtime": 12.629,
      "eval_samples_per_second": 12.828,
      "eval_steps_per_second": 3.246,
      "step": 150
    },
    {
      "epoch": 1.5729166666666665,
      "grad_norm": 4.444969177246094,
      "learning_rate": 1.242586363525737e-05,
      "loss": 2.8466,
      "step": 151
    },
    {
      "epoch": 1.5833333333333335,
      "grad_norm": 4.384251594543457,
      "learning_rate": 1.1950528629100457e-05,
      "loss": 2.8473,
      "step": 152
    },
    {
      "epoch": 1.59375,
      "grad_norm": 4.320125102996826,
      "learning_rate": 1.1482862068344121e-05,
      "loss": 2.7789,
      "step": 153
    },
    {
      "epoch": 1.6041666666666665,
      "grad_norm": 4.556283950805664,
      "learning_rate": 1.1022991808356442e-05,
      "loss": 2.7603,
      "step": 154
    },
    {
      "epoch": 1.6145833333333335,
      "grad_norm": 4.58100700378418,
      "learning_rate": 1.0571043573074737e-05,
      "loss": 3.0291,
      "step": 155
    },
    {
      "epoch": 1.625,
      "grad_norm": 4.945411205291748,
      "learning_rate": 1.0127140920633857e-05,
      "loss": 3.0654,
      "step": 156
    },
    {
      "epoch": 1.6354166666666665,
      "grad_norm": 4.758878231048584,
      "learning_rate": 9.69140520958662e-06,
      "loss": 2.9119,
      "step": 157
    },
    {
      "epoch": 1.6458333333333335,
      "grad_norm": 4.71636438369751,
      "learning_rate": 9.263955565725648e-06,
      "loss": 2.806,
      "step": 158
    },
    {
      "epoch": 1.65625,
      "grad_norm": 4.838390827178955,
      "learning_rate": 8.844908849515509e-06,
      "loss": 2.7424,
      "step": 159
    },
    {
      "epoch": 1.6666666666666665,
      "grad_norm": 4.934096813201904,
      "learning_rate": 8.434379624144261e-06,
      "loss": 2.7501,
      "step": 160
    },
    {
      "epoch": 1.6770833333333335,
      "grad_norm": 5.1201372146606445,
      "learning_rate": 8.032480124203013e-06,
      "loss": 2.6865,
      "step": 161
    },
    {
      "epoch": 1.6875,
      "grad_norm": 5.0016913414001465,
      "learning_rate": 7.639320225002106e-06,
      "loss": 2.703,
      "step": 162
    },
    {
      "epoch": 1.6979166666666665,
      "grad_norm": 5.280127048492432,
      "learning_rate": 7.255007412532307e-06,
      "loss": 2.5453,
      "step": 163
    },
    {
      "epoch": 1.7083333333333335,
      "grad_norm": 5.757223606109619,
      "learning_rate": 6.8796467540791986e-06,
      "loss": 2.8397,
      "step": 164
    },
    {
      "epoch": 1.71875,
      "grad_norm": 6.4842939376831055,
      "learning_rate": 6.513340869498859e-06,
      "loss": 2.8759,
      "step": 165
    },
    {
      "epoch": 1.7291666666666665,
      "grad_norm": 2.9485573768615723,
      "learning_rate": 6.1561899031625794e-06,
      "loss": 3.4129,
      "step": 166
    },
    {
      "epoch": 1.7395833333333335,
      "grad_norm": 3.503781318664551,
      "learning_rate": 5.808291496578435e-06,
      "loss": 3.3005,
      "step": 167
    },
    {
      "epoch": 1.75,
      "grad_norm": 3.5136566162109375,
      "learning_rate": 5.469740761697044e-06,
      "loss": 2.9519,
      "step": 168
    },
    {
      "epoch": 1.7604166666666665,
      "grad_norm": 3.895759344100952,
      "learning_rate": 5.140630254908905e-06,
      "loss": 2.9253,
      "step": 169
    },
    {
      "epoch": 1.7708333333333335,
      "grad_norm": 3.9923999309539795,
      "learning_rate": 4.821049951740442e-06,
      "loss": 3.0135,
      "step": 170
    },
    {
      "epoch": 1.78125,
      "grad_norm": 4.181189060211182,
      "learning_rate": 4.511087222255528e-06,
      "loss": 3.0098,
      "step": 171
    },
    {
      "epoch": 1.7916666666666665,
      "grad_norm": 4.2349677085876465,
      "learning_rate": 4.2108268071694616e-06,
      "loss": 2.8849,
      "step": 172
    },
    {
      "epoch": 1.8020833333333335,
      "grad_norm": 4.393781661987305,
      "learning_rate": 3.9203507946816445e-06,
      "loss": 2.7841,
      "step": 173
    },
    {
      "epoch": 1.8125,
      "grad_norm": 4.54295015335083,
      "learning_rate": 3.6397385980335e-06,
      "loss": 2.8536,
      "step": 174
    },
    {
      "epoch": 1.8229166666666665,
      "grad_norm": 4.6812744140625,
      "learning_rate": 3.3690669337977e-06,
      "loss": 2.6508,
      "step": 175
    },
    {
      "epoch": 1.8333333333333335,
      "grad_norm": 4.644638538360596,
      "learning_rate": 3.1084098009046106e-06,
      "loss": 2.8156,
      "step": 176
    },
    {
      "epoch": 1.84375,
      "grad_norm": 4.985812187194824,
      "learning_rate": 2.8578384604117217e-06,
      "loss": 2.9664,
      "step": 177
    },
    {
      "epoch": 1.8541666666666665,
      "grad_norm": 4.605108261108398,
      "learning_rate": 2.6174214160215704e-06,
      "loss": 2.8497,
      "step": 178
    },
    {
      "epoch": 1.8645833333333335,
      "grad_norm": 4.9651384353637695,
      "learning_rate": 2.3872243953535535e-06,
      "loss": 2.991,
      "step": 179
    },
    {
      "epoch": 1.875,
      "grad_norm": 4.437888145446777,
      "learning_rate": 2.1673103319746146e-06,
      "loss": 2.6755,
      "step": 180
    },
    {
      "epoch": 1.8854166666666665,
      "grad_norm": 5.044173240661621,
      "learning_rate": 1.957739348193859e-06,
      "loss": 2.7898,
      "step": 181
    },
    {
      "epoch": 1.8958333333333335,
      "grad_norm": 5.028233528137207,
      "learning_rate": 1.7585687386256944e-06,
      "loss": 2.8698,
      "step": 182
    },
    {
      "epoch": 1.90625,
      "grad_norm": 4.980994701385498,
      "learning_rate": 1.5698529545260744e-06,
      "loss": 2.6159,
      "step": 183
    },
    {
      "epoch": 1.9166666666666665,
      "grad_norm": 4.991346836090088,
      "learning_rate": 1.3916435889060575e-06,
      "loss": 2.6302,
      "step": 184
    },
    {
      "epoch": 1.9270833333333335,
      "grad_norm": 5.023186683654785,
      "learning_rate": 1.2239893624267852e-06,
      "loss": 2.604,
      "step": 185
    },
    {
      "epoch": 1.9375,
      "grad_norm": 5.13346004486084,
      "learning_rate": 1.0669361100797704e-06,
      "loss": 2.6011,
      "step": 186
    },
    {
      "epoch": 1.9479166666666665,
      "grad_norm": 5.748098373413086,
      "learning_rate": 9.205267686560293e-07,
      "loss": 2.8425,
      "step": 187
    },
    {
      "epoch": 1.9583333333333335,
      "grad_norm": 6.5659661293029785,
      "learning_rate": 7.848013650076258e-07,
      "loss": 3.2098,
      "step": 188
    },
    {
      "epoch": 1.96875,
      "grad_norm": 3.7293739318847656,
      "learning_rate": 6.597970051047053e-07,
      "loss": 3.2201,
      "step": 189
    },
    {
      "epoch": 1.9791666666666665,
      "grad_norm": 4.324611663818359,
      "learning_rate": 5.455478638911071e-07,
      "loss": 2.7098,
      "step": 190
    },
    {
      "epoch": 1.9895833333333335,
      "grad_norm": 4.685488700866699,
      "learning_rate": 4.420851759412603e-07,
      "loss": 2.5991,
      "step": 191
    },
    {
      "epoch": 2.0,
      "grad_norm": 10.377963066101074,
      "learning_rate": 3.4943722692099224e-07,
      "loss": 2.8869,
      "step": 192
    },
    {
      "epoch": 2.0104166666666665,
      "grad_norm": 2.777858257293701,
      "learning_rate": 2.676293458544743e-07,
      "loss": 3.2106,
      "step": 193
    },
    {
      "epoch": 2.0208333333333335,
      "grad_norm": 3.0696890354156494,
      "learning_rate": 1.9668389819954338e-07,
      "loss": 3.0264,
      "step": 194
    },
    {
      "epoch": 2.03125,
      "grad_norm": 3.3740200996398926,
      "learning_rate": 1.3662027973320614e-07,
      "loss": 2.821,
      "step": 195
    },
    {
      "epoch": 2.0416666666666665,
      "grad_norm": 3.355523109436035,
      "learning_rate": 8.745491124901861e-08,
      "loss": 2.7618,
      "step": 196
    },
    {
      "epoch": 2.0520833333333335,
      "grad_norm": 3.67665958404541,
      "learning_rate": 4.920123406781052e-08,
      "loss": 2.6209,
      "step": 197
    },
    {
      "epoch": 2.0625,
      "grad_norm": 3.688063621520996,
      "learning_rate": 2.1869706362958044e-08,
      "loss": 2.4983,
      "step": 198
    },
    {
      "epoch": 2.0729166666666665,
      "grad_norm": 3.78849458694458,
      "learning_rate": 5.467800301239834e-09,
      "loss": 2.4865,
      "step": 199
    },
    {
      "epoch": 2.0833333333333335,
      "grad_norm": 4.000704765319824,
      "learning_rate": 0.0,
      "loss": 2.5722,
      "step": 200
    },
    {
      "epoch": 2.0833333333333335,
      "eval_loss": 0.986004114151001,
      "eval_runtime": 12.6315,
      "eval_samples_per_second": 12.825,
      "eval_steps_per_second": 3.246,
      "step": 200
    }
  ],
  "logging_steps": 1,
  "max_steps": 200,
  "num_input_tokens_seen": 0,
  "num_train_epochs": 3,
  "save_steps": 50,
  "stateful_callbacks": {
    "EarlyStoppingCallback": {
      "args": {
        "early_stopping_patience": 4,
        "early_stopping_threshold": 0.0
      },
      "attributes": {
        "early_stopping_patience_counter": 0
      }
    },
    "TrainerControl": {
      "args": {
        "should_epoch_stop": false,
        "should_evaluate": false,
        "should_log": false,
        "should_save": true,
        "should_training_stop": true
      },
      "attributes": {}
    }
  },
  "total_flos": 2.8924047256662835e+17,
  "train_batch_size": 8,
  "trial_name": null,
  "trial_params": null
}