{
  "best_metric": null,
  "best_model_checkpoint": null,
  "epoch": 0.6826666666666666,
  "eval_steps": 500,
  "global_step": 80,
  "is_hyper_param_search": false,
  "is_local_process_zero": true,
  "is_world_process_zero": true,
  "log_history": [
    {
      "epoch": 0.008533333333333334,
      "grad_norm": 250.03163081148352,
      "learning_rate": 0.0,
      "loss": 9.7972,
      "step": 1
    },
    {
      "epoch": 0.017066666666666667,
      "grad_norm": 248.51781720582932,
      "learning_rate": 3.010299956639811e-07,
      "loss": 9.6851,
      "step": 2
    },
    {
      "epoch": 0.0256,
      "grad_norm": 242.7004728698525,
      "learning_rate": 4.771212547196623e-07,
      "loss": 9.7332,
      "step": 3
    },
    {
      "epoch": 0.034133333333333335,
      "grad_norm": 244.87426620614914,
      "learning_rate": 6.020599913279622e-07,
      "loss": 9.6243,
      "step": 4
    },
    {
      "epoch": 0.042666666666666665,
      "grad_norm": 243.51473421797294,
      "learning_rate": 6.989700043360186e-07,
      "loss": 9.6145,
      "step": 5
    },
    {
      "epoch": 0.0512,
      "grad_norm": 237.0939456470789,
      "learning_rate": 7.781512503836435e-07,
      "loss": 9.5558,
      "step": 6
    },
    {
      "epoch": 0.05973333333333333,
      "grad_norm": 246.42426416396174,
      "learning_rate": 8.450980400142567e-07,
      "loss": 9.5691,
      "step": 7
    },
    {
      "epoch": 0.06826666666666667,
      "grad_norm": 234.25935480253506,
      "learning_rate": 9.030899869919433e-07,
      "loss": 9.4209,
      "step": 8
    },
    {
      "epoch": 0.0768,
      "grad_norm": 239.2983885236171,
      "learning_rate": 9.542425094393247e-07,
      "loss": 9.4733,
      "step": 9
    },
    {
      "epoch": 0.08533333333333333,
      "grad_norm": 236.6105466399374,
      "learning_rate": 9.999999999999997e-07,
      "loss": 9.5095,
      "step": 10
    },
    {
      "epoch": 0.09386666666666667,
      "grad_norm": 231.46864663491684,
      "learning_rate": 1.0413926851582248e-06,
      "loss": 9.1118,
      "step": 11
    },
    {
      "epoch": 0.1024,
      "grad_norm": 231.50741585044312,
      "learning_rate": 1.0791812460476246e-06,
      "loss": 9.0775,
      "step": 12
    },
    {
      "epoch": 0.11093333333333333,
      "grad_norm": 232.88580221859812,
      "learning_rate": 1.1139433523068364e-06,
      "loss": 8.7966,
      "step": 13
    },
    {
      "epoch": 0.11946666666666667,
      "grad_norm": 227.17208510290166,
      "learning_rate": 1.1461280356782378e-06,
      "loss": 8.6432,
      "step": 14
    },
    {
      "epoch": 0.128,
      "grad_norm": 222.61277865106936,
      "learning_rate": 1.176091259055681e-06,
      "loss": 8.6176,
      "step": 15
    },
    {
      "epoch": 0.13653333333333334,
      "grad_norm": 216.5108794899231,
      "learning_rate": 1.2041199826559244e-06,
      "loss": 8.1218,
      "step": 16
    },
    {
      "epoch": 0.14506666666666668,
      "grad_norm": 219.20955299667028,
      "learning_rate": 1.230448921378274e-06,
      "loss": 8.0343,
      "step": 17
    },
    {
      "epoch": 0.1536,
      "grad_norm": 199.72085988949678,
      "learning_rate": 1.2552725051033058e-06,
      "loss": 7.964,
      "step": 18
    },
    {
      "epoch": 0.16213333333333332,
      "grad_norm": 200.24268479147997,
      "learning_rate": 1.2787536009528286e-06,
      "loss": 7.647,
      "step": 19
    },
    {
      "epoch": 0.17066666666666666,
      "grad_norm": 186.85104361496084,
      "learning_rate": 1.301029995663981e-06,
      "loss": 7.3774,
      "step": 20
    },
    {
      "epoch": 0.1792,
      "grad_norm": 182.71120056663193,
      "learning_rate": 1.322219294733919e-06,
      "loss": 7.1637,
      "step": 21
    },
    {
      "epoch": 0.18773333333333334,
      "grad_norm": 182.76003520668846,
      "learning_rate": 1.3424226808222062e-06,
      "loss": 7.012,
      "step": 22
    },
    {
      "epoch": 0.19626666666666667,
      "grad_norm": 168.48191088919606,
      "learning_rate": 1.3617278360175927e-06,
      "loss": 6.6768,
      "step": 23
    },
    {
      "epoch": 0.2048,
      "grad_norm": 156.229917459413,
      "learning_rate": 1.3802112417116059e-06,
      "loss": 6.7099,
      "step": 24
    },
    {
      "epoch": 0.21333333333333335,
      "grad_norm": 154.37179905588326,
      "learning_rate": 1.3979400086720373e-06,
      "loss": 6.4922,
      "step": 25
    },
    {
      "epoch": 0.22186666666666666,
      "grad_norm": 143.71528792851163,
      "learning_rate": 1.4149733479708177e-06,
      "loss": 6.1601,
      "step": 26
    },
    {
      "epoch": 0.2304,
      "grad_norm": 146.34965888668822,
      "learning_rate": 1.431363764158987e-06,
      "loss": 5.8541,
      "step": 27
    },
    {
      "epoch": 0.23893333333333333,
      "grad_norm": 121.92596290244133,
      "learning_rate": 1.4471580313422189e-06,
      "loss": 5.4416,
      "step": 28
    },
    {
      "epoch": 0.24746666666666667,
      "grad_norm": 120.75132633847133,
      "learning_rate": 1.4623979978989559e-06,
      "loss": 5.1664,
      "step": 29
    },
    {
      "epoch": 0.256,
      "grad_norm": 127.72268390687302,
      "learning_rate": 1.477121254719662e-06,
      "loss": 4.9839,
      "step": 30
    },
    {
      "epoch": 0.26453333333333334,
      "grad_norm": 101.32005196251875,
      "learning_rate": 1.4913616938342723e-06,
      "loss": 5.1121,
      "step": 31
    },
    {
      "epoch": 0.2730666666666667,
      "grad_norm": 90.5009306970445,
      "learning_rate": 1.5051499783199057e-06,
      "loss": 4.3866,
      "step": 32
    },
    {
      "epoch": 0.2816,
      "grad_norm": 84.35234360166734,
      "learning_rate": 1.5185139398778872e-06,
      "loss": 4.4437,
      "step": 33
    },
    {
      "epoch": 0.29013333333333335,
      "grad_norm": 75.2060158778455,
      "learning_rate": 1.5314789170422548e-06,
      "loss": 4.3798,
      "step": 34
    },
    {
      "epoch": 0.2986666666666667,
      "grad_norm": 73.14821012527409,
      "learning_rate": 1.544068044350275e-06,
      "loss": 4.1696,
      "step": 35
    },
    {
      "epoch": 0.3072,
      "grad_norm": 65.68340407068212,
      "learning_rate": 1.556302500767287e-06,
      "loss": 3.8687,
      "step": 36
    },
    {
      "epoch": 0.3157333333333333,
      "grad_norm": 63.72172703320077,
      "learning_rate": 1.5682017240669948e-06,
      "loss": 3.9212,
      "step": 37
    },
    {
      "epoch": 0.32426666666666665,
      "grad_norm": 55.96549796875415,
      "learning_rate": 1.57978359661681e-06,
      "loss": 3.7807,
      "step": 38
    },
    {
      "epoch": 0.3328,
      "grad_norm": 50.34103179735071,
      "learning_rate": 1.5910646070264987e-06,
      "loss": 3.6901,
      "step": 39
    },
    {
      "epoch": 0.3413333333333333,
      "grad_norm": 53.230164751324274,
      "learning_rate": 1.602059991327962e-06,
      "loss": 3.6057,
      "step": 40
    },
    {
      "epoch": 0.34986666666666666,
      "grad_norm": 42.48618083004681,
      "learning_rate": 1.6127838567197353e-06,
      "loss": 3.5198,
      "step": 41
    },
    {
      "epoch": 0.3584,
      "grad_norm": 39.512047584209995,
      "learning_rate": 1.6232492903979003e-06,
      "loss": 3.4435,
      "step": 42
    },
    {
      "epoch": 0.36693333333333333,
      "grad_norm": 37.88712129419359,
      "learning_rate": 1.633468455579586e-06,
      "loss": 3.2061,
      "step": 43
    },
    {
      "epoch": 0.37546666666666667,
      "grad_norm": 35.24892126286012,
      "learning_rate": 1.643452676486187e-06,
      "loss": 3.2579,
      "step": 44
    },
    {
      "epoch": 0.384,
      "grad_norm": 33.04491165858123,
      "learning_rate": 1.6532125137753431e-06,
      "loss": 2.8525,
      "step": 45
    },
    {
      "epoch": 0.39253333333333335,
      "grad_norm": 31.165406009520897,
      "learning_rate": 1.6627578316815738e-06,
      "loss": 3.1049,
      "step": 46
    },
    {
      "epoch": 0.4010666666666667,
      "grad_norm": 28.391582735290466,
      "learning_rate": 1.672097857935717e-06,
      "loss": 2.6253,
      "step": 47
    },
    {
      "epoch": 0.4096,
      "grad_norm": 25.829470766134442,
      "learning_rate": 1.6812412373755868e-06,
      "loss": 2.9859,
      "step": 48
    },
    {
      "epoch": 0.41813333333333336,
      "grad_norm": 24.083581978153447,
      "learning_rate": 1.6901960800285134e-06,
      "loss": 2.6692,
      "step": 49
    },
    {
      "epoch": 0.4266666666666667,
      "grad_norm": 22.867521136957954,
      "learning_rate": 1.6989700043360184e-06,
      "loss": 2.8821,
      "step": 50
    },
    {
      "epoch": 0.4352,
      "grad_norm": 19.900767003905905,
      "learning_rate": 1.707570176097936e-06,
      "loss": 2.4392,
      "step": 51
    },
    {
      "epoch": 0.4437333333333333,
      "grad_norm": 18.380866742540494,
      "learning_rate": 1.716003343634799e-06,
      "loss": 2.6001,
      "step": 52
    },
    {
      "epoch": 0.45226666666666665,
      "grad_norm": 18.893434932402364,
      "learning_rate": 1.7242758696007888e-06,
      "loss": 2.4671,
      "step": 53
    },
    {
      "epoch": 0.4608,
      "grad_norm": 17.676419618997368,
      "learning_rate": 1.7323937598229684e-06,
      "loss": 2.6264,
      "step": 54
    },
    {
      "epoch": 0.4693333333333333,
      "grad_norm": 16.505413670063586,
      "learning_rate": 1.7403626894942437e-06,
      "loss": 2.5316,
      "step": 55
    },
    {
      "epoch": 0.47786666666666666,
      "grad_norm": 16.56193892770173,
      "learning_rate": 1.7481880270062002e-06,
      "loss": 2.4163,
      "step": 56
    },
    {
      "epoch": 0.4864,
      "grad_norm": 14.824844560242497,
      "learning_rate": 1.7558748556724912e-06,
      "loss": 2.2749,
      "step": 57
    },
    {
      "epoch": 0.49493333333333334,
      "grad_norm": 16.122860315584806,
      "learning_rate": 1.7634279935629368e-06,
      "loss": 2.3755,
      "step": 58
    },
    {
      "epoch": 0.5034666666666666,
      "grad_norm": 14.99798519590293,
      "learning_rate": 1.7708520116421439e-06,
      "loss": 2.2518,
      "step": 59
    },
    {
      "epoch": 0.512,
      "grad_norm": 14.833498207347544,
      "learning_rate": 1.7781512503836432e-06,
      "loss": 2.2296,
      "step": 60
    },
    {
      "epoch": 0.5205333333333333,
      "grad_norm": 14.084920820041408,
      "learning_rate": 1.7853298350107666e-06,
      "loss": 1.9893,
      "step": 61
    },
    {
      "epoch": 0.5290666666666667,
      "grad_norm": 14.495022149491797,
      "learning_rate": 1.7923916894982536e-06,
      "loss": 1.9802,
      "step": 62
    },
    {
      "epoch": 0.5376,
      "grad_norm": 15.49634090425538,
      "learning_rate": 1.7993405494535814e-06,
      "loss": 1.8676,
      "step": 63
    },
    {
      "epoch": 0.5461333333333334,
      "grad_norm": 16.434037108501176,
      "learning_rate": 1.8061799739838866e-06,
      "loss": 1.9443,
      "step": 64
    },
    {
      "epoch": 0.5546666666666666,
      "grad_norm": 17.17498656692979,
      "learning_rate": 1.8129133566428552e-06,
      "loss": 1.9935,
      "step": 65
    },
    {
      "epoch": 0.5632,
      "grad_norm": 18.914832117241684,
      "learning_rate": 1.8195439355418683e-06,
      "loss": 1.8664,
      "step": 66
    },
    {
      "epoch": 0.5717333333333333,
      "grad_norm": 18.78089008208585,
      "learning_rate": 1.826074802700826e-06,
      "loss": 1.7597,
      "step": 67
    },
    {
      "epoch": 0.5802666666666667,
      "grad_norm": 18.908370877942197,
      "learning_rate": 1.8325089127062361e-06,
      "loss": 1.5813,
      "step": 68
    },
    {
      "epoch": 0.5888,
      "grad_norm": 22.558658346768986,
      "learning_rate": 1.8388490907372552e-06,
      "loss": 1.598,
      "step": 69
    },
    {
      "epoch": 0.5973333333333334,
      "grad_norm": 25.269744707032434,
      "learning_rate": 1.8450980400142566e-06,
      "loss": 1.642,
      "step": 70
    },
    {
      "epoch": 0.6058666666666667,
      "grad_norm": 29.404854136304497,
      "learning_rate": 1.851258348719075e-06,
      "loss": 1.5158,
      "step": 71
    },
    {
      "epoch": 0.6144,
      "grad_norm": 28.123079361503738,
      "learning_rate": 1.857332496431268e-06,
      "loss": 1.316,
      "step": 72
    },
    {
      "epoch": 0.6229333333333333,
      "grad_norm": 33.051693280540675,
      "learning_rate": 1.8633228601204554e-06,
      "loss": 1.329,
      "step": 73
    },
    {
      "epoch": 0.6314666666666666,
      "grad_norm": 34.63716787552787,
      "learning_rate": 1.8692317197309759e-06,
      "loss": 1.2845,
      "step": 74
    },
    {
      "epoch": 0.64,
      "grad_norm": 39.96989376051133,
      "learning_rate": 1.8750612633916996e-06,
      "loss": 1.3346,
      "step": 75
    },
    {
      "epoch": 0.6485333333333333,
      "grad_norm": 33.72574540792705,
      "learning_rate": 1.880813592280791e-06,
      "loss": 1.1742,
      "step": 76
    },
    {
      "epoch": 0.6570666666666667,
      "grad_norm": 26.56407853765471,
      "learning_rate": 1.8864907251724815e-06,
      "loss": 1.0382,
      "step": 77
    },
    {
      "epoch": 0.6656,
      "grad_norm": 17.783020253212666,
      "learning_rate": 1.89209460269048e-06,
      "loss": 1.0619,
      "step": 78
    },
    {
      "epoch": 0.6741333333333334,
      "grad_norm": 12.089890448213527,
      "learning_rate": 1.897627091290441e-06,
      "loss": 1.0258,
      "step": 79
    },
    {
      "epoch": 0.6826666666666666,
      "grad_norm": 20.871344149138956,
      "learning_rate": 1.903089986991943e-06,
      "loss": 1.1339,
      "step": 80
    }
  ],
  "logging_steps": 1,
  "max_steps": 201,
  "num_input_tokens_seen": 0,
  "num_train_epochs": 2,
  "save_steps": 20,
  "stateful_callbacks": {
    "TrainerControl": {
      "args": {
        "should_epoch_stop": false,
        "should_evaluate": false,
        "should_log": false,
        "should_save": true,
        "should_training_stop": false
      },
      "attributes": {}
    }
  },
  "total_flos": 1.2550457004465848e+18,
  "train_batch_size": 16,
  "trial_name": null,
  "trial_params": null
}