{
  "best_metric": null,
  "best_model_checkpoint": null,
  "epoch": 0.3413333333333333,
  "eval_steps": 500,
  "global_step": 40,
  "is_hyper_param_search": false,
  "is_local_process_zero": true,
  "is_world_process_zero": true,
  "log_history": [
    {
      "epoch": 0.008533333333333334,
      "grad_norm": 250.03163081148352,
      "learning_rate": 0.0,
      "loss": 9.7972,
      "step": 1
    },
    {
      "epoch": 0.017066666666666667,
      "grad_norm": 248.51781720582932,
      "learning_rate": 3.010299956639811e-07,
      "loss": 9.6851,
      "step": 2
    },
    {
      "epoch": 0.0256,
      "grad_norm": 242.7004728698525,
      "learning_rate": 4.771212547196623e-07,
      "loss": 9.7332,
      "step": 3
    },
    {
      "epoch": 0.034133333333333335,
      "grad_norm": 244.87426620614914,
      "learning_rate": 6.020599913279622e-07,
      "loss": 9.6243,
      "step": 4
    },
    {
      "epoch": 0.042666666666666665,
      "grad_norm": 243.51473421797294,
      "learning_rate": 6.989700043360186e-07,
      "loss": 9.6145,
      "step": 5
    },
    {
      "epoch": 0.0512,
      "grad_norm": 237.0939456470789,
      "learning_rate": 7.781512503836435e-07,
      "loss": 9.5558,
      "step": 6
    },
    {
      "epoch": 0.05973333333333333,
      "grad_norm": 246.42426416396174,
      "learning_rate": 8.450980400142567e-07,
      "loss": 9.5691,
      "step": 7
    },
    {
      "epoch": 0.06826666666666667,
      "grad_norm": 234.25935480253506,
      "learning_rate": 9.030899869919433e-07,
      "loss": 9.4209,
      "step": 8
    },
    {
      "epoch": 0.0768,
      "grad_norm": 239.2983885236171,
      "learning_rate": 9.542425094393247e-07,
      "loss": 9.4733,
      "step": 9
    },
    {
      "epoch": 0.08533333333333333,
      "grad_norm": 236.6105466399374,
      "learning_rate": 9.999999999999997e-07,
      "loss": 9.5095,
      "step": 10
    },
    {
      "epoch": 0.09386666666666667,
      "grad_norm": 231.46864663491684,
      "learning_rate": 1.0413926851582248e-06,
      "loss": 9.1118,
      "step": 11
    },
    {
      "epoch": 0.1024,
      "grad_norm": 231.50741585044312,
      "learning_rate": 1.0791812460476246e-06,
      "loss": 9.0775,
      "step": 12
    },
    {
      "epoch": 0.11093333333333333,
      "grad_norm": 232.88580221859812,
      "learning_rate": 1.1139433523068364e-06,
      "loss": 8.7966,
      "step": 13
    },
    {
      "epoch": 0.11946666666666667,
      "grad_norm": 227.17208510290166,
      "learning_rate": 1.1461280356782378e-06,
      "loss": 8.6432,
      "step": 14
    },
    {
      "epoch": 0.128,
      "grad_norm": 222.61277865106936,
      "learning_rate": 1.176091259055681e-06,
      "loss": 8.6176,
      "step": 15
    },
    {
      "epoch": 0.13653333333333334,
      "grad_norm": 216.5108794899231,
      "learning_rate": 1.2041199826559244e-06,
      "loss": 8.1218,
      "step": 16
    },
    {
      "epoch": 0.14506666666666668,
      "grad_norm": 219.20955299667028,
      "learning_rate": 1.230448921378274e-06,
      "loss": 8.0343,
      "step": 17
    },
    {
      "epoch": 0.1536,
      "grad_norm": 199.72085988949678,
      "learning_rate": 1.2552725051033058e-06,
      "loss": 7.964,
      "step": 18
    },
    {
      "epoch": 0.16213333333333332,
      "grad_norm": 200.24268479147997,
      "learning_rate": 1.2787536009528286e-06,
      "loss": 7.647,
      "step": 19
    },
    {
      "epoch": 0.17066666666666666,
      "grad_norm": 186.85104361496084,
      "learning_rate": 1.301029995663981e-06,
      "loss": 7.3774,
      "step": 20
    },
    {
      "epoch": 0.1792,
      "grad_norm": 182.71120056663193,
      "learning_rate": 1.322219294733919e-06,
      "loss": 7.1637,
      "step": 21
    },
    {
      "epoch": 0.18773333333333334,
      "grad_norm": 182.76003520668846,
      "learning_rate": 1.3424226808222062e-06,
      "loss": 7.012,
      "step": 22
    },
    {
      "epoch": 0.19626666666666667,
      "grad_norm": 168.48191088919606,
      "learning_rate": 1.3617278360175927e-06,
      "loss": 6.6768,
      "step": 23
    },
    {
      "epoch": 0.2048,
      "grad_norm": 156.229917459413,
      "learning_rate": 1.3802112417116059e-06,
      "loss": 6.7099,
      "step": 24
    },
    {
      "epoch": 0.21333333333333335,
      "grad_norm": 154.37179905588326,
      "learning_rate": 1.3979400086720373e-06,
      "loss": 6.4922,
      "step": 25
    },
    {
      "epoch": 0.22186666666666666,
      "grad_norm": 143.71528792851163,
      "learning_rate": 1.4149733479708177e-06,
      "loss": 6.1601,
      "step": 26
    },
    {
      "epoch": 0.2304,
      "grad_norm": 146.34965888668822,
      "learning_rate": 1.431363764158987e-06,
      "loss": 5.8541,
      "step": 27
    },
    {
      "epoch": 0.23893333333333333,
      "grad_norm": 121.92596290244133,
      "learning_rate": 1.4471580313422189e-06,
      "loss": 5.4416,
      "step": 28
    },
    {
      "epoch": 0.24746666666666667,
      "grad_norm": 120.75132633847133,
      "learning_rate": 1.4623979978989559e-06,
      "loss": 5.1664,
      "step": 29
    },
    {
      "epoch": 0.256,
      "grad_norm": 127.72268390687302,
      "learning_rate": 1.477121254719662e-06,
      "loss": 4.9839,
      "step": 30
    },
    {
      "epoch": 0.26453333333333334,
      "grad_norm": 101.32005196251875,
      "learning_rate": 1.4913616938342723e-06,
      "loss": 5.1121,
      "step": 31
    },
    {
      "epoch": 0.2730666666666667,
      "grad_norm": 90.5009306970445,
      "learning_rate": 1.5051499783199057e-06,
      "loss": 4.3866,
      "step": 32
    },
    {
      "epoch": 0.2816,
      "grad_norm": 84.35234360166734,
      "learning_rate": 1.5185139398778872e-06,
      "loss": 4.4437,
      "step": 33
    },
    {
      "epoch": 0.29013333333333335,
      "grad_norm": 75.2060158778455,
      "learning_rate": 1.5314789170422548e-06,
      "loss": 4.3798,
      "step": 34
    },
    {
      "epoch": 0.2986666666666667,
      "grad_norm": 73.14821012527409,
      "learning_rate": 1.544068044350275e-06,
      "loss": 4.1696,
      "step": 35
    },
    {
      "epoch": 0.3072,
      "grad_norm": 65.68340407068212,
      "learning_rate": 1.556302500767287e-06,
      "loss": 3.8687,
      "step": 36
    },
    {
      "epoch": 0.3157333333333333,
      "grad_norm": 63.72172703320077,
      "learning_rate": 1.5682017240669948e-06,
      "loss": 3.9212,
      "step": 37
    },
    {
      "epoch": 0.32426666666666665,
      "grad_norm": 55.96549796875415,
      "learning_rate": 1.57978359661681e-06,
      "loss": 3.7807,
      "step": 38
    },
    {
      "epoch": 0.3328,
      "grad_norm": 50.34103179735071,
      "learning_rate": 1.5910646070264987e-06,
      "loss": 3.6901,
      "step": 39
    },
    {
      "epoch": 0.3413333333333333,
      "grad_norm": 53.230164751324274,
      "learning_rate": 1.602059991327962e-06,
      "loss": 3.6057,
      "step": 40
    }
  ],
  "logging_steps": 1,
  "max_steps": 201,
  "num_input_tokens_seen": 0,
  "num_train_epochs": 2,
  "save_steps": 20,
  "stateful_callbacks": {
    "TrainerControl": {
      "args": {
        "should_epoch_stop": false,
        "should_evaluate": false,
        "should_log": false,
        "should_save": true,
        "should_training_stop": false
      },
      "attributes": {}
    }
  },
  "total_flos": 6.308393837039452e+17,
  "train_batch_size": 16,
  "trial_name": null,
  "trial_params": null
}