whiteapple8222 commited on
Commit
4061ef4
·
verified ·
1 Parent(s): fde5735

Training in progress, step 1378, checkpoint

Browse files
last-checkpoint/adapter_model.safetensors CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:60b1dd74fd117fc8d509e7050f46290d2b1b7b47d9e914da2ac14d3acd78ec31
3
  size 109009752
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:8e594ca116971a4e4ab3a88569e01a56bcd5e81da6ac110c770d8071f9df3bd5
3
  size 109009752
last-checkpoint/optimizer.pt CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:4b5befb33cb7ac255a2ce68243cf415dc3af7a811a520fe69f8806b02e973e06
3
  size 56088788
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:fba6a3e83839be616217177d8872707bce691805eaaee12021cb863a70babc1f
3
  size 56088788
last-checkpoint/rng_state.pth CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:1852e9739be9cb496c7cbaca2e86cfb3e1b643247ce012cdfb885bdc8260d17e
3
  size 14244
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:8d065c5a8080e93829770dda5e134034bcc876ac05a53d0fe996c233149b9da3
3
  size 14244
last-checkpoint/scheduler.pt CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:60bb8e5c9690ee26e7b5df4d1e7bf9f334811f9a6c9ce09672620c06ab1c3ccd
3
  size 1064
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:c109da43816272dd893db12818af67423aca35f0abeca5da7f9166176ccc48e4
3
  size 1064
last-checkpoint/trainer_state.json CHANGED
@@ -1,9 +1,9 @@
1
  {
2
  "best_metric": null,
3
  "best_model_checkpoint": null,
4
- "epoch": 0.07346286931062018,
5
  "eval_steps": 345,
6
- "global_step": 1035,
7
  "is_hyper_param_search": false,
8
  "is_local_process_zero": true,
9
  "is_world_process_zero": true,
@@ -7284,6 +7284,2407 @@
7284
  "eval_samples_per_second": 18.874,
7285
  "eval_steps_per_second": 9.439,
7286
  "step": 1035
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
7287
  }
7288
  ],
7289
  "logging_steps": 1,
@@ -7298,12 +9699,12 @@
7298
  "should_evaluate": false,
7299
  "should_log": false,
7300
  "should_save": true,
7301
- "should_training_stop": false
7302
  },
7303
  "attributes": {}
7304
  }
7305
  },
7306
- "total_flos": 3.0209493178515456e+17,
7307
  "train_batch_size": 2,
7308
  "trial_name": null,
7309
  "trial_params": null
 
1
  {
2
  "best_metric": null,
3
  "best_model_checkpoint": null,
4
+ "epoch": 0.0978085351787774,
5
  "eval_steps": 345,
6
+ "global_step": 1378,
7
  "is_hyper_param_search": false,
8
  "is_local_process_zero": true,
9
  "is_world_process_zero": true,
 
7284
  "eval_samples_per_second": 18.874,
7285
  "eval_steps_per_second": 9.439,
7286
  "step": 1035
7287
+ },
7288
+ {
7289
+ "epoch": 0.0735338479283116,
7290
+ "grad_norm": 0.5463880896568298,
7291
+ "learning_rate": 2.9289321881345254e-05,
7292
+ "loss": 1.0284,
7293
+ "step": 1036
7294
+ },
7295
+ {
7296
+ "epoch": 0.07360482654600302,
7297
+ "grad_norm": 0.5464505553245544,
7298
+ "learning_rate": 2.9127122410354647e-05,
7299
+ "loss": 1.1125,
7300
+ "step": 1037
7301
+ },
7302
+ {
7303
+ "epoch": 0.07367580516369444,
7304
+ "grad_norm": 0.5442793965339661,
7305
+ "learning_rate": 2.89652967119336e-05,
7306
+ "loss": 1.2379,
7307
+ "step": 1038
7308
+ },
7309
+ {
7310
+ "epoch": 0.07374678378138586,
7311
+ "grad_norm": 0.5177668929100037,
7312
+ "learning_rate": 2.8803845639525728e-05,
7313
+ "loss": 0.9388,
7314
+ "step": 1039
7315
+ },
7316
+ {
7317
+ "epoch": 0.07381776239907728,
7318
+ "grad_norm": 0.4273097813129425,
7319
+ "learning_rate": 2.8642770044598966e-05,
7320
+ "loss": 0.8004,
7321
+ "step": 1040
7322
+ },
7323
+ {
7324
+ "epoch": 0.0738887410167687,
7325
+ "grad_norm": 0.8218151926994324,
7326
+ "learning_rate": 2.848207077664099e-05,
7327
+ "loss": 1.2082,
7328
+ "step": 1041
7329
+ },
7330
+ {
7331
+ "epoch": 0.07395971963446012,
7332
+ "grad_norm": 0.490460067987442,
7333
+ "learning_rate": 2.8321748683154893e-05,
7334
+ "loss": 0.8117,
7335
+ "step": 1042
7336
+ },
7337
+ {
7338
+ "epoch": 0.07403069825215154,
7339
+ "grad_norm": 0.690358579158783,
7340
+ "learning_rate": 2.8161804609654484e-05,
7341
+ "loss": 0.9035,
7342
+ "step": 1043
7343
+ },
7344
+ {
7345
+ "epoch": 0.07410167686984295,
7346
+ "grad_norm": 0.498638778924942,
7347
+ "learning_rate": 2.800223939966007e-05,
7348
+ "loss": 0.9094,
7349
+ "step": 1044
7350
+ },
7351
+ {
7352
+ "epoch": 0.07417265548753438,
7353
+ "grad_norm": 0.7770102620124817,
7354
+ "learning_rate": 2.7843053894693803e-05,
7355
+ "loss": 1.151,
7356
+ "step": 1045
7357
+ },
7358
+ {
7359
+ "epoch": 0.0742436341052258,
7360
+ "grad_norm": 0.6199392676353455,
7361
+ "learning_rate": 2.7684248934275325e-05,
7362
+ "loss": 1.1426,
7363
+ "step": 1046
7364
+ },
7365
+ {
7366
+ "epoch": 0.07431461272291721,
7367
+ "grad_norm": 0.5609120726585388,
7368
+ "learning_rate": 2.7525825355917446e-05,
7369
+ "loss": 0.9465,
7370
+ "step": 1047
7371
+ },
7372
+ {
7373
+ "epoch": 0.07438559134060864,
7374
+ "grad_norm": 0.5529163479804993,
7375
+ "learning_rate": 2.73677839951215e-05,
7376
+ "loss": 0.8544,
7377
+ "step": 1048
7378
+ },
7379
+ {
7380
+ "epoch": 0.07445656995830006,
7381
+ "grad_norm": 0.4198525846004486,
7382
+ "learning_rate": 2.721012568537318e-05,
7383
+ "loss": 1.0313,
7384
+ "step": 1049
7385
+ },
7386
+ {
7387
+ "epoch": 0.07452754857599148,
7388
+ "grad_norm": 1.1126874685287476,
7389
+ "learning_rate": 2.7052851258137935e-05,
7390
+ "loss": 1.2214,
7391
+ "step": 1050
7392
+ },
7393
+ {
7394
+ "epoch": 0.0745985271936829,
7395
+ "grad_norm": 0.5191254615783691,
7396
+ "learning_rate": 2.689596154285672e-05,
7397
+ "loss": 0.7111,
7398
+ "step": 1051
7399
+ },
7400
+ {
7401
+ "epoch": 0.07466950581137433,
7402
+ "grad_norm": 0.5139110088348389,
7403
+ "learning_rate": 2.6739457366941543e-05,
7404
+ "loss": 1.0698,
7405
+ "step": 1052
7406
+ },
7407
+ {
7408
+ "epoch": 0.07474048442906574,
7409
+ "grad_norm": 0.6746183633804321,
7410
+ "learning_rate": 2.6583339555771192e-05,
7411
+ "loss": 1.1982,
7412
+ "step": 1053
7413
+ },
7414
+ {
7415
+ "epoch": 0.07481146304675716,
7416
+ "grad_norm": 0.528917133808136,
7417
+ "learning_rate": 2.6427608932686843e-05,
7418
+ "loss": 1.128,
7419
+ "step": 1054
7420
+ },
7421
+ {
7422
+ "epoch": 0.07488244166444859,
7423
+ "grad_norm": 0.49486279487609863,
7424
+ "learning_rate": 2.6272266318987603e-05,
7425
+ "loss": 0.7873,
7426
+ "step": 1055
7427
+ },
7428
+ {
7429
+ "epoch": 0.07495342028214,
7430
+ "grad_norm": 0.4257170557975769,
7431
+ "learning_rate": 2.6117312533926362e-05,
7432
+ "loss": 0.761,
7433
+ "step": 1056
7434
+ },
7435
+ {
7436
+ "epoch": 0.07502439889983142,
7437
+ "grad_norm": 0.6389133334159851,
7438
+ "learning_rate": 2.5962748394705328e-05,
7439
+ "loss": 0.8278,
7440
+ "step": 1057
7441
+ },
7442
+ {
7443
+ "epoch": 0.07509537751752285,
7444
+ "grad_norm": 0.5689634084701538,
7445
+ "learning_rate": 2.5808574716471856e-05,
7446
+ "loss": 0.9675,
7447
+ "step": 1058
7448
+ },
7449
+ {
7450
+ "epoch": 0.07516635613521426,
7451
+ "grad_norm": 0.4619472026824951,
7452
+ "learning_rate": 2.565479231231398e-05,
7453
+ "loss": 0.6782,
7454
+ "step": 1059
7455
+ },
7456
+ {
7457
+ "epoch": 0.07523733475290569,
7458
+ "grad_norm": 0.45457616448402405,
7459
+ "learning_rate": 2.55014019932563e-05,
7460
+ "loss": 0.8111,
7461
+ "step": 1060
7462
+ },
7463
+ {
7464
+ "epoch": 0.07530831337059711,
7465
+ "grad_norm": 0.6634262800216675,
7466
+ "learning_rate": 2.534840456825558e-05,
7467
+ "loss": 0.8143,
7468
+ "step": 1061
7469
+ },
7470
+ {
7471
+ "epoch": 0.07537929198828852,
7472
+ "grad_norm": 0.6119337677955627,
7473
+ "learning_rate": 2.519580084419646e-05,
7474
+ "loss": 0.8083,
7475
+ "step": 1062
7476
+ },
7477
+ {
7478
+ "epoch": 0.07545027060597995,
7479
+ "grad_norm": 0.3665156960487366,
7480
+ "learning_rate": 2.5043591625887407e-05,
7481
+ "loss": 0.6853,
7482
+ "step": 1063
7483
+ },
7484
+ {
7485
+ "epoch": 0.07552124922367137,
7486
+ "grad_norm": 0.7194316983222961,
7487
+ "learning_rate": 2.4891777716056176e-05,
7488
+ "loss": 1.0921,
7489
+ "step": 1064
7490
+ },
7491
+ {
7492
+ "epoch": 0.07559222784136278,
7493
+ "grad_norm": 0.3780640661716461,
7494
+ "learning_rate": 2.4740359915345835e-05,
7495
+ "loss": 0.9959,
7496
+ "step": 1065
7497
+ },
7498
+ {
7499
+ "epoch": 0.07566320645905421,
7500
+ "grad_norm": 0.5528492331504822,
7501
+ "learning_rate": 2.4589339022310386e-05,
7502
+ "loss": 0.7746,
7503
+ "step": 1066
7504
+ },
7505
+ {
7506
+ "epoch": 0.07573418507674563,
7507
+ "grad_norm": 0.532551109790802,
7508
+ "learning_rate": 2.4438715833410595e-05,
7509
+ "loss": 1.1754,
7510
+ "step": 1067
7511
+ },
7512
+ {
7513
+ "epoch": 0.07580516369443704,
7514
+ "grad_norm": 0.4763934016227722,
7515
+ "learning_rate": 2.4288491143009795e-05,
7516
+ "loss": 0.9457,
7517
+ "step": 1068
7518
+ },
7519
+ {
7520
+ "epoch": 0.07587614231212847,
7521
+ "grad_norm": 0.4264293611049652,
7522
+ "learning_rate": 2.413866574336975e-05,
7523
+ "loss": 0.7942,
7524
+ "step": 1069
7525
+ },
7526
+ {
7527
+ "epoch": 0.0759471209298199,
7528
+ "grad_norm": 0.5233449935913086,
7529
+ "learning_rate": 2.3989240424646355e-05,
7530
+ "loss": 0.9646,
7531
+ "step": 1070
7532
+ },
7533
+ {
7534
+ "epoch": 0.0760180995475113,
7535
+ "grad_norm": 0.4843657314777374,
7536
+ "learning_rate": 2.3840215974885615e-05,
7537
+ "loss": 0.8398,
7538
+ "step": 1071
7539
+ },
7540
+ {
7541
+ "epoch": 0.07608907816520273,
7542
+ "grad_norm": 0.43439170718193054,
7543
+ "learning_rate": 2.3691593180019366e-05,
7544
+ "loss": 0.7895,
7545
+ "step": 1072
7546
+ },
7547
+ {
7548
+ "epoch": 0.07616005678289416,
7549
+ "grad_norm": 0.513238787651062,
7550
+ "learning_rate": 2.3543372823861154e-05,
7551
+ "loss": 0.9543,
7552
+ "step": 1073
7553
+ },
7554
+ {
7555
+ "epoch": 0.07623103540058557,
7556
+ "grad_norm": 0.5333254337310791,
7557
+ "learning_rate": 2.339555568810221e-05,
7558
+ "loss": 1.0294,
7559
+ "step": 1074
7560
+ },
7561
+ {
7562
+ "epoch": 0.07630201401827699,
7563
+ "grad_norm": 0.44629040360450745,
7564
+ "learning_rate": 2.324814255230714e-05,
7565
+ "loss": 0.81,
7566
+ "step": 1075
7567
+ },
7568
+ {
7569
+ "epoch": 0.07637299263596842,
7570
+ "grad_norm": 0.5009654760360718,
7571
+ "learning_rate": 2.3101134193910024e-05,
7572
+ "loss": 0.95,
7573
+ "step": 1076
7574
+ },
7575
+ {
7576
+ "epoch": 0.07644397125365983,
7577
+ "grad_norm": 0.45047643780708313,
7578
+ "learning_rate": 2.295453138821013e-05,
7579
+ "loss": 0.904,
7580
+ "step": 1077
7581
+ },
7582
+ {
7583
+ "epoch": 0.07651494987135125,
7584
+ "grad_norm": 0.7342311143875122,
7585
+ "learning_rate": 2.2808334908367914e-05,
7586
+ "loss": 1.3786,
7587
+ "step": 1078
7588
+ },
7589
+ {
7590
+ "epoch": 0.07658592848904268,
7591
+ "grad_norm": 0.42931681871414185,
7592
+ "learning_rate": 2.266254552540097e-05,
7593
+ "loss": 1.0701,
7594
+ "step": 1079
7595
+ },
7596
+ {
7597
+ "epoch": 0.07665690710673409,
7598
+ "grad_norm": 0.49413037300109863,
7599
+ "learning_rate": 2.2517164008179882e-05,
7600
+ "loss": 1.0956,
7601
+ "step": 1080
7602
+ },
7603
+ {
7604
+ "epoch": 0.07672788572442552,
7605
+ "grad_norm": 0.3613120913505554,
7606
+ "learning_rate": 2.237219112342426e-05,
7607
+ "loss": 0.5434,
7608
+ "step": 1081
7609
+ },
7610
+ {
7611
+ "epoch": 0.07679886434211694,
7612
+ "grad_norm": 0.4425318241119385,
7613
+ "learning_rate": 2.222762763569862e-05,
7614
+ "loss": 0.9588,
7615
+ "step": 1082
7616
+ },
7617
+ {
7618
+ "epoch": 0.07686984295980835,
7619
+ "grad_norm": 0.5189344882965088,
7620
+ "learning_rate": 2.208347430740837e-05,
7621
+ "loss": 0.8712,
7622
+ "step": 1083
7623
+ },
7624
+ {
7625
+ "epoch": 0.07694082157749978,
7626
+ "grad_norm": 0.5996214747428894,
7627
+ "learning_rate": 2.1939731898795802e-05,
7628
+ "loss": 0.99,
7629
+ "step": 1084
7630
+ },
7631
+ {
7632
+ "epoch": 0.0770118001951912,
7633
+ "grad_norm": 0.6045960783958435,
7634
+ "learning_rate": 2.1796401167936143e-05,
7635
+ "loss": 1.0449,
7636
+ "step": 1085
7637
+ },
7638
+ {
7639
+ "epoch": 0.07708277881288261,
7640
+ "grad_norm": 0.5072668790817261,
7641
+ "learning_rate": 2.165348287073339e-05,
7642
+ "loss": 1.1151,
7643
+ "step": 1086
7644
+ },
7645
+ {
7646
+ "epoch": 0.07715375743057404,
7647
+ "grad_norm": 0.7324336767196655,
7648
+ "learning_rate": 2.151097776091654e-05,
7649
+ "loss": 1.2269,
7650
+ "step": 1087
7651
+ },
7652
+ {
7653
+ "epoch": 0.07722473604826546,
7654
+ "grad_norm": 0.5092812180519104,
7655
+ "learning_rate": 2.1368886590035443e-05,
7656
+ "loss": 0.8989,
7657
+ "step": 1088
7658
+ },
7659
+ {
7660
+ "epoch": 0.07729571466595687,
7661
+ "grad_norm": 0.42177918553352356,
7662
+ "learning_rate": 2.1227210107456852e-05,
7663
+ "loss": 0.9729,
7664
+ "step": 1089
7665
+ },
7666
+ {
7667
+ "epoch": 0.0773666932836483,
7668
+ "grad_norm": 0.38119325041770935,
7669
+ "learning_rate": 2.1085949060360654e-05,
7670
+ "loss": 0.9433,
7671
+ "step": 1090
7672
+ },
7673
+ {
7674
+ "epoch": 0.07743767190133972,
7675
+ "grad_norm": 0.35730451345443726,
7676
+ "learning_rate": 2.0945104193735644e-05,
7677
+ "loss": 0.5919,
7678
+ "step": 1091
7679
+ },
7680
+ {
7681
+ "epoch": 0.07750865051903114,
7682
+ "grad_norm": 0.4657171964645386,
7683
+ "learning_rate": 2.0804676250375867e-05,
7684
+ "loss": 0.8516,
7685
+ "step": 1092
7686
+ },
7687
+ {
7688
+ "epoch": 0.07757962913672256,
7689
+ "grad_norm": 0.42287111282348633,
7690
+ "learning_rate": 2.0664665970876496e-05,
7691
+ "loss": 0.7939,
7692
+ "step": 1093
7693
+ },
7694
+ {
7695
+ "epoch": 0.07765060775441399,
7696
+ "grad_norm": 0.4931599795818329,
7697
+ "learning_rate": 2.0525074093630036e-05,
7698
+ "loss": 0.7928,
7699
+ "step": 1094
7700
+ },
7701
+ {
7702
+ "epoch": 0.0777215863721054,
7703
+ "grad_norm": 0.4923013746738434,
7704
+ "learning_rate": 2.0385901354822434e-05,
7705
+ "loss": 1.3041,
7706
+ "step": 1095
7707
+ },
7708
+ {
7709
+ "epoch": 0.07779256498979682,
7710
+ "grad_norm": 0.5996274948120117,
7711
+ "learning_rate": 2.02471484884291e-05,
7712
+ "loss": 0.981,
7713
+ "step": 1096
7714
+ },
7715
+ {
7716
+ "epoch": 0.07786354360748825,
7717
+ "grad_norm": 0.429426908493042,
7718
+ "learning_rate": 2.01088162262112e-05,
7719
+ "loss": 0.7224,
7720
+ "step": 1097
7721
+ },
7722
+ {
7723
+ "epoch": 0.07793452222517966,
7724
+ "grad_norm": 0.617928147315979,
7725
+ "learning_rate": 1.9970905297711606e-05,
7726
+ "loss": 0.909,
7727
+ "step": 1098
7728
+ },
7729
+ {
7730
+ "epoch": 0.07800550084287108,
7731
+ "grad_norm": 0.5632895231246948,
7732
+ "learning_rate": 1.9833416430251174e-05,
7733
+ "loss": 0.9735,
7734
+ "step": 1099
7735
+ },
7736
+ {
7737
+ "epoch": 0.07807647946056251,
7738
+ "grad_norm": 0.4692310690879822,
7739
+ "learning_rate": 1.969635034892485e-05,
7740
+ "loss": 1.0158,
7741
+ "step": 1100
7742
+ },
7743
+ {
7744
+ "epoch": 0.07814745807825392,
7745
+ "grad_norm": 0.39456284046173096,
7746
+ "learning_rate": 1.9559707776597957e-05,
7747
+ "loss": 0.8835,
7748
+ "step": 1101
7749
+ },
7750
+ {
7751
+ "epoch": 0.07821843669594535,
7752
+ "grad_norm": 0.6546867489814758,
7753
+ "learning_rate": 1.9423489433902186e-05,
7754
+ "loss": 1.0172,
7755
+ "step": 1102
7756
+ },
7757
+ {
7758
+ "epoch": 0.07828941531363677,
7759
+ "grad_norm": 0.778107225894928,
7760
+ "learning_rate": 1.9287696039232005e-05,
7761
+ "loss": 1.5264,
7762
+ "step": 1103
7763
+ },
7764
+ {
7765
+ "epoch": 0.07836039393132818,
7766
+ "grad_norm": 0.3635626435279846,
7767
+ "learning_rate": 1.9152328308740707e-05,
7768
+ "loss": 0.6865,
7769
+ "step": 1104
7770
+ },
7771
+ {
7772
+ "epoch": 0.0784313725490196,
7773
+ "grad_norm": 0.6078665256500244,
7774
+ "learning_rate": 1.901738695633669e-05,
7775
+ "loss": 1.0725,
7776
+ "step": 1105
7777
+ },
7778
+ {
7779
+ "epoch": 0.07850235116671103,
7780
+ "grad_norm": 0.45997220277786255,
7781
+ "learning_rate": 1.888287269367979e-05,
7782
+ "loss": 0.7352,
7783
+ "step": 1106
7784
+ },
7785
+ {
7786
+ "epoch": 0.07857332978440244,
7787
+ "grad_norm": 0.3929154574871063,
7788
+ "learning_rate": 1.8748786230177294e-05,
7789
+ "loss": 0.7464,
7790
+ "step": 1107
7791
+ },
7792
+ {
7793
+ "epoch": 0.07864430840209387,
7794
+ "grad_norm": 0.48282280564308167,
7795
+ "learning_rate": 1.861512827298051e-05,
7796
+ "loss": 0.7389,
7797
+ "step": 1108
7798
+ },
7799
+ {
7800
+ "epoch": 0.0787152870197853,
7801
+ "grad_norm": 0.5808085203170776,
7802
+ "learning_rate": 1.848189952698074e-05,
7803
+ "loss": 1.1251,
7804
+ "step": 1109
7805
+ },
7806
+ {
7807
+ "epoch": 0.0787862656374767,
7808
+ "grad_norm": 0.404216468334198,
7809
+ "learning_rate": 1.834910069480571e-05,
7810
+ "loss": 0.7776,
7811
+ "step": 1110
7812
+ },
7813
+ {
7814
+ "epoch": 0.07885724425516813,
7815
+ "grad_norm": 0.3583569824695587,
7816
+ "learning_rate": 1.8216732476815933e-05,
7817
+ "loss": 0.7038,
7818
+ "step": 1111
7819
+ },
7820
+ {
7821
+ "epoch": 0.07892822287285955,
7822
+ "grad_norm": 0.7691454291343689,
7823
+ "learning_rate": 1.808479557110081e-05,
7824
+ "loss": 1.1151,
7825
+ "step": 1112
7826
+ },
7827
+ {
7828
+ "epoch": 0.07899920149055097,
7829
+ "grad_norm": 0.42444515228271484,
7830
+ "learning_rate": 1.7953290673475197e-05,
7831
+ "loss": 0.8253,
7832
+ "step": 1113
7833
+ },
7834
+ {
7835
+ "epoch": 0.07907018010824239,
7836
+ "grad_norm": 0.3662635087966919,
7837
+ "learning_rate": 1.7822218477475494e-05,
7838
+ "loss": 0.8391,
7839
+ "step": 1114
7840
+ },
7841
+ {
7842
+ "epoch": 0.07914115872593382,
7843
+ "grad_norm": 0.5567343831062317,
7844
+ "learning_rate": 1.769157967435615e-05,
7845
+ "loss": 0.9544,
7846
+ "step": 1115
7847
+ },
7848
+ {
7849
+ "epoch": 0.07921213734362523,
7850
+ "grad_norm": 0.6112503409385681,
7851
+ "learning_rate": 1.756137495308594e-05,
7852
+ "loss": 1.0489,
7853
+ "step": 1116
7854
+ },
7855
+ {
7856
+ "epoch": 0.07928311596131665,
7857
+ "grad_norm": 0.4554908275604248,
7858
+ "learning_rate": 1.7431605000344432e-05,
7859
+ "loss": 0.8538,
7860
+ "step": 1117
7861
+ },
7862
+ {
7863
+ "epoch": 0.07935409457900808,
7864
+ "grad_norm": 0.4239465594291687,
7865
+ "learning_rate": 1.7302270500518182e-05,
7866
+ "loss": 0.917,
7867
+ "step": 1118
7868
+ },
7869
+ {
7870
+ "epoch": 0.07942507319669949,
7871
+ "grad_norm": 0.4315805435180664,
7872
+ "learning_rate": 1.717337213569733e-05,
7873
+ "loss": 0.9517,
7874
+ "step": 1119
7875
+ },
7876
+ {
7877
+ "epoch": 0.07949605181439091,
7878
+ "grad_norm": 0.48045405745506287,
7879
+ "learning_rate": 1.704491058567187e-05,
7880
+ "loss": 1.022,
7881
+ "step": 1120
7882
+ },
7883
+ {
7884
+ "epoch": 0.07956703043208234,
7885
+ "grad_norm": 0.5694467425346375,
7886
+ "learning_rate": 1.6916886527928066e-05,
7887
+ "loss": 0.9376,
7888
+ "step": 1121
7889
+ },
7890
+ {
7891
+ "epoch": 0.07963800904977375,
7892
+ "grad_norm": 0.6039645075798035,
7893
+ "learning_rate": 1.6789300637645e-05,
7894
+ "loss": 1.1573,
7895
+ "step": 1122
7896
+ },
7897
+ {
7898
+ "epoch": 0.07970898766746518,
7899
+ "grad_norm": 0.5177348852157593,
7900
+ "learning_rate": 1.666215358769084e-05,
7901
+ "loss": 1.0799,
7902
+ "step": 1123
7903
+ },
7904
+ {
7905
+ "epoch": 0.0797799662851566,
7906
+ "grad_norm": 0.3842318058013916,
7907
+ "learning_rate": 1.653544604861945e-05,
7908
+ "loss": 0.8841,
7909
+ "step": 1124
7910
+ },
7911
+ {
7912
+ "epoch": 0.07985094490284801,
7913
+ "grad_norm": 0.57900071144104,
7914
+ "learning_rate": 1.6409178688666726e-05,
7915
+ "loss": 1.0456,
7916
+ "step": 1125
7917
+ },
7918
+ {
7919
+ "epoch": 0.07992192352053944,
7920
+ "grad_norm": 0.6663162112236023,
7921
+ "learning_rate": 1.6283352173747145e-05,
7922
+ "loss": 1.1332,
7923
+ "step": 1126
7924
+ },
7925
+ {
7926
+ "epoch": 0.07999290213823086,
7927
+ "grad_norm": 0.5811548233032227,
7928
+ "learning_rate": 1.615796716745026e-05,
7929
+ "loss": 0.9705,
7930
+ "step": 1127
7931
+ },
7932
+ {
7933
+ "epoch": 0.08006388075592227,
7934
+ "grad_norm": 0.512183666229248,
7935
+ "learning_rate": 1.6033024331037138e-05,
7936
+ "loss": 1.1737,
7937
+ "step": 1128
7938
+ },
7939
+ {
7940
+ "epoch": 0.0801348593736137,
7941
+ "grad_norm": 0.3928144872188568,
7942
+ "learning_rate": 1.5908524323436957e-05,
7943
+ "loss": 0.8263,
7944
+ "step": 1129
7945
+ },
7946
+ {
7947
+ "epoch": 0.08020583799130512,
7948
+ "grad_norm": 0.47604188323020935,
7949
+ "learning_rate": 1.578446780124344e-05,
7950
+ "loss": 0.9866,
7951
+ "step": 1130
7952
+ },
7953
+ {
7954
+ "epoch": 0.08027681660899653,
7955
+ "grad_norm": 0.609736979007721,
7956
+ "learning_rate": 1.566085541871145e-05,
7957
+ "loss": 0.9433,
7958
+ "step": 1131
7959
+ },
7960
+ {
7961
+ "epoch": 0.08034779522668796,
7962
+ "grad_norm": 0.4574166238307953,
7963
+ "learning_rate": 1.553768782775351e-05,
7964
+ "loss": 0.9907,
7965
+ "step": 1132
7966
+ },
7967
+ {
7968
+ "epoch": 0.08041877384437938,
7969
+ "grad_norm": 0.4988664388656616,
7970
+ "learning_rate": 1.5414965677936445e-05,
7971
+ "loss": 0.7608,
7972
+ "step": 1133
7973
+ },
7974
+ {
7975
+ "epoch": 0.0804897524620708,
7976
+ "grad_norm": 0.7940763235092163,
7977
+ "learning_rate": 1.5292689616477806e-05,
7978
+ "loss": 1.2404,
7979
+ "step": 1134
7980
+ },
7981
+ {
7982
+ "epoch": 0.08056073107976222,
7983
+ "grad_norm": 0.36464962363243103,
7984
+ "learning_rate": 1.5170860288242638e-05,
7985
+ "loss": 0.8057,
7986
+ "step": 1135
7987
+ },
7988
+ {
7989
+ "epoch": 0.08063170969745365,
7990
+ "grad_norm": 0.7205368876457214,
7991
+ "learning_rate": 1.5049478335739886e-05,
7992
+ "loss": 0.9051,
7993
+ "step": 1136
7994
+ },
7995
+ {
7996
+ "epoch": 0.08070268831514506,
7997
+ "grad_norm": 0.5451712012290955,
7998
+ "learning_rate": 1.4928544399119148e-05,
7999
+ "loss": 1.0423,
8000
+ "step": 1137
8001
+ },
8002
+ {
8003
+ "epoch": 0.08077366693283648,
8004
+ "grad_norm": 0.8497772812843323,
8005
+ "learning_rate": 1.4808059116167305e-05,
8006
+ "loss": 1.2004,
8007
+ "step": 1138
8008
+ },
8009
+ {
8010
+ "epoch": 0.08084464555052791,
8011
+ "grad_norm": 0.4573586881160736,
8012
+ "learning_rate": 1.4688023122305005e-05,
8013
+ "loss": 0.8203,
8014
+ "step": 1139
8015
+ },
8016
+ {
8017
+ "epoch": 0.08091562416821932,
8018
+ "grad_norm": 0.5086919665336609,
8019
+ "learning_rate": 1.4568437050583517e-05,
8020
+ "loss": 1.0065,
8021
+ "step": 1140
8022
+ },
8023
+ {
8024
+ "epoch": 0.08098660278591074,
8025
+ "grad_norm": 0.5985661745071411,
8026
+ "learning_rate": 1.4449301531681226e-05,
8027
+ "loss": 1.0,
8028
+ "step": 1141
8029
+ },
8030
+ {
8031
+ "epoch": 0.08105758140360217,
8032
+ "grad_norm": 0.5257460474967957,
8033
+ "learning_rate": 1.4330617193900364e-05,
8034
+ "loss": 1.0537,
8035
+ "step": 1142
8036
+ },
8037
+ {
8038
+ "epoch": 0.08112856002129358,
8039
+ "grad_norm": 0.5764384865760803,
8040
+ "learning_rate": 1.4212384663163791e-05,
8041
+ "loss": 1.2133,
8042
+ "step": 1143
8043
+ },
8044
+ {
8045
+ "epoch": 0.081199538638985,
8046
+ "grad_norm": 0.36415451765060425,
8047
+ "learning_rate": 1.4094604563011472e-05,
8048
+ "loss": 0.7653,
8049
+ "step": 1144
8050
+ },
8051
+ {
8052
+ "epoch": 0.08127051725667643,
8053
+ "grad_norm": 0.3863047957420349,
8054
+ "learning_rate": 1.3977277514597464e-05,
8055
+ "loss": 0.7643,
8056
+ "step": 1145
8057
+ },
8058
+ {
8059
+ "epoch": 0.08134149587436784,
8060
+ "grad_norm": 0.4379030168056488,
8061
+ "learning_rate": 1.3860404136686411e-05,
8062
+ "loss": 0.6285,
8063
+ "step": 1146
8064
+ },
8065
+ {
8066
+ "epoch": 0.08141247449205927,
8067
+ "grad_norm": 0.4873761534690857,
8068
+ "learning_rate": 1.3743985045650364e-05,
8069
+ "loss": 0.688,
8070
+ "step": 1147
8071
+ },
8072
+ {
8073
+ "epoch": 0.08148345310975069,
8074
+ "grad_norm": 0.8107748031616211,
8075
+ "learning_rate": 1.3628020855465572e-05,
8076
+ "loss": 1.2016,
8077
+ "step": 1148
8078
+ },
8079
+ {
8080
+ "epoch": 0.0815544317274421,
8081
+ "grad_norm": 0.6649096012115479,
8082
+ "learning_rate": 1.3512512177709224e-05,
8083
+ "loss": 1.1479,
8084
+ "step": 1149
8085
+ },
8086
+ {
8087
+ "epoch": 0.08162541034513353,
8088
+ "grad_norm": 0.41352081298828125,
8089
+ "learning_rate": 1.339745962155613e-05,
8090
+ "loss": 0.8386,
8091
+ "step": 1150
8092
+ },
8093
+ {
8094
+ "epoch": 0.08169638896282495,
8095
+ "grad_norm": 0.4705093502998352,
8096
+ "learning_rate": 1.3282863793775702e-05,
8097
+ "loss": 1.1097,
8098
+ "step": 1151
8099
+ },
8100
+ {
8101
+ "epoch": 0.08176736758051636,
8102
+ "grad_norm": 0.4707050919532776,
8103
+ "learning_rate": 1.3168725298728524e-05,
8104
+ "loss": 0.857,
8105
+ "step": 1152
8106
+ },
8107
+ {
8108
+ "epoch": 0.08183834619820779,
8109
+ "grad_norm": 0.4865884482860565,
8110
+ "learning_rate": 1.305504473836331e-05,
8111
+ "loss": 1.1221,
8112
+ "step": 1153
8113
+ },
8114
+ {
8115
+ "epoch": 0.08190932481589921,
8116
+ "grad_norm": 0.39382314682006836,
8117
+ "learning_rate": 1.294182271221377e-05,
8118
+ "loss": 0.5837,
8119
+ "step": 1154
8120
+ },
8121
+ {
8122
+ "epoch": 0.08198030343359063,
8123
+ "grad_norm": 0.5165771245956421,
8124
+ "learning_rate": 1.2829059817395261e-05,
8125
+ "loss": 1.2069,
8126
+ "step": 1155
8127
+ },
8128
+ {
8129
+ "epoch": 0.08205128205128205,
8130
+ "grad_norm": 0.4368021786212921,
8131
+ "learning_rate": 1.2716756648601857e-05,
8132
+ "loss": 0.8342,
8133
+ "step": 1156
8134
+ },
8135
+ {
8136
+ "epoch": 0.08212226066897348,
8137
+ "grad_norm": 0.5267868638038635,
8138
+ "learning_rate": 1.2604913798103034e-05,
8139
+ "loss": 0.9511,
8140
+ "step": 1157
8141
+ },
8142
+ {
8143
+ "epoch": 0.08219323928666489,
8144
+ "grad_norm": 0.43068644404411316,
8145
+ "learning_rate": 1.2493531855740625e-05,
8146
+ "loss": 1.0738,
8147
+ "step": 1158
8148
+ },
8149
+ {
8150
+ "epoch": 0.08226421790435631,
8151
+ "grad_norm": 0.43189457058906555,
8152
+ "learning_rate": 1.2382611408925793e-05,
8153
+ "loss": 0.7604,
8154
+ "step": 1159
8155
+ },
8156
+ {
8157
+ "epoch": 0.08233519652204774,
8158
+ "grad_norm": 0.5125055313110352,
8159
+ "learning_rate": 1.2272153042635704e-05,
8160
+ "loss": 0.7189,
8161
+ "step": 1160
8162
+ },
8163
+ {
8164
+ "epoch": 0.08240617513973915,
8165
+ "grad_norm": 0.47541847825050354,
8166
+ "learning_rate": 1.2162157339410718e-05,
8167
+ "loss": 0.9183,
8168
+ "step": 1161
8169
+ },
8170
+ {
8171
+ "epoch": 0.08247715375743057,
8172
+ "grad_norm": 0.5350788235664368,
8173
+ "learning_rate": 1.2052624879351104e-05,
8174
+ "loss": 1.1197,
8175
+ "step": 1162
8176
+ },
8177
+ {
8178
+ "epoch": 0.082548132375122,
8179
+ "grad_norm": 0.4992624521255493,
8180
+ "learning_rate": 1.1943556240114062e-05,
8181
+ "loss": 0.9298,
8182
+ "step": 1163
8183
+ },
8184
+ {
8185
+ "epoch": 0.08261911099281341,
8186
+ "grad_norm": 0.44900640845298767,
8187
+ "learning_rate": 1.183495199691068e-05,
8188
+ "loss": 0.9439,
8189
+ "step": 1164
8190
+ },
8191
+ {
8192
+ "epoch": 0.08269008961050484,
8193
+ "grad_norm": 0.4040171205997467,
8194
+ "learning_rate": 1.1726812722502945e-05,
8195
+ "loss": 0.9444,
8196
+ "step": 1165
8197
+ },
8198
+ {
8199
+ "epoch": 0.08276106822819626,
8200
+ "grad_norm": 0.3812856078147888,
8201
+ "learning_rate": 1.1619138987200562e-05,
8202
+ "loss": 0.9681,
8203
+ "step": 1166
8204
+ },
8205
+ {
8206
+ "epoch": 0.08283204684588767,
8207
+ "grad_norm": 0.4886763095855713,
8208
+ "learning_rate": 1.1511931358858185e-05,
8209
+ "loss": 0.9581,
8210
+ "step": 1167
8211
+ },
8212
+ {
8213
+ "epoch": 0.0829030254635791,
8214
+ "grad_norm": 0.5425056219100952,
8215
+ "learning_rate": 1.1405190402872202e-05,
8216
+ "loss": 0.7195,
8217
+ "step": 1168
8218
+ },
8219
+ {
8220
+ "epoch": 0.08297400408127052,
8221
+ "grad_norm": 0.48632103204727173,
8222
+ "learning_rate": 1.129891668217783e-05,
8223
+ "loss": 1.0468,
8224
+ "step": 1169
8225
+ },
8226
+ {
8227
+ "epoch": 0.08304498269896193,
8228
+ "grad_norm": 0.4761428236961365,
8229
+ "learning_rate": 1.119311075724625e-05,
8230
+ "loss": 1.111,
8231
+ "step": 1170
8232
+ },
8233
+ {
8234
+ "epoch": 0.08311596131665336,
8235
+ "grad_norm": 0.5897856950759888,
8236
+ "learning_rate": 1.1087773186081473e-05,
8237
+ "loss": 1.1972,
8238
+ "step": 1171
8239
+ },
8240
+ {
8241
+ "epoch": 0.08318693993434478,
8242
+ "grad_norm": 0.4703165590763092,
8243
+ "learning_rate": 1.0982904524217551e-05,
8244
+ "loss": 0.9719,
8245
+ "step": 1172
8246
+ },
8247
+ {
8248
+ "epoch": 0.0832579185520362,
8249
+ "grad_norm": 0.41847726702690125,
8250
+ "learning_rate": 1.0878505324715538e-05,
8251
+ "loss": 0.6459,
8252
+ "step": 1173
8253
+ },
8254
+ {
8255
+ "epoch": 0.08332889716972762,
8256
+ "grad_norm": 0.5312420129776001,
8257
+ "learning_rate": 1.0774576138160597e-05,
8258
+ "loss": 0.9006,
8259
+ "step": 1174
8260
+ },
8261
+ {
8262
+ "epoch": 0.08339987578741904,
8263
+ "grad_norm": 0.49165722727775574,
8264
+ "learning_rate": 1.067111751265919e-05,
8265
+ "loss": 0.7813,
8266
+ "step": 1175
8267
+ },
8268
+ {
8269
+ "epoch": 0.08347085440511046,
8270
+ "grad_norm": 0.4631386399269104,
8271
+ "learning_rate": 1.056812999383604e-05,
8272
+ "loss": 0.8755,
8273
+ "step": 1176
8274
+ },
8275
+ {
8276
+ "epoch": 0.08354183302280188,
8277
+ "grad_norm": 0.4755702316761017,
8278
+ "learning_rate": 1.0465614124831379e-05,
8279
+ "loss": 0.8196,
8280
+ "step": 1177
8281
+ },
8282
+ {
8283
+ "epoch": 0.0836128116404933,
8284
+ "grad_norm": 0.49447572231292725,
8285
+ "learning_rate": 1.0363570446297999e-05,
8286
+ "loss": 1.1008,
8287
+ "step": 1178
8288
+ },
8289
+ {
8290
+ "epoch": 0.08368379025818472,
8291
+ "grad_norm": 0.5133283138275146,
8292
+ "learning_rate": 1.0261999496398434e-05,
8293
+ "loss": 1.117,
8294
+ "step": 1179
8295
+ },
8296
+ {
8297
+ "epoch": 0.08375476887587614,
8298
+ "grad_norm": 1.6076154708862305,
8299
+ "learning_rate": 1.0160901810802115e-05,
8300
+ "loss": 1.458,
8301
+ "step": 1180
8302
+ },
8303
+ {
8304
+ "epoch": 0.08382574749356757,
8305
+ "grad_norm": 0.39624008536338806,
8306
+ "learning_rate": 1.0060277922682605e-05,
8307
+ "loss": 0.6493,
8308
+ "step": 1181
8309
+ },
8310
+ {
8311
+ "epoch": 0.08389672611125898,
8312
+ "grad_norm": 0.565704882144928,
8313
+ "learning_rate": 9.960128362714637e-06,
8314
+ "loss": 0.941,
8315
+ "step": 1182
8316
+ },
8317
+ {
8318
+ "epoch": 0.0839677047289504,
8319
+ "grad_norm": 0.39284053444862366,
8320
+ "learning_rate": 9.860453659071533e-06,
8321
+ "loss": 0.5983,
8322
+ "step": 1183
8323
+ },
8324
+ {
8325
+ "epoch": 0.08403868334664183,
8326
+ "grad_norm": 0.67037433385849,
8327
+ "learning_rate": 9.761254337422176e-06,
8328
+ "loss": 1.0344,
8329
+ "step": 1184
8330
+ },
8331
+ {
8332
+ "epoch": 0.08410966196433324,
8333
+ "grad_norm": 0.5679614543914795,
8334
+ "learning_rate": 9.662530920928403e-06,
8335
+ "loss": 0.9806,
8336
+ "step": 1185
8337
+ },
8338
+ {
8339
+ "epoch": 0.08418064058202467,
8340
+ "grad_norm": 0.4572247564792633,
8341
+ "learning_rate": 9.564283930242257e-06,
8342
+ "loss": 0.9108,
8343
+ "step": 1186
8344
+ },
8345
+ {
8346
+ "epoch": 0.08425161919971609,
8347
+ "grad_norm": 0.6498078107833862,
8348
+ "learning_rate": 9.466513883503091e-06,
8349
+ "loss": 1.0266,
8350
+ "step": 1187
8351
+ },
8352
+ {
8353
+ "epoch": 0.0843225978174075,
8354
+ "grad_norm": 0.4459131956100464,
8355
+ "learning_rate": 9.369221296335006e-06,
8356
+ "loss": 0.7574,
8357
+ "step": 1188
8358
+ },
8359
+ {
8360
+ "epoch": 0.08439357643509893,
8361
+ "grad_norm": 0.5533161759376526,
8362
+ "learning_rate": 9.272406681844015e-06,
8363
+ "loss": 1.1075,
8364
+ "step": 1189
8365
+ },
8366
+ {
8367
+ "epoch": 0.08446455505279035,
8368
+ "grad_norm": 0.6843585968017578,
8369
+ "learning_rate": 9.176070550615378e-06,
8370
+ "loss": 1.0174,
8371
+ "step": 1190
8372
+ },
8373
+ {
8374
+ "epoch": 0.08453553367048176,
8375
+ "grad_norm": 0.6016431450843811,
8376
+ "learning_rate": 9.080213410710913e-06,
8377
+ "loss": 0.8994,
8378
+ "step": 1191
8379
+ },
8380
+ {
8381
+ "epoch": 0.08460651228817319,
8382
+ "grad_norm": 0.4497312605381012,
8383
+ "learning_rate": 8.98483576766631e-06,
8384
+ "loss": 0.9091,
8385
+ "step": 1192
8386
+ },
8387
+ {
8388
+ "epoch": 0.08467749090586461,
8389
+ "grad_norm": 0.4260040819644928,
8390
+ "learning_rate": 8.889938124488517e-06,
8391
+ "loss": 0.686,
8392
+ "step": 1193
8393
+ },
8394
+ {
8395
+ "epoch": 0.08474846952355602,
8396
+ "grad_norm": 0.48108816146850586,
8397
+ "learning_rate": 8.795520981652961e-06,
8398
+ "loss": 0.9346,
8399
+ "step": 1194
8400
+ },
8401
+ {
8402
+ "epoch": 0.08481944814124745,
8403
+ "grad_norm": 0.45303186774253845,
8404
+ "learning_rate": 8.701584837101018e-06,
8405
+ "loss": 0.816,
8406
+ "step": 1195
8407
+ },
8408
+ {
8409
+ "epoch": 0.08489042675893888,
8410
+ "grad_norm": 0.5208687782287598,
8411
+ "learning_rate": 8.608130186237329e-06,
8412
+ "loss": 0.7334,
8413
+ "step": 1196
8414
+ },
8415
+ {
8416
+ "epoch": 0.08496140537663029,
8417
+ "grad_norm": 0.7175068855285645,
8418
+ "learning_rate": 8.515157521927286e-06,
8419
+ "loss": 1.2355,
8420
+ "step": 1197
8421
+ },
8422
+ {
8423
+ "epoch": 0.08503238399432171,
8424
+ "grad_norm": 0.5213837027549744,
8425
+ "learning_rate": 8.422667334494249e-06,
8426
+ "loss": 1.0409,
8427
+ "step": 1198
8428
+ },
8429
+ {
8430
+ "epoch": 0.08510336261201314,
8431
+ "grad_norm": 0.4475990831851959,
8432
+ "learning_rate": 8.330660111717192e-06,
8433
+ "loss": 1.0196,
8434
+ "step": 1199
8435
+ },
8436
+ {
8437
+ "epoch": 0.08517434122970455,
8438
+ "grad_norm": 0.523715615272522,
8439
+ "learning_rate": 8.239136338827903e-06,
8440
+ "loss": 0.8783,
8441
+ "step": 1200
8442
+ },
8443
+ {
8444
+ "epoch": 0.08524531984739597,
8445
+ "grad_norm": 1.0819703340530396,
8446
+ "learning_rate": 8.148096498508573e-06,
8447
+ "loss": 1.6188,
8448
+ "step": 1201
8449
+ },
8450
+ {
8451
+ "epoch": 0.0853162984650874,
8452
+ "grad_norm": 0.3292709290981293,
8453
+ "learning_rate": 8.05754107088923e-06,
8454
+ "loss": 0.5635,
8455
+ "step": 1202
8456
+ },
8457
+ {
8458
+ "epoch": 0.08538727708277881,
8459
+ "grad_norm": 0.4222264289855957,
8460
+ "learning_rate": 7.96747053354513e-06,
8461
+ "loss": 0.8573,
8462
+ "step": 1203
8463
+ },
8464
+ {
8465
+ "epoch": 0.08545825570047023,
8466
+ "grad_norm": 0.4970225691795349,
8467
+ "learning_rate": 7.877885361494353e-06,
8468
+ "loss": 0.7876,
8469
+ "step": 1204
8470
+ },
8471
+ {
8472
+ "epoch": 0.08552923431816166,
8473
+ "grad_norm": 0.5125081539154053,
8474
+ "learning_rate": 7.788786027195195e-06,
8475
+ "loss": 0.8243,
8476
+ "step": 1205
8477
+ },
8478
+ {
8479
+ "epoch": 0.08560021293585307,
8480
+ "grad_norm": 0.5454389452934265,
8481
+ "learning_rate": 7.700173000543742e-06,
8482
+ "loss": 0.8166,
8483
+ "step": 1206
8484
+ },
8485
+ {
8486
+ "epoch": 0.0856711915535445,
8487
+ "grad_norm": 0.4455251395702362,
8488
+ "learning_rate": 7.612046748871327e-06,
8489
+ "loss": 0.7249,
8490
+ "step": 1207
8491
+ },
8492
+ {
8493
+ "epoch": 0.08574217017123592,
8494
+ "grad_norm": 0.461681604385376,
8495
+ "learning_rate": 7.524407736942174e-06,
8496
+ "loss": 0.8663,
8497
+ "step": 1208
8498
+ },
8499
+ {
8500
+ "epoch": 0.08581314878892733,
8501
+ "grad_norm": 0.429550439119339,
8502
+ "learning_rate": 7.4372564269508445e-06,
8503
+ "loss": 0.9401,
8504
+ "step": 1209
8505
+ },
8506
+ {
8507
+ "epoch": 0.08588412740661876,
8508
+ "grad_norm": 0.44344857335090637,
8509
+ "learning_rate": 7.350593278519824e-06,
8510
+ "loss": 0.9269,
8511
+ "step": 1210
8512
+ },
8513
+ {
8514
+ "epoch": 0.08595510602431018,
8515
+ "grad_norm": 0.45307299494743347,
8516
+ "learning_rate": 7.264418748697144e-06,
8517
+ "loss": 0.854,
8518
+ "step": 1211
8519
+ },
8520
+ {
8521
+ "epoch": 0.0860260846420016,
8522
+ "grad_norm": 0.5577502250671387,
8523
+ "learning_rate": 7.178733291953865e-06,
8524
+ "loss": 0.8163,
8525
+ "step": 1212
8526
+ },
8527
+ {
8528
+ "epoch": 0.08609706325969302,
8529
+ "grad_norm": 0.3416275084018707,
8530
+ "learning_rate": 7.093537360181868e-06,
8531
+ "loss": 0.8937,
8532
+ "step": 1213
8533
+ },
8534
+ {
8535
+ "epoch": 0.08616804187738444,
8536
+ "grad_norm": 0.3705112338066101,
8537
+ "learning_rate": 7.00883140269123e-06,
8538
+ "loss": 0.7082,
8539
+ "step": 1214
8540
+ },
8541
+ {
8542
+ "epoch": 0.08623902049507585,
8543
+ "grad_norm": 0.5228879451751709,
8544
+ "learning_rate": 6.924615866208095e-06,
8545
+ "loss": 1.0063,
8546
+ "step": 1215
8547
+ },
8548
+ {
8549
+ "epoch": 0.08630999911276728,
8550
+ "grad_norm": 0.4439268708229065,
8551
+ "learning_rate": 6.840891194872112e-06,
8552
+ "loss": 0.9436,
8553
+ "step": 1216
8554
+ },
8555
+ {
8556
+ "epoch": 0.0863809777304587,
8557
+ "grad_norm": 0.5648981928825378,
8558
+ "learning_rate": 6.75765783023421e-06,
8559
+ "loss": 0.7849,
8560
+ "step": 1217
8561
+ },
8562
+ {
8563
+ "epoch": 0.08645195634815012,
8564
+ "grad_norm": 0.5214237570762634,
8565
+ "learning_rate": 6.674916211254289e-06,
8566
+ "loss": 0.8858,
8567
+ "step": 1218
8568
+ },
8569
+ {
8570
+ "epoch": 0.08652293496584154,
8571
+ "grad_norm": 0.5296366810798645,
8572
+ "learning_rate": 6.592666774298784e-06,
8573
+ "loss": 0.7019,
8574
+ "step": 1219
8575
+ },
8576
+ {
8577
+ "epoch": 0.08659391358353297,
8578
+ "grad_norm": 0.43214577436447144,
8579
+ "learning_rate": 6.510909953138511e-06,
8580
+ "loss": 0.6289,
8581
+ "step": 1220
8582
+ },
8583
+ {
8584
+ "epoch": 0.08666489220122438,
8585
+ "grad_norm": 0.4352208375930786,
8586
+ "learning_rate": 6.429646178946247e-06,
8587
+ "loss": 0.9008,
8588
+ "step": 1221
8589
+ },
8590
+ {
8591
+ "epoch": 0.0867358708189158,
8592
+ "grad_norm": 0.36285680532455444,
8593
+ "learning_rate": 6.3488758802945354e-06,
8594
+ "loss": 0.8594,
8595
+ "step": 1222
8596
+ },
8597
+ {
8598
+ "epoch": 0.08680684943660723,
8599
+ "grad_norm": 0.728671133518219,
8600
+ "learning_rate": 6.268599483153403e-06,
8601
+ "loss": 1.052,
8602
+ "step": 1223
8603
+ },
8604
+ {
8605
+ "epoch": 0.08687782805429864,
8606
+ "grad_norm": 0.5141593813896179,
8607
+ "learning_rate": 6.188817410888148e-06,
8608
+ "loss": 0.9049,
8609
+ "step": 1224
8610
+ },
8611
+ {
8612
+ "epoch": 0.08694880667199006,
8613
+ "grad_norm": 0.46414846181869507,
8614
+ "learning_rate": 6.109530084257042e-06,
8615
+ "loss": 1.0772,
8616
+ "step": 1225
8617
+ },
8618
+ {
8619
+ "epoch": 0.08701978528968149,
8620
+ "grad_norm": 0.46595925092697144,
8621
+ "learning_rate": 6.030737921409169e-06,
8622
+ "loss": 0.9155,
8623
+ "step": 1226
8624
+ },
8625
+ {
8626
+ "epoch": 0.0870907639073729,
8627
+ "grad_norm": 0.4655408263206482,
8628
+ "learning_rate": 5.952441337882153e-06,
8629
+ "loss": 0.9474,
8630
+ "step": 1227
8631
+ },
8632
+ {
8633
+ "epoch": 0.08716174252506433,
8634
+ "grad_norm": 0.4467454254627228,
8635
+ "learning_rate": 5.8746407466000464e-06,
8636
+ "loss": 0.7343,
8637
+ "step": 1228
8638
+ },
8639
+ {
8640
+ "epoch": 0.08723272114275575,
8641
+ "grad_norm": 0.49474817514419556,
8642
+ "learning_rate": 5.797336557871125e-06,
8643
+ "loss": 1.0227,
8644
+ "step": 1229
8645
+ },
8646
+ {
8647
+ "epoch": 0.08730369976044716,
8648
+ "grad_norm": 0.43683508038520813,
8649
+ "learning_rate": 5.720529179385659e-06,
8650
+ "loss": 0.7119,
8651
+ "step": 1230
8652
+ },
8653
+ {
8654
+ "epoch": 0.08737467837813859,
8655
+ "grad_norm": 0.47792723774909973,
8656
+ "learning_rate": 5.644219016213903e-06,
8657
+ "loss": 0.8374,
8658
+ "step": 1231
8659
+ },
8660
+ {
8661
+ "epoch": 0.08744565699583001,
8662
+ "grad_norm": 0.5540241599082947,
8663
+ "learning_rate": 5.568406470803799e-06,
8664
+ "loss": 0.9396,
8665
+ "step": 1232
8666
+ },
8667
+ {
8668
+ "epoch": 0.08751663561352142,
8669
+ "grad_norm": 0.4485909342765808,
8670
+ "learning_rate": 5.493091942978956e-06,
8671
+ "loss": 0.8863,
8672
+ "step": 1233
8673
+ },
8674
+ {
8675
+ "epoch": 0.08758761423121285,
8676
+ "grad_norm": 0.6412665843963623,
8677
+ "learning_rate": 5.418275829936537e-06,
8678
+ "loss": 0.9413,
8679
+ "step": 1234
8680
+ },
8681
+ {
8682
+ "epoch": 0.08765859284890427,
8683
+ "grad_norm": 0.46158745884895325,
8684
+ "learning_rate": 5.343958526245096e-06,
8685
+ "loss": 0.9195,
8686
+ "step": 1235
8687
+ },
8688
+ {
8689
+ "epoch": 0.08772957146659568,
8690
+ "grad_norm": 0.4636899530887604,
8691
+ "learning_rate": 5.270140423842607e-06,
8692
+ "loss": 0.7886,
8693
+ "step": 1236
8694
+ },
8695
+ {
8696
+ "epoch": 0.08780055008428711,
8697
+ "grad_norm": 0.6638062000274658,
8698
+ "learning_rate": 5.1968219120342775e-06,
8699
+ "loss": 1.1065,
8700
+ "step": 1237
8701
+ },
8702
+ {
8703
+ "epoch": 0.08787152870197854,
8704
+ "grad_norm": 0.4253000319004059,
8705
+ "learning_rate": 5.124003377490582e-06,
8706
+ "loss": 1.1271,
8707
+ "step": 1238
8708
+ },
8709
+ {
8710
+ "epoch": 0.08794250731966995,
8711
+ "grad_norm": 0.5168247222900391,
8712
+ "learning_rate": 5.0516852042451605e-06,
8713
+ "loss": 0.7275,
8714
+ "step": 1239
8715
+ },
8716
+ {
8717
+ "epoch": 0.08801348593736137,
8718
+ "grad_norm": 0.5668867230415344,
8719
+ "learning_rate": 4.979867773692881e-06,
8720
+ "loss": 0.8994,
8721
+ "step": 1240
8722
+ },
8723
+ {
8724
+ "epoch": 0.0880844645550528,
8725
+ "grad_norm": 0.5159637331962585,
8726
+ "learning_rate": 4.908551464587707e-06,
8727
+ "loss": 1.2211,
8728
+ "step": 1241
8729
+ },
8730
+ {
8731
+ "epoch": 0.08815544317274421,
8732
+ "grad_norm": 0.9431582689285278,
8733
+ "learning_rate": 4.8377366530408254e-06,
8734
+ "loss": 1.2378,
8735
+ "step": 1242
8736
+ },
8737
+ {
8738
+ "epoch": 0.08822642179043563,
8739
+ "grad_norm": 0.423022985458374,
8740
+ "learning_rate": 4.767423712518559e-06,
8741
+ "loss": 0.8821,
8742
+ "step": 1243
8743
+ },
8744
+ {
8745
+ "epoch": 0.08829740040812706,
8746
+ "grad_norm": 0.5624905824661255,
8747
+ "learning_rate": 4.697613013840441e-06,
8748
+ "loss": 0.7666,
8749
+ "step": 1244
8750
+ },
8751
+ {
8752
+ "epoch": 0.08836837902581847,
8753
+ "grad_norm": 0.7056260704994202,
8754
+ "learning_rate": 4.628304925177318e-06,
8755
+ "loss": 1.6976,
8756
+ "step": 1245
8757
+ },
8758
+ {
8759
+ "epoch": 0.0884393576435099,
8760
+ "grad_norm": 0.6922840476036072,
8761
+ "learning_rate": 4.559499812049251e-06,
8762
+ "loss": 1.151,
8763
+ "step": 1246
8764
+ },
8765
+ {
8766
+ "epoch": 0.08851033626120132,
8767
+ "grad_norm": 0.5164980888366699,
8768
+ "learning_rate": 4.491198037323796e-06,
8769
+ "loss": 0.9296,
8770
+ "step": 1247
8771
+ },
8772
+ {
8773
+ "epoch": 0.08858131487889273,
8774
+ "grad_norm": 0.5316797494888306,
8775
+ "learning_rate": 4.423399961213892e-06,
8776
+ "loss": 0.8836,
8777
+ "step": 1248
8778
+ },
8779
+ {
8780
+ "epoch": 0.08865229349658416,
8781
+ "grad_norm": 0.45848792791366577,
8782
+ "learning_rate": 4.3561059412760675e-06,
8783
+ "loss": 1.0931,
8784
+ "step": 1249
8785
+ },
8786
+ {
8787
+ "epoch": 0.08872327211427558,
8788
+ "grad_norm": 0.5291265845298767,
8789
+ "learning_rate": 4.2893163324085885e-06,
8790
+ "loss": 0.9476,
8791
+ "step": 1250
8792
+ },
8793
+ {
8794
+ "epoch": 0.08879425073196699,
8795
+ "grad_norm": 0.6027399301528931,
8796
+ "learning_rate": 4.223031486849472e-06,
8797
+ "loss": 0.967,
8798
+ "step": 1251
8799
+ },
8800
+ {
8801
+ "epoch": 0.08886522934965842,
8802
+ "grad_norm": 0.8059013485908508,
8803
+ "learning_rate": 4.1572517541747294e-06,
8804
+ "loss": 1.1932,
8805
+ "step": 1252
8806
+ },
8807
+ {
8808
+ "epoch": 0.08893620796734984,
8809
+ "grad_norm": 0.4496321976184845,
8810
+ "learning_rate": 4.091977481296483e-06,
8811
+ "loss": 0.7402,
8812
+ "step": 1253
8813
+ },
8814
+ {
8815
+ "epoch": 0.08900718658504125,
8816
+ "grad_norm": 0.5405556559562683,
8817
+ "learning_rate": 4.027209012461108e-06,
8818
+ "loss": 1.0949,
8819
+ "step": 1254
8820
+ },
8821
+ {
8822
+ "epoch": 0.08907816520273268,
8823
+ "grad_norm": 0.39425739645957947,
8824
+ "learning_rate": 3.962946689247471e-06,
8825
+ "loss": 0.7058,
8826
+ "step": 1255
8827
+ },
8828
+ {
8829
+ "epoch": 0.0891491438204241,
8830
+ "grad_norm": 0.4992437958717346,
8831
+ "learning_rate": 3.899190850565115e-06,
8832
+ "loss": 0.9825,
8833
+ "step": 1256
8834
+ },
8835
+ {
8836
+ "epoch": 0.08922012243811552,
8837
+ "grad_norm": 0.31615936756134033,
8838
+ "learning_rate": 3.835941832652434e-06,
8839
+ "loss": 0.6421,
8840
+ "step": 1257
8841
+ },
8842
+ {
8843
+ "epoch": 0.08929110105580694,
8844
+ "grad_norm": 0.5412048101425171,
8845
+ "learning_rate": 3.7731999690749585e-06,
8846
+ "loss": 1.0389,
8847
+ "step": 1258
8848
+ },
8849
+ {
8850
+ "epoch": 0.08936207967349837,
8851
+ "grad_norm": 0.4242056906223297,
8852
+ "learning_rate": 3.7109655907235584e-06,
8853
+ "loss": 1.0086,
8854
+ "step": 1259
8855
+ },
8856
+ {
8857
+ "epoch": 0.08943305829118978,
8858
+ "grad_norm": 0.4553348124027252,
8859
+ "learning_rate": 3.6492390258126673e-06,
8860
+ "loss": 0.73,
8861
+ "step": 1260
8862
+ },
8863
+ {
8864
+ "epoch": 0.0895040369088812,
8865
+ "grad_norm": 0.4538853168487549,
8866
+ "learning_rate": 3.5880205998786388e-06,
8867
+ "loss": 0.8733,
8868
+ "step": 1261
8869
+ },
8870
+ {
8871
+ "epoch": 0.08957501552657263,
8872
+ "grad_norm": 0.42450854182243347,
8873
+ "learning_rate": 3.5273106357779585e-06,
8874
+ "loss": 0.8259,
8875
+ "step": 1262
8876
+ },
8877
+ {
8878
+ "epoch": 0.08964599414426404,
8879
+ "grad_norm": 0.5689201354980469,
8880
+ "learning_rate": 3.4671094536855687e-06,
8881
+ "loss": 0.9794,
8882
+ "step": 1263
8883
+ },
8884
+ {
8885
+ "epoch": 0.08971697276195546,
8886
+ "grad_norm": 0.46215319633483887,
8887
+ "learning_rate": 3.40741737109318e-06,
8888
+ "loss": 1.3214,
8889
+ "step": 1264
8890
+ },
8891
+ {
8892
+ "epoch": 0.08978795137964689,
8893
+ "grad_norm": 0.6304516196250916,
8894
+ "learning_rate": 3.3482347028075513e-06,
8895
+ "loss": 1.1341,
8896
+ "step": 1265
8897
+ },
8898
+ {
8899
+ "epoch": 0.0898589299973383,
8900
+ "grad_norm": 0.5463753938674927,
8901
+ "learning_rate": 3.2895617609489336e-06,
8902
+ "loss": 0.8568,
8903
+ "step": 1266
8904
+ },
8905
+ {
8906
+ "epoch": 0.08992990861502972,
8907
+ "grad_norm": 0.7814898490905762,
8908
+ "learning_rate": 3.231398854949297e-06,
8909
+ "loss": 1.2902,
8910
+ "step": 1267
8911
+ },
8912
+ {
8913
+ "epoch": 0.09000088723272115,
8914
+ "grad_norm": 0.395901083946228,
8915
+ "learning_rate": 3.1737462915508277e-06,
8916
+ "loss": 0.9164,
8917
+ "step": 1268
8918
+ },
8919
+ {
8920
+ "epoch": 0.09007186585041256,
8921
+ "grad_norm": 0.47108373045921326,
8922
+ "learning_rate": 3.1166043748041772e-06,
8923
+ "loss": 0.9783,
8924
+ "step": 1269
8925
+ },
8926
+ {
8927
+ "epoch": 0.09014284446810399,
8928
+ "grad_norm": 0.6641191244125366,
8929
+ "learning_rate": 3.059973406066963e-06,
8930
+ "loss": 1.2843,
8931
+ "step": 1270
8932
+ },
8933
+ {
8934
+ "epoch": 0.09021382308579541,
8935
+ "grad_norm": 0.44633758068084717,
8936
+ "learning_rate": 3.0038536840021335e-06,
8937
+ "loss": 0.8454,
8938
+ "step": 1271
8939
+ },
8940
+ {
8941
+ "epoch": 0.09028480170348682,
8942
+ "grad_norm": 0.49430206418037415,
8943
+ "learning_rate": 2.948245504576419e-06,
8944
+ "loss": 1.2095,
8945
+ "step": 1272
8946
+ },
8947
+ {
8948
+ "epoch": 0.09035578032117825,
8949
+ "grad_norm": 0.4891290068626404,
8950
+ "learning_rate": 2.893149161058717e-06,
8951
+ "loss": 0.7466,
8952
+ "step": 1273
8953
+ },
8954
+ {
8955
+ "epoch": 0.09042675893886967,
8956
+ "grad_norm": 0.48959529399871826,
8957
+ "learning_rate": 2.838564944018618e-06,
8958
+ "loss": 0.8947,
8959
+ "step": 1274
8960
+ },
8961
+ {
8962
+ "epoch": 0.09049773755656108,
8963
+ "grad_norm": 0.4747793972492218,
8964
+ "learning_rate": 2.784493141324818e-06,
8965
+ "loss": 1.1404,
8966
+ "step": 1275
8967
+ },
8968
+ {
8969
+ "epoch": 0.09056871617425251,
8970
+ "grad_norm": 0.41771140694618225,
8971
+ "learning_rate": 2.730934038143607e-06,
8972
+ "loss": 0.9322,
8973
+ "step": 1276
8974
+ },
8975
+ {
8976
+ "epoch": 0.09063969479194392,
8977
+ "grad_norm": 0.46313968300819397,
8978
+ "learning_rate": 2.677887916937416e-06,
8979
+ "loss": 0.9321,
8980
+ "step": 1277
8981
+ },
8982
+ {
8983
+ "epoch": 0.09071067340963535,
8984
+ "grad_norm": 0.6357395052909851,
8985
+ "learning_rate": 2.6253550574632303e-06,
8986
+ "loss": 1.2126,
8987
+ "step": 1278
8988
+ },
8989
+ {
8990
+ "epoch": 0.09078165202732677,
8991
+ "grad_norm": 0.48085835576057434,
8992
+ "learning_rate": 2.573335736771254e-06,
8993
+ "loss": 0.7637,
8994
+ "step": 1279
8995
+ },
8996
+ {
8997
+ "epoch": 0.09085263064501818,
8998
+ "grad_norm": 0.7907678484916687,
8999
+ "learning_rate": 2.5218302292032816e-06,
9000
+ "loss": 1.1955,
9001
+ "step": 1280
9002
+ },
9003
+ {
9004
+ "epoch": 0.0909236092627096,
9005
+ "grad_norm": 0.6866028308868408,
9006
+ "learning_rate": 2.4708388063913844e-06,
9007
+ "loss": 1.1785,
9008
+ "step": 1281
9009
+ },
9010
+ {
9011
+ "epoch": 0.09099458788040103,
9012
+ "grad_norm": 0.41570764780044556,
9013
+ "learning_rate": 2.420361737256438e-06,
9014
+ "loss": 0.94,
9015
+ "step": 1282
9016
+ },
9017
+ {
9018
+ "epoch": 0.09106556649809244,
9019
+ "grad_norm": 0.4501184821128845,
9020
+ "learning_rate": 2.3703992880066638e-06,
9021
+ "loss": 1.0563,
9022
+ "step": 1283
9023
+ },
9024
+ {
9025
+ "epoch": 0.09113654511578387,
9026
+ "grad_norm": 0.47688695788383484,
9027
+ "learning_rate": 2.3209517221362777e-06,
9028
+ "loss": 0.8763,
9029
+ "step": 1284
9030
+ },
9031
+ {
9032
+ "epoch": 0.0912075237334753,
9033
+ "grad_norm": 0.467288076877594,
9034
+ "learning_rate": 2.2720193004240774e-06,
9035
+ "loss": 0.9097,
9036
+ "step": 1285
9037
+ },
9038
+ {
9039
+ "epoch": 0.0912785023511667,
9040
+ "grad_norm": 0.4979704022407532,
9041
+ "learning_rate": 2.22360228093208e-06,
9042
+ "loss": 1.069,
9043
+ "step": 1286
9044
+ },
9045
+ {
9046
+ "epoch": 0.09134948096885813,
9047
+ "grad_norm": 0.6934332847595215,
9048
+ "learning_rate": 2.1757009190041088e-06,
9049
+ "loss": 0.8044,
9050
+ "step": 1287
9051
+ },
9052
+ {
9053
+ "epoch": 0.09142045958654955,
9054
+ "grad_norm": 1.4915975332260132,
9055
+ "learning_rate": 2.128315467264552e-06,
9056
+ "loss": 0.9586,
9057
+ "step": 1288
9058
+ },
9059
+ {
9060
+ "epoch": 0.09149143820424097,
9061
+ "grad_norm": 0.3834763765335083,
9062
+ "learning_rate": 2.08144617561693e-06,
9063
+ "loss": 0.7679,
9064
+ "step": 1289
9065
+ },
9066
+ {
9067
+ "epoch": 0.09156241682193239,
9068
+ "grad_norm": 0.36206838488578796,
9069
+ "learning_rate": 2.035093291242607e-06,
9070
+ "loss": 0.7367,
9071
+ "step": 1290
9072
+ },
9073
+ {
9074
+ "epoch": 0.09163339543962382,
9075
+ "grad_norm": 0.5193326473236084,
9076
+ "learning_rate": 1.9892570585995363e-06,
9077
+ "loss": 0.9015,
9078
+ "step": 1291
9079
+ },
9080
+ {
9081
+ "epoch": 0.09170437405731523,
9082
+ "grad_norm": 0.46295395493507385,
9083
+ "learning_rate": 1.943937719420863e-06,
9084
+ "loss": 0.8407,
9085
+ "step": 1292
9086
+ },
9087
+ {
9088
+ "epoch": 0.09177535267500665,
9089
+ "grad_norm": 0.4065030813217163,
9090
+ "learning_rate": 1.899135512713801e-06,
9091
+ "loss": 0.9282,
9092
+ "step": 1293
9093
+ },
9094
+ {
9095
+ "epoch": 0.09184633129269808,
9096
+ "grad_norm": 0.4650251865386963,
9097
+ "learning_rate": 1.8548506747582129e-06,
9098
+ "loss": 1.0284,
9099
+ "step": 1294
9100
+ },
9101
+ {
9102
+ "epoch": 0.09191730991038949,
9103
+ "grad_norm": 0.43935665488243103,
9104
+ "learning_rate": 1.8110834391054764e-06,
9105
+ "loss": 0.8786,
9106
+ "step": 1295
9107
+ },
9108
+ {
9109
+ "epoch": 0.09198828852808091,
9110
+ "grad_norm": 0.3632609248161316,
9111
+ "learning_rate": 1.7678340365772206e-06,
9112
+ "loss": 0.8486,
9113
+ "step": 1296
9114
+ },
9115
+ {
9116
+ "epoch": 0.09205926714577234,
9117
+ "grad_norm": 0.5031712055206299,
9118
+ "learning_rate": 1.725102695264058e-06,
9119
+ "loss": 0.8989,
9120
+ "step": 1297
9121
+ },
9122
+ {
9123
+ "epoch": 0.09213024576346375,
9124
+ "grad_norm": 0.5061722993850708,
9125
+ "learning_rate": 1.6828896405244988e-06,
9126
+ "loss": 0.8698,
9127
+ "step": 1298
9128
+ },
9129
+ {
9130
+ "epoch": 0.09220122438115518,
9131
+ "grad_norm": 0.6190900802612305,
9132
+ "learning_rate": 1.6411950949836164e-06,
9133
+ "loss": 1.1324,
9134
+ "step": 1299
9135
+ },
9136
+ {
9137
+ "epoch": 0.0922722029988466,
9138
+ "grad_norm": 0.4328751266002655,
9139
+ "learning_rate": 1.6000192785320057e-06,
9140
+ "loss": 0.9834,
9141
+ "step": 1300
9142
+ },
9143
+ {
9144
+ "epoch": 0.09234318161653801,
9145
+ "grad_norm": 0.45743778347969055,
9146
+ "learning_rate": 1.5593624083245162e-06,
9147
+ "loss": 0.8712,
9148
+ "step": 1301
9149
+ },
9150
+ {
9151
+ "epoch": 0.09241416023422944,
9152
+ "grad_norm": 0.4247590899467468,
9153
+ "learning_rate": 1.5192246987791981e-06,
9154
+ "loss": 0.7241,
9155
+ "step": 1302
9156
+ },
9157
+ {
9158
+ "epoch": 0.09248513885192086,
9159
+ "grad_norm": 0.5770044326782227,
9160
+ "learning_rate": 1.4796063615760913e-06,
9161
+ "loss": 0.8319,
9162
+ "step": 1303
9163
+ },
9164
+ {
9165
+ "epoch": 0.09255611746961227,
9166
+ "grad_norm": 0.4635300934314728,
9167
+ "learning_rate": 1.4405076056561828e-06,
9168
+ "loss": 1.0233,
9169
+ "step": 1304
9170
+ },
9171
+ {
9172
+ "epoch": 0.0926270960873037,
9173
+ "grad_norm": 0.42207738757133484,
9174
+ "learning_rate": 1.40192863722024e-06,
9175
+ "loss": 0.7407,
9176
+ "step": 1305
9177
+ },
9178
+ {
9179
+ "epoch": 0.09269807470499512,
9180
+ "grad_norm": 0.5023476481437683,
9181
+ "learning_rate": 1.3638696597277679e-06,
9182
+ "loss": 0.9832,
9183
+ "step": 1306
9184
+ },
9185
+ {
9186
+ "epoch": 0.09276905332268653,
9187
+ "grad_norm": 0.5583863258361816,
9188
+ "learning_rate": 1.326330873895909e-06,
9189
+ "loss": 1.1022,
9190
+ "step": 1307
9191
+ },
9192
+ {
9193
+ "epoch": 0.09284003194037796,
9194
+ "grad_norm": 0.4288213551044464,
9195
+ "learning_rate": 1.28931247769839e-06,
9196
+ "loss": 0.9897,
9197
+ "step": 1308
9198
+ },
9199
+ {
9200
+ "epoch": 0.09291101055806938,
9201
+ "grad_norm": 0.5217162370681763,
9202
+ "learning_rate": 1.2528146663645102e-06,
9203
+ "loss": 0.8312,
9204
+ "step": 1309
9205
+ },
9206
+ {
9207
+ "epoch": 0.0929819891757608,
9208
+ "grad_norm": 0.6898660063743591,
9209
+ "learning_rate": 1.216837632378065e-06,
9210
+ "loss": 1.0515,
9211
+ "step": 1310
9212
+ },
9213
+ {
9214
+ "epoch": 0.09305296779345222,
9215
+ "grad_norm": 0.48667794466018677,
9216
+ "learning_rate": 1.1813815654763472e-06,
9217
+ "loss": 0.8842,
9218
+ "step": 1311
9219
+ },
9220
+ {
9221
+ "epoch": 0.09312394641114365,
9222
+ "grad_norm": 0.4529171884059906,
9223
+ "learning_rate": 1.146446652649169e-06,
9224
+ "loss": 1.3358,
9225
+ "step": 1312
9226
+ },
9227
+ {
9228
+ "epoch": 0.09319492502883506,
9229
+ "grad_norm": 0.6250870227813721,
9230
+ "learning_rate": 1.1120330781378307e-06,
9231
+ "loss": 0.8719,
9232
+ "step": 1313
9233
+ },
9234
+ {
9235
+ "epoch": 0.09326590364652648,
9236
+ "grad_norm": 0.4203828275203705,
9237
+ "learning_rate": 1.0781410234342094e-06,
9238
+ "loss": 0.7693,
9239
+ "step": 1314
9240
+ },
9241
+ {
9242
+ "epoch": 0.09333688226421791,
9243
+ "grad_norm": 0.40615299344062805,
9244
+ "learning_rate": 1.0447706672797264e-06,
9245
+ "loss": 0.7339,
9246
+ "step": 1315
9247
+ },
9248
+ {
9249
+ "epoch": 0.09340786088190932,
9250
+ "grad_norm": 0.4049832224845886,
9251
+ "learning_rate": 1.0119221856644712e-06,
9252
+ "loss": 0.7479,
9253
+ "step": 1316
9254
+ },
9255
+ {
9256
+ "epoch": 0.09347883949960074,
9257
+ "grad_norm": 0.41221579909324646,
9258
+ "learning_rate": 9.795957518262566e-07,
9259
+ "loss": 0.713,
9260
+ "step": 1317
9261
+ },
9262
+ {
9263
+ "epoch": 0.09354981811729217,
9264
+ "grad_norm": 0.42666563391685486,
9265
+ "learning_rate": 9.477915362496758e-07,
9266
+ "loss": 1.06,
9267
+ "step": 1318
9268
+ },
9269
+ {
9270
+ "epoch": 0.09362079673498358,
9271
+ "grad_norm": 0.4528525173664093,
9272
+ "learning_rate": 9.16509706665225e-07,
9273
+ "loss": 0.7928,
9274
+ "step": 1319
9275
+ },
9276
+ {
9277
+ "epoch": 0.093691775352675,
9278
+ "grad_norm": 0.5852678418159485,
9279
+ "learning_rate": 8.857504280484375e-07,
9280
+ "loss": 0.9635,
9281
+ "step": 1320
9282
+ },
9283
+ {
9284
+ "epoch": 0.09376275397036643,
9285
+ "grad_norm": 0.47171440720558167,
9286
+ "learning_rate": 8.555138626189618e-07,
9287
+ "loss": 1.0355,
9288
+ "step": 1321
9289
+ },
9290
+ {
9291
+ "epoch": 0.09383373258805784,
9292
+ "grad_norm": 0.5309885740280151,
9293
+ "learning_rate": 8.258001698397744e-07,
9294
+ "loss": 1.0872,
9295
+ "step": 1322
9296
+ },
9297
+ {
9298
+ "epoch": 0.09390471120574927,
9299
+ "grad_norm": 0.6979671716690063,
9300
+ "learning_rate": 7.966095064162682e-07,
9301
+ "loss": 1.2462,
9302
+ "step": 1323
9303
+ },
9304
+ {
9305
+ "epoch": 0.09397568982344069,
9306
+ "grad_norm": 0.5324621796607971,
9307
+ "learning_rate": 7.679420262954984e-07,
9308
+ "loss": 0.9156,
9309
+ "step": 1324
9310
+ },
9311
+ {
9312
+ "epoch": 0.0940466684411321,
9313
+ "grad_norm": 0.42955929040908813,
9314
+ "learning_rate": 7.397978806652939e-07,
9315
+ "loss": 0.636,
9316
+ "step": 1325
9317
+ },
9318
+ {
9319
+ "epoch": 0.09411764705882353,
9320
+ "grad_norm": 0.4044051468372345,
9321
+ "learning_rate": 7.121772179535135e-07,
9322
+ "loss": 0.8698,
9323
+ "step": 1326
9324
+ },
9325
+ {
9326
+ "epoch": 0.09418862567651495,
9327
+ "grad_norm": 0.5710899829864502,
9328
+ "learning_rate": 6.850801838272691e-07,
9329
+ "loss": 1.2614,
9330
+ "step": 1327
9331
+ },
9332
+ {
9333
+ "epoch": 0.09425960429420636,
9334
+ "grad_norm": 0.5085283517837524,
9335
+ "learning_rate": 6.585069211921035e-07,
9336
+ "loss": 0.9378,
9337
+ "step": 1328
9338
+ },
9339
+ {
9340
+ "epoch": 0.09433058291189779,
9341
+ "grad_norm": 0.4785238802433014,
9342
+ "learning_rate": 6.324575701912805e-07,
9343
+ "loss": 1.1437,
9344
+ "step": 1329
9345
+ },
9346
+ {
9347
+ "epoch": 0.09440156152958921,
9348
+ "grad_norm": 0.6342504024505615,
9349
+ "learning_rate": 6.069322682050516e-07,
9350
+ "loss": 0.9806,
9351
+ "step": 1330
9352
+ },
9353
+ {
9354
+ "epoch": 0.09447254014728063,
9355
+ "grad_norm": 0.5013599395751953,
9356
+ "learning_rate": 5.819311498499013e-07,
9357
+ "loss": 1.2397,
9358
+ "step": 1331
9359
+ },
9360
+ {
9361
+ "epoch": 0.09454351876497205,
9362
+ "grad_norm": 0.36016663908958435,
9363
+ "learning_rate": 5.57454346977837e-07,
9364
+ "loss": 0.7081,
9365
+ "step": 1332
9366
+ },
9367
+ {
9368
+ "epoch": 0.09461449738266348,
9369
+ "grad_norm": 0.3618755340576172,
9370
+ "learning_rate": 5.335019886757442e-07,
9371
+ "loss": 0.7656,
9372
+ "step": 1333
9373
+ },
9374
+ {
9375
+ "epoch": 0.09468547600035489,
9376
+ "grad_norm": 0.37141433358192444,
9377
+ "learning_rate": 5.10074201264632e-07,
9378
+ "loss": 0.8844,
9379
+ "step": 1334
9380
+ },
9381
+ {
9382
+ "epoch": 0.09475645461804631,
9383
+ "grad_norm": 0.4491944909095764,
9384
+ "learning_rate": 4.871711082990227e-07,
9385
+ "loss": 0.8487,
9386
+ "step": 1335
9387
+ },
9388
+ {
9389
+ "epoch": 0.09482743323573774,
9390
+ "grad_norm": 0.4374077320098877,
9391
+ "learning_rate": 4.647928305662852e-07,
9392
+ "loss": 0.8902,
9393
+ "step": 1336
9394
+ },
9395
+ {
9396
+ "epoch": 0.09489841185342915,
9397
+ "grad_norm": 0.4476800262928009,
9398
+ "learning_rate": 4.4293948608596925e-07,
9399
+ "loss": 1.0808,
9400
+ "step": 1337
9401
+ },
9402
+ {
9403
+ "epoch": 0.09496939047112057,
9404
+ "grad_norm": 0.623502790927887,
9405
+ "learning_rate": 4.216111901092501e-07,
9406
+ "loss": 1.0005,
9407
+ "step": 1338
9408
+ },
9409
+ {
9410
+ "epoch": 0.095040369088812,
9411
+ "grad_norm": 0.4662952125072479,
9412
+ "learning_rate": 4.008080551182403e-07,
9413
+ "loss": 0.7606,
9414
+ "step": 1339
9415
+ },
9416
+ {
9417
+ "epoch": 0.09511134770650341,
9418
+ "grad_norm": 0.5216524004936218,
9419
+ "learning_rate": 3.805301908254455e-07,
9420
+ "loss": 0.9909,
9421
+ "step": 1340
9422
+ },
9423
+ {
9424
+ "epoch": 0.09518232632419484,
9425
+ "grad_norm": 0.4408697485923767,
9426
+ "learning_rate": 3.6077770417318744e-07,
9427
+ "loss": 0.7013,
9428
+ "step": 1341
9429
+ },
9430
+ {
9431
+ "epoch": 0.09525330494188626,
9432
+ "grad_norm": 0.4359828233718872,
9433
+ "learning_rate": 3.415506993330153e-07,
9434
+ "loss": 1.0082,
9435
+ "step": 1342
9436
+ },
9437
+ {
9438
+ "epoch": 0.09532428355957767,
9439
+ "grad_norm": 0.3965587019920349,
9440
+ "learning_rate": 3.228492777051728e-07,
9441
+ "loss": 1.0,
9442
+ "step": 1343
9443
+ },
9444
+ {
9445
+ "epoch": 0.0953952621772691,
9446
+ "grad_norm": 0.41036057472229004,
9447
+ "learning_rate": 3.046735379180543e-07,
9448
+ "loss": 0.8307,
9449
+ "step": 1344
9450
+ },
9451
+ {
9452
+ "epoch": 0.09546624079496052,
9453
+ "grad_norm": 0.8139565587043762,
9454
+ "learning_rate": 2.87023575827694e-07,
9455
+ "loss": 1.0802,
9456
+ "step": 1345
9457
+ },
9458
+ {
9459
+ "epoch": 0.09553721941265193,
9460
+ "grad_norm": 0.9029821753501892,
9461
+ "learning_rate": 2.6989948451726643e-07,
9462
+ "loss": 2.0635,
9463
+ "step": 1346
9464
+ },
9465
+ {
9466
+ "epoch": 0.09560819803034336,
9467
+ "grad_norm": 0.5215340852737427,
9468
+ "learning_rate": 2.5330135429656457e-07,
9469
+ "loss": 0.9462,
9470
+ "step": 1347
9471
+ },
9472
+ {
9473
+ "epoch": 0.09567917664803478,
9474
+ "grad_norm": 0.4245148003101349,
9475
+ "learning_rate": 2.372292727015557e-07,
9476
+ "loss": 0.7983,
9477
+ "step": 1348
9478
+ },
9479
+ {
9480
+ "epoch": 0.0957501552657262,
9481
+ "grad_norm": 0.4835399389266968,
9482
+ "learning_rate": 2.2168332449390427e-07,
9483
+ "loss": 1.0793,
9484
+ "step": 1349
9485
+ },
9486
+ {
9487
+ "epoch": 0.09582113388341762,
9488
+ "grad_norm": 0.5569635629653931,
9489
+ "learning_rate": 2.066635916605386e-07,
9490
+ "loss": 0.9318,
9491
+ "step": 1350
9492
+ },
9493
+ {
9494
+ "epoch": 0.09589211250110904,
9495
+ "grad_norm": 0.4609260559082031,
9496
+ "learning_rate": 1.921701534131848e-07,
9497
+ "loss": 1.0345,
9498
+ "step": 1351
9499
+ },
9500
+ {
9501
+ "epoch": 0.09596309111880046,
9502
+ "grad_norm": 0.389445424079895,
9503
+ "learning_rate": 1.782030861880113e-07,
9504
+ "loss": 0.7788,
9505
+ "step": 1352
9506
+ },
9507
+ {
9508
+ "epoch": 0.09603406973649188,
9509
+ "grad_norm": 0.3875621557235718,
9510
+ "learning_rate": 1.6476246364515169e-07,
9511
+ "loss": 0.7591,
9512
+ "step": 1353
9513
+ },
9514
+ {
9515
+ "epoch": 0.0961050483541833,
9516
+ "grad_norm": 0.5420302152633667,
9517
+ "learning_rate": 1.518483566683826e-07,
9518
+ "loss": 1.1174,
9519
+ "step": 1354
9520
+ },
9521
+ {
9522
+ "epoch": 0.09617602697187472,
9523
+ "grad_norm": 0.5549187660217285,
9524
+ "learning_rate": 1.3946083336467964e-07,
9525
+ "loss": 0.9157,
9526
+ "step": 1355
9527
+ },
9528
+ {
9529
+ "epoch": 0.09624700558956614,
9530
+ "grad_norm": 0.6199358701705933,
9531
+ "learning_rate": 1.2759995906392874e-07,
9532
+ "loss": 0.8482,
9533
+ "step": 1356
9534
+ },
9535
+ {
9536
+ "epoch": 0.09631798420725757,
9537
+ "grad_norm": 0.646535336971283,
9538
+ "learning_rate": 1.1626579631853762e-07,
9539
+ "loss": 1.086,
9540
+ "step": 1357
9541
+ },
9542
+ {
9543
+ "epoch": 0.09638896282494898,
9544
+ "grad_norm": 0.4827463924884796,
9545
+ "learning_rate": 1.0545840490313596e-07,
9546
+ "loss": 0.8859,
9547
+ "step": 1358
9548
+ },
9549
+ {
9550
+ "epoch": 0.0964599414426404,
9551
+ "grad_norm": 0.3394274413585663,
9552
+ "learning_rate": 9.517784181422019e-08,
9553
+ "loss": 0.8065,
9554
+ "step": 1359
9555
+ },
9556
+ {
9557
+ "epoch": 0.09653092006033183,
9558
+ "grad_norm": 0.5661752223968506,
9559
+ "learning_rate": 8.542416126989805e-08,
9560
+ "loss": 0.9616,
9561
+ "step": 1360
9562
+ },
9563
+ {
9564
+ "epoch": 0.09660189867802324,
9565
+ "grad_norm": 0.3854394853115082,
9566
+ "learning_rate": 7.619741470955566e-08,
9567
+ "loss": 0.7678,
9568
+ "step": 1361
9569
+ },
9570
+ {
9571
+ "epoch": 0.09667287729571467,
9572
+ "grad_norm": 0.6302008032798767,
9573
+ "learning_rate": 6.749765079363534e-08,
9574
+ "loss": 1.1516,
9575
+ "step": 1362
9576
+ },
9577
+ {
9578
+ "epoch": 0.09674385591340609,
9579
+ "grad_norm": 0.4585036635398865,
9580
+ "learning_rate": 5.9324915403324855e-08,
9581
+ "loss": 0.6375,
9582
+ "step": 1363
9583
+ },
9584
+ {
9585
+ "epoch": 0.0968148345310975,
9586
+ "grad_norm": 0.493896484375,
9587
+ "learning_rate": 5.167925164037968e-08,
9588
+ "loss": 0.7289,
9589
+ "step": 1364
9590
+ },
9591
+ {
9592
+ "epoch": 0.09688581314878893,
9593
+ "grad_norm": 0.42399123311042786,
9594
+ "learning_rate": 4.456069982684552e-08,
9595
+ "loss": 1.0201,
9596
+ "step": 1365
9597
+ },
9598
+ {
9599
+ "epoch": 0.09695679176648035,
9600
+ "grad_norm": 0.6302375793457031,
9601
+ "learning_rate": 3.796929750485845e-08,
9602
+ "loss": 1.1759,
9603
+ "step": 1366
9604
+ },
9605
+ {
9606
+ "epoch": 0.09702777038417176,
9607
+ "grad_norm": 0.4702526926994324,
9608
+ "learning_rate": 3.190507943644505e-08,
9609
+ "loss": 0.8664,
9610
+ "step": 1367
9611
+ },
9612
+ {
9613
+ "epoch": 0.09709874900186319,
9614
+ "grad_norm": 0.5638194680213928,
9615
+ "learning_rate": 2.6368077603367015e-08,
9616
+ "loss": 1.117,
9617
+ "step": 1368
9618
+ },
9619
+ {
9620
+ "epoch": 0.09716972761955461,
9621
+ "grad_norm": 0.5271203517913818,
9622
+ "learning_rate": 2.135832120689907e-08,
9623
+ "loss": 0.8312,
9624
+ "step": 1369
9625
+ },
9626
+ {
9627
+ "epoch": 0.09724070623724602,
9628
+ "grad_norm": 0.43867847323417664,
9629
+ "learning_rate": 1.687583666772907e-08,
9630
+ "loss": 0.7566,
9631
+ "step": 1370
9632
+ },
9633
+ {
9634
+ "epoch": 0.09731168485493745,
9635
+ "grad_norm": 0.45883628726005554,
9636
+ "learning_rate": 1.2920647625769277e-08,
9637
+ "loss": 0.9586,
9638
+ "step": 1371
9639
+ },
9640
+ {
9641
+ "epoch": 0.09738266347262887,
9642
+ "grad_norm": 0.542040228843689,
9643
+ "learning_rate": 9.49277494008971e-09,
9644
+ "loss": 0.9555,
9645
+ "step": 1372
9646
+ },
9647
+ {
9648
+ "epoch": 0.09745364209032029,
9649
+ "grad_norm": 0.45585867762565613,
9650
+ "learning_rate": 6.592236688762743e-09,
9651
+ "loss": 0.8365,
9652
+ "step": 1373
9653
+ },
9654
+ {
9655
+ "epoch": 0.09752462070801171,
9656
+ "grad_norm": 0.5066502094268799,
9657
+ "learning_rate": 4.219048168763174e-09,
9658
+ "loss": 0.8912,
9659
+ "step": 1374
9660
+ },
9661
+ {
9662
+ "epoch": 0.09759559932570314,
9663
+ "grad_norm": 0.38993802666664124,
9664
+ "learning_rate": 2.3732218959349185e-09,
9665
+ "loss": 0.6505,
9666
+ "step": 1375
9667
+ },
9668
+ {
9669
+ "epoch": 0.09766657794339455,
9670
+ "grad_norm": 0.6296946406364441,
9671
+ "learning_rate": 1.0547676048688892e-09,
9672
+ "loss": 0.8125,
9673
+ "step": 1376
9674
+ },
9675
+ {
9676
+ "epoch": 0.09773755656108597,
9677
+ "grad_norm": 0.6637731194496155,
9678
+ "learning_rate": 2.6369224888078693e-10,
9679
+ "loss": 0.8864,
9680
+ "step": 1377
9681
+ },
9682
+ {
9683
+ "epoch": 0.0978085351787774,
9684
+ "grad_norm": 0.5165863037109375,
9685
+ "learning_rate": 0.0,
9686
+ "loss": 1.3353,
9687
+ "step": 1378
9688
  }
9689
  ],
9690
  "logging_steps": 1,
 
9699
  "should_evaluate": false,
9700
  "should_log": false,
9701
  "should_save": true,
9702
+ "should_training_stop": true
9703
  },
9704
  "attributes": {}
9705
  }
9706
  },
9707
+ "total_flos": 4.028988515155968e+17,
9708
  "train_batch_size": 2,
9709
  "trial_name": null,
9710
  "trial_params": null