add ctc

GigaAM/.gitattributes

@@ -0,0 +1,2 @@
+*.ckpt filter=lfs diff=lfs merge=lfs -text
+*.wav filter=lfs diff=lfs merge=lfs -text

GigaAM/ctc/ctc_model_config.yaml

@@ -0,0 +1,271 @@
+model_class: enc_dec_ctc_char
+sample_rate: 16000
+log_prediction: true
+ctc_reduction: mean_batch
+labels:
+- ' '
+- а
+- б
+- в
+- г
+- д
+- е
+- ж
+- з
+- и
+- й
+- к
+- л
+- м
+- н
+- о
+- п
+- р
+- с
+- т
+- у
+- ф
+- х
+- ц
+- ч
+- ш
+- щ
+- ъ
+- ы
+- ь
+- э
+- ю
+- я
+
+preprocessor:
+  _target_: __main__.AudioToMelSpectrogramPreprocessor
+  sample_rate: 16000
+  n_fft: 400
+  n_window_size: 400
+  window_size: null
+  n_window_stride: 160
+  window_stride: null
+  features: 64
+  dither: 0.0
+  preemph: null
+  log: true
+  log_zero_guard_type: clamp
+  normalize: null
+  pad_to: 0
+  mel_norm: null
+  window: hann
+  log_zero_guard_value: 1e-9
+
+train_ds:
+  batch_size: 10
+  trim_silence: false
+  max_duration: 25.0
+  min_duration: 0.1
+  shuffle: true
+  is_tarred: false
+  num_workers: 8
+  pin_memory: true
+  manifest_filepath: null
+  labels:
+  - ' '
+  - а
+  - б
+  - в
+  - г
+  - д
+  - е
+  - ж
+  - з
+  - и
+  - й
+  - к
+  - л
+  - м
+  - н
+  - о
+  - п
+  - р
+  - с
+  - т
+  - у
+  - ф
+  - х
+  - ц
+  - ч
+  - ш
+  - щ
+  - ъ
+  - ы
+  - ь
+  - э
+  - ю
+  - я
+
+validation_ds:
+  batch_size: 20
+  shuffle: false
+  num_workers: 4
+  min_duration: 0.1
+  pin_memory: true
+  manifest_filepath: null
+  labels:
+  - ' '
+  - а
+  - б
+  - в
+  - г
+  - д
+  - е
+  - ж
+  - з
+  - и
+  - й
+  - к
+  - л
+  - м
+  - н
+  - о
+  - п
+  - р
+  - с
+  - т
+  - у
+  - ф
+  - х
+  - ц
+  - ч
+  - ш
+  - щ
+  - ъ
+  - ы
+  - ь
+  - э
+  - ю
+  - я
+  
+test_ds:
+  manifest_filepath: null
+  batch_size: 100
+  shuffle: false
+  num_workers: 4
+  pin_memory: true
+  labels:
+  - ' '
+  - а
+  - б
+  - в
+  - г
+  - д
+  - е
+  - ж
+  - з
+  - и
+  - й
+  - к
+  - л
+  - м
+  - н
+  - о
+  - п
+  - р
+  - с
+  - т
+  - у
+  - ф
+  - х
+  - ц
+  - ч
+  - ш
+  - щ
+  - ъ
+  - ы
+  - ь
+  - э
+  - ю
+  - я
+spec_augment:
+  _target_: nemo.collections.asr.modules.SpectrogramAugmentation
+  freq_masks: 2
+  time_masks: 10
+  freq_width: 27
+  time_width: 0.05
+encoder:
+  _target_: nemo.collections.asr.modules.ConformerEncoder
+  feat_in: 64
+  feat_out: -1
+  n_layers: 16
+  d_model: 768
+  subsampling: striding
+  subsampling_factor: 4
+  subsampling_conv_channels: 768
+  ff_expansion_factor: 4
+  self_attention_model: rel_pos
+  pos_emb_max_len: 5000
+  n_heads: 16
+  xscaling: false
+  untie_biases: true
+  conv_kernel_size: 31
+  dropout: 0.1
+  dropout_emb: 0.1
+  dropout_att: 0.1
+decoder:
+  _target_: nemo.collections.asr.modules.ConvASRDecoder
+  feat_in: 768
+  num_classes: 33
+  vocabulary:
+  - ' '
+  - а
+  - б
+  - в
+  - г
+  - д
+  - е
+  - ж
+  - з
+  - и
+  - й
+  - к
+  - л
+  - м
+  - н
+  - о
+  - п
+  - р
+  - с
+  - т
+  - у
+  - ф
+  - х
+  - ц
+  - ч
+  - ш
+  - щ
+  - ъ
+  - ы
+  - ь
+  - э
+  - ю
+  - я
+optim:
+  name: adamw
+  lr: 5.0e-05
+  betas:
+  - 0.9
+  - 0.98
+  weight_decay: 0.01
+  sched:
+    name: CosineAnnealing
+    warmup_steps: 10000
+    warmup_ratio: null
+    min_lr: 1.0e-07
+nemo_version: 1.12.0
+decoding:
+  strategy: greedy
+  preserve_alignments: null
+  compute_timestamps: null
+  word_seperator: ' '
+  ctc_timestamp_type: all
+  batch_dim_index: 0
+  greedy:
+    preserve_alignments: false
+    compute_timestamps: false

GigaAM/ctc/ctc_model_weights.ckpt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:6813e52607414d6006ac30a392087cb8d716afce7e0319a38bcb744ba741d2dc
+size 968535213

GigaAM/example.wav

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:d8aaaa18a5098d7c6de0595ae7ac1e64cacd0d4022af3595213bdaf23be77e69
+size 361324

GigaAM/long_example.wav

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:1868ece0195dfa9fc2394be24865d1133c8452a8292a397db45ba8c3ed9e01e3
+size 2280044