Увеличение батча замедляет вычисление
#7
by
FDuCHeS
- opened
Здравствуйте, при попытке увеличить количество пассаджей для обработки например на RTX 4090, снижается скорость вычисления. Чем больше батч, тем медленнее в расчете на одну строку.
Например. Подаю лист с 50 строками по 1000 токенов, обработка условно занимает 10 секунд.
Подаю в цикле лист с 1 строкой на 1000 токенов, но 50 раз и это занимает 5 секунд.
Такая проблема только от 1000 токенов
Например если батч из строк на 512 токенов, то увеличение батча приводит к производительности
Это естественные ограничения модели?