虽然支持32768的上下文但是为啥输入token大于4k就会报oom的错误？？？
#4
by
hellohaitao
- opened
虽然支持32768的上下文但是为啥输入token大于4k就会报oom的错误？？？
oom是显存爆了吧，不是模型oom
虽然支持32768的上下文但是为啥输入token大于4k就会报oom的错误？？？
你显存爆了。
jklj077
changed discussion status to
closed