に対して、Instructの差分ベクトルを加算しています

mistralai/Mixtral-8x7B-Instruct-v0.1 - mistralai/Mixtral-8x7B-v0.1

継続事前学習や、事後学習で、元モデルのInstructionの一部のタスクに健忘が発生するという仮説に基づき、ベクトルを加算して戻し入れ思い出させるというアプローチをとっています

Downloads last month: 10

Safetensors

Model size

46.7B params

Tensor type

BF16

Inference Providers NEW

Text Generation

This model is not currently available via any of the supported third-party Inference Providers, and the model is not deployed on the HF Inference API.