介绍
- 使用了大概几万条的数据，对falcon-7b模型做了sft，这里分享出我的模型权重
- falcon-7b是支持中文语言的。
效果
- 效果其实一般，没有bloom-7b效果好。有人甚至反映，连bloom-1b都干不过。
- 这里分享我的bloom-7b-v2模型权重https://huggingface.co/yuanzhoulvpi/chinese_bloom_7b_chat_v2
说个冷知识
- falcon-7b模型，在结构上是和bloom差不多的，但是添加了RotaryEmbedding、memorry_efficient_attention。
- 因此如果想要对falcon-7b做sft的话，可以看我之前训练bloom的代码https://github.com/yuanzhoulvpi2017/zero_nlp/tree/main/chinese_bloom
- Downloads last month
- 19
Inference Providers
NEW
This model is not currently available via any of the supported Inference Providers.
The model cannot be deployed to the HF Inference API:
The HF Inference API does not support model that require custom code execution.