Фото: Сергей Бобылев / ТАСС
int4 — 最大程度的压缩,文件大小减少约 4 倍。质量损失更明显(约 2~10%,具体取决于模型),但通常可以接受,尤其对于函数调用而言。
,更多细节参见搜狗输入法下载
特点:在 ReLU 的基础上引入概率思想,让激活与输入大小平滑相关。
Антонина Черташ
专注于提供最新行业资讯与深度分析报道
· 胡波 · 来源:class资讯
Фото: Сергей Бобылев / ТАСС
int4 — 最大程度的压缩,文件大小减少约 4 倍。质量损失更明显(约 2~10%,具体取决于模型),但通常可以接受,尤其对于函数调用而言。
,更多细节参见搜狗输入法下载
特点:在 ReLU 的基础上引入概率思想,让激活与输入大小平滑相关。
Антонина Черташ