周次

第五周

研究方向

大模型数据高效微调

本周完成工作

1.       智能比价，完成了所有比价反馈问题的修复，完成了通过libreoffice多sheet xls文件向csv文件的转化。

2.       完成idea的进一步改进，改进后实验效果更好。

本周

问题汇报

目前序列长度仅支持4096以下，8192会爆显存，而现有推理数据集中长度在4096以下的序列占比仅为三分之二，4096-8192之间的数据占据了其余三分之一的相当一部分，应当被纳入实验中。

下周工作计划

1.       继续进行减少算法显存开销的技术研究应用（如accelerator的cpu   offload和deepspeed技术），目前已经进行了一部分实验，但仍未完全解决问题。