2024年12月25日,信创软件小组在7711实验室开展项目进展讨论与总结会,沈来信教授主持,李毅副教授参加,软件工程、烹饪、人工智能和环境设计等专业,共12名学生参加。
图1 项目会现场讨论
项目讨论事项如下:
1、目标检测项目:Yolo环境部署;CUDA与CUDNN版本问题,虚拟环境使用,Python版本使用,数据标注labelimg使用,食物图像数据标注库等:
图2 虚拟环境的构建
2、电力预测项目:数据的处理,日期与时间的分两列处理;LSTM模型训练,TIme-LLM的训练与预测:
图3 LSTM预测结果
3、三个大创项目讨论:智能助手、单词学习推荐、动物图像相似度搜索,重点介绍了ResNet50的特征提取、特征向量存储、余弦相似度计算等:
图4 ResNet50特征提取的示例代码
4、ResNet50模型训练:中国传统食物图片的数据集,包含了208类食物,数据集图片总量大小约20G,数量约18W,讨论了内存溢出解决方案,Batch size降为8就可以运行成功(GPU卡为3060,内存为12GB):
图5 Batch size为16时内存溢出
5、开源项目部署与预训练模型微调讨论,分别讨论了智能问答、食物分类、药材分类和图像标题生成等四个模型的部署与微调训练安排:
图6 智能问答与看图问答模型的演示图
图7 食物分类模型的演示图
图8 药材分类模型的演示图
图9 图像标题生成模型的演示图
会议总结:项目下一阶段,将在进一步采集徽州特色的图像数据后,进行精准的标注,对这几个模型,继续开展微调训练,提高识别效果。
(会议总结:沈老师)