针对工业铝材缺陷检测中由缺陷样本稀疏带来的训练过拟合、泛化性能差等问题,提出一种基于多任务深度学习的铝材缺陷检测方法。先基于Faster RCNN设计一个包含铝材区域分割、缺陷多标签分类和缺陷目标检测的多任务深度网络模型;再设计多任务损失层,利用自适应权重对各项任务进行加权平衡,解决了多项任务训练中的收敛不均衡问题。实验结果表明,在有限的数据集支持下,相较于单任务学习,该方法能够在保持分割任务的均交并比(MIoU)指标最优的情况下,分别提高多标签分类和缺陷目标检测的准确率,解决了由铝材缺陷检测样本少引起的检测精度较低的问题。对于多任务应用场景,该模型能够同时完成三个任务,减少推断时间,提高检测效率。