迁移学习 (Transfer Learning) 核心技术开发与应用
2022年数字信息化培训项目系列
各企事业单位：
《国务院关于印发新一代人工智能发展规划的通知》指出：“新一代人工智能重大科技项目，聚焦基础理论和关键共性技术的前瞻布局，包括研究大数据智能、跨媒体感知计算、混合增强智能、群体智能、自主协同控制与决策等理论，研究知识计算引擎与知识服务技术、跨媒体分析推理技术、群体智能关键技术、混合增强智能新架构与新技术、自主无人控制技术等，开源共享人工智能基础理论和共性技术。”随着人工智能的发展，越来越多的机器学习应用场景的出现，现有表现比较好的监督学习需要大量的标注数据，标注数据是一项枯燥无味且花费巨大的任务，所以迁移学习受到越来越多的关注。迁移学习专注于存储已有问题的解决模型，并将其利用在其他不同但相关问题上。比如说，用来辨识汽车的知识（或者是模型）也可以被用来提升识别卡车的能力。
为积极响应科研及工程人员的需求，根据《国务院关于推行终身职业技能培训制度的意见》提出的“紧跟新技术、新职业发展变化，建立职业分类动态调整机制，加快职业标准开发工作”要求，中国管理科学研究院现代教育研究所（http://www.zgyxdjy.com）联合北京龙腾亚太教育咨询有限公司特举办“迁移学习(Transfer Learning)核心技术开发与应用研修班”。
时间安排: 2022年08月19日 — 2022年08月22日 线上直播
（19日下发上课所需材料，20日-22日上课）
培训目标
1.深入了解神经网络的组成、训练和实现，掌握深度空间特征分布等关键概念；
2.掌握迁移学习的思想与基本形式，了解传统迁移学习的基本方法，对比各种方法的优缺点；
3.握深度迁移学习的思想与组成模块，学习深度迁移学习的各种方法；
4.掌握深度迁移学习的网络结构设计、目标函数设计的前沿方法，了解迁移学习在PDA、Source-Free DA上的应用；
5.掌握深度迁移学习在语义分割、目标检测、行人重识别等任务中的应用，学习图像/视频风格迁移方法，了解风格迁移在实际生活中的应用；
6.掌握小样本学习、Transformer等前沿方法和基本思想，了解小样本学习、Transformer等在实际场景下的应用；
7.通过实操掌握图片视频风格迁移，自动驾驶中的跨域语义分割，目标检测。
培训专家
来自中国科学院计算技术研究所、清华大学、北京理工大学等科研机构和大学的高级专家，拥有丰富的科研及工程技术经验，长期从事深度学习、迁移学习、计算机视觉等领域的教学与研究工作。
参会对象
各省市、自治区从事人工智能、机器学习、深度学习、迁移学习、计算机视觉、自然语言处理、语音识别、图像处理、小样本分析等领域相关的企事业单位技术骨干、科研院所研究人员和大专院校相关专业教学人员及在校研究生等相关人员，以及深度迁移学习广大爱好者。
课程安排
时间安排
大 纲
具体内容
第一天
9:00-12:00
14:00-17:00
一、机器学习简介与经典机器学习算法介绍
1.什么是机器学习？
2.机器学习框架与基本组成
3.机器学习的训练步骤
4.机器学习问题的分类
5.经典机器学习算法介绍
章节目标：机器学习是人工智能的重要技术之一，详细了解机器学习的原理、机制和方法，为学习深度学习与迁移学习打下坚实的基础。
二、深度学习简介与经典网络结构介绍
1.神经网络简介
2.神经网络组件简介
3.神经网络训练方法
4.卷积神经网络介绍
5.经典网络结构介绍
章节目标：深入了解神经网络的组成、训练和实现，掌握深度空间特征分布等关键概念，为深度迁移学习奠定知识基础。
三、迁移学习基础
1.迁移学习绪论
2.基于样本的迁移学习
3.基于特征的迁移学习
4.基于分类器适配的迁移学习
章节目标：掌握迁移学习的思想与基本形式，了解传统迁移学习的基本方法，对比各种方法的优缺点，掌握迁移学习的适用范围。
四、深度迁移学习介绍
1.深度迁移学习概述
2.基于距离函数的深度迁移学习
3.基于对抗网络的深度迁移学习
4.深度异构迁移学习方法介绍
5.深度领域泛化学习介绍
章节目标：掌握深度迁移学习的思想与组成模块，学习深度迁移学习的各种方法，对比各种方法的优缺点，掌握深度迁移学习的适用范围。
第二天
9:00-12:00
14:00-17:00
五、迁移学习前沿方法介绍
1.深度迁移网络结构设计
2.深度迁移学习目标函数设计
3.全新场景下的迁移学习
章节目标：掌握深度迁移学习的网络结构设计、目标函数设计的前沿方法，了解迁移学习在PDA、Source-Free DA上的应用。
六、迁移学习前沿应用
1.迁移学习在语义分割中的应用
2.迁移学习在目标检测中的应用
3.迁移学习在行人重识别中的应用
4.图片与视频风格迁移
章节目标：掌握深度迁移学习在语义分割、目标检测、行人重识别等任务中的应用，学习图像/视频风格迁移方法，了解风格迁移在实际生活中的应用。
七、小样本学习、Transformer等前沿方法与应用
1.小样本学习概念与基本方法介绍
2.小样本学习应用
3.Transformer概念与基本方法介绍
4.Transformer在图像领域的应用
章节目标：掌握小样本学习、Transformer等前沿方法和基本思想，了解小样本学习、Transformer等在实际场景下的应用。
第三天
9:00-12:00
14:00-17:00
八、实验实操之实操环境搭建
- 硬件准备：GPU显存11GB以上
- 软件准备：Linux操作系统（Ubuntu16.04以上），显卡驱动安装（512.54），CUDA Toolkit（10.1）和cuDNN加速库（7.6.4），VS Code编辑器安装，Jupyter Notebook
- 编程语言和框架：Python3.8.5、torch==1..07、torchvision==0.8.2、mmcv-full==1.3.7、opencv-python==4.4.0、matplotlib==3.4.2、numpy==1.19.2、Pillow==8.3.1、scikit-learn==1.0.2
- 数据集准备：Office-31、IRVI、GTA5、Cityscapes、Foggy cityscapes等
注：硬件准备由主办方提供云服务器
九、实验实操之深度迁移学习实践
1.掌握PyTorch中的基本原理和编程思想。
2.理解在一个新的场景或数据集下，何时以及如何进行迁移学习。
3.利用PyTorch加载数据、搭建模型、训练网络以及进行网络微调操作。
4.给定迁移场景，利用daib库和生成对抗技术独立完成图像分类中的领域适配。
5.迁移效果的可视化，利用机器学习库scikit-learn中的t-SNE对迁移过后的高维数据进行可视化。
十、实验实操之图片与视频风格迁移实践
1.掌握基于生成对抗网络的风格迁移技术。
2.图像/视频风格迁移网络的搭建，重点掌握编码器和解码器的内在逻辑和不同损失函数的运用。
3.实践红外视频转换到可见光视频的风格迁移。
十一、实验实操之自动驾驶中的跨域语义分割实践
1.掌握语义分割发展现状及代表性工作，如FCN，DeepLab系列等。
2.了解常用的语义分割评价指标（PA、mPA、mIoU、FWIoU）和常见数据集（PASCAL VOC2012，ADE20K、BDD100K、Cityscapes、GTA5、Dark Zurich）。
3.语义分割工具箱MMSegmentaion的认识和使用。
4.设计一个分割模型能够从仿真环境中得到的数据迁移到真实场景下产生的数据。
十二、实验实操之目标检测实践
1.掌握目标检测算法的基本框架以及目标检测中的经典模型，如R-CNN系列的两阶段检测模型和YOLO系列的单阶段检测模型。
2.掌握目标检测模型的评测指标（IOU和mAP）、标准评测数据集（Pascal VOC，MS COCO和Cityscapes）以及检测模型中的一些训练技巧，如数据增强、多尺度训练/测试、预测框微调/投票法、在线难例挖掘、软化非极大抑制、RoI对齐和集成。
3.实践基于Transformer的端到端目标检测框架的搭建，并在新的数据集上与基于CNN的网络进行迁移性能的对比。
V ：l95lllzzl5z
关注“人工智能技术与咨询”，了解更多资讯！
