“动态视觉与感知”课题组（DVS-Group）将组织第一次事件相机暑期课程，内容包括事件相机原理、数据处理以及相关基础算法的介绍；同时，我们还将简单介绍脉冲神经网络的基础知识和简单应用。课程简单有趣，主要面向本校低年级本科生和组内刚入学0年级研究生，欢迎大家报名学习。

若希望加入课程学习，请加QQ群：690959899.

时间: 2022.03.19—2022.04.23
地点: （将在QQ群内实时公布）
要求: 每堂课开课前，请按照要求配置好自己的电脑环境，如果有什么问题，可以在QQ群联系对应的老师。
内容:

初识事件相机——基于事件的视觉感知和处理

主讲人：余磊老师
时间：3月19日下午14：30-15：30

事件相机是一种新体制的成像传感器，与传统RGB图像不同，它仅感知场景的亮度变化。事件相机的输出带有时间、位置和极性的事件点集，通过事件点集动态感知场景变化，具有高速、高动态和低功耗的特性。因此，在一些高速、高动态场景中具有非常高的应用价值。

第一个动画为事件相机的原理示意（来自瑞士INI-RPG组）；第二个动画为基于事件的高速成像结果（来自ICCV2021论文）。

自2018年底，我们成立了DVS-Group研究小组，专注于事件相机的理论和应用研究，重点解决如何利用事件相机融合提升普通相机在高速、高动态等极端条件下的成像和视觉感知能力。目前，DVS-Group已经在事件相机领域累计发表了10余篇学术论文，包括1篇视觉顶会CVPR的Best Paper Candidate。

本课程将重点介绍事件相机的基础知识，着重实际操作，希望能通过这一系列的课程让低年级本科生马上就能动手用事件相机进行有趣的实验，实现自己的想法。

Enjoy the world of Events!

怎么玩——事件相机之数据采集、处理和显示

主讲人：廖伟
时间：3月19日下午15：30-18：00
准备工作：建议在Windows或Ubuntu系统下，安装Anaconda3，并创建包含numpy、opencv、dv、matplotlib以及一些其他基础库的python环境, 以及安装dv软件。

  • Python环境配置
    1. 创建dv环境
      在Windows系统中，启动Anaconda Prompt终端，或在Ubuntu系统的终端中输入以下指令 
      conda create -n dv python=3.6
    2. 激活环境
      • 对于Windows系统，在Anaconda Prompt中输入 
         conda activate dv
      • 对于Ubuntu系统，在终端中输入 
         source activate dv
    3. 安装必要的依赖包
      在激活环境后，使用pip3指令安装一些依赖包 
        pip3 install numpy opencv-python dv matplotlib

      使用conda指令安装jupyter notebook

        conda install jupyter notebook
  • DV软件安装
    • 在Windows下，通过该链接下载最新版本的dv软件并安装
    • 在Ubuntu 18.04系统中，在终端中使用以下命令进行安装 
        sudo add-apt-repository ppa:ubuntu-toolchain-r/test
  sudo add-apt-repository ppa:inivation-ppa/inivation-bionic
  sudo apt-get update
  sudo apt-get install dv-gui
    • 在Ubuntu 20.04系统中，在终端中使用以下命令进行安装 
        sudo add-apt-repository ppa:inivation-ppa/inivation
  sudo apt-get update
  sudo apt-get install dv-gui

相机校正和位姿估计

主讲人：刘健
时间：3月26日下午15：00-17：30
准备工作：建议在Windows或Ubuntu 系统下，安装Anaconda3，并创建包含numpy、opencv、matplotlib以及一些其他基础库的python环境。

  • Python环境配置
    1. 创建dv环境
      在Windows系统中，启动Anaconda Prompt终端，或在Ubuntu系统的终端中输入以下指令 
      conda create -n calibration python=3.8
    2. 激活环境
      • 对于Windows系统，在Anaconda Prompt中输入 
        conda activate calibration
    3. 安装必要的依赖包
      在激活环境后，使用pip指令安装一些依赖包 
      pip install numpy opencv-python opencv-contrib-python matplotlib

      使用conda指令安装依赖包

      conda install yaml

  • 进入jupyter notebook

    • 在Windows或者在Ubuntu下，在终端中使用以下命令进入文件夹并启动jupyter notebook 
      cd training_courses
jupyter notebook

基于事件的图像去模糊

主讲人：王碧杉
时间：4月2日下午15：00-17：30
准备工作：在windows或ubuntu系统下，安装matlab和Anaconda3。\

  • Python环境配置
    1. 创建运行eSL-Net的环境，创建名为eslnet的虚拟环境 
      conda create -n eslnet python=3.6
    2. 激活虚拟环境 
      conda activate eslnet
    3. 安装pytorch 
      pip install torch>=1.0.0 torchvision
    4. 安装依赖包 
      pip install argparse numpy opencv-python scipy

深度学习之对抗生成网络（卡通动漫头像生成）

主讲人：张驰
时间：4月9日下午15：00-17：30
准备工作：

  • Python环境配置
    1. python3-3.7，不可超过 3.7 版本
    2. tensorflow-cpu == 1.14.0
  • 安装依赖包
    1. 安装tensorflow 相关依赖包
    2. 安装SciPy 依赖包
    3. 安装pillow 依赖包 均可安装好 python 后，终端使用“pip install 包名”进行安装。

脉冲神经网络基础

主讲人：张翔
时间：4月16日下午15：00-17：30
准备工作：

  • 环境配置
    Linux系统：在windows10下安装ubuntu双系统（选择安装ubuntu16.04)，在Ubuntu16.04下安装并配置cuda10.1+cudnn。在Ubuntu系统下安装Anaconda3，然后使用anaconda来创建python独立的虚拟环境并安装Pytorch。

    创建名为py36，python版本为3.6的虚拟环境

    conda create -n py36 python=3.6

    可以在指定环境下安装jupyter notebook用于编写和运行代码

    conda install jupyter notebook

    Windows系统：在Windows系统下安装Anaconda，然后使用anaconda来创建python独立的虚拟环境并安装Pytorch，操作与Linux系统下基本一致（Linux系统下使用terminal即可，Windows下使用附带的Anaconda Prompt）。

  • 库的安装

    以下库的安装均是在py36虚拟环境下，首先激活py36虚拟环境

    conda activate py36

    以下三个软件包是Nengo的依赖包：

    安装nengo、nengo-gui和nengo-dl

    pip install nengo nengo-gui nengo-dl

相关资料

  1. DVS-Group事件相机相关论文：https://dvs-whu.cn/publications/
  2. Github汇总：https://github.com/uzh-rpg/event-based_vision_resources
  3. 相关论文列表（按年份）：https://docs.google.com/spreadsheets/d/1_OBbSz10CkxXNDHQd-Mn_ui3OmymMFvm-lW316uvxy8/edit#gid=0
  4. 相关课程：
  5. 相关研究团队：
  6. 事件相机相关公司：
  7. 类脑芯片相关公司：
  8. 事件相机专题研讨会：