事件相机暑期课程

“动态视觉与感知”课题组（DVS-Group）将组织第一次事件相机暑期课程，内容包括事件相机原理、数据处理以及相关基础算法的介绍；同时，我们还将简单介绍脉冲神经网络的基础知识和简单应用。课程简单有趣，主要面向本校低年级本科生和组内刚入学0年级研究生，欢迎大家报名学习。

若希望加入课程学习，请加QQ群：925361524.

时间: 2021.08.15—2021.08.17
地点: 腾讯会议
要求: 每堂课开课前，请按照要求配置好自己的电脑环境，如果有什么问题，可以在QQ群联系对应的老师。
内容:

• 初识事件相机——基于事件的视觉感知和处理
• 怎么玩——事件相机之数据采集、处理和显示
• 怎么学——面向事件相机的深度学习方法
• 怎么识别——基于事件的车牌识别
• 下一代神经网络——脉冲神经网络基础及应用
• 相关资料

初识事件相机——基于事件的视觉感知和处理

主讲人：余磊老师
时间：8月15日上午9：00-11：00

事件相机是一种新体制的成像传感器，与传统RGB图像不同，它仅感知场景的亮度变化。事件相机的输出带有时间、位置和极性的事件点集，通过事件点集动态感知场景变化，具有高速、高动态和低功耗的特性。因此，在一些高速、高动态场景中具有非常高的应用价值。

自2018年底，我们成立了DVS-Group研究小组，专注于事件相机的理论和应用研究，重点解决如何利用事件相机融合提升普通相机在高速、高动态等极端条件下的成像和视觉感知能力。目前，DVS-Group已经在事件相机领域累计发表了10余篇学术论文，包括1篇视觉顶会CVPR的Best Paper Candidate。

本课程将重点介绍事件相机的基础知识，着重实际操作，希望能通过这一系列的课程让低年级本科生马上就能动手用事件相机进行有趣的实验，实现自己的想法。

Enjoy the world of Events!

怎么玩——事件相机之数据采集、处理和显示

主讲人：廖伟
时间：8月15日下午15：00-17：00
准备工作：建议在Windows或Ubuntu系统下，安装Anaconda3，并创建包含numpy、opencv、dv、matplotlib以及一些其他基础库的python环境, 以及安装dv软件。

• Python环境配置
  1. 创建dv环境
     在Windows系统中，启动Anaconda Prompt终端，或在Ubuntu系统的终端中输入以下指令

     conda create -n dv python=3.6
     

  2. 激活环境
     • 对于Windows系统，在Anaconda Prompt中输入

        conda activate dv
       

     • 对于Ubuntu系统，在终端中输入

        source activate dv
       

  3. 安装必要的依赖包
     在激活环境后，使用pip3指令安装一些依赖包

       pip3 install numpy opencv-python dv matplotlib
     

     使用conda指令安装jupyter notebook

       conda install jupyter notebook
     

• DV软件安装
  • 在Windows下，通过该链接下载最新版本的dv软件并安装
  • 在Ubuntu16.04系统中，在终端中使用以下命令进行安装

    sudo add-apt-repository ppa:ubuntu-toolchain-r/test
    sudo add-apt-repository ppa:lkoppel/opencv
    sudo add-apt-repository ppa:janisozaur/cmake-update
    sudo add-apt-repository ppa:inivation-ppa/inivation-xenial
    sudo apt-get update
    sudo apt-get install dv-gui
    

  • 在Ubuntu18.04、20.04系统中，在终端中使用以下命令进行安装

    sudo add-apt-repository ppa:inivation-ppa/inivation
    sudo apt-get update
    sudo apt-get install dv-gui
    

怎么学——面向事件相机的深度学习方法

主讲人：程章意
时间：8月16日上午9：00-11：00
准备工作：

• 环境配置
  1. 建议在Windows或Ubuntu系统下，安装Anaconda3，并创建名为py36的python环境。

     conda create -n py36 python=3.6
     

     安装jupyter notebook用于编写和运行代码

     conda install jupyter notebook
     

  2. 配置python环境

     conda install pytorch torchvision cudatoolkit=10.0 -c pytorch
     conda install pandas
     conda install -c conda-forge opencv
     

怎么识别——基于事件的车牌识别

主讲人：卢昕老师
时间：8月16日下午15：00-17：00 准备工作：

• 新建虚拟环境，在虚拟环境下进行下述环境配置可以避免版本冲突，较为稳妥。
• 下载代码、CCPD数据和预训练模型fh02.pth：https://github.com/detectRecog/CCPD
• 安装 Cuda(release 9.1, V9.1.85）：如果CUDA的安装版本与之前安装的不同，请在网上找教程自学如何安装多CUDA版本
• 安装以下版本的深度学习框架和软件包

  pytorch 0.3.1
  numpy 1.14.3
  cv2 2.4.9.1
  

• 标注新图片车牌：

  python annotate.py -i [需要检测的图片文件夹路径] -m [模型路径***/fh02.pth]
  

• 测试模型：

  python rpnetEval.py -i [需要检测的图片文件夹路径，请将图片标注转换为CCPD数据集标注格式] -m [模型路径***/fh02.pth]
  

• 数据集下载：百度网盘，提取码：o963。

下一代神经网络——脉冲神经网络基础及应用

主讲人：张翔、周维怡
时间：8月17日上午9：00-12：00
准备工作：

• 系统安装：
  • Ubuntu16.04系统（可以在windows10下安装ubuntu双系统（选择安装ubuntu16.04)）
  • 在Ubuntu16.04下安装并配置cuda10.1+cudnn。在Ubuntu系统下安装Anaconda3，然后使用anaconda来创建python独立的虚拟环境并安装Pytorch。
    • 创建名为py36，python版本为3.6的虚拟环境

      conda create -n py36 python=3.6
      

    • 在虚拟环境py36下安装1.6.0版本的Pytorch

      conda install pytorch==1.6.0 torchvision==0.7.0 cudatoolkit=10.1 -c pytorch
      

    • 在指定环境下安装jupyter notebook用于编写和运行代码

      conda install jupyter notebook
      

  • Windows系统：在Windows系统下安装Anaconda，然后使用anaconda来创建python独立的虚拟环境并安装Pytorch，操作与Linux系统下基本一致（Linux系统下使用terminal即可，Windows下使用附带的Anaconda Prompt）。
• 库的安装：
  • 当使用conda安装的时候，可能会遇到下载过慢的问题，下载的时候可能会遇到无尽的等待。这里推荐用清华源替代默认conda源的方法，可以解决下载过慢的问题。

    conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
    conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
    conda config --set show_channel_urls yes
    

  • 添加第三方conda源：

    conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
    conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/
    conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/bioconda/
    conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/menpo/
    conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
    

  • 以下库的安装均是在py36虚拟环境下，首先激活py36虚拟环境

    conda activate py36
    

  • 安装notebook、ipywidgets、rise、torchvision、torchsummary、numpy

    pip install notebook ipywidgets rise torchvision torchsummary numpy==1.15.4
    

  • 以下三个软件包均是dynapcnn的配套软件，详细介绍见网址：安装aermanager、samna、sinabs

    pip install aermanager==0.2.0 samna sinabs 
    

  • 以下三个软件包是Nengo的依赖包：安装nengo、nengo-gui和nengo-dl

    pip install nengo nengo-gui nengo-dl
    

相关资料

1. DVS-Group事件相机相关论文：https://dvs-whu.cn/publications/
2. Github汇总：https://github.com/uzh-rpg/event-based_vision_resources
3. 相关论文列表（按年份）：https://docs.google.com/spreadsheets/d/1_OBbSz10CkxXNDHQd-Mn_ui3OmymMFvm-lW316uvxy8/edit#gid=0
4. 相关课程：
   • Event-based Robot Vision (Spring 2020) by Guillermo Gallego：https://sites.google.com/view/guillermogallego/teaching/event-based-robot-vision
   • Bio-inspired Computer Vision (Spring 2020) by Guillermo Gallego：https://sites.google.com/view/guillermogallego/teaching/bio-inspired-computer-vision
5. 相关研究团队：
   • 瑞士INI-RPG团队：http://rpg.ifi.uzh.ch/research_dvs.html
   • 北大黄老师团队：http://www.ai.pku.edu.cn/info/1139/1243.htm
   • 北大CI组：http://ci.idm.pku.edu.cn/
   • 同济大学：https://ispc-group.github.io/
6. 事件相机相关公司：
   • 芯仑光电（现在为豪威EVS部门）https://www.omnivision-group.com/#/technology-detail/px-technology?id=60501de6a1fa3323104d5800
   • iniVation: https://inivation.com
   • Prophesee: https://www.prophesee.ai
7. 类脑芯片相关公司：
   • SynSense科技：https://www.synsense-neuromorphic.com/zh/home-zh
   • Intel Loihi：https://www.intel.cn/content/www/cn/zh/research/neuromorphic-computing.html
8. 事件相机专题研讨会：
   • 3rd Event-based Vision 2021: https://tub-rip.github.io/eventvision2021/
   • 2nd Event-based Vision 2019: http://rpg.ifi.uzh.ch/CVPR19_event_vision_workshop.html
   • 1st Event-based Vision 2017: http://rpg.ifi.uzh.ch/ICRA17_event_vision_workshop.html