A | B | C | D | E | F | G | H | I | J | K | L | M | N | O | P | Q | R | S | T | U | V | W | X | Y | Z | |
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
1 | This tool is associated with the paper "Shining light on the DVS pixel: A tutorial and discussion about biasing and optimization" presented at the 2023 CVPR Workshop on Event Based Vision. | |||||||||||||||||||||||||
2 | LInk to paper: | https://tub-rip.github.io/eventvision2023/papers/2023CVPRW_Shining_light_on_the_DVS_pixel_A_tutorial.pdf | ||||||||||||||||||||||||
3 | Link to workshop: | https://tub-rip.github.io/eventvision2023/ | ||||||||||||||||||||||||
4 | ||||||||||||||||||||||||||
5 | The purpose of this tool is to prescribe an optimal bias configuration for any event based sensor considering task requirements, and scene limitations. The recommendations here are intended to serve as a starting point, but it is likely possible to obtain even better performance through additional refining of biases around this recommended operating point by fine tuning one bias at a time until the desired behavior is acheived (e.g. reducing thresholds to see more subtle contrast changes). Fine tuning requires some basic knowledge of pixel operation and behavior, and this tool serves as a companion to our paper where more detailed discussion of each bias and its effects can be found. The table contains six task requirements/scene limitations, and three bias tweaks. For simplicity, each requirement/limitation is separated into two binary categories for the user to select. For example, the first column, "Priority", indicates whether the user's priority is to obtain maximum information about the objects moving in the scene (Data Fidelity), or to simply determine if an object is moving without trying to reconstruct additional detail or brightness information while minimizing data throughput (Data Sparsity). The remaining categories are self-explanatory. To use this tool, first select a combination of requirements and limitations for the task at hand. Then scroll down to the appropriate row and follow the suggested guidance in the "bias tweak" columns to adjust the biases on your event-based sensor. For example, if your task requirements include Data Sparsity, Static Sensor, High Background Illumination, Small Object Size, High Contrast, and Fast Speed, you find your requirement combination on Row # 27 (S-S-H-S-H-F). The "Bias Tweaks" columns read "L-MF-L", so you would initially set a low threshold, mid-fast bandwidth, and long refractory period, then refine the biases around this operating point. Bias tweaks are based on the three event camera settings that have the most significant impact on performance. Some models offer the ability to tune other biases that typically have minimal impact on performance. Tunable biases related to Threshold, Bandwidth, and Refractory Period are included in most commercially available models. For specific guidance on tuning these settings, refer to manufacturer provided software interface guidance for your specific system. | |||||||||||||||||||||||||
6 | ||||||||||||||||||||||||||
7 | ||||||||||||||||||||||||||
8 | ||||||||||||||||||||||||||
9 | ||||||||||||||||||||||||||
10 | ||||||||||||||||||||||||||
11 | ||||||||||||||||||||||||||
12 | Priority | Sensor Motion | Background Illumination | Object Size | Object Contrast | Object Speed | Thresholds | Bandwidth | Refractory | |||||||||||||||||
13 | S - Data Sparsity | M - Moving | L - Low (<10 lux) | S - Small (1-10 pixels) | L - Low (< 2x) | F - Fast (> 10 pix/sec) | H - High | F - Fast | L - Long | |||||||||||||||||
14 | F - Data Fidelity | S - Static | H - High (>10 lux) | L - Large(> 10 px) | H - High (> 2x) | S - Slow (< 10 pix/sec) | MH - Medium-High | MF - Medium Fast | ML - Medium-Long | |||||||||||||||||
15 | M - Medium | M - Medium | M - Medium | |||||||||||||||||||||||
16 | ML - Medium Low | MS - Medium Slow | Medium-Short | |||||||||||||||||||||||
17 | L - Low | S - Slow | S - Short | |||||||||||||||||||||||
18 | ||||||||||||||||||||||||||
19 | Task Requirements/Scene Limitations | Bias Tweaks | ||||||||||||||||||||||||
20 | Row # | Priority | Sensor Motion | Background Illumination | Object/Feature Size | Object/Feature Contrast | Object/Feature Speed | Threshold(s) | Bandwidth | Refractory | ||||||||||||||||
21 | 1 | S | M | L | S | L | F | M | MF | ML | ||||||||||||||||
22 | 2 | S | ML | MS | M | |||||||||||||||||||||
23 | 3 | H | F | MH | F | L | ||||||||||||||||||||
24 | 4 | S | MH | MS | M | |||||||||||||||||||||
25 | 5 | L | L | F | ML | MF | L | |||||||||||||||||||
26 | 6 | S | L | S | L | |||||||||||||||||||||
27 | 7 | H | F | H | F | L | ||||||||||||||||||||
28 | 8 | S | H | S | ML | |||||||||||||||||||||
29 | 9 | H | S | L | F | L | F | ML | ||||||||||||||||||
30 | 10 | S | L | M | M | |||||||||||||||||||||
31 | 11 | H | F | M | F | L | ||||||||||||||||||||
32 | 12 | S | M | S | M | |||||||||||||||||||||
33 | 13 | L | L | F | L | MF | L | |||||||||||||||||||
34 | 14 | S | L | M | L | |||||||||||||||||||||
35 | 15 | H | F | H | MF | L | ||||||||||||||||||||
36 | 16 | S | H | M | L | |||||||||||||||||||||
37 | 17 | S | L | S | L | F | M | MF | L | |||||||||||||||||
38 | 18 | S | ML | MS | M | |||||||||||||||||||||
39 | 19 | H | F | MH | F | ML | ||||||||||||||||||||
40 | 20 | S | H | MS | ML | |||||||||||||||||||||
41 | 21 | L | L | F | ML | MF | L | |||||||||||||||||||
42 | 22 | S | ML | MS | L | |||||||||||||||||||||
43 | 23 | H | F | H | MF | L | ||||||||||||||||||||
44 | 24 | S | H | MS | ML | |||||||||||||||||||||
45 | 25 | H | S | L | F | L | F | ML | ||||||||||||||||||
46 | 26 | S | L | M | M | |||||||||||||||||||||
47 | 27 | H | F | MH | F | L | ||||||||||||||||||||
48 | 28 | S | MH | MS | M | |||||||||||||||||||||
49 | 29 | L | L | F | ML | MF | L | |||||||||||||||||||
50 | 30 | S | ML | MS | L | |||||||||||||||||||||
51 | 31 | H | F | H | F | L | ||||||||||||||||||||
52 | 32 | S | H | F | L | |||||||||||||||||||||
53 | 33 | F | M | L | S | L | F | ML | MF | MS | ||||||||||||||||
54 | 34 | S | L | MS | MS | |||||||||||||||||||||
55 | 35 | H | F | MH | F | MS | ||||||||||||||||||||
56 | 36 | S | MH | MS | S | |||||||||||||||||||||
57 | 37 | L | L | F | ML | MF | S | |||||||||||||||||||
58 | 38 | S | L | M | S | |||||||||||||||||||||
59 | 39 | H | F | M | MF | S | ||||||||||||||||||||
60 | 40 | S | ML | M | MS | |||||||||||||||||||||
61 | 41 | H | S | L | F | ML | MF | MS | ||||||||||||||||||
62 | 42 | S | L | M | MS | |||||||||||||||||||||
63 | 43 | H | F | M | F | S | ||||||||||||||||||||
64 | 44 | S | ML | M | S | |||||||||||||||||||||
65 | 45 | L | L | F | ML | MF | MS | |||||||||||||||||||
66 | 46 | S | L | MS | S | |||||||||||||||||||||
67 | 47 | H | F | M | MF | S | ||||||||||||||||||||
68 | 48 | S | L | MS | S | |||||||||||||||||||||
69 | 49 | S | L | S | L | F | ML | MF | M | |||||||||||||||||
70 | 50 | S | ML | MS | S | |||||||||||||||||||||
71 | 51 | H | F | ML | F | S | ||||||||||||||||||||
72 | 52 | S | L | MS | S | |||||||||||||||||||||
73 | 53 | L | L | F | ML | MF | MS | |||||||||||||||||||
74 | 54 | S | L | M | S | |||||||||||||||||||||
75 | 55 | H | F | M | MF | S | ||||||||||||||||||||
76 | 56 | S | ML | MS | S | |||||||||||||||||||||
77 | 57 | H | S | L | F | L | F | S | ||||||||||||||||||
78 | 58 | S | L | M | S | |||||||||||||||||||||
79 | 59 | H | F | ML | F | S | ||||||||||||||||||||
80 | 60 | S | L | M | S | |||||||||||||||||||||
81 | 61 | L | L | F | L | MF | S | |||||||||||||||||||
82 | 62 | S | L | MS | S | |||||||||||||||||||||
83 | 63 | H | F | ML | MF | S | ||||||||||||||||||||
84 | 64 | S | L | MS | S | |||||||||||||||||||||
85 | ||||||||||||||||||||||||||
86 | ||||||||||||||||||||||||||
87 | ||||||||||||||||||||||||||
88 | ||||||||||||||||||||||||||
89 | ||||||||||||||||||||||||||
90 | ||||||||||||||||||||||||||
91 | ||||||||||||||||||||||||||
92 | ||||||||||||||||||||||||||
93 | ||||||||||||||||||||||||||
94 | ||||||||||||||||||||||||||
95 | ||||||||||||||||||||||||||
96 | ||||||||||||||||||||||||||
97 | ||||||||||||||||||||||||||
98 | ||||||||||||||||||||||||||
99 | ||||||||||||||||||||||||||
100 |