A | B | C | D | E | F | G | H | I | J | K | L | M | N | O | P | Q | R | S | T | U | V | W | X | Y | Z | AA | AB | AC | |
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
1 | Pruning deep neural networks for lottery tickets (LTs) | ||||||||||||||||||||||||||||
2 | Preference 1 | Preference 2 | Preference 3 | Topic | Main paper | Secondary paper | |||||||||||||||||||||||
3 | Shreyash | 1) Iterative Magnitude Pruning | On the Predictability of Pruning Across Scales | Comparing Rewinding and Fine-tuning in Neural Network Pruning | |||||||||||||||||||||||||
4 | 2) Learning rate | Comparing Rewinding and Fine-tuning in Neural Network Pruning | Lottery Ticket Preserves Weight Correlation: Is It Desirable or Not? | ||||||||||||||||||||||||||
5 | Yamini | 3) Parameter initialization | A Signal Propagation Perspective for Pruning Neural Networks at Initialization | Robust Pruning at Initialization | |||||||||||||||||||||||||
6 | Amrita, Josephine Taniha, Adarsh | Nirav, Pramila | 4) Universal LTs | One ticket to win them all: generalizing lottery ticket initializations across datasets and optimizers | Universality of Winning Tickets: A Renormalization Group Perspective | On The Existence of Universal Lottery Tickets | |||||||||||||||||||||||
7 | Shreyash, Pramila | Amrita, Josephine Taniha | Siddhartha | 5) Sanity checking | Sanity Checks for Lottery Tickets: Does Your Winning Ticket Really Win the Jackpot? | Sanity-Checking Pruning Methods: Random Tickets can Win the Jackpot | |||||||||||||||||||||||
8 | Yamini | 6) Random pruning | Are wider nets better given the same number of parameters? | The Unreasonable Effectiveness of Random Pruning: Return of the Most Naive Baseline for Sparse Training | |||||||||||||||||||||||||
9 | 7) Dynamic Sparse training | Sparse Training via Boosting Pruning Plasticity with Neuroregeneration | Do We Actually Need Dense Over-Parameterization? In-Time Over-Parameterization in Sparse Training | ||||||||||||||||||||||||||
10 | Rahul | Yamini, | Arthur Sanin, Adarsh | 8) Gradient flow | Gradient Flow in Sparse Neural Networks and How Lottery Tickets Win | Unmasking the Lottery Ticket Hypothesis: What's Encoded in a Winning Ticket's Mask? | |||||||||||||||||||||||
11 | Siddhartha | Adarsh | 9) Neuron sparsity | Coarsening the Granularity: Towards Structurally Sparse Lottery Tickets | hen to Prune? A Policy towards Early Structural Pruning | ||||||||||||||||||||||||
12 | Nirav | Josephine Taniha, Pramila | 10) Pruning for strong lottery tickets | What's Hidden in a Randomly Weighted Neural Network? | Deconstructing Lottery Tickets: Zeros, Signs, and the Supermaskk | ||||||||||||||||||||||||
13 | Arthur Sanin | Rahul | 11) Theory - Existence of LTs | Optimal Lottery Tickets via Subset Sum: Logarithmic Over-Parameterization is Sufficient | Proving the Lottery Ticket Hypothesis: Pruning is All You Need | ||||||||||||||||||||||||
14 | Severin | Rahul | 12) Benchmarking | Plant 'n' Seek: Can You Rind the Winning Ticket? | Pruning Neural Networks at Initialization: Why Are We Missing the Mark? | ||||||||||||||||||||||||
15 | Severin | 13) Quantization | Multi-Prize Lottery Ticket Hypothesis: Finding Accurate Binary Neural Networks by Pruning A Randomly Weighted Network | A Winning Hand: Compressing Deep Networks Can Improve Out-Of-Distribution Robustness | |||||||||||||||||||||||||
16 | Severin | 14) Pruning with regularization | Winning the Lottery with Continuous Sparsification | Effective Sparsification of Neural Networks with Global Sparsity Constraint | |||||||||||||||||||||||||
17 | Siwen Chen | Arthur Sanin | Nirav | 15) Core sets | Lottery Tickets on a Data Diet: Finding Initializations with Sparse Trainable Networks | Efficient Lottery Ticket Finding: Less Data is More | |||||||||||||||||||||||
18 | Siddhartha | Shreyash | 16) Adversarial robustness | Can You Win Everything with A Lottery Ticket? | HYDRA: Pruning Adversarially Robust Neural Networks | ||||||||||||||||||||||||
19 | |||||||||||||||||||||||||||||
20 | |||||||||||||||||||||||||||||
21 | |||||||||||||||||||||||||||||
22 | |||||||||||||||||||||||||||||
23 | Siwen Chen | GNNs | A Unified Lottery Ticket Hypothesis for Graph Neural Networks | ||||||||||||||||||||||||||
24 | Siwen Chen | Prob. approach | A Probabilistic Approach to Neural Network Pruning | ||||||||||||||||||||||||||
25 | Sample complexity | Why Lottery Ticket Wins? A Theoretical Perspectiveof Sample Complexity on Pruned Neural Networks | |||||||||||||||||||||||||||
26 | |||||||||||||||||||||||||||||
27 | |||||||||||||||||||||||||||||
28 | |||||||||||||||||||||||||||||
29 | |||||||||||||||||||||||||||||
30 | |||||||||||||||||||||||||||||
31 | |||||||||||||||||||||||||||||
32 | |||||||||||||||||||||||||||||
33 | |||||||||||||||||||||||||||||
34 | |||||||||||||||||||||||||||||
35 | |||||||||||||||||||||||||||||
36 | |||||||||||||||||||||||||||||
37 | |||||||||||||||||||||||||||||
38 | |||||||||||||||||||||||||||||
39 | |||||||||||||||||||||||||||||
40 | |||||||||||||||||||||||||||||
41 | |||||||||||||||||||||||||||||
42 | |||||||||||||||||||||||||||||
43 | |||||||||||||||||||||||||||||
44 | |||||||||||||||||||||||||||||
45 | |||||||||||||||||||||||||||||
46 | |||||||||||||||||||||||||||||
47 | |||||||||||||||||||||||||||||
48 | |||||||||||||||||||||||||||||
49 | |||||||||||||||||||||||||||||
50 | |||||||||||||||||||||||||||||
51 | |||||||||||||||||||||||||||||
52 | |||||||||||||||||||||||||||||
53 | |||||||||||||||||||||||||||||
54 | |||||||||||||||||||||||||||||
55 | |||||||||||||||||||||||||||||
56 | |||||||||||||||||||||||||||||
57 | |||||||||||||||||||||||||||||
58 | |||||||||||||||||||||||||||||
59 | |||||||||||||||||||||||||||||
60 | |||||||||||||||||||||||||||||
61 | |||||||||||||||||||||||||||||
62 | |||||||||||||||||||||||||||||
63 | |||||||||||||||||||||||||||||
64 | |||||||||||||||||||||||||||||
65 | |||||||||||||||||||||||||||||
66 | |||||||||||||||||||||||||||||
67 | |||||||||||||||||||||||||||||
68 | |||||||||||||||||||||||||||||
69 | |||||||||||||||||||||||||||||
70 | |||||||||||||||||||||||||||||
71 | |||||||||||||||||||||||||||||
72 | |||||||||||||||||||||||||||||
73 | |||||||||||||||||||||||||||||
74 | |||||||||||||||||||||||||||||
75 | |||||||||||||||||||||||||||||
76 | |||||||||||||||||||||||||||||
77 | |||||||||||||||||||||||||||||
78 | |||||||||||||||||||||||||||||
79 | |||||||||||||||||||||||||||||
80 | |||||||||||||||||||||||||||||
81 | |||||||||||||||||||||||||||||
82 | |||||||||||||||||||||||||||||
83 | |||||||||||||||||||||||||||||
84 | |||||||||||||||||||||||||||||
85 | |||||||||||||||||||||||||||||
86 | |||||||||||||||||||||||||||||
87 | |||||||||||||||||||||||||||||
88 | |||||||||||||||||||||||||||||
89 | |||||||||||||||||||||||||||||
90 | |||||||||||||||||||||||||||||
91 | |||||||||||||||||||||||||||||
92 | |||||||||||||||||||||||||||||
93 | |||||||||||||||||||||||||||||
94 | |||||||||||||||||||||||||||||
95 | |||||||||||||||||||||||||||||
96 | |||||||||||||||||||||||||||||
97 | |||||||||||||||||||||||||||||
98 | |||||||||||||||||||||||||||||
99 | |||||||||||||||||||||||||||||
100 |