| A | B | C | D | E | F | G | H | I | J | K | L | M | N | O | P | Q | R | S | T | U | V | W | X | Y | Z | |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
1 | RATES | |||||||||||||||||||||||||
2 | Item | Value | Note | |||||||||||||||||||||||
3 | Tinker train: Qwen3.5-9B | $1.463 | $ per 1M tokens | |||||||||||||||||||||||
4 | Tinker train: Qwen3.5-4B | $0.737 | $ per 1M tokens | |||||||||||||||||||||||
5 | Tinker train: Qwen3.6-27B | $4.103 | $ per 1M tokens | |||||||||||||||||||||||
6 | Tinker train: Qwen3.6-35B-A3B (MoE) | $1.177 | $ per 1M tokens | |||||||||||||||||||||||
7 | RunPod: A100 80GB | $1.390 | $ per GPU-hour (on-demand) | |||||||||||||||||||||||
8 | RunPod: H100 80GB | $2.990 | $ per GPU-hour (on-demand) | |||||||||||||||||||||||
9 | Avg training tokens per run | 0.8 | millions of tokens (approx.) | |||||||||||||||||||||||
10 | Eval overhead (× training cost) | 1.15 | logprob + sampled evals (approx.) | |||||||||||||||||||||||
11 | ||||||||||||||||||||||||||
12 | Runs: core dissociation matrix (9B) | 450 | for 6 envs (approx.) | |||||||||||||||||||||||
13 | Runs: feature validation (9B) | 200 | predicted vs random vs control (approx.) | |||||||||||||||||||||||
14 | Runs: seed-sweep cross-check (4B) | 250 | approx. | |||||||||||||||||||||||
15 | Runs: scale, 27B | 50 | approx. | |||||||||||||||||||||||
16 | Runs: scale, MoE | 50 | approx. | |||||||||||||||||||||||
17 | Runs: base model (9B-Base) | 50 | approx. | |||||||||||||||||||||||
18 | GPU-hours (A100) | 300 | base-model forward passes + dev (approx.) | |||||||||||||||||||||||
19 | SAE training + large states (H100) | 200 | approx. | |||||||||||||||||||||||
20 | Stipend: hours/week | 15 | part-time | |||||||||||||||||||||||
21 | Stipend: weeks | 17 | ~4 months | |||||||||||||||||||||||
22 | Stipend: $/hour, minimum | 15 | local minimum wage | |||||||||||||||||||||||
23 | Stipend: $/hour, ideal | 30 | modest research wage | |||||||||||||||||||||||
24 | ||||||||||||||||||||||||||
25 | BUDGET | |||||||||||||||||||||||||
26 | Item | Minimum (USD) | Ideal (USD) | Note | ||||||||||||||||||||||
27 | Compute: fine-tuning | |||||||||||||||||||||||||
28 | Core dissociation matrix (9B) | $606 | $606 | 450 runs × 0.8M tok × $1.463 × 1.15 | ||||||||||||||||||||||
29 | Feature-specific validation (9B) | $269 | $269 | 200 runs × 9B rate | ||||||||||||||||||||||
30 | Seed-sweep cross-check (4B) | $170 | $170 | 250 runs × 4B rate | ||||||||||||||||||||||
31 | Scale generalization: 27B | $189 | $189 | 50 runs × 27B rate | ||||||||||||||||||||||
32 | Scale generalization: MoE | $54 | $54 | 50 runs × MoE rate | ||||||||||||||||||||||
33 | Base-model (9B-Base) | $67 | $67 | 50 runs × 9B rate | ||||||||||||||||||||||
34 | Subtotal: fine-tuning | $1,355 | $1,355 | |||||||||||||||||||||||
35 | Compute: scanning (RunPod, hidden-states) | |||||||||||||||||||||||||
36 | Scan + baselines + development (A100) | $417 | $417 | 300 GPU-hr × $1.39 | ||||||||||||||||||||||
37 | SAE training + large-models (H100) | $598 | $598 | 200 GPU-hr × $2.99 | ||||||||||||||||||||||
38 | Subtotal: scanning | $1,015 | $1,015 | |||||||||||||||||||||||
39 | Frontier-model API | |||||||||||||||||||||||||
40 | LLM-judge evaluation | $1,000 | $1,000 | EM / toxicity scoring | ||||||||||||||||||||||
41 | Dataset synthesis & filtering | $600 | $600 | trait-pair & EM datasets | ||||||||||||||||||||||
42 | SAE feature auto-interpretation | $400 | $400 | label Qwen SAE features | ||||||||||||||||||||||
43 | Subtotal: API | $2,000 | $2,000 | |||||||||||||||||||||||
44 | Personnel | |||||||||||||||||||||||||
45 | Researcher stipend | $3,825 | $7,650 | 15 hr/wk × 17 wk × ($15 min / $30 ideal) | ||||||||||||||||||||||
46 | Subtotal: personnel | $3,825 | $7,650 | |||||||||||||||||||||||
47 | Tooling | |||||||||||||||||||||||||
48 | Experiment tracking + storage | $150 | $150 | W&B, artifacts | ||||||||||||||||||||||
49 | Dev-assistance API credits | $0 | $1,000 | ideal: coding/agent assistance | ||||||||||||||||||||||
50 | Subtotal: tooling | $150 | $1,150 | |||||||||||||||||||||||
51 | ||||||||||||||||||||||||||
52 | Contingency (10% of compute + API) | $440 | $440 | reruns, seed expansion (rounded) | ||||||||||||||||||||||
53 | GRAND TOTAL | $8,785 | $13,610 | |||||||||||||||||||||||
54 | ||||||||||||||||||||||||||
55 | ||||||||||||||||||||||||||
56 | ||||||||||||||||||||||||||
57 | ||||||||||||||||||||||||||
58 | ||||||||||||||||||||||||||
59 | ||||||||||||||||||||||||||
60 | ||||||||||||||||||||||||||
61 | ||||||||||||||||||||||||||
62 | ||||||||||||||||||||||||||
63 | ||||||||||||||||||||||||||
64 | ||||||||||||||||||||||||||
65 | ||||||||||||||||||||||||||
66 | ||||||||||||||||||||||||||
67 | ||||||||||||||||||||||||||
68 | ||||||||||||||||||||||||||
69 | ||||||||||||||||||||||||||
70 | ||||||||||||||||||||||||||
71 | ||||||||||||||||||||||||||
72 | ||||||||||||||||||||||||||
73 | ||||||||||||||||||||||||||
74 | ||||||||||||||||||||||||||
75 | ||||||||||||||||||||||||||
76 | ||||||||||||||||||||||||||
77 | ||||||||||||||||||||||||||
78 | ||||||||||||||||||||||||||
79 | ||||||||||||||||||||||||||
80 | ||||||||||||||||||||||||||
81 | ||||||||||||||||||||||||||
82 | ||||||||||||||||||||||||||
83 | ||||||||||||||||||||||||||
84 | ||||||||||||||||||||||||||
85 | ||||||||||||||||||||||||||
86 | ||||||||||||||||||||||||||
87 | ||||||||||||||||||||||||||
88 | ||||||||||||||||||||||||||
89 | ||||||||||||||||||||||||||
90 | ||||||||||||||||||||||||||
91 | ||||||||||||||||||||||||||
92 | ||||||||||||||||||||||||||
93 | ||||||||||||||||||||||||||
94 | ||||||||||||||||||||||||||
95 | ||||||||||||||||||||||||||
96 | ||||||||||||||||||||||||||
97 | ||||||||||||||||||||||||||
98 | ||||||||||||||||||||||||||
99 | ||||||||||||||||||||||||||
100 | ||||||||||||||||||||||||||