A | B | C | D | E | F | G | H | I | J | K | L | M | N | O | P | Q | R | S | T | U | V | W | X | Y | Z | AA | AB | |
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
1 | The tools below are categorized according to their applicability within the 6 core processes of the data science workflow, as defined in this blog post: | |||||||||||||||||||||||||||
2 | http://fouryears.eu/2018/11/29/the-data-science-workflow/ | |||||||||||||||||||||||||||
3 | The list does not claim to be an all-encompassing survey. This is just a sample of tools and services known to the author | |||||||||||||||||||||||||||
4 | Workflow stages | |||||||||||||||||||||||||||
5 | Title | Link | Pricing / License | Github stars (end of 2018) | Data management | Compute graph | Experiment management | Deployment | Monitoring | Workbench organization | ||||||||||||||||||
6 | Any database server or file format | N/A | N/A | x | ||||||||||||||||||||||||
7 | Git LFS | https://git-lfs.github.com/ | MIT | 6488 | x | |||||||||||||||||||||||
8 | Git Annex | https://git-annex.branchable.com/ | AGPL | N/A | x | |||||||||||||||||||||||
9 | Quilt | https://quiltdata.com/ | Freemium | 684 | x | |||||||||||||||||||||||
10 | Darty | https://github.com/zalando-incubator/darty | MIT | 10 | x | |||||||||||||||||||||||
11 | GNU Make | https://www.gnu.org/software/make/ | GPL | N/A | x | |||||||||||||||||||||||
12 | Luigi | https://github.com/spotify/luigi | Apache | 10529 | x | |||||||||||||||||||||||
13 | Airflow | https://github.com/apache/incubator-airflow | Apache | 10086 | x | |||||||||||||||||||||||
14 | PyDoit | http://pydoit.org | MIT | 541 | x | |||||||||||||||||||||||
15 | DVC | https://dvc.org/ | Apache | 1523 | x | x | ||||||||||||||||||||||
16 | Pachyderm | http://www.pachyderm.io/ | Apache | 3267 | x | x | ? | |||||||||||||||||||||
17 | DatMo Open Source | https://github.com/datmo/datmo | Apache | 179 | ? | ? | ||||||||||||||||||||||
18 | ModelDB | https://github.com/mitdbg/modeldb | MIT | 573 | x | |||||||||||||||||||||||
19 | CometML | https://www.comet.ml/ | Freemium | N/A | x | |||||||||||||||||||||||
20 | Sacred | https://github.com/IDSIA/sacred | MIT | 1404 | x | |||||||||||||||||||||||
21 | Hyperdash | https://hyperdash.io/ | Free | 110 | x | |||||||||||||||||||||||
22 | Sumatra | https://github.com/open-research/sumatra | BSD | 81 | x | |||||||||||||||||||||||
23 | FGLab | https://kaixhin.github.io/FGLab/ | MIT | 170 | x | |||||||||||||||||||||||
24 | TensorFX | https://github.com/TensorLab/tensorfx | Apache | 178 | x | |||||||||||||||||||||||
25 | TensorBoard | https://github.com/tensorflow/tensorboard | Apache | 2840 | x | |||||||||||||||||||||||
26 | Weights and Biases | https://www.wandb.com/ | Freemium | N/A | x | |||||||||||||||||||||||
27 | Modelchimp | https://www.modelchimp.com/ | BSD/Paid | 19 | x | |||||||||||||||||||||||
28 | Hyperflow | https://hyperflow.in/ | Apache | 0 | ? | x | ||||||||||||||||||||||
29 | Neptune | https://neptune.ml/ | Freemium | N/A | x | x | ||||||||||||||||||||||
30 | Tensorflow Serving | https://www.tensorflow.org/serving/ | Apache | 2843 | x | |||||||||||||||||||||||
31 | SKompiler | https://github.com/konstantint/SKompiler | MIT | 24 | x | |||||||||||||||||||||||
32 | JPMML/jpmml-sklearn | https://github.com/jpmml | AGPL | 258 | x | |||||||||||||||||||||||
33 | AWS Lambda | https://aws.amazon.com/lambda/ | Paid | N/A | x | |||||||||||||||||||||||
34 | Acumos | https://www.acumos.org/ | Paid | N/A | x | |||||||||||||||||||||||
35 | MLFlow | https://www.mlflow.org/ | Apache | 2674 | x | x | x | |||||||||||||||||||||
36 | YHat | http://docs.yhat.com/ | Paid | N/A | x | x | ? | |||||||||||||||||||||
37 | Grafana | https://grafana.com/ | Apache | 25175 | x | |||||||||||||||||||||||
38 | Metabase | https://www.metabase.com/ | AGPL | 12314 | x | |||||||||||||||||||||||
39 | Tableau | https://www.tableau.com/ | Paid | N/A | x | |||||||||||||||||||||||
40 | MyDBR | https://mydbr.com/ | Freemium | N/A | x | |||||||||||||||||||||||
41 | DatMo Pro | https://datmo.com/product | Paid | N/A | x | x | ||||||||||||||||||||||
42 | Cookiecutter-DS | http://drivendata.github.io/cookiecutter-data-science/ | MIT | 1649 | x | |||||||||||||||||||||||
43 | Hops.io | https://www.hops.io/ | AGPL | 5 | x | |||||||||||||||||||||||
44 | Lore | https://github.com/instacart/lore | MIT | 1247 | x | x | x | x | ||||||||||||||||||||
45 | FloydHub | https://www.floydhub.com/ | Freemium | 109 | x | x | x | x | ||||||||||||||||||||
46 | AzureML | https://studio.azureml.net/ | Paid | N/A | x | x | x | x | ||||||||||||||||||||
47 | Dataiku | https://www.dataiku.com/dss/ | Paid | N/A | x | x | x | x | x | |||||||||||||||||||
48 | ||||||||||||||||||||||||||||
49 | ||||||||||||||||||||||||||||
50 | ||||||||||||||||||||||||||||
51 | ||||||||||||||||||||||||||||
52 | ||||||||||||||||||||||||||||
53 | ||||||||||||||||||||||||||||
54 | ||||||||||||||||||||||||||||
55 | ||||||||||||||||||||||||||||
56 | ||||||||||||||||||||||||||||
57 | ||||||||||||||||||||||||||||
58 | ||||||||||||||||||||||||||||
59 | ||||||||||||||||||||||||||||
60 | ||||||||||||||||||||||||||||
61 | ||||||||||||||||||||||||||||
62 | ||||||||||||||||||||||||||||
63 | ||||||||||||||||||||||||||||
64 | ||||||||||||||||||||||||||||
65 | ||||||||||||||||||||||||||||
66 | ||||||||||||||||||||||||||||
67 | ||||||||||||||||||||||||||||
68 | ||||||||||||||||||||||||||||
69 | ||||||||||||||||||||||||||||
70 | ||||||||||||||||||||||||||||
71 | ||||||||||||||||||||||||||||
72 | ||||||||||||||||||||||||||||
73 | ||||||||||||||||||||||||||||
74 | ||||||||||||||||||||||||||||
75 | ||||||||||||||||||||||||||||
76 | ||||||||||||||||||||||||||||
77 | ||||||||||||||||||||||||||||
78 | ||||||||||||||||||||||||||||
79 | ||||||||||||||||||||||||||||
80 | ||||||||||||||||||||||||||||
81 | ||||||||||||||||||||||||||||
82 | ||||||||||||||||||||||||||||
83 | ||||||||||||||||||||||||||||
84 | ||||||||||||||||||||||||||||
85 | ||||||||||||||||||||||||||||
86 | ||||||||||||||||||||||||||||
87 | ||||||||||||||||||||||||||||
88 | ||||||||||||||||||||||||||||
89 | ||||||||||||||||||||||||||||
90 | ||||||||||||||||||||||||||||
91 | ||||||||||||||||||||||||||||
92 | ||||||||||||||||||||||||||||
93 | ||||||||||||||||||||||||||||
94 | ||||||||||||||||||||||||||||
95 | ||||||||||||||||||||||||||||
96 | ||||||||||||||||||||||||||||
97 | ||||||||||||||||||||||||||||
98 | ||||||||||||||||||||||||||||
99 | ||||||||||||||||||||||||||||
100 |