| A | B | C | D | E | F | G | H | I | J | K | L | M | N | O | P | Q | R | S | T | U | V | W | X | Y | Z | |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
1 | Test Name | App | Stability | Bug | ||||||||||||||||||||||
2 | test_browser_lan | Browser | Failed 1 times in the last 30 runs. Stability: 96 % | |||||||||||||||||||||||
3 | test_browser_cell_data | Browser | Failed 3 times in the last 30 runs. Stability: 90 % | Website not loading using cell data. | ||||||||||||||||||||||
4 | test_browser_play_video | Browser | No known failures. Stability 100 % | No known failures. Stability 100 % | 30 | |||||||||||||||||||||
5 | test_calendar_new_event_appears_on_all_calendar_views | Calendar | No known failures. Stability 100 % | Stability between 90% and 99% | 9 | |||||||||||||||||||||
6 | test_camera_capture_video | Camera | No known failures. Stability 100 % | Stability under 90% | 3 | |||||||||||||||||||||
7 | test_camera_multiple_shots | Camera | No known failures. Stability 100 % | Total smoketests | 42 | |||||||||||||||||||||
8 | test_cards_view_with_two_apps | Cards view | No known failures. Stability 100 % | |||||||||||||||||||||||
9 | test_clock_create_new_alarm | Clock | No known failures. Stability 100 % | |||||||||||||||||||||||
10 | test_add_photo_to_contact | Contacts | Failed 1 times in the last 30 runs. Stability: 96 % | |||||||||||||||||||||||
11 | test_add_new_contact | Contacts | No known failures. Stability 100 % | |||||||||||||||||||||||
12 | test_edit_contact | Contacts | No known failures. Stability 100 % | |||||||||||||||||||||||
13 | test_dialer_receive_call_with_locked_screen | Dialer | Failed 10 times in the last 30 runs. Stability: 66 % | https://bugzilla.mozilla.org/show_bug.cgi?id=1097754 | ||||||||||||||||||||||
14 | test_call_log_all_calls | Dialer | Failed 3 times in the last 30 runs. Stability: 90 % | https://bugzilla.mozilla.org/show_bug.cgi?id=1096385 | ||||||||||||||||||||||
15 | test_dialer | Dialer | No known failures. Stability 100 % | |||||||||||||||||||||||
16 | test_dialer_receive_call | Dialer | No known failures. Stability 100 % | |||||||||||||||||||||||
17 | test_IMAP_email_notification | Failed 1 times in the last 30 runs. Stability: 96 % | ||||||||||||||||||||||||
18 | test_setup_and_send_imap_email | Failed 6 times in the last 30 runs. Stability: 80 % | https://bugzilla.mozilla.org/show_bug.cgi?id=1090281 | |||||||||||||||||||||||
19 | test_setup_basic_gmail | No known failures. Stability 100 % | ||||||||||||||||||||||||
20 | test_everythingme_add_collection_save_bookmark | Everythingme | No known failures. Stability 100 % | |||||||||||||||||||||||
21 | test_everythingme_launch_link | Everythingme | No known failures. Stability 100 % | |||||||||||||||||||||||
22 | test_fmradio_frequency_dialer | FM Radio | No known failures. Stability 100 % | |||||||||||||||||||||||
23 | test_ftu_skip_tour | FTU | No known failures. Stability 100 % | |||||||||||||||||||||||
24 | test_ftu_with_tour | FTU | No known failures. Stability 100 % | |||||||||||||||||||||||
25 | test_gallery_view | Gallery | Failed 1 times in the last 30 runs. Stability: 96 % | |||||||||||||||||||||||
26 | test_gallery_flick | Gallery | No known failures. Stability 100 % | |||||||||||||||||||||||
27 | test_homescreen_delete_app | Homescreen | No known failures. Stability 100 % | |||||||||||||||||||||||
28 | test_homescreen_delete_app_packaged | Homescreen | No known failures. Stability 100 % | |||||||||||||||||||||||
29 | test_homescreen_launch_app | Homescreen | No known failures. Stability 100 % | Conclusions: - this analisys was done on smoke test suite (42 tests) based on the runs done the last 2 weeks on v2.2 master branch - Stability under 90% - reasons: https://bugzilla.mozilla.org/show_bug.cgi?id=1097754 - under investigation https://bugzilla.mozilla.org/show_bug.cgi?id=1090281 - under investigation One test Failing because infrastructure issues | ||||||||||||||||||||||
30 | test_homescreen_launch_app_packaged | Homescreen | No known failures. Stability 100 % | |||||||||||||||||||||||
31 | test_homescreen_move_app | Homescreen | No known failures. Stability 100 % | |||||||||||||||||||||||
32 | test_lockscreen_unlock_to_camera | Lockscreen | No known failures. Stability 100 % | |||||||||||||||||||||||
33 | test_lockscreen_unlock_to_homescreen | Lockscreen | No known failures. Stability 100 % | |||||||||||||||||||||||
34 | test_marketplace_launch | Marketplace | No known failures. Stability 100 % | |||||||||||||||||||||||
35 | test_sms | Messages | Failed 1 times in the last 30 runs. Stability: 96 % | |||||||||||||||||||||||
36 | test_sms_contact | Messages | Failed 1 times in the last 30 runs. Stability: 96 % | |||||||||||||||||||||||
37 | test_sms_with_attachments | Messages | Failed 1 times in the last 30 runs. Stability: 96 % | |||||||||||||||||||||||
38 | test_sms_with_picture_attached | Messages | No known failures. Stability 100 % | |||||||||||||||||||||||
39 | test_music_artist_mp3 | Music | No known failures. Stability 100 % | |||||||||||||||||||||||
40 | test_play_3gp_video | Music | No known failures. Stability 100 % | |||||||||||||||||||||||
41 | test_settings_bluetooth | Settings | Failed 6 times in the last 30 runs. Stability: 80 % | Failing because infrasturcture issues | ||||||||||||||||||||||
42 | test_settings_wifi | Settings | No known failures. Stability 100 % | |||||||||||||||||||||||
43 | test_power_button_long_press | System | No known failures. Stability 100 % | |||||||||||||||||||||||
44 | ||||||||||||||||||||||||||
45 | ||||||||||||||||||||||||||
46 | ||||||||||||||||||||||||||
47 | ||||||||||||||||||||||||||
48 | ||||||||||||||||||||||||||
49 | ||||||||||||||||||||||||||
50 | ||||||||||||||||||||||||||
51 | ||||||||||||||||||||||||||
52 | ||||||||||||||||||||||||||
53 | ||||||||||||||||||||||||||
54 | ||||||||||||||||||||||||||
55 | ||||||||||||||||||||||||||
56 | ||||||||||||||||||||||||||
57 | ||||||||||||||||||||||||||
58 | ||||||||||||||||||||||||||
59 | ||||||||||||||||||||||||||
60 | ||||||||||||||||||||||||||
61 | ||||||||||||||||||||||||||
62 | ||||||||||||||||||||||||||
63 | ||||||||||||||||||||||||||
64 | ||||||||||||||||||||||||||
65 | ||||||||||||||||||||||||||
66 | ||||||||||||||||||||||||||
67 | ||||||||||||||||||||||||||
68 | ||||||||||||||||||||||||||
69 | ||||||||||||||||||||||||||
70 | ||||||||||||||||||||||||||
71 | ||||||||||||||||||||||||||
72 | ||||||||||||||||||||||||||
73 | ||||||||||||||||||||||||||
74 | ||||||||||||||||||||||||||
75 | ||||||||||||||||||||||||||
76 | ||||||||||||||||||||||||||
77 | ||||||||||||||||||||||||||
78 | ||||||||||||||||||||||||||
79 | ||||||||||||||||||||||||||
80 | ||||||||||||||||||||||||||
81 | ||||||||||||||||||||||||||
82 | ||||||||||||||||||||||||||
83 | ||||||||||||||||||||||||||
84 | ||||||||||||||||||||||||||
85 | ||||||||||||||||||||||||||
86 | ||||||||||||||||||||||||||
87 | ||||||||||||||||||||||||||
88 | ||||||||||||||||||||||||||
89 | ||||||||||||||||||||||||||
90 | ||||||||||||||||||||||||||
91 | ||||||||||||||||||||||||||
92 | ||||||||||||||||||||||||||
93 | ||||||||||||||||||||||||||
94 | ||||||||||||||||||||||||||
95 | ||||||||||||||||||||||||||
96 | ||||||||||||||||||||||||||
97 | ||||||||||||||||||||||||||
98 | ||||||||||||||||||||||||||
99 | ||||||||||||||||||||||||||
100 | ||||||||||||||||||||||||||