Archeologia kodu źródłowego

Paweł Ślusarz @pslusarz

Confitura 2014

Prezentacja jest oparta o 15 lat doświadczeń obserwacji ewolucji projektów oprogramowania i systemów. Dwa lata temu, kiedy zdecydowaliśmy się na standardyzację bibliotek JAR w naszej firmie, rozpocząłem swoje pierwsze prace archeologiczne. Te prace stanowiły punkt wyjścia do badań nad niewykorzystaną wiedzą drzemiącą w repozytoriach kodu źródłowego. Jednym z kluczowych wyznaczników, który nie jest dostępny w narzędziach szacowania długu technologicznego jak Sonar, jest popularność pewnych klas w systemie. Wyjaśnieniu dlaczego popularne klasy są tak ważne poświęcę częsć prezentacji. Odpowiemy też na podstawie danych co jest lepsze: Java, czy Groovy. Na końcu zademonstruję jak techniki archeologii kodu mogą nam pomóc poznać prawa rządzące rozwojem oprogramowania.

Jak programiści spędzają czas

Źródło: ankieta Electric Cloud z 2013, 443 osoby

Co programiści produkują

• 10-20 linii kodu dziennie

​

Co się dzieje przez te 4 godziny?

Źródło: “Mityczny osobomiesiąc” oraz Worldwide IT Trends & Benchmark Report 2001”, produced by META Group (cyt.)

Jak programiści programują

Źródło: Peter Hall, architekt C#, 2006 blog

Przykład: interfejsy i implementacje

Przykład: Zależności bibliotek

Przykład: Zależności bibliotek

• około 250 bibliotek
• 350 tys. linii kodu
• wizualizacja zależności...

Zadanie:

• Zidentyfikować wszystkie biblioteki
• Opracować plan migracji
• 2 tygodnie na migrację
• bez zatrzymywania produkcji

Przykład: Zależności bibliotek

Wszystkie zależności

​

Krawędzie biegną w góre i w dół

​

Jak migrować nie zatrzymując produkcji?

Przykład: Zależności bibliotek

Uproszczenie przez wyznaczenie poziomów

Przykład: Zależności bibliotek

Uproszczone zależności

​

Krawędzie biegną tylko w góre

​

Migracja piętrami w górę

Przykład: Zależności bibliotek

Dalsze upraszczanie podczas migracji

​

Zbędne zależności

​

Nieaktywne biblioteki

Przykład: Zależności bibliotek

Efekt końcowy

Korpus Carfaxu

Data pobrania: Marzec 2013

​

Liczba modułów: 1,130

Liczba plików: 159,072

Liczba klas: 35,677

Linie kodu: 3,404,573

Rozmiary na dysku (Gb): 6.5

Popularność klas

Popularność klas

Zwodniczy “hotspot” Sonara

Popularne klasy - badania

Archeologia w służbie pokoju

​

​

Co jest lepsze, Java czy Groovy?

​

Java kontra Groovy - linie kodu

Groovy jest tylko 30% krótszy od Javy?

​

​

…ale to nie wszystko

​

​

Java kontra Groovy - małe klasy

30% klas w Groovym ma poniżej 30 linii!

Dodatkowe informacje

• Blog: 10kftcode.blogspot.com
• Moje narzędzia: archeology3d na Github
• “Konferencja” - TICOSA.org, 2014
• Audycja “Software Archeology” - Dave Thomas (2009, Software Engineering Radio)

​

Dodatkowe materiały

Poniższe slajdy nie były częścią prezentacji, ale zostały przygotowane na potrzeby dyskusji. Część z nich wkrótce zostanie obszerniej omówiona na blogu http://10kftcode.blogspot.com

Zbiór zamkniętych klas

Źródło: Michael Feathers blog (2012)

RSpec

Anonimowa aplikacja z problemami

Zbiór zamkniętych klas - Apache

Zbiór zamkniętych klas - Apache

Zmiany złożoności wg. godziny dnia

Źródło: Michael Feathers TICOSA (2014)

Apache Website Catalog

What Apache Catalog could look like

​

​

Querying the data

Video: Compare 5 high profile project classes (5mins)

Video: Fly-by overview of Apache projects

Video: Compare 5 high profile project classes (5mins)

Archeologia kodu - Kopciuszek do zadań specjalnych

Carfax vs Apache Code Corpus