A | B | C | D | E | F | G | H | I | J | K | L | M | N | O | P | Q | R | S | T | U | V | W | X | Y | Z | AA | AB | AC | AD | AE | AF | AG | AH | ||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
1 | KOMMENTOIJA | JOHDANTO | PERIAATE 1 | PERIAATE 2 | PERIAATE 3 | TAVOITE 1 | TAVOITE 2 | TAVOITE 3 | RISKIT | SANASTO | YLEISIÄ KOMMENTTEJA | ||||||||||||||||||||||||
2 | Aalto-yliopisto | Johdanto ja määritelmät ovat selkeät. | Tasa-arvoisuus on mahdotonta varmistaa, koska julkaisukäytännöt ovat niin erilaisia eri tieteenaloilla. Suomalaiset yliopistot eivät voi yksin muuttaa kansainvälisten tieteenalojen käytäntöjä. Mikäli tilanteen kartoitus ja seuraaminen tapahtuvat Virta-tietojen perusteella, hyvä niin. Erilliset tiedonkeruut eivät ole suositeltavia niiden työllistävän vaikutuksen takia. Eikö periaatteiden pitäisi olla sellaisia, että niihin voi itsekin vaikuttaa? | Miten laadun arviointi käytännössä tapahtuisi? | Ei voida sitoutua sellaiseen, mistä ei vielä tiedetä tarkemmin. Varsinkin kustannukset ovat iso kysymysmerkki. | Miten suomalainen linjaus voi vaikuttaa ulkomaisten kustantajien liiketoimintamalliin? Avoimuuden vaatimisen seurauksena saattaa olla, että kirjoissa julkaiseminen vähenee, koska kirjojen avaaminen on kallista ja vaikeaa – lähes mahdotonta. Lehtien ja kirjojen sopimuksia ei voi keinotekoisesti yhdistää, yksittäisen kustantajan kanssa saattaa olla vain kirja- tai vain lehtisopimuksia. Mikäli esim. lehtitilauksissa syntyy säästöjä, niitä ei vois siirtää kirjoihin, koska kirjoista ei saata olla sopimuksia. Miksi kotimaisia kustantajia kohdellaan eri tavalla kuin ulkomaalaisia? Toimenpiteet: • Monet toimenpiteet ovat epärealistisia ja liian kalliita. • Kuka ja miten märitellään kohtuullisen maksun määrän? • Rinnakkaistallennus ei ole mahdollista rahoittajien ehtojen mukaisesti, koska rinnakkaistallennus poistettiin uudesta tekijänoikeuslakiluonnoksesta. • Uudenlaisten avoimien julkaisukanavien kehittäminen on suositeltavaa, mutta arvioinnin nojaaminen Jufoihin hidastaa tai jopa estä kehitysmahdollisuuksia | Tämän tavoitteen kustannukset ovat erittäin korkeat. Mistä maksaja? Yliopistot eivät voi maksaa kaikkea, koska niidenkin rahoitus kutistuu koko ajan. Tavallisesti kirjoilla on saatu myyntituloja, avoin julkaiseminen muuttaa maksajaksi työn tekijän eli kirjoittajan. | Erinomainen tavoite tehdä kustannukset läpinäkyviksi. | Strategisten periaatteiden riski siitä, että tutkijat joutuvat maksamaan avoimuuden kustannuksia itse tai ohjaamaan julkaisujaan suljettuihin julkaisukanaviin on hyvin suuri. Myös toisen periaatteen riskit ovat suuret, koska maksajia on vaikea löytää. Tavoite 1 • riski 1: Mikäli kustannusalaa uudistetaan, niiden arviointi pitäisi järjestää ainakin alussa muun kuin Jufon perusteella, sillä Jufo 0-tasolla ei suositella julkaistavaksi, ja uudet kustantajat joutuvat usein 0-tasolle. • riski 2: Korkeat kustantajien kustannukset ovat jo nyt tosiasia. Kirjoissa kustantaminen saattaa vähentyä kaikilla tieteenaloilla. Tavoite 2 riski 2: Mitään kustannussäästöjä ei ole näköpiirissä ainakaan pariin vuoteen. Vaikka säästöjä rahavirroissa joskus syntyisikin, maksujen hallinnointi ja raportointi vievät koko ajan lisää työaikaa. | Linjauksen toimeenpano on hyvin vaikeaa. | |||||||||||||||||||||||||
3 | Tampereen yliopisto | Johdanto ottaa kiitettävän kattavasti esille tähän osalinjaukseen vaikuttaneet dokumentit, kuten Plan S:n tieteellisiä kirjoja koskevan julistuksen. Määritelmät helpottavat sen ymmärtämistä, mitä julkaisutyyppejä, kirjoittajia ja organisaatioita yms. osalinjaus koskee. Määritelmät s.4, alaviite 5: “Pre-printit eli vertaisarvioimattomat julkisesti saavutettavaan tietokantaan tallennetut julkaisuluonnokset eivät täytä avoimuuden määritelmiä. Kansainvälisissä julkaisuarkistoissa olevat julkaisut täyttävät avoimuuden määritelmät vertaisarvioinnin jälkeen.” Jää kuitenkin tulkinnanvaraiseksi, eivätkö sitten kansallisissa (esim. yliopistojen) julkaisuarkistoissa olevat vertaisarvioidut julkaisut täytä avoimuuden määritelmää. | Periaate on erittäin kannatettava. Tutkimusorganisaatioiden vastuu mahdollistaa tasavertainen mahdollisuus julkaista avoimesti on nykytilanteessa korostunut erityisesti apurahatutkijoiden kohdalla. Käytänteet ovat vielä kovin kirjavat ja tässä kohtaa olisikin hyvä myös luonnosversiota selkeämmin rohkaista tutkimusrahoittajia ottamaan aiempaa kattavammin ja kunnianhimoisemmin huomioon avoimen julkaisemisen tavoitteet. On tärkeää, että tässä kansallinen seuranta ulottuu systemaattisesti myös tutkimusrahoittajien käytänteisiin ja kustannuksiin. Säätiöiden jne rahoittajien kehitystyön tueksi on jo laadittu Tutkimusjulkaisuiden avoimen saatavuuden suositus tutkimusrahoittajille (https://doi.org/10.23847/isbn.9789525995411) Monografiat ja kokoomateokset ovat yleisempiä joillain tieteenaloilla kuin toisilla. On hyvä, että myös ne nostetaan esille tieteellisten lehtiartikkelien lisäksi. Osa tutkimusrahoittajistakin tekeekin jo näin, esimerkiksi Horizon Europe rinnastaa monografia-artikkelit muihin artikkeleihin. Kommentti toiseen lauseeseen, tässä olisi hyvä mainita myös väitöskirjatutkijat apurahatutkijoiden lisäksi. Erilaisten tutkimusrahoittajien huomiotta jättäminen voi vaikuttaa siihen, että eri tutkimusorganisaatioilla on erilaiset taloudelliset mahdollisuudet tukea tutkijoita, apurahatutkijoita tai väitöskirjatutkijoita, kun avoimuus on saavutettavissa vain ostamalla julkaisu avoimeksi, koska julkaisukanavan embargo ylittää 12 kk. Humanistisissa ja yhteiskuntatieteissä osalla isoista kustantajista kokoomateosartikkelin embargo on 18–24 kk, esim. Springer (pois lukien konferenssijulkaisujen sekä lehtityyppisten teoksen kokoomateosartikkelit), SAGE, Routledge/Taylor & Francis, Palgrave/MacMillan. Laajemminkin olisi hyvä tuoda linjauksen eri kohdissa esiin johdonmukaisesti tutkimusorganisaation ja tutkimusrahoittajien sitoutuminen tasa-arvoisten mahdollisuuksien luomisessa avoimeen julkaisemiseen. | Kannatettava periaate, mutta onko paikallaan tässä osalinjauksessa? Olisiko perusteltua nostaa alaviite 6 osaksi periaatetta 2 varsinaisen tekstin tasolla? Periaate jää nyt irralliseksi maininnaksi tässä osalinjauksessa ja jos se halutaan tähän sisällyttää, niin kaipaisi kytkentää toimenpiteisiin. | Tarpeellinen muistutus linjaus- ja suosituskokonaisuudesta sekä toimenpiteitäkin edellyttävästä sitoutuneisuudesta ATT-julistukseen. | Aikataulu on erittäin tiukka esim. FinELibin neuvottelujen suhteen. FinElibin aineistosopimukset ovat kohdentuneet tieteellisten lehti- tai konferenssiartikkeleiden avoimeen julkaisemiseen. Nämä sopimukset ovat päättymässä vuosina 2022–2024 (Elsevier Cell Pressin sopimus päättyy 2024). FinElib ei ole vielä neuvotellut teosten/kokoomateosten avoimuudesta tai tuonut neuvotteluun rinnakkaistallennuselementtiä. Teosten/kokoomateosten avoimuuden kustannukset voivat nostaa aineistosopimusten kokonaiskustannuksia entisestään. Suorat neuvottelut välittömästä avoimuudesta tai maksimissaan 12 kk:n embargosta vaativat tutkimusorganisaatioilta neuvotteluosaamista ja resursseja, mitä organisaatioilla ei välttämättä ole. Myöskään neuvotteluasema suuremmillakaan suomalaisilla tutkimusorganisaatioilla ei välttämättä ole kovin hyvä kansainvälisten kaupallisten kustantajien intressejä vastaan. Rinnakkaistallennusoikeus tulisi aina säilyä tekijällä, riippumatta mahdollisesta muusta avaamisen tavasta. Tämä on tärkeää erityisesti pitkäaikaissaatavuuden varmistamiseksi sekä on omiaan lisäämään tutkimuksen löydettävyyttä, näkyvyyttä ja vaikuttavuutta. Lainsäädännön tarkoituksenmukaiseen uudistamiseen on tärkeää panostaa. Toimenpiteen nro 3 tutkimusorganisaatiot voivat hyväksyä kohtuulliset yksittäisten kokoomateosten artikkeleiden avoimen saatavuuden takaavat maksut, mutta käytännössä valinnanvaraa ei välttämättä ole, jos tutkimusrahoittaja edellyttää avoimuutta ja tutkija valitsee itse haluamansa julkaisukanavan. Pystytäänkö kirjoittajamaksut sisällyttämään aidosti täysimääräisinä esim. yleiskustannuskertoimiin vai tulevatko kirjoittajamaksut käytännössä tutkimusorganisaatioiden maksettaviksi ja ovat näin pois muusta tutkimuksen teon mahdollistamisesta? Toimenpide nro 7: tämä on ilmeisesti mahdollista toteuttaa vain kansallisella tasolla ja olisikin hyvä, jos tässä osalinjauksessa voitaisiin täsmentää fasilitoiva ja asian edistämisestä vastaava taho. Tavoite 1 ja 2, Toimenpide 4: ”Tutkimusorganisaatiot mahdollistavat omissa tai muiden ylläpitämissä julkaisuarkistoissa rinnakkaistallentamisen, jolla tavoitellaan avoimuuden saavuttamista silloin, kun kokoomateoksen artikkelia ei ole mahdollista julkaista avoimena julkaisijan kanavissa kohtuullisin kustannuksin.” Mikäli kustantajien embargot kokoomateosartikkeleille (yksittäiset teoksille) ovat yli 12 kk, toteutettavaksi avoimuuden malliksi jää vain välitön avoimuus maksamalla kirjottajamaksu riippumatta kustannuksien kohtuullisuudesta ellei tekijänoikeuksien osalta oteta käyttöön muita toimenpiteitä esim. Rights retention tai tekijänoikeuslain muutosta. | Ks. myös tavoitteen 1 kommentit. Onko realistista vaatia tutkimusorganisaatioita sitoutumaan kohdentamaan lisenssien ostoon käytettyjä resursseja uudelleen esim. toimintamallien tukemiseen? Onko tämä mahdollista kattavasti eri tieteenaloilla? Tavoite 2, Toimenpide 7. Onko realistista, että tutkimusorganisaatioiden hankintabudjetista jäisi uudelleen kohdennettavia varoja uusien toimintamallien tai kirjoittajamaksurahastojen tukemiseen? Viime vuosina aineistojen kustannukset ovat nousseet ja tutkimusorganisaatiolle myöhennettävä rahoitus on pysynyt samana tai laskenut. Kustannukset ovat nousseet suhteessa myönnettävään rahoitukseen. Virkkeen sanajärjestys hankaloittaa asian ymmärtämistä, kannattaa korjata. Toimenpiteen 7 idea uusista toimintamalleista kotimaisen julkaisutoiminnan kehittämiseen voisi sisältyä toimenpiteeseen 6, jolloin vastuu kehittämisestä olisi kaikilla osapuolilla. | Toimenpide 4: Kotimaiset julkaisukanavat eivät ehkä voi ja/tai halua tehdä kustannusrakenteitaan täysin läpinäkyviksi tai julkisiksi liikesalaisuuden ja myös GDPR:n vuoksi. Tavoite on yleisellä tasolla kannatettava, mutta olisi hyvä määritellä tarkemmin millaista läpinäkyvyyttä konkreettisemmin kaivataan. Läpinäkyvyyttä on mm. tutkimusorganisaatioiden maksamien hintatietojen ilmoittaminen ne tutkimustietovarantoon. Tutkimustietovarantoon voitaisiin kerätä APC-hintatietojen lisäksi myös BPC. (Tutkimustietovarannosta tiedot edelleen OpenAPC:een.) Eikö BPC-maksujen julkisuus ole tärkeintä? Non-profit toimijalle laskelmien tekeminen voi olla haastavaa ja ainakin se aiheuttaa merkittävää lisätyötä ja voi johtaa turhaan “laatuspekulointiin”. Realistinen voisi olla kustannusrakenteen esittäminen karkealla prosenttitasolla (esim. Jakautuminen henkilöstö- ja hallintokuluihin, julkaisuinfraan, markkinointiin, jäsenmaksuihin jne.) | Riskien huomioiminen osana osalinjausta on onnistunut ratkaisu. Strategiset periaatteet, Riski 1: Riskin todennäköisyys on enemmän kuin pieni. Kirjojen ja kokoomateosartikkeleiden avaamisen maksut voivat olla korkeita, joten erityisesti pienten ja monografioita ja kokoomateoksia suosivien tieteenalojen asema on haavoittuvainen. Avaaminen saattaa kohdistua vain sellaisiin teoksiin, joiden avaamista tutkimusrahoittaja edellyttää. Yhteen tutkimusorganisaatioon voi myös kohdistua useita kirjoittajamaksuja, jos kokoomateosten artikkelien kirjoittajat keskittyvät vain yhteen tai kahteen tutkimusorganisaatioon ja kustantaja toimii kohtuutonta kaupallista voittoa tavoitellen (vrt. esim. Elsevier). Kansallisen tason kokonaiskustannuskehityksen seurannan lisäksi on tarpeen panostaa neuvotteluedellytysten luomiseen mm. FinElibille, jotta avoimen julkaisemisen kustannukset saadaan pysymään maltillisina. Tavoite 2, riski 2: Riski on pientä suurempi, siis kohtalainen. Tahtokaan ei välttämättä riitä, jos kustannussäästöjä on tehtävä hinnalla millä hyvänsä. Onko mahdollista tukeutua ajatukseen, että tutkimusorganisaatioille kertyy avoimuuden kautta kustannussäästöjä, kun samanaikaisesti aineistokustannukset (mukana avoin julkaiseminen) ovat nousseet? Mikäli avoimuus kokoomateosartikkeleille ja yksittäisille teoksille saavutetaan enenevässä määrin maksullisena välittömänä julkaisemisena, lisääntyvät kustannukset. Tavoite 2, riski 3: Hyvä, että tämä riski on nostettu esille. "CC BY -lisenssiä ei suositella käytettäväksi avoimien tiedekirjojen yhteydessä" on kuitenkin tarpeettoman vahva muotoilu. Myös artikkelit voivat joutua piraattitoiminnan kohteeksi niin kuin mikä tahansa muukin digitaalisessa muodossa oleva hyödyke. Voisiko tämän muotoilla niin, että “rahoittajat ja organisaatiot sallivat kirjoille myös muut yhdistelmät kuin CC BY -lisenssin"? Tavoite 2, riski 4. Kyse on pikemminkin avointen kirjojen löydettävyydestä ja miten hyvin avoimesti julkaistut kirjat ovat löydettävissä esim. Kirjastotietokannoissa. Avoimet infrastruktuurit (esim. DOAB, OAPEN, jotka sisältävät varsinaisen kohteen pdf:n) sisältävät avoimia kirjoja ja ne voidaan integroida kirjastojen tietokantoihin. Näin voidaan parantaa merkittävästi niiden saatavuutta tiedeyhteisön lisäksi laajemminkin yhteiskunnassa. | Suoraan osalinjaukseen liitetty sanasto on tarpeen ja sisällöltään relevantti. | On hyvä, että kirjajulkaisemisen avoimuutta edistetään aiempaa merkittävästi systemaattisemmin nyt myös kansallisen osalinjauksen muodossa. Osalinjaus näyttäytyy kunnianhimoisena ja aikataulultaan tiukkana. Ilman kunnianhimoa, eri toimijoiden yhteistä sitoutuneisuutta ja selkeää aikataulua ei kuitenkaan saada asioita riittävästi tapahtumaan. | ||||||||||||||||||||||||
4 | Vaasan yliopisto | Since most anthologies are multi-author and multi-institution, this essentially means own repository (green OA). Equal opportunity very difficult in this case since publishers place a very high price on APC for a book, and often do allow APC for just a few chapters. But this is evolving. Many authors are not editors, so may little influence. Emphasizes key role of editor in the publishing agreement, sometimes agreed before contributions are invited. Emphasizes key role of editor in the publishing agreement, sometimes agreed before contributions are invited. | Much needed. Publishers are also responding with new innovations, e.g. CUP 'Elements' (cross between books and articles) https://www.cambridge.org/core/what-we-publish/elements | Much welcomed. Book/anthology publishers do not publish prices in the same way they do for their journals. It is often a negotiation "depending on the book in question". Experience suggests that this can be closer to EUR 20,000 | An issue that is not fully recognised here is the nature of peer review in anthologies (and monographs). If the research organisation does not view the rigour of the peer review process to be as high as in journals, they are likely to be more hesitant in paying APC. An issue that is not fully recognised here is the nature of peer review in anthologies (and monographs). If the research organisation does not view the rigour of the peer review process to be as high as in journals, they are likely to be more hesitant in paying APC. | Savings' assumes that a sufficient budget was allocated in the first place. Publishing costs are increasing as output increases and more different kinds of publications are expected to be open access. 'Savings' assumes that a sufficient budget was allocated in the first place. Publishing costs are increasing as output increases and more different kinds of publications are expected to be open access. 'Savings' assumes that a sufficient budget was allocated in the first place. Publishing costs are increasing as output increases and more different kinds of publications are expected to be open access. Since most traditional research books and anthologies have a retail price (unless accessible via a public library), one can question whether the general public can find these results now. The sales of research anthologies are still very much within academia. Research books also compete with more popularist books that are not always written by practicing academics. The consequences of open science policy for research books and anthologies should thus consider how it impacts mis/dis-information. | |||||||||||||||||||||||||||||
5 | Turun yliopisto | Johdanto ja määritelmät –osioiden keskinäinen suhde jää epäselväksi. Määritelmät -osiossa on kuvattu, mitä julkaisuja osalinjaus koskee, mikä olisi luontevampaa kertoa johdannossa. Tämän lisäksi osiossa on määritelty ainoastaan mitä välittömällä avoimuudella tarkoitetaan. Jos määritelmät -osiota ylipäänsä tarvitaan, siihen tulisi sisällyttää muitakin osalinjauksessa toistuvien käsitteiden määritelmiä, kuten rinnakkaistallennus. Osalinjauksen tekstissä esiintyy lisäksi kaksi sanamuotoa ”rinnakkaistallennettu” ja ”rinnakkaistalletettu” (tavoitteissa 1a ja 1b sekä 2a ja 2b). Onko tämä tarkoituksellista? Myös rinnakkaistallenteiden eri versiot olisi hyvä mainita määritelmän/johdannon tekstissä ja se, että preprintit eivät täytä avoimuuden määritelmiä (nosto alaviitteestä tekstiin). Linjauksessa tulisi perustella, millä perusteilla linjaus on rajattu vain julkaisuihin, joissa kaikki kirjoittajat ovat affilioituneet suomalaiseen tutkimusorganisaatioon tai työskentelevät suomalaisessa tutkimusorganisaatiossa tai ovat suomalaisen tutkimusrahoittajan rahoituksella työskenteleviä tutkijoita tai julkaisuihin, joiden vastuukirjoittajaa koskevat em. kriteerit. Johdannossa todetaan, että avoimuuden vaatimuksiin voi sisältyä ehtoja, jotka liittyvät kotimaisen kustannustoiminnan turvaamiseen. Onko tämä osalinjauksen keskeisiä tavoitteita, kun se nostetaan esiin johdannossa? Strategisiin periaatteisiin ei viitata johdannossa lainkaan, vaikka erityisesti tasavertainen mahdollisuus avoimeen julkaisemiseen on julkaisujen avoimuuteen liittyvässä problematiikassa olennaista, erityisesti tieteen ja tutkimuksen tekemisen näkökulmasta. Johdannossa viitataan eurooppalaiseen konsensukseen erityisesti monografioiden avoimuuden tavoitteiden määrittelyssä. Konsensuksen dokumentoimiseksi olisi hyvä olla esimerkkiviitteitä. | Kaikilla tutkijoilla on tasavertainen mahdollisuus julkaista tutkimuksensa ja saattaa se avoimesti saataville riippumatta tutkimusalasta, rahoituspohjasta tai uravaiheesta Periaate on keskeinen koko tieteen ja tutkimuksen avoimuuden kentässä. Tasavertainen mahdollisuus ei toteudu ilman taloudellista panostusta, johon tutkimuksen rahoittajien ja tutkimusorganisaatioiden tulisi sitoutua. Viimeksi mainittujen sitoutuminen tasavertaisen mahdollisuuden toteuttamiseen on erityisen kriittistä yksittäisten tieteellisten teosten julkaisemiseen liittyen. Yksittäisteoksen kirjoitus- ja julkaisuprosessi ovat toisenlaiset kuin tieteellisten artikkeleiden, samoin rahoituslähteissä ja -mahdollisuuksissa on eroja (esim. humanististen alojen monografiaväitöskirjat vs. tekniikan alan artikkelit). Tieteenalasta riippuen yksittäisten tieteellisten teosten julkaisemisella on taloudellista merkitystä kirjoittajalle ja kustantajalle (esim. oikeustieteelliset ja yhteiskuntatieteelliset väitöskirjat, joita kaupalliset kustantajat julkaisevat). Näitä seikkoja olisi hyvä tarkastella periaatteen yhteydessä. Periaate on hyvä, mutta siihen sitoutumien edellyttää vahvaa taloudellista panostusta ja mm. sitä, että tunnetaan yksittäisteosten ja kokoomateosten kirjoittamiseen ja julkaisemiseen liittyviä tieteenalakohtaisia tekijöitä ja osalinjauksessa käsiteltävien julkaisujen merkitys eri tieteenaloilla. Lähtötilanteen kartoitus: Miksi avoimen tieteen koordinaatio olisi taho, joka arvioi tasavertaisuuteen liittyviä haasteita. Paras tuntemus lienee tutkimusorganisaatioiden sisällä. Jatkuva seuranta: Mitä tarkalleen ottaen seurataan? Mikä on seurannan tavoite? Nämä asiat tulisi ilmaista selkeämmin. Pelkkä seuranta ja keskusteluun nostaminen eivät riitä periaatteen toteuttamiseksi. | Tieteellisten julkaisujen arvioinnissa arvioidaan erikseen yksittäisen tutkimusjulkaisun laatua. Periaate on kuvattu kovin lyhyesti, viittaamalla kahteen suositukseen. Avoimuutta indikaattorina koskeva osa on hajotettu alaviitteeseen. Epäselväksi siis jää, mikä on periaatteen sisältö? Periaatteen tasolla kerrotaan, mitä tieteellisten julkaisujen arvioinnissa arvioidaan (=yksittäisen tutkimusjulkaisun laatua) ja kerrotaan, mitkä suositukset ohjaavat tutkijoiden ja tieteellisten julkaisujen laadun arviointia. Alaviitteessä sitten tuodaan esiin osalinjauksen kannalta tärkeä asia, että avoimuus sinänsä ei ole laadun arvioinnin kriteeri julkaisukanavan valinnassa, mutta avoimen saatavuuden katsotaan lisäävän saavutettavuuden kautta tieteen vaikuttavuutta. Voisiko nämä asiat yhdistää ja muotoilla periaatteen uudelleen avoimuuden näkökulmasta – siitähän osalinjauksessa on kyse. Avoimuus ei ole välttämättä ole sama asia kuin tutkimuksen laadukkuus, vaikka tavoitteena on niiden keskinäisen riippuvuuden syventäminen. Olisi hyvä lyhyesti mainita, millaisella tutkimustiedolla perustellaan alaviitteessä esitettyä väitettä, että avoin saatavuus lisää tieteen vaikuttavuutta, kun puhutaan nimenomaan yksittäisteoksista. | Kotimaisen kustannustoiminnan osalta avoimuuden tavoitteiden toteuttaminen edellyttää tutkimusyhteisön sitoutumista esitettyihin toimenpiteisiin Voiko mikään organisaatio sitoutua jatkuviin kustannuksiin? Etenkään ilman perusteelista arviota kustannusten kehittymisestä. Tärkeä huomio on, että kirjastot/FinELib ovat neuvotelleet artikkelikrediiteistä jo vuosia, mutta kirjojen avoimelle julkaisemiselle ei ole juurikaan taloudellista infrastruktuuria (tämä liittyy myös periaatteeseen 1). | Tavoite sinänsä on kannatettava, mutta onko se realistinen annetussa aikataulussa? Lisensiointiin otetaan kantaa hiukan epämääräisesti: ”…lisensioitu riittävän avoimuuden ja kirjoittajan oikeudet turvaavalla lisenssillä”. Riskien kartoituksessa s. 10 nähdään riskinä erityisesti CC BY-lisenssin mahdollistama kaupallinen piraattijulkaiseminen. Toisaalta tavoitteen edellyttämät toimenpiteet kohta 2. edellyttää, että organisaatiot pyrkivät neuvottelemaan julkaisuille välittömän avoimuuden niiden kustantajien kanssa, jotka eivät ole mukana FinELib-sopimuksissa. Toimenpiteissä organisaatioille ei kuitenkaan anneta selkänojaa tai yhteistä määrittelyä sille, mikä lisenssi sekä takaisi riittävän (miten määritellään?) avoimuuden ja turvaisi samalla kirjoittajan oikeudet. Ja onko organisaatioilla osaamista ja resursseja näihin neuvotteluihin? Toimenpide 3 antaa organisaatioille ohjeen, mitä ne voivat tehdä. Yliopistot ovat itsenäisiä oikeudellisia toimijoita, jotka päättävät omasta rahankäytöstään. Toimenpiteen ei pidä kuulostaa siltä, että organisaatioille annetaan lupa tehdä jotakin. Toimenpide 4. Miten organisaatio voi mahdollistaa rinnakkaistallentamisen, jos julkaisemiseen ei ole kustantajan lupaa? | Kuten kokoomateosten artikkeleiden kohdalla, tässäkin tavoite on kunnianhimoinen ja aikataulu vaikuttaa epärealistiselta. Toimenpide 1 : Onko tavoite todellisuudessa realistinen vai merkitseekö se vain avoimuuden kustannusten siirtämistä muuhun toimintaan (julkaisemisen ja muiden kustantajan palvelujen kustannukset nousevat)? Millaisella rahallisella kompensaatiolla kustantaja voisi suostua kaikkien tieteellisten kirjojen rinnakkaistallentamiseen? Toimenpide 2 ja toimenpide 6: Miksi kaksi erillistä mallia? Vai onko kyse samasta mallista? Toimenpide 3: vrt kommentti Tavoite 1, toimenpide 3. Toimenpide 4: vrt. kommentti Tavoite 1, toimenpide 4 Toimenpide 5: erittäin kannatettavaa Toimenpide 7: monesta näkökulmasta ongelmallinen. Suosituksella ei voida eikä pidä ohjata itsenäisten oikeudellisten toimijoiden sisäistä rahanjakoa. Toimenpiteeseen on sisäänkirjoitettuna ajatus, että painettujen ja e-kirjojen ostaminen tulee tarpeettomaksi julkaisujen avoimuuden myötä. Se on kuitenkin pitkä prosessi ja johtopäätös on lisäksi liian suoraviivainen tieteen tekemisen näkökulmasta. Monitieteisissä tutkimusorganisaatioissa tarvitaan tutkimuksen tueksi kirjallisuutta, jota ei välttämättä ole avoimesti saatavilla vielä aikoihin (esim. harvinaisempien kielialueiden tieteellinen kirjallisuus). Organisaatioiden painettuihin tai e-muotoisiin kokoomateoksiin tai yksittäisteoksiin käyttämillä hankintamäärärahoilla ei myöskään välttämättä osteta avoimeksi kovinkaan monta kirjaa tai kartuteta merkitsevällä tavalla keskitettyjä avoimuusrahastoja. | Kannatettava. | Yleistä: Linjauksessa olisi hyvä lyhyesti avata, miten riskianalyysi on tehty ja erityisesti mihin perustuu/miten on toteutettu riskin todennäköisyyden arviointi. Onko mietitty, missä järjestyksessä riskit kannattaa esittää. Esimerkiksi strategisten periaatteiden ja tavoite 2:n kohdalla pieneksi arvioitu riski on kerrottu ensimmäisenä. Olisi loogisempaa esittää riskit edeten suurimman todennäköisyyden riskistä pienimpään. Strategiset periaatteet 1. Riski: Riski on keskeinen avoimuuden tieteenalariippumattoman toteutumisen kannalta ja tasavertaisuuden näkökulmasta. Periaatteen toteutuminen edellyttää huomattavaa taloudellista panostusta ja organisaation resurssien ja osaamisen varmistamista avoimen julkaisemisen tueksi. Siksi on hämmästyttävää, että riski on arvioitu asteikolla pieni/kohtalainen. 2. Riski ja sen seuraus: Osalinjauksen kolmas strateginen periaate on siis pelastaa kotimainen tieteellinen kustannustoiminta näivettymiseltä siten, että tiedeyhteisö sitoutuu turvaamaan kustannustoiminnan avoimuuden kehittämisen ja sen toimintaedellytykset ts. sitoutuu avoimuuden toteuttamisesta aiheutuviin jatkuviin kustannuksiin. Periaate itsessään sisältää riskin: voiko periaatepaperilla sitouttaa organisaatioita ottamaan vastuuta jatkuvista kustannuksista? Pitäisikö sekä tavoite että riski muotoilla uudestaan? | Osalinjaus vaatii vielä muokkaamista sekä sisällön että rakenteen suhteen. Lisäksi tavoitteet ovat periaatteessa kannatettavat, mutta aikataulun tiukkuus mietityttää. Pystyvätkö organisaatiot sitoutumaan tähän? Osalinjauksessa ei ole huomioitu sitä, että yliopistoissa tehdään paljon tutkimusta, jota ei ole rahoitettu julkisilla varoilla. Esimerkiksi oikeustieteessä mm. väitöskirjat julkaistaan usein kaupallisesti. Sen sijaan esim. lääketieteen väitöskirjat eivät yleensä ole mitään myyntimenestyksiä. Tämä vaikuttaa myös siihen, että lääketiteen puolella väitöskirjat julkaistaankin jo nyt yleensä avoimesti, oikeustieteen puolella vain harvoin. Kaupallisesti julkaistu kirja tuo kirjoittajalle korvausta myynnin perusteella. Linajuskessa esitetään, että kirjoittaja joutuisi tavalla tai toisella maksamaan kirjojen avaamisesta, eikä saisi kirjojen myynnistä enää tuloja. Mitä rahallista korvausta työstään kirjoittajat siis jatkossa saisivat? Avoimesti julkaistuista teoksista ei myöskään saa Sanastolta mitään korvauksia. Lisäksi linjauksessa esitetään, että “tarvitaan uusia rahoitus- ja toimintamalleja” – mutta mitähän ne ovat? Ja miten kirjoittajien toimeentulo taataan jatkossa? | |||||||||||||||||||||||||
6 | Helsingin yliopisto | Tasavertaisuuteen liittyvistä haasteista kannatta mainita jotain edes esimerkinomaisesti, muuten periaate jää liian epämääräiseksi. | Olennainen kysymys on, ovatko Plan S -tutkimusrahoittajat valmiita joustamaan välittömän avoimuuden vaatimuksesta monografioiden rinnakkaistallenteiden osalta, vai ajaako tilanne siihen, että maksullinen Golden Open Access on käytännössä ainoa vaihtoehto ulkopuolista rahoitusta saaneelle tutkijalle? Kommentti toimenpiteeseen 6: Kohtuullisuuden mittarit ovat tärkeitä, mutta jatkon kannalta on keskeistä se, millaiset reunaehdot rahoittajien, organisaatioiden ja tiedekustantajien välille syntyvät. Missä pelisäännöistä sovitaan, ketkä siihen osallistuvat? Tätä voisi linjauksessa vähän tarkentaa, tai ainakin kertoa, millä aikataululla tarkempi suunnitelma asiasta on tulossa. Linjauksessa ehdotettu toimintamalli on kuvattu hyvin yleisellä tasolla, mutta on nähtävissä, että se muuttaa kotimaisten tiedekustantajien ansaintalogiikkaa, ja synnyttää käytäntöjä, joille ei ole kotimaista edeltäjää. Kustannusten kohtuullisuudella on vain kansainvälisiä vertailukohtia, ja linjauksessa ollaan nyt esittämässä kansallista, yhteistä mallia avoimen julkaisemisen kustannusten jakamiseksi. Toimenpiteen sanamuodon pitäisi olla tiukempi: tarkoituksena ei varmaankaan ole ainoastaan arvioida kustannusten kohtuullisuutta, vaan myös sopia niistä? Toimenpide edellyttää myös kustannuksia koskevan tiedon avointa saatavuutta. Tutkimusrahoittajat ja tutkimusorganisaatiot tulevat varmasti myös painottamaan kokoomateosten ja monografioiden julkaisun Plan S -mukaisuutta, kuten kustantajan kirjoittajille antamia selkeitä ohjeita rinnakkaistallentamisen ehdoista sekä julkaisun jatkokäytön lisenssistä. Toimenpiteen kuvaus on itsessään hiukan kankea ja toisteinen, eli sitä pitäisi muotoilla uudestaan. | Toimenpide 7: Mikä takaa, että kokoomateosten ja monografioiden välittömän avoimuuden toteutuminen tuottaa organisaatioille kustannussäästöjä? Tätä pitäisi hiukan avata linjauksessa. | "Tutkimusorganisaatiot eivät riittävällä tavalla varmista, että kaikilla organisaatioon affilioituneilla tutkijoilla on tasavertaiset mahdollisuudet avoimeen julkaisemiseen, riippumatta tutkimusalasta, uravaiheesta tai tutkimushankkeen rahoituspohjasta". Yliopistot tarjoavat avoimen julkaisemisen palveluitaan kaikille yliopistoon affilioituneille tutkijoille, tutkimuksen rahoituspohjasta riippumatta. Yliopistot myös tarjoavat tutkijalle mahdollisuuden rinnakkaistallentaa julkaisu tai sen käsikirjoitusversio maksutta avoimesti saataville organisaation omaan julkaisuarkistoon. Tämä koskee artikkeleiden lisäksi myös yksittäisteoksia. Mahdollisuutta rajoittavat juuri kustantajien ehdot, koska kaikki kustantajat eivät salli koko teoksen rinnakkaistallennusta. "Erityisesti humanistisilla ja yhteiskuntatieteiden aloilla avoimen tiedekirjajulkaisemisen vaade saattaa, vastoin avoimen tieteen tavoitteita, johtaa tiedejulkaisemisen fragmentoitumiseen. Suuri yleisö ei enää löydä tieteen tuloksia perinteisistä kirjoista." Linjauksessa ei mainita sanallakaan sitä hyvin todennäköistä vaihtoehtoa, että tiedekustantajat jatkavat tulevaisuudessa myös fyysisten tiedekirjojen julkaisemista, esimerkiksi print on demand -periaatteella. Osa lukevasta yleisöstä kun haluaa myös – tai nimenomaan – fyysisen kirjaesineen. Se, muodostaako esimerkiksi avoimeksi saatettu kokoomateos kokonaisuuden myös digitaalisena, on pitkälti kiinni myös julkaisukanavan omista valinnoista. Kokonaisuuden hahmottaminen, ja siihen liittyvät mahdolliset ongelmat eivät täten liity avoimeen julkaisemiseen, vaan e-kirjojen julkaisemiseen ylipäänsä. Suurelle yleisölle tarkoitettu populaari tiedejulkaisu ei ole suoraan rinnasteinen tieteelliseen kokoomateokseen tai monografiaan, niitä ei välttämättä koske samanlainen avoimuuden ehto kuin julkisesti rahoitettujen tutkimusprojektien tuottamia julkaisuja, ja siksi niitä ei kannattaisi käyttää perusteluna tässä yhteydessä. Sanavalinnoissa näkyy sellainen taustaoletus, että avoin julkaiseminen olisi suunnattu erityisesti tieteestä kiinnostuneille kansalaisille, mutta kotimaisia tutkimusjulkaisuja lukevat pääsääntöisesti opiskelijat, tutkijat ja eri alojen asiantuntijat. Avoin tiedejulkaiseminen hyödyttää ennen kaikkea tieteen tekijöitä ja soveltajia, jotka eivät ole edes Suomessa – globaalista tilanteessa puhumattakaan – tasaveroisessa asemassa tutkimusjulkaisujen saatavuuden suhteen. Riskin kuvauksessa jää perustelematta avoimen julkaisemisen väitetty nopeus, ja se, miksi esimerkiksi painettuja kirjoja hiukan nopeampi e-kirjojen julkaisuprosessi olisi erityinen riski tiedejulkaisemiselle. Julkaisuprosessin eri vaiheet (käsikirjoituksen tuottaminen, vertaisarviointi, muokkaus, editointi, taitto ja markkinointi) ovat jo nyt digitaalisia, ja ne eivät ole avoimessa julkaisemisessa sen nopeampia kuin e-kirjojen kohdalla muutenkaan. Painettuihin kirjoihin verrattuna poistuvat välivaihteet ovat julkaisujen painatus, varastointi ja kuljetus/postitus. Julkaisun ilmestymisen aikataulun päättää myös edelleen kustantaja, omien preferenssiensä mukaisesti. Sanavalinnat luovat mielikuvaa siitä, että avoin julkaiseminen olisi jotenkin vähemmän huolellista ja tieteellisesti pätevää, mikä istuu aika huonosti avoimen julkaisemisen kansalliseen linjaukseen. | Kokooma- ja yksittäisteosten linjaus on selvästi laadittu erityisesti kotimaista tiedejulkaisua ajatellen. Kansainvälisiin tiedejulkaisijoihin vaikuttaminen, tai minkään toimintamallin laatiminen on Suomelle vaikeaa, ellei mahdotonta: tämä voi onnistua ainoastaan isomman kansainvälisen verkoston kautta (kuten tutkimusrahoittajien Coalition S). Tämä pitäisi voida ilmaista linjauksessa myös suoraan. Kotimaiseen tiedejulkaisemiseen liittyy myös kysymyksiä ja periaatteita, jotka ulottuvat pelkän julkaisutoiminnan ulkopuolelle: kysymys kotimaisilla kielillä tehtävän tiedejulkaisemisen asemasta ja tulevaisuudesta, tutkimustiedon saattamisesta kotimaisen yleisön saataville ja tutkimustuloksia koskevan kotimaisen keskustelun edistämisestä. Nämä kysymykset ovat tietysti läsnä myös lehtiartikkelien ja konferenssijulkaisujen avoimessa julkaisemisessa, mutta kokoomateosten ja monografioiden avoimuuden kohdalla puhutaan myös selkeämmin kustannuksista. Linjauksessa on kyse avoimen julkaisemisen rahoituksesta, ja kustannusten kohtuullisesta jakautumisesta eri toimijoiden kesken. Yhteisen sopimisen malli on sinällään erittäin kannatettava tavoite. | |||||||||||||||||||||||||||||
7 | Jyväskylän yliopisto | Kokooma- ja yksittäisteosten avoimuuden osalinjaus jatkaa hyvin työtä, joka on kansallisesti toimeepantu yleisessä Tutkimusjulkaisuiden avoimen saatavuuden linjauksessa ja edelleen huomioi PlanS-julistuksen vaatimukset. | Periaate kaikkien tutkijoiden tasavertaisista mahdollisuuksista julkaista tutkimuksensa on erinomainen. Periaatteen toteuttaminen siitä, että tutkimusorganisaatiot varmistavat, että kaikilla organisaatioon affilioituneilla tutkijoilla on tasavertaiset mahdollisuudet avoimeen julkaisemiseen, ei vielä toteudu. Ongelmallisia tutkijaryhmiä ovat esimerkiksi apurahatutkijat ja määräaikaisissa työsuhteissa olevat tutkijat, joihin on kiinnitettävä erityistä huomiota. | JYU kannattaa periaatetta julkaisujen arvioinnissa yksittäisten tutkimusjulkaisuijen laatua riippumatta julkaisujen avoimuudesta. Periaatteen listaaminen tässä yhteydessä vaikuttaa jossain määrin tarpeettomalta toistolta. | Periaate edellyttää tutkimusyhteisön sitoutumisesta esitettyihin toimenpiteisiin ja varmasti niihin sitoudutaankin huomioiden ne edellytykset, jotka aikataulujen puitteissa käytettävissä olevat ja joissakin tapauksissa vähenevät resurssit mahdollistavat. | Tavoitteet 1 ja 2 (siis sekä kokoomateosten artikkelit että yksittäisteokset) ovat kannatettavia ja samaan aikaan erittäin haastavia. Avoimuuden edistämisen tavoitteet ovat osoittautuneet kustantajien näkökulmasta olevan erittäin vaikeita ja toisaalta yksittäisten yliopistojen saati tutkijoiden kannalta neuvotteluasemat teosten avoimeksi julkaisemiseksi hyvin heikot. Toimenpiteet 1 ja 2 viittaavat joko FinELibin tiedekustantajiin tai sen ulkopuolisiin ja kummassakin tapauksessa aiemmat neuvottelut ovat edenneet hyvin hitaasti. Lisähuomio tähän osalinjaukseen liittyen on, että FinELib ei neuvottele kuin muutaman ison kustantajan kanssa, joilla on kirjajulkaisutoimintaa (esim. Bloomsbury puuttuu). Tutkimusorganisaatioiden kannalta aineistopakettien hintojen nousu on erittäin merkittävä taloudellinen riski, mikäli neuvotteluja ei saada avoimesti etenemään. Neuvotteluissa ei ole juuri edistytty edes rinnakkaistallennettujen julkaisujen maksimiviiveen suhteen, joka sinänsä olisikin tärkeä edistysaskel. | Tavoitteet 1 ja 2 (siis sekä kokoomateosten artikkelit että yksittäisteokset) ovat kannatettavia ja samaan aikaan erittäin haastavia. Avoimuuden edistämisen tavoitteet ovat osoittautuneet kustantajien näkökulmasta olevan erittäin vaikeita ja toisaalta yksittäisten yliopistojen saati tutkijoiden kannalta neuvotteluasemat teosten avoimeksi julkaisemiseksi hyvin heikot. Toimenpiteet 1 ja 2 viittaavat joko FinELibin tiedekustantajiin tai sen ulkopuolisiin ja kummassakin tapauksessa aiemmat neuvottelut ovat edenneet hyvin hitaasti. Lisähuomio tähän osalinjaukseen liittyen on, että FinELib ei neuvottele kuin muutaman ison kustantajan kanssa, joilla on kirjajulkaisutoimintaa (esim. Bloomsbury puuttuu). Kohta 2 (Viimeistään vuonna 2025 ... sopimusmallin tieteellisetn kirjojen avoimuuden takaamiseksi ... ja johon tutkimusoganisaatot ovat sitoutuneet) sisältää piilevän ohjeistuksen siitä, että yliopistot ovallistuvat kustannuksiin, joita tällä hetkellä ei edes pysty arvioimaan. Kohdassa 7. viitataan siihen, että tutkimusorganisaatioiden on syytä kohdentaa tiedejulkaisujen hankintaan käyttämiseen resursseja esimerkiksi avoimuusmaksuihin. Tässä pitää huomioida vähintään siirtymäajat, joiden aikana molemmat maksut ovat korkeat eikä ainakaan vielä ole mitään näkyvyyttä siihen että käänne olisi näkyvissä. | Julkaisukanavien ja julkaisujen kokonaishintojen läpinäkyvyys ja julkisuus on kannatettava tavoite, jota on syytä edistää. | Yleishuomio riskeistä on, että linjaus voi johtaa kustannusten jatkuvaan nousuun. Toinen riski, mitä jää tässä vähälle huomiolle on se, että kustantaja ei tarjoa lainkaan mitään mahdollisuutta avoimuuteen, ei anna lupaa rinnakkaistallentamiseen eikä kirjaa saa ostettua avoimeksi edes rahalla. Tällöin ainoaksi mahdollisuudeksi jää se, että tutkijat eivät tarjoa niille kustantajille teoksiaan. | Kokooma- ja yksittäisteosten avoimuuden osalinjaus on tärkeä jatko aiemmalle työlle ja siinä on kohtalaisen hyvin huomioitu käytännön vaikeudet, jotka ovat jo aiemmin todentuneet. Toisaalta osalinjaus asettaa selkeitä tavoitteita ja määräaikoja, joita ilman työ ei välttämättä jatkuisi lainkaan. | |||||||||||||||||||||||||
8 | Oulun yliopisto | s. 3. “…Euroopassa vallitsee erityisesti monografioiden avoimuuden tavoitteita määriteltäessä selkeä konsensus…” -> Plan S tukee monografioiden avoimuutta, mutta voisiko eurooppalaista konsensusta perustella paremmin esim. viittein. | Jotta kaikilla tutkijoilla Suomen eri tutkimusorganisaatioissa olisi tasavertaiset mahdollisuudet avoimeen julkaisemiseen, pitäisi organisaatioiden sisäinen rahanjako avoimeen julkaisemiseen saada ensin kuntoon. | Toimenpide 1. FinELib varmasti yrittää neuvotella, mutta riittävätkö yliopistojen rahat tulla konsortiosopimuksiin mukaan? Toimenpide 2. Rahoitus? Toimenpide 5. Miksi esimerkiksi Suomen Akatemialta saisi hakea erikseen A3 ja C1 avaamiskustannuksiin rahaa, kun artikkelien vastaavat maksut sisällytetään yleiskustannuksiin (ei haeta erikseen rahoitusta)? Toimenpide 7. Tarkoitetaanko tässä kotimaisia kustantajia? Julkaisijat = tutkijat? | Samat kommentit kuin edellisen kohtiin toimenpiteiden 1, 2 ja 5 osalta. Toimenpiteissä 1 ja 2 on kyse myös FinELibin resursseista, jossain määrin jopa FinELibin strategian uudistamisesta. Toimenpiteissä lasketaan paljon FinELibin varaan. Toimenpide 7. Kenen ehdoilla? Monografia-aineiston hankinta painottuu kurssimateriaaleihin, jotka eivät avaudu helposti näillä tavoitteilla ja toimenpiteillä. Tulee myös huomioida, että sitoutuminen resurssien uudenlaiseen kohdentamiseen ei saisi heikentää opiskelijoille suunnattuja palveluita. | Kannatettavia tavoitteita. Toimenpiteet 1 ja 2 ovatkin jo pitkälti toteutuneet. | Strategiset periaatteet: rahoituksen riittävyys tutkimusorganisaatioissa. Olisiko riski ennemminkin suuri kuin pieni/kohtalainen? Monografian kirjoittaminen lienee yleensä useamman vuoden prosessi, bpc-rahoitus olisi varmistettava heti alussa. RIski 2. Pitkäjänteinen kotimaisen tieteellisen kustannustoiminnan kehittäminen = rahan kaataminen kotimaisille kustantajille. s. 10 “Suomalaisissa tutkimusorganisaatiossa ollaan erittäin valveutuneita avoimuuden kehittämisen vaatimien toimenpiteiden suhteen. Tieto ja ymmärrys riittävät, kyse on tahdosta.” Olisiko ennemminkin kyse rahoituksesta kuin tahdosta. Kärjistäen kaikki riskit liittyvät rahaan. Avoimuuteen ei kannattane pyrkiä hinnalla millä hyvänsä. Riski on myös se, että kustantajat liioittelevat myyntituottoja ja sen perusteella ylihinnoittelevat BPC-maksut. | ||||||||||||||||||||||||||||
9 | |||||||||||||||||||||||||||||||||||
10 | |||||||||||||||||||||||||||||||||||
11 | |||||||||||||||||||||||||||||||||||
12 | |||||||||||||||||||||||||||||||||||
13 | |||||||||||||||||||||||||||||||||||
14 | |||||||||||||||||||||||||||||||||||
15 | |||||||||||||||||||||||||||||||||||
16 | |||||||||||||||||||||||||||||||||||
17 | |||||||||||||||||||||||||||||||||||
18 | |||||||||||||||||||||||||||||||||||
19 | |||||||||||||||||||||||||||||||||||
20 | |||||||||||||||||||||||||||||||||||
21 | |||||||||||||||||||||||||||||||||||
22 | |||||||||||||||||||||||||||||||||||
23 | |||||||||||||||||||||||||||||||||||
24 | |||||||||||||||||||||||||||||||||||
25 | |||||||||||||||||||||||||||||||||||
26 | |||||||||||||||||||||||||||||||||||
27 | |||||||||||||||||||||||||||||||||||
28 | |||||||||||||||||||||||||||||||||||
29 | |||||||||||||||||||||||||||||||||||
30 | |||||||||||||||||||||||||||||||||||
31 | |||||||||||||||||||||||||||||||||||
32 | |||||||||||||||||||||||||||||||||||
33 | |||||||||||||||||||||||||||||||||||
34 | |||||||||||||||||||||||||||||||||||
35 | |||||||||||||||||||||||||||||||||||
36 | |||||||||||||||||||||||||||||||||||
37 | |||||||||||||||||||||||||||||||||||
38 | |||||||||||||||||||||||||||||||||||
39 | |||||||||||||||||||||||||||||||||||
40 | |||||||||||||||||||||||||||||||||||
41 | |||||||||||||||||||||||||||||||||||
42 | |||||||||||||||||||||||||||||||||||
43 | |||||||||||||||||||||||||||||||||||
44 | |||||||||||||||||||||||||||||||||||
45 | |||||||||||||||||||||||||||||||||||
46 | |||||||||||||||||||||||||||||||||||
47 | |||||||||||||||||||||||||||||||||||
48 | |||||||||||||||||||||||||||||||||||
49 | |||||||||||||||||||||||||||||||||||
50 | |||||||||||||||||||||||||||||||||||
51 | |||||||||||||||||||||||||||||||||||
52 | |||||||||||||||||||||||||||||||||||
53 | |||||||||||||||||||||||||||||||||||
54 | |||||||||||||||||||||||||||||||||||
55 | |||||||||||||||||||||||||||||||||||
56 | |||||||||||||||||||||||||||||||||||
57 | |||||||||||||||||||||||||||||||||||
58 | |||||||||||||||||||||||||||||||||||
59 | |||||||||||||||||||||||||||||||||||
60 | |||||||||||||||||||||||||||||||||||
61 | |||||||||||||||||||||||||||||||||||
62 | |||||||||||||||||||||||||||||||||||
63 | |||||||||||||||||||||||||||||||||||
64 | |||||||||||||||||||||||||||||||||||
65 | |||||||||||||||||||||||||||||||||||
66 | |||||||||||||||||||||||||||||||||||
67 | |||||||||||||||||||||||||||||||||||
68 | |||||||||||||||||||||||||||||||||||
69 | |||||||||||||||||||||||||||||||||||
70 | |||||||||||||||||||||||||||||||||||
71 | |||||||||||||||||||||||||||||||||||
72 | |||||||||||||||||||||||||||||||||||
73 | |||||||||||||||||||||||||||||||||||
74 | |||||||||||||||||||||||||||||||||||
75 | |||||||||||||||||||||||||||||||||||
76 | |||||||||||||||||||||||||||||||||||
77 | |||||||||||||||||||||||||||||||||||
78 | |||||||||||||||||||||||||||||||||||
79 | |||||||||||||||||||||||||||||||||||
80 | |||||||||||||||||||||||||||||||||||
81 | |||||||||||||||||||||||||||||||||||
82 | |||||||||||||||||||||||||||||||||||
83 | |||||||||||||||||||||||||||||||||||
84 | |||||||||||||||||||||||||||||||||||
85 | |||||||||||||||||||||||||||||||||||
86 | |||||||||||||||||||||||||||||||||||
87 | |||||||||||||||||||||||||||||||||||
88 | |||||||||||||||||||||||||||||||||||
89 | |||||||||||||||||||||||||||||||||||
90 | |||||||||||||||||||||||||||||||||||
91 | |||||||||||||||||||||||||||||||||||
92 | |||||||||||||||||||||||||||||||||||
93 | |||||||||||||||||||||||||||||||||||
94 | |||||||||||||||||||||||||||||||||||
95 | |||||||||||||||||||||||||||||||||||
96 | |||||||||||||||||||||||||||||||||||
97 | |||||||||||||||||||||||||||||||||||
98 | |||||||||||||||||||||||||||||||||||
99 | |||||||||||||||||||||||||||||||||||
100 |