EUmineralbot: Mineralen informazio erauzketa eta testu sorkuntza Wikipedian

​

​

XABIER GARMENDIA GALDER GONZALEZ KEPA SARASOLA

​

​

​

2022ko uztailaren 1a

Informatikari Euskaldunen Bilkura 2022

Donostia - Ignacio Mª Barriola zentroa

https://labur.eus/mineralbot

MINERAL BATEN ARTIKULUA

Informatikari Euskaldunen Bilkura 2022

Euskal Mineralbot

2022/07/01 2 / 24

5.299 MINERALEN ARTIKULUAK

Informatikari Euskaldunen Bilkura 2022

Euskal Mineralbot

2022/07/01 3 / 24

SARRERA

2019ko udaberrian Informatika Fakultatean, Katalanezko Wikipediako artikuluak sortzeko erabili zuten Python programa egokitu genuen, mineral guztien artikuluak Euskal Wikipedian edukitzeko.

Informatikari Euskaldunen Bilkura 2022

Euskal Mineralbot

2022/07/01 4 / 24

AURREKARIAK

• Aurretik, Katalanezko wikipedian mineral askoren artikuluak sortu ziren automatikoki www.mindat.org web orrialdetik datuak eskuratuz.

​

• Hau egiteko Pywikibot erabili zen (Python liburutegia).

Informatikari Euskaldunen Bilkura 2022

Euskal Mineralbot

2022/07/01 5 / 24

AURREKARIAK

Informatikari Euskaldunen Bilkura 2022

Euskal Mineralbot

2022/07/01 6 / 24

https://ca.wikipedia.org/wiki/Usuari:MineralBot

​

PYWIKIBOT

• Python lengoaian idatzitako scriptez osatutako erreminta-bilduma.
• Wikipediako edukiak arakatzeko eta editatzeko da.
• Esaterako: Wikipediako artikulu guztietan hitz bat beste baten ordez aldatzeko "replace" komando sinple baten bidez.

​

​

• Wikimedia Fundazioko proiektuetan eta MediaWiki-ko beste Wiki askotan ere erabiltzen da (Wikidata, Commons, MetaWikipedia...).

​

Informatikari Euskaldunen Bilkura 2022

Euskal Mineralbot

2022/07/01 7 / 24

PYWIKIBOT

• Exekuzioak komando lerrotik

​

• Erabiltzailea sortu:

​

$ python pwb.py generate_user_files

​

• Login egin:

​

$ python pwb.py login

​

​

Informatikari Euskaldunen Bilkura 2022

Euskal Mineralbot

2022/07/01 8 / 24

PYWIKIBOT SCRIPTAK

• Pywikibotek dakartzan scriptak.

​

$ python pwb.py [scriptaren izena]

​

• Guk sortutako scriptak. Pywikiboteko liburutegiak erabiltzen dute.

​

$ python [scriptaren izena]

​

https://www.mediawiki.org/wiki/Manual:Pywikibot/es

​

Informatikari Euskaldunen Bilkura 2022

Euskal Mineralbot

2022/07/01 9 / 24

LANAREN GARAPENA

• Kodea eskuratu. Python 2.7
• https://ca.wikipedia.org/wiki/Usuari:MineralBot/codi
• Mineral “hiztegiak” euskaratu.

​

• Kodea egokitu funtzionatu dezan.

Informatikari Euskaldunen Bilkura 2022

Euskal Mineralbot

2022/07/01 10 / 24

KODEAREN URRATSAK

1. mindat.org datu-base publikoaren webgunea atzitu
2. Webguneko mineral guztien orriak alfabetikoki bisitatu.
3. Soilik datuak dituzten mineralak hautatu
4. Scraping bidez datuak eskuratu.
5. Beharrezkoa bada, aurkitutako propietatearen terminoa euskarara itzuli.
6. Mineral txantiloia sortu eta Wikipediara igo (zirriborro gisa)
• Adb: https://eu.wikipedia.org/wiki/Lankide:EUmineralbot/Proba-A

​

Informatikari Euskaldunen Bilkura 2022

Euskal Mineralbot

2022/07/01 11 / 24

DATUEN ERAUZKETA. DISTIRA PROPIETATEA

Informatikari Euskaldunen Bilkura 2022

Euskal Mineralbot

2022/07/01 12 / 24

DATUEN ERAUZKETA

Informatikari Euskaldunen Bilkura 2022

Euskal Mineralbot

2022/07/01 13 / 24

DATUEN ERAUZKETA

Informatikari Euskaldunen Bilkura 2022

Euskal Mineralbot

2022/07/01 14 / 24

Mindat.org Wikipedia

EMAITZAK

Informatikari Euskaldunen Bilkura 2022

Euskal Mineralbot

2022/07/01 15 / 24

EMAITZAK

Informatikari Euskaldunen Bilkura 2022

Euskal Mineralbot

2022/07/01 16 / 24

ARTIKULUEN ARGITALPENA

​

• Artikulu batzuetan oraindik hobekuntzen beharra zegoen, datu batzuen faltarengatik (formula, kristalak sortzeko modua edo mineral mota).
• Akats errepikakorrak konpontzeko pywikibot-en replace.py-rekin zuzenketak edo aldaketa metodikoak egin ziren

​

• Wikilarien ekarpenak! ‎ :-))�Lainobeltz wikilariak hainbat mineral-izen zuzendu zituen eskuz.

​

​

Informatikari Euskaldunen Bilkura 2022

Euskal Mineralbot

2022/07/01 17 / 24

ARTIKULUEN KATEGORIZAZIOA ETA IZENDAPENA

​

• Artikuluak kategoriaren arabera aurkitzea garrantzitsua da.
• Sistema-kristalinoaren arabera
• QuickCategories
• Bere formulan dagoen elementuaren arabera
• LibreOffice eta OpenRefine.

​

• Mineralen izenen sorkuntza
• Olatz Perez de Viñaspreren terminologiarako itzulpen-sistema automatikoa

Informatikari Euskaldunen Bilkura 2022

Euskal Mineralbot

2022/07/01 18 / 24

HOBEKUNTZA POSIBLEAK

EUmineralbot-ek egin duen lana beste alorretan aplikatu.

• Datu-base aberats bat detektatu.
• Kodea testuingurene berrira egokitu.

​

Adibideak:

• Euskal Herriko mendiak, ibaiak …
• Pertsonaiak: Pokemon…
• Kirolariak…

​

Informatikari Euskaldunen Bilkura 2022

Euskal Mineralbot

2022/07/01 19 / 24

ADIBIDEAK

Euskal Herriko mendiak: https://mendiak.eus/mendiak/ 2640 elementu

​

​

Informatikari Euskaldunen Bilkura 2022

Euskal Mineralbot

2022/07/01 20 / 24

ADIBIDEAK

Pokemon: https://pokemondb.net/pokedex/all 905 elementu

​

Informatikari Euskaldunen Bilkura 2022

Euskal Mineralbot

2022/07/01 21 / 24

ONDORIOAK

• 2019ra arte argitaratutako mineral guztien artikuluak ditugu orain euskarazko Wikipedian.

​

• Mineralei buruzko artikulu gehien dituen entziklopedia gara. Artikuluak oso zabalak ez badira ere, informazio basikoa eskaintzen dute.

​

​

Informatikari Euskaldunen Bilkura 2022

Euskal Mineralbot

2022/07/01 22 / 24

ERREFERENTZIAK

• Artikulu Zirriborroak

https://eu.wikipedia.org/w/index.php?title=Lankide:EUmineralbot/Proba-A

• Kodea: Mindateko mineralen zirriborroak sortzea (>4.000) edota Wikidatan zeudenak sortzea

https://eu.wikipedia.org/wiki/Lankide:EUmineralbot/kodea1

• Kodea:Mineralen artikuluak zuzendu formula eta sistema kristalinoa Wikidatatik hartzen saiatuta.

https://eu.wikipedia.org/wiki/Lankide:EUmineralbot/kodea2

Informatikari Euskaldunen Bilkura 2022

Euskal Mineralbot

2022/07/01 23 / 24

EUmineralbot: Mineralen informazio erauzketa eta testu sorkuntza Wikipedian

​

​

XABIER GARMENDIA GALDER GONZALEZ KEPA SARASOLA

​

​

​

xabier.garmendiad@ehu.eus

galder158@gmail.com

kepa.sarasola@ehu.eus

ESKERRIK ASKO

https://labur.eus/mineralbot

​