“Ajna sufiĉe progresinta teknologio ne povas esti distingita de magio.”

Arthur C. Clarke, 1973 - Clarke’s three laws - https://www.newscientist.com/definition/clarkes-three-laws/

Tiuj ĉi prezentaĵo: https://bit.ly/maŝinlernado

Maŝinlernado kaj AI�kio ĝi estas kaj �kiel ĝi funkcias

Pri mi (Jacob Nordfalk, de Danio)

​

​

1991-2000 Programisto �2000-2020 Sendependa konsilisto kaj profesoro/instruisto ĉe Dana Teknika Universitato �2021- Android-programisto ĉe Dinero (librotenado por malgrandaj danaj entreprenoj)

Kapabla pri Javo, Kotlin, Android, Linukso, Serviloj. Prilaboris 10on da Android-aplikaĵoj, i.a.

• Apoj por la Dana Ŝtata Radio - DR Nyheder, DR Radio - (2013-2016)
• Esperanto-radio Muzaiko - ĉ. 10 kanaloj kaj podkastoj en Esperanto

Iom sperta pri

• Maŝintradukado (i.a. Apertium angla-esperanto) kaj maŝinlernado
• Neŭraj retoj, multdimensia matematiko, decidarboj, statistiko, lingvoprocezado

​

Mi ❤ demandojn

​

(kaj bezonas petojn malrapidiĝi dum ekzemploj)

​

​

“Kion oni jam komprenis estas facila. �Kion oni ankoraŭ ne komprenas estas malfacila.”

Jacob Nordfalk, 2021 - Tria leĝo de Jacobs - pri kuirado, kvantummekaniko, programado kaj ĉio alia

Kion signifas ‘lerni’ ?

Imagu ke ni volas ‘lerni’ al sistemo diveni ĉu persono ŝatas ananason sur pico.

Ni devas trovi statistiko pri ekzemple

• Aĝo
• Alteco
• Pezo
• Ina/malina
• Haŭtkoloro
• Loĝlando
• Viandmanĝanto/Vegetarano, ĉu senalkoholisto, ĉu senfumanto

… kaj la respondo al la demando - ĉu ŝli verŝajne

• Ŝatas picon kun ananaso, aŭ ne ?

Datumoj estas ĉiam tabeloj

Datumoj estas tabeloj

Maŝinlernado - Ĉu ŝatas picon kun ananaso

Pri reprezentado de teksto

Statistiko rilatas al numeraj tabeloj

Oni konvertas tekston al numeroj por povi reprezenti kaj fari statistikon

En mia laboro ni provas diveni la librotenadon el la bankpostenaj tekstoj

https://docs.google.com/spreadsheets/d/1_xLYsZVXUZGkCHeO1omfzJ2u2UUauqDmcNUaLiS4iqQ/edit

https://docs.google.com/spreadsheets/d/14FNAA-FsDPgd_Bk18CI-rPtWgrsZ-IKSsKCeOBgUuq0/edit

Analizado de datumoj por klasifiki - kiaj teknikoj oni uzas?

• Loĝistika regreso (logisic regression)
• Trovi liniojn/tavolojn kiu ‘tranĉas’ la spacon kaj distingas la klasojn plej bone
• k plej proksimaj najbaroj (k nearest neighbours - KNN)
• k povas esti 1, 2, 3, 4, 5. Ekz. por k=3 oni voĉdonas inter la 3 plej proksimaj punktoj
• Oni devas traserĉi la tutan liston de ekzemploj !
• Subtenvektora maŝino (support vector machines)
• Kiel KNN, sed oni tenas nur la punktojn kiu decidigos la valoron
• Tiuj punktoj oni nomas subtenantaj vektoroj - ĉar estas ili kiu ‘tenas’ la bordon de distingoj
• Decida arbaro (random forest)
• Trovi sinsekvo da demandoj kiu faras la dedicon
• Ĉu vegetarano? Ĉu ankaŭ nefumanto? Kaj de Eŭropo? Tiam jes!
• Ĉu negegeterana fumanta drinkanto de Nepalo? Tiam jes!
• Pli efika kun voĉdonoj inter aro da decido-arboj kiu traktas diversajn informojn
• Neŭraj retoj (neural networks - NN)
• Tavoloj de multoobligoj, sumoj kaj komparoj. Ege simpligita imito de la homa cerbo.
• Oni komencas per hazardaj valoroj kaj adaptas al la veraj punktoj
• Per matematiko eblas iom post iom ŝanĝi la valorojn tiel ke rezulto pli ĝusta

Analizado de datumoj por klasifiki - kiaj teknikoj oni uzas?

• Loĝistika regreso (logisic regression)
• Trovi liniojn/tavolojn kiu ‘tranĉas’ la spacon kaj distingas la klasojn plej bone
• k plej proksimaj najbaroj (k nearest neighbours - KNN)
• k povas esti 1, 2, 3, 4, 5. Ekz. por k=3 oni voĉdonas inter la 3 plej proksimaj punktoj
• Oni devas traserĉi la tutan liston de ekzemploj !
• Subtenvektora maŝino (support vector machines)
• Kiel KNN, sed oni tenas nur la punktojn kiu decidigos la valoron
• Tiuj punktoj oni nomas subtenantaj vektoroj - ĉar estas ili kiu ‘tenas’ la bordon de distingoj
• Decida arbaro (random forest)
• Trovi sinsekvo da demandoj kiu faras la dedicon
• Ĉu vegetarano? Ĉu ankaŭ nefumanto? Kaj de Eŭropo? Tiam jes!
• Ĉu negegeterana fumanta drinkanto de Nepalo? Tiam jes!
• Pli efika kun voĉdonoj inter aro da decido-arboj kiu traktas diversajn informojn
• Neŭraj retoj (neural networks - NN)
• Tavoloj de multoobligoj, sumoj kaj komparoj. Ege simpligita imito de la homa cerbo.
• Oni komencas per hazardaj valoroj kaj adaptas al la veraj punktoj
• Per matematiko eblas iom post iom ŝanĝi la valorojn tiel ke rezulto pli ĝusta

Regreso (linerara kaj loĝistika)

Trovi liniojn/tavolojn kiu ‘tranĉas’ la spacon kaj distingas la klasojn plej bone

• Lineara regreso - estas trovi la plej bonan rektan linion (linearan funcion) kio sekvas la punktojn

​

Sed ni volas ja distingi inter du klasoj… �por tio estas pli taŭge trovi alian funcion�

• En loĝistika regreso oni uzas S-forman funcion
• Ĉio < ½ estas unu klaso
• Ĉio > ½ estas la alia klaso�

Loĝistika regreso pli taŭgas por 2 klasoj

k plej proksimaj najbaroj

k nearest neighbours - KNN

• k povas esti 1, 2, 3, 4, 5.
• Ekzemple se k=3 oni voĉdonas �inter la 3 plej proksimaj punktoj
• malgranda k estas malstabila
• granda k estas malpreciza�
• Oni devas traserĉi la tutan liston de ekzemploj
• Malrapida�
• Kion signifas fakte proksima ???
• La distanca metriko povas forte influi al la lernado

k plej proksimaj najbaroj

La ‘bordo’ estas tro preciza por malalta k�Ofte oni elektas k=SQRT(kvanto da punktoj) - se oni havas 100 ekzemplojn oni uzu k=10

Subtenvektora maŝino

(support vector machine)

• Kiel KNN, sed oni tenas nur la punktojn kiu decidigos la valoron
• Tiuj punktoj oni nomas la subtenantaj vektoroj
• Estas ili kiu ‘tenas’ la bordon de distingoj

​

Subtenvektora maŝino

Oni devas permesi kelkajn esceptojn por trovi la plej bonan distingon

C ~ malakceptemo de esceptoj

Subtenvektora maŝino

(support vector machine)

• Kiel KNN, sed oni tenas nur la punktojn kiu decidigos la valoron
• Tiuj punktoj oni nomas la subtenantaj vektoroj
• Estas ili kiu ‘tenas’ la bordon de distingoj

​

Hazarda arbaro

Random forest - aro da decido-arboj����

• Trovi sinsekvojn da demandoj kiu faras la dedicon
• Ĉu vegetarano? Ĉu ankaŭ nefumanto? Kaj de Eŭropo? Tiam jes!
• Ĉu nevegeterana fumanta drinkanto de Nepalo? Tiam jes!
• Alie ne�
• Pli efika kun voĉdonoj inter aro da decido-arboj
• Ĉiu arbo traktas diversajn informojn
• Hazarda arbaro

Neŭraj retoj

Neŭraj retoj (neural networks - NN)

• Ege simpligita imito de la homa cerbo
• Tavoloj de aroj da multoobligoj, sumoj kaj komparoj

Neŭraj retoj

• Tavoloj de multoobligoj, sumoj kaj komparoj.
• Oni komencas per hazardaj valoroj kaj adaptas al la veraj punktoj
• Per matematiko eblas iom post iom ŝanĝi la valorojn tiel ke rezulto pli ĝusta
• Nomiĝas ‘gradienta malsupreniro’ - oni ŝanĝas al ‘direkto’ kiu donos pli malgrandan eraron

Gradienta malsupreniro

https://machinelearnia.com/descente-de-gradient/

• Alteco = la eraro
• Diferenco inter dezirata rezulto kaj reala rezulto
• La sumo de ĉiuj diferencoj en la trejna ekzemplaro
• Horizontale estas la valoro de la pezoj
• Nord-suda = unu el la pezoj
• Orient-okcidenta = unu el la aliaj pezoj��
• Trovi la direkton kiuj iras plej malsupren
• Iri iom en tiu direkto (ŝanĝi la pazojn)
• Trairi ĉiujn ekzemplojn kaj trovi la sumon de eradoj
• Trovu denove la direkton kiuj iras plej malsupren
• Ktp..

Gradienta malsupreniro

https://machinelearnia.com/descente-de-gradient/

• Alteco = la eraro
• Diferenco inter dezirata rezulto kaj reala rezulto
• La sumo de ĉiuj diferencoj en la trejna ekzemplaro
• Horizontale estas la valoro de la pezoj
• Nord-suda = unu el la pezoj
• Orient-okcidenta = unu el la aliaj pezoj
• La aliajn 9998 direktojn vi devas imagi !

• Trovi la direkton kiuj iras plej malsupren
• Tio nomiĝas diferencigi (trovi la deklivon)
• En pluraj dimensioj nomiĝas ‘la gradiento’
• Eblas kalkuli ĉar na neŭroj estas tre (tro!) simplaj
• ​

🤯

Mem provu - per la vestaĵkolekto de Zalando

Iru al https://www.tensorflow.org/tutorials/keras/classification �Premu “Run in Google Colab”

https://github.com/cmasch/zalando-fashion-mnist/

Komponentoj en maŝinoj pasintece

Resistoro

Transistoro

Komponentoj en maŝinoj estontece

Ilo kiu povas ruli programojn (CPU)�- skribitaj de homo

​

Ilo kiu povas ellerni ekzemplojn (TPU)�- kiam reprezentaĵo estas zorge farita de homo�- kapablas interpoli inter la ekzemploj

Neŭraj retoj - novaj evoluoj 2020

• Guglo dizajnis specialan ĉipon
• CPU => GPU => TPU
• Gugle disvasigas
• Publikigis artikoloj
• Ĉiuj povas uzi la TPUoj de Guglo
• Facilas uzi - per ‘notebook’
• Revolucioj en bildorekonoj kaj lingvorekonoj
• Eluzoj de novaj tipoj de retoj
• Botelkoloj (bottleneck)
• Specialaj retoj por ‘atentigo’ (transformatoroj) por lingva kompreno
• Reuzo de jam trejnitaj modeloj
• Ekz. antaŭtrejnado al ĝenerala problemo de bildorekono
• Reuzo por rekoni florojn

Tekniko: Botelkolo

• Trejni modelon kun multaj enigaj neŭroj, multaj eligaj neŭroj, pluraj tavoloj
• Sed en unu tavolo estas malmultaj neŭronoj - la botelkolo
• La modelo povas verŝajne nur aĝege plenumi la ‘taskon’, pro la botelkolo
• La botelkolo enhavas centran ‘alfabeton’ aŭ aro de la plej gravaj informoj

Tekniko: Botelkolo

• Filmo de parolanta buŝo -> filmo de parolanta buŝo
• Enigo/eligo estas fotoj de 200x100 punktoj/neŭronoj (=20000 al 20000)
• Botelkolo havas nur 100 neŭronoj
• Botelkolo donas: La centraj eblaj buŝmovoj uzata por parolado�
• Tekstoj al teksto
• 10000 eblaj vortoj (vortaro de 10000)
• Enigo: 2 antaŭaj kaj 2 postaj vortoj, (=40000)
• Eligo: la vorto (=10000)
• Botelkolo de nur 200 neŭronoj
• Botelkolo donas enkodigon de la centraj signifoj de la vortoj - word2vec
• Eblas kalkuli per la vektoroj !!
• Vektoro de: reĝo + virino - viro = vektoro de reĝino

Reprezentado de tekstoj

• word2vec por reprezenti vortoj

Poste evoluiĝis

• BERT por frazokompreno�(Bidirectional Encoder Representations from Transformers)

Transformatoroj

• Specialaj retoj kun ‘atento’ al gravaj partoj

Fonto:Attention is All You Need.

​

Funkscio de atento

How DeepSeek Rewrote the Transformer

https://www.youtube.com/watch?v=0VLAoVGf_74

Tesla uzas ML - i.a. por diveni la kurson de la vojo

• Transformiloj kaj "atento" - signoj de ordo aŭ graveco
• Daŭre donas grandegajn progresojn
• GAN - generativaj kuntraŭulaj retoj (Generative Adversarial Networks)
• GPT-3 skribas pri ĉiuj ajn temoj - aŭ ĉiuj temoj priskribitaj en la Interreto
• Eblas generi bildojn el teksto - vidu ekzemple imagen.research.google
• Estas trejnita pri bildoj kaj iliaj priskriboj
• Provu ĉe https://huggingface.co/spaces/dalle-mini/dalle-mini
• Generi filmojn el teksto
• Vidu https://makeavideo.studio/
• Generado/diveni 3D el 2D bildo
• Flugu en bildon - vidu https://infinite-nature-zero.github.io
• Forigi nedeziratajn objektojn sur telefona foto (Google Magic Eraser)

​

Neŭraj retoj - novaĵoj 2021/2022

GAN - generativaj kontraŭaj/konkursaj retoj

https://blog.ovhcloud.com/understanding-image-generation-beginner-guide-generative-adversarial-networks-gan/

• Generatoro kreas (falsajn) ekzemplojn
• Diskriminatoro devas decidi ĉu estas Falsa aŭ Reala ekzemplo
• Kiam D divenas malĝuste, D estas alĝustita al la vera respondo
• Kiam D ĝuste trovas falsan ekzemplon (kreita de G), G estas alĝustigita

GAN - generativaj kontraŭaj retoj

Revolocio de GAN

https://blog.ovhcloud.com/understanding-image-generation-beginner-guide-generative-adversarial-networks-gan/

• GAN draste reduktas la nombron de bezonataj ekzemploj
• GAN povas fajnigi kaj detaligi bildon/sonon/tekston
• Tiel ke ĝi tre similas al homa kreaĵo
• tensorflow.org/tutorials/generative/dcgan

GAN - generativaj kontraŭaj retoj

Difuzaj modeloj

https://blog.ovhcloud.com/understanding-image-generation-beginner-guide-generative-adversarial-networks-gan/

• Jutubo: Klarigo de difuziaj modelo
• Trejnu modelon kiu devas diveni la bruon de bildo
• Faru hazardan bildon
• Uzi la modelon plurfoje por purigi la bildon de la bruo
• ​

https://stablediffusionweb.com/app/image-to-image

Kreado de bildoj de teksto - 2021

https://openai.com/blog/dall-e/

​

Mem verku bildon ĉe

https://huggingface.co/spaces/dalle-mini/dalle-mini

​

​

​

ChatGPT

Lernis, per amaso de teksto, kio estas la verŝajna sekvanta vorto de frazo (dialogo inter demandinto kaj ĝi)

Skribu eseon kiu enkondukas maŝinlernadon�Maŝinlernado → estas�Maŝinlernado estas → subkampo�Maŝinlernado estas subkampo → de�Maŝinlernado estas subkampo de → arta�Maŝinlernado estas subkampo de arta → inteligenco�Maŝinlernado estas subkampo de arta inteligenco→,�Maŝinlernado estas subkampo de arta inteligenco, → kiu

Por ĉiu nova vorto ĝi re-legos la tutan konvercacion kaj provas diveni la sekvantan vorton

Mem ruli babilroboton en via komputilo (2024)

Ni provu https://huggingface.co/HuggingFaceTB/SmolLM2-1.7B-Instruct

$ trl chat --model_name_or_path HuggingFaceTB/SmolLM2-1.7B-Instruct --device gpu�

Ĉu vi kapablas respondi en Esperanto ?

Ĉu vi kapablas respondi en Esperanto? Kaj, mi povas provi rupi nur "ĉar".

Bone! Kio estas 5 plus 6 ?

Ĉio estas 11.

Dankon. Nun dividu per 3.

Dankon. Nun divideĝas tiel: 11 ÷ 3 = 3, remainder 2.

​

I have 5 apples and give one to myself. How many apples do I have afterwards ?

After giving one apple to yourself, you still have 5 apples. It does not change the initial or the final count.

Ruli babilroboton en via komputilo

Ĝi havas

• Vortaron de 49152 enigaj simboloj
• word2vec transformas ĉiu simbolo al 2048-dimensia vektoro
• Entute estas 17 tavoloj
• Ĉiu havas 2048 konektojn al venonta tavolo
• Tavoloj estas tranformatoroj
• Atentaj mekanismoj
• MLP =
• ​
• ​

Mem ruli babilroboton en via komputilo (2025)

Mem ruli babilroboton per ollama

Pliaj ligiloj

Kiel la roboto de Snapchat estas preparita

https://lifearchitect.ai/snapchat/

​

Bildogenerado

https://www.midjourney.com/showcase

​

Ĉu eblas truki maŝinlernadon ?���

https://twitter.com/teenybiscuit/status/707727863571582978

Ekzemploj de Gert

Gemini - https://gemini.google.com/share/09f4245ed6a4 �

Ekzemploj Gert

ChatGPT

Ekzemploj Gert

ChatGPT ankaŭ ne estas plurmodala

A photorealistic depiction of a cozy restaurant front named 'Frederik VI' on a charming city street with an inviting ambiance. The exterior includes classic architecture with high windows, intricate wooden panels, and warm lighting that gives a vintage feel. There are tables and chairs outside for patrons, with some plants or vines adding to the atmosphere. The signage of the restaurant reads 'Frederik VI' in elegant lettering. This is a street-level view, capturing a welcoming setting with small decorative elements like lanterns or hanging signs�

Igu ajnan voĉon diri ion ajn

Gert kaj Andreo kaj Jakobo forte laboras, sed ne scias tchu ili sukcesos fari tchion dum unu vespero. Anstataŭ ili ludas piedpilkon kaj babilas.

https://elevenlabs.io/app/speech-synthesis/text-to-speech

​

Kreado de kantoj kaj muziko

Kreado de kantoj kaj muziko

udio.com (eble nur taŭga por la teksto)

Kreado de muziko

Tre bona por Esperanto

https://www.riffusion.com/

Kreado de podkastoj (wondercraft.ai) - aŭskulti

Profundaj klarigoj

Kreado de prezentaĵoj - Slidespeak.co

Kreado de prezentaĵoj

Kreado de prezentaĵoj

Kreado de prezentaĵoj per gamma.app (mankas Eo)

Kio estas la inteligenta kvotiento de la maŝinoj?

Billede fra https://mimir-test.com/dk

https://videnskab.dk/sporg-videnskaben/hvad-er-intelligens

La inteligenckvociento de maŝinoj

0.000

Billede fra https://mimir-test.com/dk

Tipoj de maŝinlernado

https://chart-studio.plotly.com/create/?fid=SolClover:40#/

De https://towardsdatascience.com/gradient-boosted-trees-for-classification-one-of-the-best-machine-learning-algorithms-35245dab03f2

​

​

• Multaj larĝaj lingvomodeloj (LLM)
• ChatGPT 4, Google Gemini, Microsoft Bard
• Multaj modeloj por fari bildo el teksto
• Tre altkvalita, ĝenerale vaste uzataj nun
• Filmo el teksto
• Plibonigoj, ankoraŭ ne vaste uzata, limigata aliro pro sekureco
• Ekzemple https://openai.com/sora
• Eltiri faktojn el filmo
• Provoj, ne publike havebla
• Forpreni voĉon de muziko
• Igi voĉon diri ion alian
• Jam (mis)uzataj
• Krei muzikon
• Multimodaleco - ke eblas miksi bildo, sono, teksto, filmo
• En la komenca fazo
• Tre multe da libere elŝuteblaj modeloj
• Kundivido de scioj, spertoj kaj teknologio, sed ankaŭ multe da eblecoj por misuzoj
• Programistaj asistantoj
• Github Copilot, Gemini kaj aliaj. Tre uzata por trivialaj taskoj, 25% pli rapida kodado

Novaĵoj 2023/2024

• https://lumalabs.ai/
• Biden kaj Trump estas bonaj amikoj
• https://www.linkedin.com/feed/update/urn:li:activity:7262928042140815361/
• https://www.instagram.com/p/DCUTHxjPBlN/
• ​

Kreado de filmoj 2024

• Laboro pri sekureco kontraŭ misinformado / desinformado
• Persistaj akvomarkoj / filigranoj
• Ebligas scii ĉu kaj de kiu AI-modelo enhavo venas
• Nuligita de Trump ?
• Pli da multmodaleco
• Lingvomodeloj -> Konceptmodeloj
• Lokaj modeloj, ruleblaj en ordinata komputilo
• ​

Novaĵoj 2025

https://github.com/facebookresearch/large_concept_model

https://www.linkedin.com/posts/kaspersaugmann_den-t%C3%B8rstige-mand-legendarisk-tuborg-reklame-ugcPost-7311002273457856512-BiOo

https://www.linkedin.com/posts/boetter_30-prompts-til-den-nye-4o-model-ugcPost-7311269536991711232-5c7k

• Uzo de babilrobotoj kaj AI praktike por:
• Provlegado kaj traduko
• Priskribi / 'kompreni' bildojn
• Kreado de bildoj
• Kreado de filmetoj
• Travidi filmojn, kaj trovi informojn aŭ specifajn partojn

​

• Ni amuziĝas per la iloj - antaŭ la prelego vi pensu pri io freneza, belega aŭ bonega kaj ni provos krei la aferon!

​

• Se la tempo permesos ni ankaŭ diskutos la socion - kiel ĝi ŝanĝos pri maŝinlernado, kaj kiuj danĝeroj aperas nun, ekzemple pri misinformado, spamado, kaj trukado, kial kiel gardi sin.

​

• Ni ankaŭ parolos pri la ebleco, ke AI iĝos konscia kaj ke ĝi akiros tre detrueman personecon.

Enhavo de la prelego

Pliaj ligiloj

https://gemini.google.com/

https://chatgpt.com/g/g-D4jB3Ml4b-esperanto-helpanto

https://research.google/blog/2023-a-year-of-groundbreaking-advances-in-ai-and-computing/

​

https://research.google/blog/videopoet-a-large-language-model-for-zero-shot-video-generation/

​

https://www.theguardian.com/technology/2024/apr/10/ai-race-heats-up-as-openai-google-and-mistral-release-new-models

​

AI kaj la singulareco ?

Kio okazos se AI iam iĝus memkonscia kaj multe pli inteligenta ol homoj?

Ni havas neniujn ekzemplojn de la naturo pri io pli inteligenta kontrolata de io malpli inteligenta.

Ĉu timi tiun situacion ?

​

Vivantaj estaĵoj estis dum centmiljaroj trejnitaj al supervivi kaj reporduktiĝi - tiucele ni evoluigis la fortajn sentojn kaj dezirojn.

AI (sen sentoj) ne havas dezirojn aŭ kialojn por vivi aŭ ne, tio devas esti lernita al ĝi, per amasego da trejnado. Sed de kie havi tiun trejmaterialon (kaj kiucele?)