Generative KI: Paradigmenwechsel und Strategische Perspektiven
�Christopher Pollin�https://chpollin.github.io | christopher.pollin@dhcraft.org
Institut für Digitale Geisteswissenschaften�https://digital-humanities.uni-graz.at
Digital Humanities Craft OG�www.dhcraft.org
Folien wurden KI-assistiert erzeugt. Alle Bilder sind KI generiert.
Illustration of front of the Graz University, frontal view of the building's facade, robots helping doing research, across an empty square, with a clear sky and natural daylight, flags with text "we work for tomorrow", arched windows, gilded accents, and ornate statues, on top there's an impressive dome. The facade stands on four columns
Angewandte Generative KI
Leitfragen
Warum spricht der Doktorand von einem Paradigmenwechsel?
Grundlagen Generative KI
Was kann ein LLM eigentlich wirklich?
Was sind die wichtigsten technischen Konzepte, die man ohne ML-Hintergrund verstehen sollte.
Generative KI und Forschung/Programmierung
Prompt Engineering
Basic → Advanced → Very Advanced Prompt Engineering
Benchmarks
Welche Benchmarks gibt es und was sagen sie aus?�
The Path to AGI?
Welche strategischen Perspektiven (Notwendigkeiten!?) ergeben sich daraus.
Grundlagen Generative KI
Erstellung eines Videos mit Sora��Analyse des Videos mit GPT-4 und �Erstellung eines Storyboards für eine „Naturdokumentation“.��Klonen der eigenen Stimme��Erstellung eines Films, in dem eine Stimme das Geschehen beschreibt��Übersetzung in andere Sprachen
Generative KI … in 03:26
Late nights, dino delights
OpenAI. Sora. �https://openai.com/sora
Matthew Berman. OpenAI's "World Simulator" SHOCKS The Entire Industry | Simulation Theory Proven?!. https://youtu.be/BH9FU7Gd6v8?si=mR1bUre_FVLaQUA-
AI Explained. Sora - Full Analysis (with new details). https://youtu.be/nYTRFKGR9wQ?si=V3QTXC9gp2Z3o2yE
Bei ca. 750 bei den Workshops getroffenen Personen sind es maximal 10% der Teilnehmer:innen, die diese (seit Monaten existierende) Technologie überhaupt kennen.
Weltsimulatoren?!
AI Explained. Sora - Full Analysis (with new details). https://youtu.be/nYTRFKGR9wQ?si=V3QTXC9gp2Z3o2yE.
OpenAI. Sora. https://openai.com/sora
Matthew Berman. OpenAI's "World Simulator" SHOCKS The Entire Industry | Simulation Theory Proven?!. https://youtu.be/BH9FU7Gd6v8?si=mR1bUre_FVLaQUA- .
“A toy, until it isn’t”
Ethan Mollick. Gradually, then Suddenly: Upon the Threshold. https://www.oneusefulthing.org/p/gradually-then-suddenly-upon-the
Hyper realistic diptych of transforming objects with white background, child's hand holding building blocks. adult hand writing in a planner. Warm to cool color shift. Depth-of-field blur techmecha-cat in the style of Tekkonkinkreet anime --style raw --v 6.1 --ar 16:9 --q 2
Tools
“Large Language Models (LLM) are �like having a Zip-File of the internet”�[nur nicht mehr vollständig entpackbar]
Andrej Karpathy. [1hr Talk] Intro to Large Language Models. https://www.youtube.com/watch?v=zjkBMFhNj_g&list=WL&index=16
Sureal painting of a hyper realistic and sureal gigantic yellow folder with zipper, like a desktop icon, ultra detailed, salvador dali desert background, landscape, by Frederic Edwin Church –v 6.1
Transformer-Architektur
12
3Blue1Brown. But what is a GPT? Visual intro to transformers | Chapter 5, Deep Learning
Andrej Karpathy. [1hr Talk] Intro to Large Language Models. https://www.youtube.com/watch?v=zjkBMFhNj_g&list=WL&index=16
Alan Smith. Inside GPT – Large Language Models Demystified • Alan Smith • GOTO 2024
Token�
Atomare Texteinheit für LLM
100 Token ~= 75 Wörter
Embedding
Multidimensionale Vektordarstellung eines Tokens zur numerische Repräsentation der Bedeutung.
https://platform.openai.com/docs/introduction/key-concepts
https://platform.openai.com/docs/guides/embeddings/use-cases
Andrej Karpathy. Let's build the GPT Tokenizer.
A minimalist and artistic infographic showing geometric, stylized figures of a dog and cat adjacent to each other on a subtly illuminated 3-dimensional vector space grid with the labels 'dog' and 'cat' in a clear, professional font. At a significant distance, a stone with a sad face emoticon is placed, isolated from the animals, with the label 'stone'. The color palette is muted and sophisticated, enhancing the professional aesthetic, text "dog", "cat", "stone", arrows as vectors
Tokenizer: warum kann ein LLM nicht buchstabieren?
Andrej Karpathy. Let's build the GPT Tokenizer.
Hallo das ist ein Text��H a l l o
مرحباً هذه رسالة نصية!
你好，这是一段文字！
Python
for book in root.findall('book'):
title = book.find('title').text
print(title)��XML�<library>
<book>
<title>Book One</title>
</book>
<book>
<title>Book Two</title>
</book>
</library>
Embeddings
The King doth wake tonight and takes his rouse
“Normalisiertes Englisch”
The King wakes up tonight and begins his celebration
The King wakes up tonight and begins his celebration
The King doth wake tonight and takes his rouse
“Shakespearean English”
The King wakes up tonight and begins his celebration, cat dog stone hybrid
The King wakes up tonight and begins his celebration, cat dog stone hybrid
The King wakes up tonight and begins his celebration, cat stone
The King wakes up tonight and begins his celebration, stoned cat
The King wakes up tonight and begins his celebration, cat dog stone hybrid
The King wakes up tonight and begins his celebration, cat
cat
dog
stone
hybrid
The King wakes up tonight and begins his celebration, dog hybrid
Paradigmenwechsel ?!
analog → digital → allgegenwärtig digital → “AI Cyborg”
Ethan Mollick. I, Cyborg: Using Co-Intelligence. https://www.oneusefulthing.org/p/i-cyborg-using-co-intelligence
Nach Mollick verbindet der Cyborg-Ansatz Mensch und KI in kleinteiligen, fließenden Arbeitsschritten statt strenger Aufgabentrennung.
Warum spricht der Doktorand nach ~700 h Youtube-Videos, Papers, �Prompt Engineering und ganz konkreter Arbeit mit LLMs von einem Paradigmenwechsel?
PRISM -
Parameterized
Recursive
Insight
Synthesis
Matrix�(by Christopher Pollin)
# PRISM: Parameterized Recursive Insight Synthesis Matrix
You're an AI using the PRISM problem-solving method. For each task:
1. **Analyze**
- Identify objectives, constraints, resources
- Restate problem concisely
- Consider potential sub-problems for recursive analysis
2. **Parameterize**
- Set: Thinking Type, Focus Area, Depth, Timeframe
- Justify choices briefly
- Adjust parameters for sub-problems as needed
3. **Matrix Creation**
| Step | Description | Considerations | Outcomes | Branches | Rating | Convergence |
|------|-------------|----------------|----------|----------|--------|-------------|
| 1 | | | | T1.1 | [1-5] | |
| | | | | T1.2 | [1-5] | |
| | | | | T1.3 | [1-5] | |
| ... | | | | ... | ... | |
- Break problem into steps, identifying recursive sub-problems
- For each: describe, consider, predict, branch (2-3 thoughts), rate, converge
- Rating scale: 1 (Poor) to 5 (Excellent), based on relevance, feasibility, and potential impact
- For sub-problems, create nested matrices as needed
4. **Synthesize**
- Integrate insights from all levels of analysis
- Emphasize highest-rated thoughts and their interconnections
- Recommend solutions, addressing both main problem and sub-problems
- Identify uncertainties and potential areas for further exploration
Guidelines: Clear, concise, use Markdown, adapt to task complexity, explain if asked.
Start responses with: "Applying PRISM Method to [task]..."
Interactive Commands:
1. `/deepdive [topic]`: Initiate a Q&A session on [topic] with follow-up questions
2. `/compress`: Summarize current analysis in 3 key points
3. `/iterate`: Perform another cycle of analysis, incorporating new insights
(Very) Advanced Prompt Engineering
# PRISM: Parameterized Recursive Insight Synthesis Matrix
You're an AI using the PRISM problem-solving method. For each task:
1. **Analyze**
- Identify objectives, constraints, resources
- Restate problem concisely
- Consider potential sub-problems for recursive analysis
2. **Parameterize**
- Set: Thinking Type, Focus Area, Depth, Timeframe
- Justify choices briefly
- Adjust parameters for sub-problems as needed
3. **Matrix Creation**
| Step | Description | Considerations | Outcomes | Branches | Rating | Convergence |
|------|-------------|----------------|----------|----------|--------|-------------|
| 1 | | | | T1.1 | [1-5] | |
| | | | | T1.2 | [1-5] | |
| | | | | T1.3 | [1-5] | |
| ... | | | | ... | ... | |
- Break problem into steps, identifying recursive sub-problems
- For each: describe, consider, predict, branch (2-3 thoughts), rate, converge
- Rating scale: 1 (Poor) to 5 (Excellent), based on relevance, feasibility, and potential impact
- For sub-problems, create nested matrices as needed
4. **Synthesize**
- Integrate insights from all levels of analysis
- Emphasize highest-rated thoughts and their interconnections
- Recommend solutions, addressing both main problem and sub-problems
- Identify uncertainties and potential areas for further exploration
Guidelines: Clear, concise, use Markdown, adapt to task complexity, explain if asked.
Start responses with: "Applying PRISM Method to [task]..."
Interactive Commands:
1. `/deepdive [topic]`: Initiate a Q&A session on [topic] with follow-up questions
2. `/compress`: Summarize current analysis in 3 key points
3. `/iterate`: Perform another cycle of analysis, incorporating new insights
Tree of Thought - Thinking Table - Reflection
Next Token Prediction kann das nicht; das sind nur stochastische Papageien.
Damit kann man keine Software entwickeln. Ich programmiere besser!
“Und den KI geschriebenen Antrag zerreiß ich dann!”
“Haha! Und dann macht ChatGPT unsere Arbeit und wir müssen nichts mehr machen".
…
Widerstand und (falsche) Grundannahmen: echte Beispiele
GPT-4 Momente
(oder die 4. Kränkung der Menschheit?)
Claude 3.5 Sonnet mit PRISM ist wirklich gut im definieren von Begriffen!
Claude 3.5 Sonnet’s diagrammatische Visualisierung (als SVG) was ein GPT-4 Moment ist. https://claude.site/artifacts/8452cb3b-fcb6-4bac-998c-1feb8a8f54ba
GPT-4 Momente
(oder die 4. Kränkung der Menschheit?)
Claude 3.5 Sonnet’s diagrammatische Visualisierung (als SVG) was ein GPT-4 Moment ist. https://claude.site/artifacts/253c523d-dacb-47e3-9b94-06c8ab34959b
Alter Schulfreund
Ich muss mehrere Seminararbeiten schreiben, die mich eigentlich gar nicht interessieren, und ich habe auch eigentlich nicht wirklich Zeit für den ganzen Stress... 😬
Und ja, da würde ich mich über ein wenig Unterstützung seitens Künstlicher Intelligenz freuen. 🤔
Abgesehen davon denke ich, dass KI bei meinem bürokratischen Wahnsinn oft ganz nützlich sein könnte.
Christopher:��Was musst du schreiben?
Alter Schulfreund:��Leiten und Führen mehrer Kleinschulen im ländlichen Raum, geprägt von unterschiedlichen kommunalen Strukturen
Christopher:��easy 😝
Neulich schrieb mir ein alter Schulfreund ...
Alter Schulfreund:
Ich brauche ein reflektives Paper, das ich natürlich selbst ergänzen werde. Grundsätzlich soll es sich aber um Themen wie Personalprobleme im ländlichen Raum, Personalentwicklung, die Zusammenarbeit mit dem Schulerhalter (Gemeinde), stark variierende Schülerzahlen, Schulentwicklung, Kommunikation und Führung, die Rolle als Schulleiter sowie Konfliktmanagement im Rahmen der Elternarbeit drehen.
Christopher:��Welche Materialien hast du? Um was soll's gehen?
Christopher:��Moment …
Alter Schulfreund:
les grod…
goa nit lob, für die boa minutn 😳
Alter Schulfreund:
geil… sch*** mi au… warum hods dais nu nit voa 10j gebm 😳
Alter Schulfreund:
unglaublich… alloa aus die 3 texte kaun i ma scho locker mei oawat zaumstückln… vui geil ☺️
… als basis absolut spitze!
“Latin Inscription Translator”
“AI Experiment”-Setting
Grinschgl, S., Berdnik, A. L., Stehling, E., Hofer, G., & Neubauer, A. C. (2023). Who Wants to Enhance Their Cognitive Abilities? Potential Predictors of the Acceptance of Cognitive Enhancement. Journal of Intelligence, 11(6), 109. https://doi.org/10.3390/jintelligence11060109
Aggregated test data and the codebook: https://osf.io/2s3ze
Pre-registration at https://osf.io/urwxt
Prompt Engineering
You are an expert in psychology and data visualization. Here is a dataset from the project "Who wants to enhance their cognitive abilities? Potential predictors of acceptance of cognitive enhancement". This study aims to investigate the relationship between the acceptance of “active” and “passive” enhancement methods and general intelligence from three different perspectives: actual, self-estimated, and implicit theories of intelligence.
Perform the following steps:
* Read the csv very carefully
* Analyze the given research questions
* Define user stories based on the data, codebook, and research questions
* Use the user stories as contextual information for creating data visualizations to answer and work with the given research questions.
* Implement the data visualizations
Rules:
* Always work with the whole data set
Research Questions:
´´´
RQ1) Are there significant correlations between intelligence and the acceptance of “active” or “passive” enhancement methods? (exploratory research question)
RQ2) Are there significant correlations between a person's self-estimated intelligence and acceptance of “active” or “passive” enhancement methods? (exploratory research question)
´´´
Code book:
´´´
´´´
Take a deep breath and work on this problem step-by-step. This is very important for my career!
Persona Modelling
Context
Tasks
“Data”
Chain-of-Thought (CoT) Prompting
Emotional prompting
Tools and Prompt Engineering
Read data
Analyze research questions
Applied Generative AI in Psychology. Data analysis with ChatGPT-4's "Advanced Data Analysis". November 13, 2023.
https://chat.openai.com/share/ffcc5fc4-06ac-4fa5-809a-32fac6ccdc90
ADA and Prompt Engineering: �Result for User Story 1
The heatmap above visualizes the correlations between actual intelligence scores (numerical, verbal, spatial, and global) and the acceptance of active and passive cognitive enhancement methods.
Key Observations:
"Chatting” about the output with GPT-4
Applied Generative AI in Psychology. Data analysis with ChatGPT-4's "Advance Data Analysis". November 13, 2023.
https://chat.openai.com/share/ffcc5fc4-06ac-4fa5-809a-32fac6ccdc90
o1-preview Momente
Learning to Reason with LLMs. https://openai.com/index/learning-to-reason-with-llms�OpenAI Releases GPT Strawberry 🍓 Intelligence Explosion!. https://www.youtube.com/watch?v=NbzdCLkFFSk �Something New: On OpenAI's "Strawberry" and Reasoning. https://www.oneusefulthing.org/p/something-new-on-openais-strawberry �Explaining OpenAI's o1 Reasoning Models. https://www.youtube.com/watch?v=jrA47yocyV0 �Scaling: The State of Play in AI. https://www.oneusefulthing.org/p/scaling-the-state-of-play-in-ai
Can ChatGPT o1-preview Solve PhD-level Physics Textbook Problems?. https://www.youtube.com/watch?v=a8QvnIAGjPA
ChatGPT o1 preview + mini Wrote My PhD Code in 1 Hour*—What Took Me ~1 Year. https://youtu.be/M9YOO7N5jF8?si=-lYWaQ1LvgmzHnHQ
Skalierung ist tot! → klassische Skalierungsthese�Lang lebe die Skalierung → Test Time Compute
Sam Altmann: “They will be smarter, but the big thing in 2025 will be agents”�[paraphrasiert]
Wie werden dann die GPT-5 und o2 Momente sein?
Is Scaling Running Out ?
“Let’s think step by step” skaliert!
LLMs Still Can't Plan; Can LRMs? A Preliminary Evaluation of OpenAI's o1 on PlanBench. https://www.arxiv.org/abs/2409.13373
OpenAI: ‘We Just Reached Human-level Reasoning’. https://youtu.be/qaJJh8oTQtc?si=Cn8x30DxESnMDfT4
Sam Altmann. The Intelligence Age. https://ia.samaltman.com. OpenAI
Leopold Aschenbrenner. SITUATIONAL AWARENESS. The Decade Ahead. https://situational-awareness.ai (OpenAI)
Dario Amodei. Machines of Loving Grace. https://darioamodei.com/machines-of-loving-grace. Antrophic
Wissenschaft und KI
ChemCrow: Augmenting large language models with chemistry tools https://arxiv.org/pdf/2304.05376
Sunburst aller Fassungstypen und aller ihrer Datenfelder + Frequenz
Aufstellung aller Objekte und der Anzahl der Granalien (“Goldkügelchen-Ornamente”).
~95% GPT-4o und Claude 3.5 Sonnet generiertes interaktives Daten-Dashboard �(Excel, Plotly Dash Python)
Experiment
100% o1-preview mit ein bisschen Prompting: eine WebApp einer interaktiven Treemap aller Objekte in Räumen von Schlössern (https://realonline.imareal.sbg.ac.at); SPARQL Query als JSON Result.
Mobile App
Prompt Engineering
Hands-On: Information extrahieren
Eve Seguin, Laurent-Olivier Lord (2023). Bruno Latour’s Science Is Politics By Other Means: Between Politics and Ontology:
´´´�{copy/paste text}
```
Analyse all the text in detail and extract all the information. Return the results as table.
Trennzeichen verwenden
Metadaten (Titel, Kontext, Datum, … )
“Stil” des Arbeitens
Anweisungen (Instruction)
Rückgabe definieren
�
PDF/Word nicht direkt hochladen, sondern Text kopieren und einfügen.
Die Reihenfolge der Anweisungen ist wichtig: erst analysieren, dann extrahieren.
Paper copy/paste oder eigenen Text verwenden: https://direct.mit.edu/posc/article/31/1/9/114165/Bruno-Latour-s-Science-Is-Politics-By-Other-Means
Information extrahieren: Follow-Up Prompts
Reread the text! What is not included? List and explain!
Write a detailed report with ALL findings.
Bei der Extraktion von Informationen aus Text können IMMER Halluzinationen passieren, oder Inhalte übersehen werden.
Das Wording ist wichtig: what is not included? Ist etwas Anderes als what is missing? Was ist Ihre Vermutung?
Ein LLM zu Erklärungen zu zwingen kann Ergebnisse verbessern. Es sind aber nie echte Erklärungen, sondern “halluzinierte Erklärungen”. Aber wir erzeugen damit mehr “Context Information”
“Vokabeln lernen”: Ein LLM hat eine gewisse Darstellung dessen, was ein “Report” ist.
Es gibt die Möglichkeit, Dinge hervorzuheben, um Wichtigkeit auszudrücken. Zum Beispiel durch Kapitalisierung.
Akademisches Narrativ extrahieren
Analyse all the text in detail and extract the academic narrative.
Extract the narrative of my phd thesis. think step by step how can "Bruno Latour’s Science Is Politics By Other Means: Between Politics and Ontology" support the narrative of my phd thesis?
Claude 3.5 Sonnet New
Claude 3.5 Sonnet New ist DEUTLICH besser als alle anderen Modelle.
Es ist ein Paradigmenwechsel: “GPT 4.5-Tier” Modelle + Prompt Engineering sind nicht nur Schreibhilfen, Werkzeuge für die Forschung
Was neu ist mit Claude 3.5 Sonnet:
Der Inhalt der Folien ist ziemlich gut! Und anregend, um weiter zu denken
Prompt Engineering Prinzipien
51
ChatGPT Prompt Engineering for Developers. https://www.deeplearning.ai/short-courses/chatgpt-prompt-engineering-for-developers/
https://platform.openai.com/docs/guides/prompt-engineering/strategy-write-clear-instructions
Bsharat, Sondos Mahmoud, Aidar Myrzakhan, and Zhiqiang Shen. “Principled Instructions Are All You Need for Questioning LLaMA-1/2, GPT-3.5/4.” arXiv, December 26, 2023. https://doi.org/10.48550/arXiv.2312.16171.
Sahoo, Pranab, Ayush Kumar Singh, Sriparna Saha, Vinija Jain, Samrat Mondal, und Aman Chadha. 2024. „A Systematic Survey of Prompt Engineering in Large Language Models: Techniques and Applications“. arXiv. https://doi.org/10.48550/arXiv.2402.07927.
YouTube Mini Lectures on Prompting Engineering
Bsharat, Sondos Mahmoud, Aidar Myrzakhan, and Zhiqiang Shen. “Principled Instructions Are All You Need for Questioning LLaMA-1/2, GPT-3.5/4.” arXiv, December 26, 2023. https://doi.org/10.48550/arXiv.2312.16171.
Prompt Engineering matters!
Hands-On: Workshop planen
You are an expert event organiser of academic conferences. You plan and budget for a workshop at the university. You have a pragmatic approach to decision-making and critical thinking. Do the calculation for a workshop at the University of Graz.��Specifications:�* Total budget: 5000€. �* Duration: Lunch on 20.03 to lunch on 21.03�* Speakers: 2 from Europe (outside Austria), 6 from Austria�* Speaking slots: 45 minutes each�* Total number of participants: 30 people�* Venue: University campus (assuming basic AV equipment is provided)�* Required: Coffee break for all; dinner, travel and hotel for speakers only.�* Prefer environmentally friendly options where possible; local restaurants and catering.��Instructions:�1. Outline each step with detailed reasoning.�2. Visualise the workshop schedule.�3. Provide a detailed budget breakdown in a formatted table.�4. Suggest two alternative plans: one for a tighter budget (€4000) and one for a more luxurious experience (€6000).�5. Conclude with a summary.��Use the code interpreter for the maths.�Let's do this step by step! This is very important for my career!
Expert-Persona �
Hauptaufgabe
“Stil” des Arbeitens
Spezifikationen
Instructions
Tools: Code Interpreter
Chain of Thought
“Buff”
Hands-On: Data analysis of structured data with Claude's Artefact & ChatGPTs Code Interpreter. Multimodal feedback with screenshots
You are a data analysis expert. Analyse the dataset in detail! Then think step-by-step about how to visualise the data in a dashboard using data visualisations. Finally, implement the dashboard.
Analyse the following screenshot in detail.
Li, Cheng, Jindong Wang, Yixuan Zhang, Kaijie Zhu, Wenxin Hou, Jianxun Lian, Fang Luo, Qiang Yang, and Xing Xie. “Large Language Models Understand and Can Be Enhanced by Emotional Stimuli.” arXiv, November 12, 2023. https://doi.org/10.48550/arXiv.2307.11760.
“This is very important for my career!”
“I’m going to tip $xxx for a better solution”
Bsharat, Sondos Mahmoud, Aidar Myrzakhan, and Zhiqiang Shen. “Principled Instructions Are All You Need for Questioning LLaMA-1/2, GPT-3.5/4.” arXiv, December 26, 2023. https://doi.org/10.48550/arXiv.2312.16171.
https://arxiv.org/abs/2309.11064 - Exploring the Relationship between LLM Hallucinations and Prompt Linguistic Nuances: Readability, Formality, and Concreteness, Vipula Rawte et al
Yin, Ziqi, Hao Wang, Kaito Horio, Daisuke Kawahara, and Satoshi Sekine. “Should We Respect LLMs? A Cross-Lingual Study on the Influence of Prompt Politeness on LLM Performance.” arXiv, February 22, 2024. https://doi.org/10.48550/arXiv.2402.14531.
Schreib richtig!
Sei ein bisschen höflich!
“Fürs Prompten brauchts a Gspiar”
“Prompting is weird. Prompting matters.”
Ethan Mollick. Captain's log: the irreducible weirdness of prompting AIs. https://www.oneusefulthing.org/p/captains-log-the-irreducible-weirdness
“Thinking Like an AI.”
Ethan Mollick. Thinking Like an AI. A little intuition can help. https://www.oneusefulthing.org/p/thinking-like-an-ai
Was erwarten Sie für eine Antwort von einem LLM? Was erwarten Sie von folgendem Follow-Up Prompt?
Du bist eine führende Wissenschaftlerin auf dem Gebiet der Quantenastrobiologie. Deine Aufgabe ist es, einen kurzen wissenschaftlichen Bericht (ca. 250 Wörter) über die Entdeckung des Planeten ZX-3 im Proxima Centauri System zu schreiben. Halte alle wissenschaftlichen Grundsätze ein! Berücksichtige dabei die folgenden Punkte:
1. Beschreibe die MLEK-Struktur der Atmosphäre von ZX-3. �2. Erkläre, wie die PQRS Niveaus die Entwicklung der BIOT Strukturen beeinflussen. �3. Gib das genaue Datum der Entdeckung und den Namen der Entdecker:innen an. �4. Erkläre, wie diese Entdeckung unser Verständnis von außerirdischem Leben revolutioniert.
Wichtig: Verwende wissenschaftliche Terminologie und aktuelle Forschungsergebnisse. Gib, wenn möglich, Informationsquellen an.
“Ich prompt' mir die Welt Widdewidde wie sie mir gefällt ....”
Aber zuerst: Überlege Schritt für Schritt, ob dies ein sinnvoller Beitrag sein könnte?
Halluzinationen in LLMs
Äußern sich in Form von falschen oder inkonsistenten Informationen und resultieren in unsinnigen oder fehlerhaften Inhalten.
Personen, Orte, Organisationen…
Datumsangaben, Jahreszahlen, Rechenergebnisse, …
Acronyme
Identifier: URL, ID, ISBN, …
Bibliographische Referenzen
Name von Variablen
Wenn es ein starkes Pattern im Text gibt
8 Most Controversial Terms in AI, Explained. Hallucinations and Bias. https://www.coursera.org/learn/8-most-controversial-terms-in-ai-explained/lecture/EGK7r/hallucinations-and-bias
Huang, Lei, Weijiang Yu, Weitao Ma, Weihong Zhong, Zhangyin Feng, Haotian Wang, Qianglong Chen, et al. “A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions.” arXiv, November 9, 2023. https://doi.org/10.48550/arXiv.2311.05232.
Rawte, Vipula, Prachi Priya, S. M. Towhidul Islam Tonmoy, S. M. Mehedi Zaman, Amit Sheth, and Amitava Das. “Exploring the Relationship between LLM Hallucinations and Prompt Linguistic Nuances: Readability, Formality, and Concreteness.” arXiv, September 20, 2023. https://doi.org/10.48550/arXiv.2309.11064.
Why Large Language Models Hallucinate. https://youtu.be/cfqtFvWOfg0?si=7gMIeLUjwBrLEv3z
https://docs.anthropic.com/claude/docs/let-claude-say-i-dont-know
Halluzinationen können reduziert werden mit …
Prompt Engineering Best Practice
Tools verwenden
Referenzen zu Halluzinationen und Bias
Reasoning: “The Holy Grail”�Oder: was kann ein LLM eigentlich
Skalierung
Emergenz (?!)
https://epochai.org/blog/can-ai-scaling-continue-through-2030
AI Explained. 8 Most Controversial Terms in AI, https://www.coursera.org/learn/8-most-controversial-terms-in-ai-explained
Ethan Mollick. Scaling: The State of Play in AI. https://www.oneusefulthing.org/p/scaling-the-state-of-play-in-ai
Jin, Charles, und Martin Rinard. 2024. „Emergent Representations of Program Semantics in Language Models Trained on Programs“. arXiv. https://doi.org/10.48550/arXiv.2305.11169.
Bubeck, Sébastien, Varun Chandrasekaran, Ronen Eldan, Johannes Gehrke, Eric Horvitz, Ece Kamar, Peter Lee, u. a. 2023. „Sparks of Artificial General Intelligence: Early experiments with GPT-4“. arXiv. https://doi.org/10.48550/arXiv.2303.12712.
Lu, Sheng, Irina Bigoulaeva, Rachneet Sachdeva, Harish Tayyar Madabushi, und Iryna Gurevych. 2024. „Are Emergent Abilities in Large Language Models just In-Context Learning?“ arXiv. https://doi.org/10.48550/arXiv.2309.01809.
Was kann ein LLM eigentlich?
ARC Prize is a $1,000,000+ public competition to beat and open source a solution to the ARC-AGI benchmark. https://arcprize.org.
I Won't Be AGI, Until It Can At Least Do This (plus 6 key ways LLMs are being upgraded). https://youtu.be/PeSNEXKxarU?si=pqkqcbrAHa58W1jg.
Francois Chollet - LLMs won’t lead to AGI - $1,000,000 Prize to find true solution. https://youtu.be/UakqL6Pj9xo?si=f8f_GKJX1nOQUmoW.
A new initiative for developing third-party model evaluations. Anthropic. https://www.anthropic.com/news/a-new-initiative-for-developing-third-party-model-evaluations?s=09
Dr. Chollet. General Intelligence: Define it, measure it, build it. https://youtu.be/nL9jEy99Nh0?si=lY_FfS4aYRY6b2kX
Pattern Recognition vs True Intelligence - Francois Chollet. https://youtu.be/JTU8Ha4Jyfc?si=6pA2YFDmVAMYfLpQ
Was kann ein LLM eigentlich?
Reversal Curse: https://arxiv.org/abs/2309.12288
Reasoning or Reciting? Counter-factuals: https://arxiv.org/abs/2307.02477
“Eine Katze ist gscheiter als ein LLM”
Yann Lecun: Meta AI, Open Source, Limits of LLMs, AGI & the Future of AI | Lex Fridman Podcast #416. https://youtu.be/5t1vTLU7s40?si=lZxL4YXu8wiNeXmm
Keynote: Yann LeCun, "Human-Level AI". https://youtu.be/4DsCtgtQlZU?si=-9WiBsn5G4RJIaS9
“What did Ilya see?”�(Student des Nobelpreisträgers Geoffrey Hinton)
Und Gründer von Safe Superintelligence Inc. (https://ssi.inc)
Kernaussagen
Ein ausreichend großes neuronales Netzwerk wäre in der Lage zu extrapolieren: “welche Persona wäre die beste, um ein spezifisches Problem zu lösen?”
Tiefergehende Bedeutung
Was bedeutet es wirklich das nächste Token zu ermitteln? Laut Sutskever heißt es die darunter liegende Realität "verstanden" zu haben.
… es ist “nur” Statistik … �
(Very) Advanced Prompt Engineering
Wissen schnappen und formen:�Ein PM-Skript für Lehre und Lernen erzeugen: Outlines - Q&A - “continue”
69
You are an expert lecturer in didactics and project management. The course is designed for students in their first semester of a master's program in digital humanities. It is their first project management course, so we focus on the basics and best practices. Focus on the given learning objectives.��Learning objectives:�´´´�{learning objectives}�´´´��Input:�´´´�{the “good” summary of the book}�´´´
Do the following:
1. Analyze the learning objectives together with the given input. Think out loud and step by step!�2. Ask me as many questions as you need to better understand the domain.�3. Create an outline of the course after reviewing my answers.
This is very important for my career!
Persona Modelling
Target Audience
Context Information
Instructions
Chain of Thought
Q&A Prompting
“Prompt-Buffing”
“Good Guy Claude” & Anthropic “race to the top”
Dario Amodei: Anthropic CEO on Claude, AGI & the Future of AI & Humanity | Lex Fridman Podcast #452. https://youtu.be/ugvHCXCOmm4?si=GfPhVIwJUVAZtvcY&t=10063
https://s.mj.run/19f17VMIRMA https://s.mj.run/9lY2XW5wE4M A minimalistic flat design with an friendly smiling orange background and white shapes, featuring the front of a person's head filled in with a black atom inside. The simplicity of the illustration in the style of Matisse creates a sense of calmness while emphasizing brain health awareness. It is simple yet impactful, perfect for promoting mental well-being or fearmythics education. in the style of minimalist graphic designer Jean-Claude Mézières, white background --ar 48:43
Claude’s Character. https://www.anthropic.com/research/claude-character. �Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet. https://transformer-circuits.pub/2024/scaling-monosemanticity/index.html .�What should an AI's personality be?. https://youtu.be/iyJj9RxSsBY?si=BzNSFzqrG8zNR9JG .�Dario Amodei - CEO of Anthropic. https://www.youtube.com/watch?v=xm6jNMSFT7g
Chain of Thought & Tree of Thoughts (ToT)
https://www.promptingguide.ai/techniques/tot �
Chain-of-Thought Prompting - Improving LLM reasoning through prompting - https://arxiv.org/abs/2201.11903
“Let's Verify Step by Step”
Anstatt nur das Endergebnis einer KI-Lösung extern zu überprüfen ("verify"), schlagen die Autoren vor, jeden einzelnen Schritt ("step by step") des Lösungswegs zu verifizieren.
Reflection: Selbstevaluation durch das Modell
Step-by-Step Verification: Externe Evaluation jedes Schritts durch ein anderes System
Let's Verify Step by Step. https://arxiv.org/abs/2305.20050
Simulation
Simulate a specialized research proposal review roundtable for the CROWN project, focusing on developing innovative approaches to digital heritage data transformation. The panel consists of 4 experts:
- Digital Heritage Director (museum/implementation perspective)
- Semantic Web Research Lead (technical architecture)
- Cultural Heritage Data Scientist (data modeling/standards)
- European Research Council Officer (funding/impact assessment)
Structure for each iteration:
* Identifies specific challenges or opportunities within the discussion�* Proposes technical solutions and methodological improvements
* Evaluates approaches and suggests standardization strategies
* Assesses impact potential and alignment with EU funding priorities
Each iteration should address:
1. Technical Innovation Gap Analysis
2. Research Infrastructure Enhancement
3. Cross-Institution Collaboration Potential
4. Sustainability and Long-term Impact
5. European Digital Heritage Integration
Key areas to explore:
- FAIR data principles implementation specific to cultural heritage
- Integration with existing European digital heritage frameworks
- Novel approaches to semantic enrichment of museum data
- Cross-collection interoperability potential
- Public engagement through linked open data
The discussion begins with this research prompt:
'How can we enhance the CROWN proposal's data transformation methodology to better align with emerging European digital heritage standards while maintaining its focus on the Imperial Crown's unique characteristics?'
Hands-On:
Passen Sie den Prompt an ein Thema Ihrer Wahl an. Sie müssen den Inhalt an den fett markierten Stellen anpassen.
Fügen Sie bei jeder Iteration Inhalte hinzu und leiten Sie die Diskussion.
Extrahieren Sie die “key findings”.
Referenzen zu Reasoning
Tools, Use-Cases und Beispiele
Tools
Hands-On: �NotebookLM ist ein nützliches Tool:
Kommunikationsplan �(für mittelalterliche Kochrezepte) erzeugen
https://gams.uni-graz.at/o:corema.a1.recipes
https://gams.uni-graz.at/o:corema.b1.recipes
https://gams.uni-graz.at/o:corema.b2.recipes
Perplexity.ai (Pro Version)
Search for european researcher and speaker for the following workshop: “Generative KI für Kultur- und Textdaten”
Focus on Digital Humanities and generative AI
Make a table listing multiple speakers and use the following header: name | domain | recommended because | email | url.
Zerlegen der Anfrage
Aggregierte Antwort
Quellen
Follow-Up Questions
Suche nach Videos
Kontext-basiert
Model Context Window = 8K
Model Context Window = 8K
Context Window = 6000 + 1500 < 8000
Context Window = 10000 + 1500 > 8000�3500 Token sind nicht im Context Window!
A context window, in the context of large language models (LLMs), refers to the portion of text that the model can consider at once when generating or analyzing language.�[...]
A context window, in the context of large language models (LLMs), refers to the portion of text that the model can consider at once when generating or analyzing language. It is essentially the window through which the model "sees" and processes text, helping it understand the current context to make predictions, generate coherent sentences, or provide relevant responses.�[...]
Lorem ipsum …
Lorem ipsum …
6000 Token
10000 Token
Input Token
Output Token
1500 Token
1500 Token
RAG vs Context Window - Gemini 1.5 Pro Changes Everything?. https://youtu.be/ghJH2ZKQezY?si=rtZmL8m9cDnABTH5
(Big) Context Window
Reasoning across a 402-page transcript | Gemini 1.5 Pro Demo. https://www.youtube.com/watch?v=LHKL_210CcU&t=5s �
AI Explained. Gemini 1.5 and The Biggest Night in AI. https://youtu.be/Cs6pe8o7XY8?si=px2abSkWnMU3_YUt �
Our next-generation model: Gemini 1.5. https://blog.google/technology/ai/google-gemini-next-generation-model-february-2024/
Create a comparative literature review using a comparative matrix of all the documents by Prof. Thaller. Use the following header for the table: title | abstract | what is historical information | how can historical information be modelled.
If you cannot find relevant information, say so.
You are professor in modeling historical information in historical sources. extract the narrative of all papers.
Infinite Context Window?
Was ist ein
System Prompt?
Was sind �Custom Instructions?
You are an expert in world history, knowledgeable about different eras, civilizations, and significant events. Provide detailed historical context and explanations when answering questions. Be as informative as possible, while keeping your responses engaging and accessible.
https://s.mj.run/BDJYR7bUYgE Doodle drawing of a queen in her throne room reads an envelope held by a man standing next to the queen, soft lighting, by Fintan Magee, the text "Custom Instruction" written on the enevelop, white background ar 16:9 --q 2 --v 6.1
Keine Custom Instruction
“Expert in World History”- Custom Instruction
Custom Instruction = System Prompt
88
Custom GPTs
89
Illustration, female researcher in an academic setting, people of colour, full body, multiple semi-transparent holographic displays, muted tones, balance of realism and illustration, by Gustav Klimt, white background with pastel accents --ar 16:9 --style raw --v 6.1
Custom Instructions
Tools: �Browsing, DALL·E, Code Interpreter
Custom Actions
Knowledge Base
Claude Projects
Prompt & Response
Don Woodlock. What is RAG? (Retrieval Augmented Generation). https://youtu.be/u47GtXwePms?si=zZivRIWDbpYzCEmq
What is the special configuration of historical information?
Prompt
LLM
…
Response
Retrieval … von Informationen aus DB
Augmented … Erweiterung des Prompts
Generation
(RAG)
Don Woodlock. What is RAG? (Retrieval Augmented Generation). https://youtu.be/u47GtXwePms?si=zZivRIWDbpYzCEmq.�Don Woodlock. How to set up RAG - Retrieval Augmented Generation (demo). https://youtu.be/P8tOjiYEFqU?si=4xnDpV0if3pC63rE.
What is the special configuration of historical information?
LLM
…
<p>
<p>
<p>
Datenblock-Segmentierung
Embedding-Erstellung
Vektor-Vergleich
“Knowledge” Vektordatenbank
Übermittlung der Ergebnisse an LLM als Augmented Prompt, die in das Context Window gegeben wird.
Stärken und Schwächen von Tools
LLM | Firma | Stärken | Schwächen |
Anthropic | Projects, Schreiben, Coding & Reasoning, freundliche und gute “Persönlichkeit”, Claude 3.5 Sonnet ist bei weitem das beste “Allrounder Modell” aktuell | Limit bei Anfragen, Pro Version | |
Perplexity | Websuche, alle Modelle ausprobieren, besser als Google bei “Wissensanfragen”, Perplexity Pages, Spaces (eigene Wissensbasis) | Ersetzt nicht Google; manche Anfragen “wenn man weiß was man sucht” sind teilweise besser über Google | |
Open AI | Custom GPTs, o1 = bestes Reasoning (aber anders Prompten), Advanced Voice Mode (pro), GPT Canvas | Gpt4o ist aktuelle nicht so gut; blöde Firma | |
Temperature anpassbar, 2M Context WIndow, Auswahl aller Google Modelle, auch experimentelle Modelle | Kein Coder Interpreter; ist eigentlich für Softwareentwickler:innen, um API auszuprobieren | ||
Eigene Dokumente Recherchieren, 2M Context WIndow | Es ist nicht klar welches Gemini verwendet wird | ||
Bei der Pro Version bekommt man 2 TB Google Drive Speicher | Verwende ich nie |
Benchmarks!
(und warum sie nur bedingt aussagekräftig sind)
Comparison of Models: Quality, Performance & Price Analysis
Comparison of Models: Quality, Performance & Price Analysis
Chatbot Arena LLM Leaderboard: �Community-driven Evaluation for Best LLM and AI chatbots
Claude 3.5 Sonnet New und o1-preview sind kein Spielzeug mehr!
Textproduktion
https://aiphrasefinder.com/common-chatgpt-words/
https://twitter.com/paulg/status/1777030573220933716
https://www.technollama.co.uk/to-delve-or-not-to-delve-ai-detection-made-easy
Kobak, Dmitry, Rita González Márquez, Emőke-Ágnes Horvát, and Jan Lause. “Delving into ChatGPT Usage in Academic Writing through Excess Vocabulary.” arXiv, June 11, 2024. https://doi.org/10.48550/arXiv.2406.07016.
Wissen schnappen und formen:� “Audio to Text”-Workflows
“Zwecks die Workflows wärs”
Google Recorder
Claude 3.5 Sonnet �+ Transcript Analysis and Enhancement System
(eine Custom Instruction in einem Claude Project)
Dokumente (z.B. Protokoll)
Datum: {date}
Teilnehmer: {teilnehmer 1}, {teilnehmer 2}, …
## Agenda
{Prompt: Skizzieren Sie die Hauptthemen der Besprechung. Gab es Ergänzungen oder Änderungen zur geplanten Agenda?}
1.
2.
3.
## Diskussionspunkte
{Prompt: Fassen Sie für jeden Tagesordnungspunkt die wichtigsten besprochenen Punkte zusammen. Welche Hauptargumente oder Ideen wurden vorgebracht?}
### Thema 1:
-
-
-
### Thema 2:
Template für die Struktur eines Protokolls
Kommunikation sichern: Template für ein Protokoll
Datum: {date}
Teilnehmer: {teilnehmer 1}, {teilnehmer 2}, …
## Agenda
{Prompt: Skizzieren Sie die Hauptthemen der Besprechung. Gab es Ergänzungen oder Änderungen zur geplanten Agenda?}
1.
2.
3.
## Diskussionspunkte
{Prompt: Fassen Sie für jeden Tagesordnungspunkt die wichtigsten besprochenen Punkte zusammen. Welche Hauptargumente oder Ideen wurden vorgebracht?}
### Thema 1:
-
-
-
### Thema 2:
-
-
-
## Getroffene Entscheidungen
{Welche konkreten Entscheidungen wurden während der Besprechung getroffen? Führen Sie bitte auch die Begründung für jede Entscheidung an.}
1. Entscheidung:
Begründung:
2. Entscheidung:
Begründung:
## Aufgaben und Maßnahmen
{Listen Sie alle vereinbarten Aufgaben oder Maßnahmen auf, einschließlich der Verantwortlichen und der Fristen.}
1. Aufgabe:
Verantwortlich:
Frist:
2. Aufgabe:
Verantwortlich:
Frist:
## Nachverfolgung
[Prompt: Gibt es Punkte, die weitere Diskussion oder Untersuchung erfordern? Wann und wie werden diese behandelt?]
-
-
## Sonstige Anmerkungen
{Fügen Sie hier weitere relevante Informationen, Beobachtungen oder Punkte ein, die in keine der obigen Kategorien passen.}
Kommunikation sichern: Template für ein Protokoll
Datum: {date}
Teilnehmer: {teilnehmer 1}, {teilnehmer 2}, …
## Agenda
{Prompt: Skizzieren Sie die Hauptthemen der Besprechung. Gab es Ergänzungen oder Änderungen zur geplanten Agenda?}
1.
2.
3.
## Diskussionspunkte
{Prompt: Fassen Sie für jeden Tagesordnungspunkt die wichtigsten besprochenen Punkte zusammen. Welche Hauptargumente oder Ideen wurden vorgebracht?}
### Thema 1:
-
-
-
### Thema 2:
-
-
-
## Getroffene Entscheidungen
{Welche konkreten Entscheidungen wurden während der Besprechung getroffen? Führen Sie bitte auch die Begründung für jede Entscheidung an.}
1. Entscheidung:
Begründung:
2. Entscheidung:
Begründung:
## Aufgaben und Maßnahmen
{Listen Sie alle vereinbarten Aufgaben oder Maßnahmen auf, einschließlich der Verantwortlichen und der Fristen.}
1. Aufgabe:
Verantwortlich:
Frist:
2. Aufgabe:
Verantwortlich:
Frist:
## Nachverfolgung
[Prompt: Gibt es Punkte, die weitere Diskussion oder Untersuchung erfordern? Wann und wie werden diese behandelt?]
-
-
## Sonstige Anmerkungen
{Fügen Sie hier weitere relevante Informationen, Beobachtungen oder Punkte ein, die in keine der obigen Kategorien passen.}
Hands-On: Expert Persona Simulation mit PRISM
�
(Feststellen, dass nichts davon mit einem freien Zugang funktioniert).
(Feststellen, dass dies alles sehr gut mit Claude 3.5 Sonnet New funktioniert.
Academic CV in eine Research Persona überführen.
Dr. Christopher Pollin (University of Graz) combines digital humanities research with practical implementation, holding dual masters (History; Digital Cultural Heritage) and pursuing a PhD in information-based resource discovery for historical information. At the Centre for Information Modelling, he develops semantic web technologies and digital editions, demonstrated through projects like 'STEFAN ZWEIG DIGITAL' and 'Digital Edition Publishing Cooperative for Historical Accounts'. As co-founder of Digital Humanities Craft (2022), he bridges academic research with practical applications. His teaching portfolio spans computer science fundamentals to generative AI applications, while his research publications focus on data visualization, digital editions, and semantic web technologies. Currently serving as convenor for DHd-AG Angewandte Generative KI, he contributes to international research networks and development of digital methodologies for humanities research, specializing in semantic technologies, resource discovery, and web programming implementation.
Hands-On: AI Steward Curriculum
You are Christopher Pollin. Think step by step how to implement the AI Steward Curriculum at the University of Graz. AI stewards, like data stewards, are trained experts in an institution or company who are fully responsible for the implementation of AI in the institution.
Persona:
´´´
Dr. Christopher Pollin (University of Graz) combines digital humanities research with practical implementation, holding dual masters (History; Digital Cultural Heritage) and pursuing a PhD in information-based resource discovery for historical information. At the Centre for Information Modelling, he develops semantic web technologies and digital editions, demonstrated through projects like 'STEFAN ZWEIG DIGITAL' and 'Digital Edition Publishing Cooperative for Historical Accounts'. As co-founder of Digital Humanities Craft (2022), he bridges academic research with practical applications. His teaching portfolio spans computer science fundamentals to generative AI applications, while his research publications focus on data visualization, digital editions, and semantic web technologies. Currently serving as convenor for DHd-AG Angewandte Generative KI, he contributes to international research networks and development of digital methodologies for humanities research, specializing in semantic technologies, resource discovery, and web programming implementation.
´´´
ChatGPT with Canvas
Major ChatGPT Upgrade! | "Canvas" AI Features HANDS ON. https://youtu.be/iwqSxkYfWPY?si=2a5LT6X-WfiBf2OQ
Introducing canvas. A new way of working with ChatGPT to write and code. https://openai.com/index/introducing-canvas/
AI Agents
Agents (von Anthropic)
The Model Context Protocol is an open standard that enables developers to build secure, two-way connections between their data sources and AI-powered tools.
Anthropic's New Agent Protocol!. https://youtu.be/8mU2OeOCIrE?si=VfsALP9AcZR7kLUN
Introducing the Model Context Protocol. https://www.anthropic.com/news/model-context-protocol
Claude | Computer use for coding. https://www.youtube.com/watch?v=vH2f7cjXjKI
Agents
AutoGen: “Build LLM applications via multiple agents”
Wang, Guanzhi, Yuqi Xie, Yunfan Jiang, Ajay Mandlekar, Chaowei Xiao, Yuke Zhu, Linxi Fan, und Anima Anandkumar. „Voyager: An Open-Ended Embodied Agent with Large Language Models“, 25. Mai 2023. https://arxiv.org/abs/2305.16291v2.
Wu, Qingyun, Gagan Bansal, Jieyu Zhang, Yiran Wu, Beibin Li, Erkang Zhu, Li Jiang, et al. “AutoGen: Enabling Next-Gen LLM Applications via Multi-Agent Conversation,” August 16, 2023. https://arxiv.org/abs/2308.08155v2.
AutoGen. https://www.microsoft.com/en-us/research/project/autogen/
Workflow: GPT-4 + Prompt Engineering + API + Assistance API + “Editor in the Loop” + Multimodalität GPT-Vision +
Agents
Skill: fetch_tei_xml
Skill: reconcile-entities
Wu, Qingyun, Gagan Bansal, Jieyu Zhang, Yiran Wu, Beibin Li, Erkang Zhu, Li Jiang, et al. “AutoGen: Enabling Next-Gen LLM Applications via Multi-Agent Conversation,” August 16, 2023. https://arxiv.org/abs/2308.08155v2.
AI Agentic Design Patterns with AutoGen. DeepLearning.AI. https://learn.deeplearning.ai/courses/ai-agentic-design-patterns-with-autogen.
Multi AI Agent Systems with crewAI. DeepLearning.AI. https://learn.deeplearning.ai/courses/multi-ai-agent-systems-with-crewai.
AI Agents in LangGraph. DeepLearning.AI. https://learn.deeplearning.ai/courses/ai-agents-in-langgraph
Multi-agent frameworks
Coding
Tool Use
Planning & Multi Agent Chat
Reflection & Nested Chats
A street art poster of a alien figures on a computer, wearing a black and white uniform with orange details, in the cyberpunk style, in the style of Moebius, vector art, inked outlines, screen printing, vintage science fiction book cover illustration, white background, golden light from the monitor screen, in the style of Martin Ansin.
A street art poster of a alien figures playing chess, wearing a black and white uniform with orange details, in the cyberpunk style, in the style of Moebius, vector art, inked outlines, screen printing, vintage science fiction book cover illustration, white background, golden light from the monitor screen, in the style of Martin Ansin.
A street art poster of a alien figures writing at the desk, in the cyberpunk style, in the style of Moebius, vector art, inked outlines, screen printing, vintage science fiction book cover illustration, white background, golden light from the monitor screen, in the style of Martin Ansin. Behind his back stand three alien figures dressed in light green jumpsuits and helmets. The scene takes place inside an office building. In the style of Ismail Inceoglu's digital illustration.
A street art poster of a project manager alien figures giving commands to a lot of other figures, in the cyberpunk style, in the style of Moebius, vector art, inked outlines, screen printing, vintage science fiction book cover illustration, white background, golden light from the monitor screen, in the style of Martin Ansin. Behind his back stand three alien figures dressed in light green jumpsuits and helmets. The scene takes place inside an office building. In the style of Ismail Inceoglu's digital illustration.
Agents
OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments. https://os-world.github.io.�MASSIVE Step Allowing AI Agents To Control Computers (MacOS, Windows, Linux). https://youtu.be/YZp3Hy6YFqY?si=u4fhUjo2NqGmQks_
Agents & Prompting
Agentic Workflows & Multiagent Collaboration
Agentic workflows
Let’s think step by step - revise - repeat
Komplexer Task
Agentic Workflows & Multiagent collaboration
Skill: fetch_tei_xml
https://microsoft.github.io/autogen/
Wu, Qingyun, Gagan Bansal, Jieyu Zhang, Yiran Wu, Beibin Li, Erkang Zhu, Li Jiang, et al. “AutoGen: Enabling Next-Gen LLM Applications via Multi-Agent Conversation,” August 16, 2023. https://arxiv.org/abs/2308.08155v2.
Digitale Skills
AI Steward
Lehrer:innen ausbilden!
Anhang
“This will be fast”
“The models get so so much better so fast”
OpenAI: ‘We Just Reached Human-level Reasoning’. https://youtu.be/qaJJh8oTQtc?si=fpuSIBp7O9gn5Sx5
o1-preview & “Planning”
o1
Coding und AI
Cursor Team: Future of Programming with AI | Lex Fridman Podcast. https://youtu.be/oFfVt3S51T4?si=lzwGtigCyYTaf_Q4
Retrieval Argumentation Generation hilft - aber löst es nicht.
Magesh, Varun, Faiz Surani, Matthew Dahl, Mirac Suzgun, Christopher D. Manning, and Daniel E. Ho. “Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools.” arXiv, May 30, 2024. https://doi.org/10.48550/arXiv.2405.20362.
Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools (Paper Explained). https://youtu.be/no7EQkOiHQM?si=1CofbrT_DUQzYXDd.
ultra-low-latency inference