Na FAV zkoušejí umělou inteligenci z vysokoškolské matematiky a logiky
Na FAV ZČU testují, jak si velké jazykové modely poradí s vysokoškolskou matematikou a logikou. Systém automaticky zadává úlohy, zaznamenává postupy i výsledky a porovnává je napříč čtyřmi modely na osmnácti úlohách; největší modely dosahují kolem 98% úspěšnosti, menší varianty asi 68%. Správný výsledek však neznamená vždy správný postup a efektivní řešení bývá jen u části testů; rozdíly jsou i podle matematické disciplíny. Výsledky ukazují, že kombinace softwarového inženýrství a matematiky umožňuje kontinuální vyhodnocování limits AI v akademickém prostředí a poskytuje studentům cennou praxi.
Nakolik si současné velké jazykové modely dokáží poradit se složitými matematickými úlohami, zjišťoval tým z Fakulty aplikovaných věd ZČU. Vybrané modely otestoval na osmnácti úlohách. Nejlepší výsledky nabídly největší modely, jejich postup ale nebyl vždy správný. Úspěšnost navíc závisí i na oboru.
Jaké jsou limity současné umělé inteligence v akademickém prostředí? Odpověď hledali studující z Fakulty aplikovaných věd Západočeské univerzity v Plzni (FAV). Vyvinuli systém, který automaticky zadává příklady velkým jazykovým modelům, zaznamenává výsledky i s postupy řešení a tím umožňuje průběžně vyhodnocovat jejich úspěšnost. Tým složený ze studentů i akademiků otestoval čtyři různé jazykové modely na osmnácti úlohách. Předběžná data z první fáze testování už ukazují jasné trendy.
Z více než sto dvaceti hodnocených odpovědí vyplynulo, že největší modely dosahují 98 procent úspěšnosti, zatímco menší varianty uspějí zhruba v 68 procentech případů. Podle vedoucího studentské části týmu Kristiana Tichoty je ale rozdíl částečně výsledkem technických omezení, malým modelům totiž chyběl přístup k externím nástrojům nebo narážely na limit délky textu.
Testy navíc potvrdily, že správný výsledek automaticky neznamená bezchybný postup. „Zcela správnou logiku mělo jen 50 až 75 % odpovědí od velkých modelů a skutečně efektivní, přímočaré řešení nabídla nanejvýš polovina všech testovaných výstupů,“ řekl Tichota. Poukázal také na rozdíl v úspěšnosti řešení mezi jednotlivými matematickými disciplínami. V některých z nich už podle mentora projektu Petra Girga z katedry matematiky FAV současné velké jazykové modely dosahují úrovně vyučujících.
Vývoj a provoz testovací platformy propojil studující z kateder informatiky, kybernetiky a matematiky. Odborné vyhodnocení výsledků včetně kontroly postupů zajišťují akademici. Spolupráce napříč obory podle nich jasně ukázala, jak efektivně lze skloubit softwarové inženýrství s matematikou. „Výsledný systém nám vyučujícím kontinuálně poskytuje přesná data o aktuálních limitech umělé inteligence v akademickém prostředí a umožňuje sledovat vývoj výkonnosti velkých jazykových modelů v čase. Pro studenty navíc představuje cennou praxi," řekl Petr Girg. Výsledky už tým prezentoval na studentských konferencích v Česku i zahraničí.
Petr Girg, Martina Batková
Unternehmen / Organisation
Západočeská univerzita v Plzni
Beispiel der Dun & Bradstreet-Daten
| Firmenname | AUDI Aktiengesellschaft |
|---|---|
| D-U-N-S-Nummer | 315731679 |
| Registrierungsnummer / Beschreibung | HRB1 Register Number (DE) |
| Registrierungsnummer / Beschreibung | 85049B1 Derived Unique Register Number (DE) |
| Registrierungsnummer / Beschreibung | DE811115368 Value Added Tax Number (DE) |
| Telefon | +49 841890 |
| Subjekttyp | Corporation |
| Rechtsform | Deemed Public Limited Company |
| Jahresumsatz | 64 500 000 000 EUR / 71 157 238 500 USD - 01.01.2024 |
| Mitarbeiterzahl | 86 900 - 01.01.2024 |
| Status | Active |
| Adresse | Auto-Union-Str. 1, Ingolstadt, 85057, Germany |
| Webseite | www.audi.com |
| [email protected] | |
| Geschäftsgegenstand | Mfg motor vehicle/car bodies |
| Eigentumstyp | Privately owned |
| Gründungsdatum | 16.04.1884 |
| Gesetzliche Vertreter | Gernot Döllner |
| Eigentümer | Bundesland Niedersachsen, Streubesitz, GOVERNMENT OF QATAR, Ferdinand Porsche Familien-Privatstiftung, Kai Alexander Porsche, Peter Daniell Porsche, Ferdinand Oliver Porsche, Geraldine Porsche, Mark Philipp Porsche, Hubertus Josef Kiesling, Diana Porsche, Andreas Kiesling, Peter Daniell Porsche, Kai Alexander Porsche, Ferdinand Oliver Porsche, Mark Philipp Porsche, Geraldine Porsche, Diana Porsche, Hubertus Josef Kiesling, Andreas Kiesling, Wolfgang Porsche, Stephanie Porsche- Schröder, Felix Alexander Porsche, Christian Porsche, Ferdinand Rudolf Wolfgang Porsche |
