Základní modely v AI

V roce 2021 se v oblasti umělé inteligence objevil nový pojem: "foundation model". Tento termín, poprvé použitý výzkumníky ze Stanfordského institutu pro umělou inteligenci zaměřenou na člověka, označuje zásadní posun v myšlení od úzce specializovaných AI modelů k univerzálním, všestranným modelům. Co přesně jsou foundation modely a proč jsou tak významné?

Od specializace k univerzálnosti

Rok 2020 přinesl první viditelné výsledky tohoto posunu myšlení s uvedením modelu GPT-3, který je považován za jeden z prvních komerčně dostupných foundation modelů. Podle stanfordských výzkumníků jde o nespecializované systémy trénované na obrovských objemech nestrukturovaných dat zahrnujících text, obrázky, videa a zvuk. Tyto modely jsou schopné zvládat širokou škálu úkolů.

Před rokem 2020 se trénovaly neuronové sítě (modely) pro specifické úkoly jako je např. rozpoznání specifických objektů na obrázku.

Po zhruba roce 2020 lze vidět postupný posun v myšlení, kdy se společnosti začínají věnovat budováním foundation modelů. Mezi veřejně známe foundation modely patří GPT-3 a další verze od OpenAI, Llama od Mety nebo Gemini od Google.

Klíčové vlastnosti foundation modelů

• Trénink modelu proběhl na obrovském množství a různorodosti dat.
• Multimodalita – schopnost pracovat s různými typy dat a generovat různé výstupy (text, obraz, zvuk).
• Univerzální použitelnost – slouží jako základní stavební kámen pro různorodé aplikace napříč odvětvími.
• Adaptabilita – možnost specializace pro konkrétní úkoly bez nutnosti budování nového modelu od základů.

Specializace foundation modelů

I když jsou tyto modely ze své podstaty všestranné, lze je dále specializovat dvěma klíčovými způsoby:

• Fine-tuning – trénování modelu pomocí dodatečných dat pro zlepšení přesnosti výstupů, nebo generace výstupu v určitém tonu.
• Prompt engineering – využití přesně formulovaných instrukcí a dodatečných informací (např. kniha, článek, obrázek) pro dosažení požadovaných výstupů bez nutnosti přetrénování modelu.

Výhody foundation modelů

• Mimořádný výkon, kdy při správném promptu dokáží předčit specializované modely v široké škále úkolů.
• Zvýšená produktivita při vývoji specializovaných aplikací
• Flexibilita a adaptabilita na nové úkoly.

Nevýhody foundation modelů

• Extrémní náročnost na výpočetní, energetické i finanční zdroje při procesu trénování (resp. vytváření a spuštění) modelu.
• Riziko zabudování předsudků a nepřesností z tréninkových dat. Model pak může podávat nepřesné, nebo jinak urážlivé výstupy.

Závěr

Foundation modely představují významný milník ve vývoji umělé inteligence. Jejich schopnost zvládat širokou škálu úkolů s pozoruhodnou efektivitou otevírá nové možnosti pro inovace napříč různými odvětvími.