Apple silicon a framework MLX posouvají Mac Studio do role výkonného stroje pro lokální AI. Velké modely mohou firmy provozovat bez cloudu, s nižšími nároky na samostatné GPU.
Mac Studio s čipem M5 Ultra může díky sjednocené paměti a frameworku MLX sloužit jako základ pro provoz rozsáhlých jazykových modelů přímo ve firmě. Nejde o náhradu běžného Macu na stole, ale o nový typ infrastruktury: tichý a kompaktní stroj, který zpracovává citlivá data lokálně bez nutnosti posílat každý požadavek do cloudu.

MLX staví na výhodě sjednocené paměti
Apple u vlastních čipů nesází na oddělenou operační paměť a paměť grafické karty. CPU i integrované GPU pracují se stejným paměťovým prostorem, což je pro umělou inteligenci podstatné. GPU v Macu Studio s M5 Ultra může využít až 512 GB paměti, tedy výrazně více, než kolik bývá k dispozici na jedné samostatné grafické kartě.
Právě pro tuto architekturu vznikl MLX, framework Applu pro strojové učení. Nabízí nástroje pro tvorbu a optimalizaci neuronových sítí a podporuje Swift, C++ i C. Vývojářům tak umožňuje připravovat AI úlohy pro hardware Applu bez toho, aby se museli spoléhat jen na externí cloudové služby nebo infrastrukturu postavenou na specializovaných GPU.
Ukázka Applu se čtyřmi Macy Studio s M5 Ultra provozovala model Muse Spark Open rychlostí přes 36 tokenů za sekundu, což je svižnější tempo než běžné čtení. Dvojice těchto počítačů přitom podle popsaného nasazení pojme celý model díky celkovému 1 TB sjednocené paměti. Jde o demonstraci, že velký model nemusí automaticky znamenat hlučný rack serverů.
Co to znamená pro firmy i běžnou práci
V praxi je největším přínosem lokální zpracování dat. Firemní dokumenty, zákaznické údaje nebo interní kód mohou zůstat uvnitř vlastní sítě. To nevyřeší všechny bezpečnostní a legislativní povinnosti, ale snižuje počet situací, kdy je nutné obsah odeslat poskytovateli AI služby. Pro IT týmy je to zajímavé zejména tam, kde cloud nelze použít nebo by byl příliš drahý.
Stejný trend je vidět i na menších Macích. Aplikace Osaurus umožňuje spravovat lokální modely fungující bez připojení k internetu, a to i na noteboocích s 16 GB paměti; některé modely mají fungovat už s 8 GB. Pokud aplikace potřebuje oslovit vzdálený model, může nejdříve lokálně nahradit jména, telefonní čísla a čísla účtů zástupnými údaji.
Apple tím zatím neřeší slabší stránku vlastních AI ambicí: pokročilejší Siri se zpozdila a Apple Intelligence neměla hladký start. Mac Studio a MLX ale ukazují jinou část strategie. Místo soupeření o největší vlastní model mohou Macy těžit z otevřených modelů, které si organizace spustí samy. Pro většinu pracovních úkolů totiž nemusí být rozhodující absolutně nejsilnější AI, ale dostatečně schopný model dostupný rychle, soukromě a pod vlastní kontrolou.
Podrobnosti přinesl také 9to5mac.

Chcete k tomu něco dodat? Napište krátce proč.