Oblíbený nástroj Ollama pro lokální běh AI modelů na Macu dostal update s podporou Apple MLX. Na Apple Silicon přináší výrazné zrychlení a lepší odezvu při delším používání.
Ollama na Macu nově využívá framework Apple MLX a na počítačích s Apple Silicon zrychluje práci s AI modely citelně víc než dřív. Uživatelé mají čekat rychlejší načítání promptů, svižnější generování odpovědí a lepší reakce při delším používání.
MLX přináší na Macy rychlejší lokální AI
Aktualizace Ollamy stojí na Applu vyvinutém frameworku MLX, který je navržen přímo pro čipy Apple Silicon. V praxi to znamená, že aplikace dokáže efektivněji využít výkon GPU i paměťovou architekturu Macu, místo aby se spoléhala na obecnější a méně optimalizovaný přístup.
Podle vývojářů se prefill rychlost zvyšuje zhruba 1,6× a decode, tedy samotné generování odpovědí, je téměř dvakrát rychlejší. Pro lokální AI je to zásadní rozdíl: místo dlouhého čekání na první reakci i na další věty se práce blíží pocitu z běžné cloudové služby, jen bez posílání dat na internet.
Nejvíc si polepší M5 Macy a AI asistenti
Největší skok mají podle Ollamy vidět stroje s čipy řady M5, které těží z nových GPU Neural Accelerators. Pokud tedy používáte novější MacBook Pro, Mac mini nebo jiný Mac s M5, změna by měla být patrná hlavně při delších konverzacích a náročnějších výpočtech.
Součástí update je také chytřejší správa paměti, což je důležité hlavně pro nástroje jako coding agenti, osobní asistenti nebo chatovací aplikace běžící stále na pozadí. V praxi to znamená méně záseků, stabilnější výkon a menší pád rychlosti v momentech, kdy máte spuštěných víc věcí najednou.
Preview verze je dostupná jako Ollama 0.19, ale má jednu podmínku: potřebujete Mac s více než 32 GB unified memory. Zatím je navíc podpora omezená jen na model Alibaba Qwen3.5, i když další modely mají přibýt později. Pokud tedy lokální AI na Macu používáte denně, jde o update, který může být velmi zajímavý už teď — hlavně pokud vám dosud vadilo čekání na odpovědi a zbytečně pomalý rozjezd modelů.
Pokud vás téma zajímá víc, přečtěte si také MacBook Neo recenze řeší hlavně cenu. Je levný?.
Podrobnosti přinesl také Macrumors.
Chcete k tomu něco dodat? Napište krátce proč.