Skip to content

rwrun/coreAIvsMLLLM

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

3 Commits
 
 

Repository files navigation

После WWDC 2026 Apple представила новый AI-фреймворк — Core AI. Многие разработчики сразу начали задаваться вопросом: а нужен ли теперь MLX и такие библиотеки, как MLXLLM?

На первый взгляд кажется, что Core AI должен полностью заменить существующие решения для запуска нейросетей на устройствах Apple. Но на практике всё немного сложнее.

Давайте разберёмся простыми словами.

Что такое MLXLLM?

Если вы уже запускали локальные языковые модели в Swift, то скорее всего использовали MLX или MLXLLM.

Например:

  • Llama 3.2
  • Qwen
  • Gemma
  • Mistral

Модель скачивается с Hugging Face, загружается в приложение и начинает работать прямо на устройстве пользователя.

Примерно так выглядит процесс:

Hugging Face → MLXLLM → SwiftUI приложение → iPhone

Сегодня это один из самых популярных способов добавить локальный ИИ в iOS-приложение.

Преимущества MLXLLM:

  • Простая интеграция
  • Большое количество готовых моделей
  • Поддержка Hugging Face
  • Работает уже сейчас
  • Полностью локальный запуск
  • Не нужны серверы и API

По сути, если вы хотите добавить чат-бота, генерацию текста или суммаризацию заметок, MLXLLM уже отлично подходит для продакшена.


Что такое Core AI?

Core AI — новый системный фреймворк Apple для запуска нейросетей.

Главная идея заключается в том, что теперь модель становится частью экосистемы Apple и может максимально эффективно использовать возможности устройства.

Процесс выглядит так:

Модель → .aimodel → Core AI → iPhone

Вместо загрузки модели напрямую из Hugging Face используется специальный формат .aimodel, который оптимизируется под конкретное устройство.


Главное отличие

Самое важное отличие между MLXLLM и Core AI заключается не в том, что они умеют, а в том, как они работают.

MLXLLM — это обычная библиотека внутри приложения.

Core AI — это часть операционной системы.

Можно провести аналогию:

MLXLLM похож на сторонний Swift Package.

Core AI похож на Core Data или AVFoundation.

То есть Apple встроила поддержку AI прямо в систему.


Что умеют оба решения?

На сегодняшний день и MLXLLM, и Core AI позволяют:

  • Запускать модели локально
  • Работать без интернета
  • Использовать GPU устройства
  • Генерировать текст
  • Обрабатывать большие языковые модели

Для конечного пользователя результат будет одинаковым: он задаёт вопрос и получает ответ от нейросети.


Где Core AI может оказаться лучше?

1. Оптимизация под конкретное устройство

Представьте, что у вас есть одна модель.

Сейчас MLXLLM запускает её примерно одинаково на разных устройствах.

Core AI может создавать отдельные оптимизации для:

  • A17 Pro
  • A18 Pro
  • M4
  • M5

Это похоже на то, как Metal компилирует шейдеры под конкретный GPU.

В теории это должно дать лучшую производительность.


2. Более глубокая интеграция с Neural Engine

Сегодня MLX в основном использует GPU через Metal.

Core AI изначально создавался с учётом:

  • CPU
  • GPU
  • Apple Neural Engine

Если Apple предоставит полный доступ к Neural Engine через Core AI, это может улучшить скорость генерации и снизить расход батареи.


3. Предварительная компиляция моделей

MLXLLM обычно работает с уже готовыми файлами модели.

Core AI позволяет заранее подготовить модель под конкретную архитектуру устройства.

Это уменьшает время запуска и может ускорить инференс.


Где MLXLLM пока выигрывает?

Огромная экосистема моделей

Сегодня можно открыть Hugging Face и найти тысячи моделей:

  • Llama
  • Qwen
  • Gemma
  • DeepSeek
  • Mistral

Большинство из них уже доступны в формате MLX.

Скачал модель, подключил библиотеку и всё работает.

Для Core AI пока такой экосистемы нет.


Простота использования

Запуск модели через MLXLLM сегодня занимает буквально несколько строк кода.

Не нужно конвертировать модели в новый формат и разбираться с дополнительными инструментами.


Готовность к продакшену

Многие приложения уже используют MLXLLM в реальных проектах.

Для Core AI экосистема только начинает формироваться.


Нужно ли переходить на Core AI прямо сейчас?

Если у вас уже работает решение на MLXLLM, причин срочно переписывать приложение нет.

Например, если приложение использует:

mlx-community/Llama-3.2-3B-Instruct-4bit

и показывает хорошую скорость генерации, то пользователь вряд ли заметит принципиальную разницу после перехода на Core AI.

Более того, пока неизвестно, насколько легко будет переносить существующие модели из Hugging Face в формат Core AI.


Итог

На сегодняшний день Core AI и MLXLLM не столько конкуренты, сколько инструменты для разных задач.

MLXLLM — лучший выбор, если нужно быстро встроить локальную LLM в приложение уже сейчас.

Core AI — это направление, в котором Apple будет развивать AI-платформу в будущем.

Поэтому для большинства iOS-разработчиков оптимальная стратегия выглядит так:

Использовать MLXLLM сегодня и внимательно следить за развитием Core AI в ближайшие версии iOS и macOS.

Вполне возможно, что через несколько лет Core AI станет тем же стандартом для нейросетей, каким когда-то стали Core Data, Core Animation и Core ML.

About

Сравнение Core AI с фреймворком MLXLLM для IOS

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

 
 
 

Contributors