Open-source LLM
Open-source LLM — открытые языковые модели (Llama 3, Mistral, Qwen) для запуска без зависимости от API.
Open-source LLM — языковые модели с открытыми весами, которые можно скачать и запустить локально. Основные игроки: Meta Llama 3 (70B — реально сильная модель), Mistral (французская компания, очень компактные и быстрые модели), Qwen от Alibaba (отличный китайский+английский), DeepSeek (конкурентен с GPT-4 при локальном запуске).
Для запуска локально я использую Ollama — он максимально упрощает процесс: одна команда в терминале, и любая модель из каталога работает как локальный API. На MacBook Pro M2 Llama 3 8B отвечает за 2–3 секунды. Качество достаточное для задач суммаризации, классификации, генерации первичных черновиков.
Главная причина выбирать open-source в маркетинговых проектах — не идеология, а прагматика: конфиденциальность данных (никаких API-вызовов на внешние серверы), стоимость (нет платы за токены), управляемость (фиксируешь версию модели, она не меняется). Для задач с персональными данными клиентов это часто единственный разумный выбор.