Lilbee: Частный локальный ИИ-стек для поиска и управления моделями
Lilbee, разработанный Tobocop2, является инструментом MCP для локальных AI стеков, поисковых систем и управления моделями. Он построен на Python, используя llama.cpp в качестве движка модели и LanceDB для векторного индексирования. Lilbee предлагает автономные бинарные файлы для Linux, macOS и Windows, а также распространение через Homebrew, AUR, Nix, Docker, Flatpak, Snap и Scoop. Он также может быть библиотекой Python или запускаться через загрузчик Node.js. Этот инструмент сосредоточен на локальной работе и конфиденциальности.
Лучшая рекомендуемая альтернатива
К чему подключается Lilbee?
Lilbee управляет локальными AI моделями, включая чат, встраивание, визуализацию и повторный рейтинг, на доступных GPU. Он подключается к локальным файлам пользователя, коду и проиндексированным веб-страницам, чтобы обеспечить поисковую систему, которая предоставляет цитируемые ответы. При желании Lilbee может интегрироваться с существующими экземплярами Ollama или LM Studio. Пользователи также могут настроить его для подключения к облачным моделям, расширяя его возможности за пределами локальных ресурсов.
Основные функции и инструменты
Lilbee предоставляет несколько вызываемых инструментов для управления своими функциями. К ним относятся lilbee_search для запросов, lilbee_add для контента и lilbee_crawl для индексации веб-страниц. Для статуса и управления он предлагает lilbee_crawl_status и lilbee_crawl_cancel. Управление моделями осуществляется с помощью lilbee_model_list и lilbee_catalog_browse. Другие инструменты, такие как lilbee_init, lilbee_remove, lilbee_list_documents, lilbee_export_dataset, lilbee_status, lilbee_sync, lilbee_settings_set и lilbee_settings_reset, обеспечивают управление системой.
Для кого это?
Lilbee ориентирован на разработчиков, программистов, использующих кодирующие агенты, и пользователей Obsidian. Он также служит людям, ищущим частную, локальную AI поисковую систему и менеджер моделей. Его дизайн придает приоритет локальной работе, обеспечивая конфиденциальность, не отправляя телеметрию и не требуя учетной записи, если не настроены облачные модели. Это не лучший вариант, если вам требуется сервис, который по своей сути отправляет телеметрию или требует интеграции облачной учетной записи для базовой работы.
Как начать
Для локальных развертываний сервер аутентифицируется с помощью переменных окружения или системных учетных данных. Для удаленных серверов MCP на основе HTTP доступ предоставляется через стандартный процесс авторизации OAuth.
Сценарии использования
- Локальный AI поиск и RAG: Индексируйте личные документы, код и проиндексированный веб-контент, чтобы получать цитируемые ответы на запросы на естественном языке.
- Интеграция кодирующего агента: Обеспечьте бэкенд для извлечения для MCP-осведомленных кодирующих агентов, позволяя доступ к цитируемым фрагментам из индексированного кода и документации.
- Управление локальными моделями: Просматривайте, загружайте и запускайте различные AI модели (чат, встраивание, визуализация, повторный рейтинг) непосредственно на локальных GPU.
Lilbee предоставляет частный, локальный AI стек для управления моделями и выполнения цитируемых поисков по личным данным. Его поддержка различных платформ и интеграция с агентами, осведомленными о MCP, делают его универсальным инструментом. Акцент на локальной работе и конфиденциальности предлагает безопасную среду для AI задач. Начните с использования "lilbee_catalog_browse", чтобы исследовать доступные AI модели для локального развертывания.
