Нейросеть Local.ai: Ваш Персональный Эксперимент с Искусственным Интеллектом
Локальное Управление Искусственным Интеллектом без Графического Процессора
local.ai — это настольное приложение для проведения локальных, приватных и безопасных экспериментов с искусственным интеллектом. Оно включает в себя следующие функции:
- API для известных хороших моделей и загрузчик моделей: Этот инструмент предоставляет описания, такие как рекомендуемые технические характеристики оборудования, лицензию модели, хеши blake3/sha256 и многое другое.
- Простое приложение для заметок: local.ai включает в себя инструмент для создания заметок, при этом каждой заметке можно присвоить конфигурацию вывода. Заметка и ее конфигурация сохраняются в формате обычного текста .mdx.
- Сервер вывода модели: С помощью сервера вывода модели (/completion endpoint), аналогичного OpenAI, вы можете легко и быстро запустить локальный сервер для вывода искусственного интеллекта.
local.ai создан для использования вместе с window.ai и предоставляет простой способ быстро настроить локальный сервер вывода. Совместно они позволяют любому веб-приложению использовать искусственный интеллект без затрат ни на разработчика, ни на пользователя.
На данный момент local.ai использует ядро rustformers/llm. Поэтому, если вы интересуетесь техническими деталями, обязательно посетите этот репозиторий.
Локальное Управление ИИ.
Самостоятельные эксперименты с Искусственным Интеллектом, оффлайн и в условиях полной конфиденциальности. Все это возможно благодаря приложению local.ai, созданному для упрощения процесса работы с ИИ.
Бесплатное и Open Source
local.ai — это бесплатное и open-source приложение, которое позволяет вам экспериментировать с искусственным интеллектом в оффлайн-режиме. Вы больше не зависите от наличия мощного графического процессора (GPU). Это приложение предоставляет вам полный контроль.
Мощное Нативное Приложение
С поддержкой языка Rust, local.ai остается компактным и эффективным по использованию памяти (менее 10 МБ на Mac M2, Windows и Linux .deb). Его основные характеристики включают:
- Вывод на CPU
- Адаптация к доступным потокам
- Квантование GGML q4, 5.1, 8, f16
Управление Моделями
С local.ai у вас есть возможность удобно управлять всеми вашими ИИ-моделями в одном централизованном месте. Вы можете выбрать любую директорию для хранения ваших моделей. Некоторые возможности включают:
- Возобновляемая, параллельная загрузка моделей
- Сортировка по использованию
- Независимость от директории
Проверка Дайджеста ИИ
local.ai позволяет вам убедиться в целостности и подлинности загруженных моделей с помощью надежной проверки дайджеста BLAKE3 и SHA256. Некоторые функции включают:
- Вычисление дайджеста
- API известных хороших моделей
- Чипы для лицензии и использования
- Быстрая проверка BLAKE3
- Карта информации о модели
Сервер Вывода ИИ
С local.ai, вы можете легко запустить локальный сервер для вывода ИИ с помощью двух щелчков: загрузите модель и начните сервер. Некоторые функции включают:
- Стриминг-сервер
- Быстрый интерфейс вывода
- Запись в .mdx
- Параметры вывода
- Удаленный словарь
local.ai предоставляет вам множество возможностей для экспериментов с ИИ, управления моделями и проверки их подлинности, и это только начало. На будущее запланировано еще больше функций, которые сделают это приложение еще более мощным и полезным инструментом для работы с искусственным интеллектом.
Установка
- Перейдите на сайт local.ai и нажмите кнопку для загрузки приложения, подходящего для вашей операционной системы. Вы также можете найти сборки вручную на странице релизов на GitHub.
- Бинарные файлы для Windows и macOS подписаны Plasmo Corp. — компанией, принадлежащей автору этого проекта (@louisgv).
- Вы также можете собрать приложение из исходного кода.
Развитие
Если вы хотите запустить проект локально, вот как это сделать:
Требования
- node >= 18
- rust >= 1.69
- pnpm >= 8
Рабочий процесс
- Выполните команду
git submodule update --init --recursive. - Установите зависимости с помощью
pnpm i. - Запустите приложение с помощью
pnpm dev.
Лицензия
- Настольное/Веб-приложение: GNU GPLv3
- Клиентский SDK: MIT
