Нещодавно NVIDIA представила революційного чат-бота зі штучним інтелектом Chat with RTX. Він призначений для локального запуску на ПК з Windows, оснащених графічними процесорами NVIDIA RTX 30 або 40 серії. Цей інноваційний інструмент дозволяє користувачам персоналізувати чат-бота за допомогою свого контенту. Він зберігає конфіденційні дані на своїх пристроях і не потребує хмарних сервісів. Чат-бот “Chat with RTX” розроблений як локалізована система, яку користувачі можуть використовувати без доступу до Інтернету. Додаток підтримують усі графічні процесори GeForce RTX 30 і 40 з щонайменше 8 ГБ відеопам’яті.
Chat with RTX підтримує кілька форматів файлів, включаючи текст, pdf, doc/docx і XML. Просто вкажіть програмі на папку з файлами, і вона завантажить їх у бібліотеку за лічені секунди. Крім того, користувачі можуть вказати URL-адресу плейлиста YouTube, і програма завантажить транскрипції відео з цього плейлиста. Це дає змогу користувачеві запитувати вміст, який вони охоплюють.
Судячи з офіційного опису, користувачі можуть використовувати Chat With RTX так само, як і ChatGPT, за допомогою різних запитів. Однак згенеровані результати будуть повністю засновані на конкретних наборах даних. Це, здається, більше підходить для таких операцій, як створення резюме та швидкий пошук документів.
Наявність графічного процесора RTX з підтримкою TensorRT-LLM означає, що користувачі будуть працювати з усіма даними та проєктами локально. Таким чином, користувачам не потрібно буде зберігати свої дані в хмарі. Це заощадить час і забезпечить більш точні результати. Nvidia заявила, що TensorRT-LLM v0.6.0 покращить продуктивність у 5 разів і буде запущена пізніше цього місяця. Крім того, він буде підтримувати інші LLM, такі як Mistral 7B та Nemotron 3 8B.
Ключові особливості чату з RTX
- Локальна обробка: Чат з RTX працює локально на комп’ютерах і робочих станціях з Windows RTX, забезпечуючи швидкі відповіді та зберігаючи конфіденційність даних користувача.
- Персоналізація: Користувачі можуть налаштувати чат-бота за допомогою власного контенту, включаючи текстові файли, PDF, DOC/DOCX, XML та відео з YouTube.
- Пошукове доповнене покоління (RAG): Чат-бот використовує RAG, програмне забезпечення NVIDIA TensorRT-LLM та прискорення NVIDIA RTX для створення контенту та надання контекстно-релевантних відповідей.
- Великі мовні моделі з відкритим кодом (LLM): Користувачі можуть вибрати одну з двох LLM з відкритим вихідним кодом, Mistral або Llama 2, щоб навчити свого чат-бота.
- Зручний для розробників: Чат з RTX побудований на основі референсного проєкту TensorRT-LLM RAG для розробників, доступного на GitHub, що дозволяє розробникам створювати свої додатки на основі RAG.
Вимоги та обмеження
- Вимоги до апаратного забезпечення: Для роботи чату з RTX потрібен графічний процесор NVIDIA GeForce RTX серії 30 або новішої версії з щонайменше 8 ГБ оперативної пам’яті, Windows 10 або 11 та найновіші драйвери NVIDIA GPU.
- Розмір: Чат-бот завантажується на 35 ГБ, а екземпляр Python займає близько 3 ГБ оперативної пам’яті.
- Чат-бот знаходиться на ранній стадії демонстрації для розробників, тому він все ще має обмежену контекстну пам’ять і неточну атрибуцію джерела.
Застосування та переваги
- Дослідження даних: Чат з RTX може бути цінним інструментом для дослідження даних, особливо для журналістів або тих, кому потрібно проаналізувати колекцію документів.
- Конфіденційність і безпека: Завдяки тому, що дані та відповіді обмежуються локальним середовищем користувача, значно знижується ризик витоку конфіденційної інформації назовні.
- Освіта та навчання: Чат з RTX може надавати швидкі навчальні посібники та інструкції, засновані на кращих освітніх ресурсах.
Висновок
Чат з RTX – це захоплива розробка у світі ШІ, що пропонує локально запущений персоналізований чат-бот, який може підвищити продуктивність працівників, одночасно зменшуючи занепокоєння щодо конфіденційності. Як рання демонстраційна версія для розробників, вона все ще має деякі обмеження, але вона демонструє потенціал прискорення LLM за допомогою графічних процесорів RTX і обіцянки того, що чат-бот зі штучним інтелектом зможе робити локально на вашому комп’ютері в майбутньому. Що ви думаєте про цю нову функцію? Повідомте нам свої думки в розділі коментарів нижче.
