Hay muchas formas de tener una AI en tu propia PC, NVIDIA lanza la propia, Chat with RTX.
NVIDIA ha lanzado una versión demo gratuita de un chatbot que funciona localmente en tu PC, lo cual es interesante ya que permite al chatbot acceder a tus archivos y documentos. Este chatbot, llamado Chat with RTX, puede utilizar una selección de datos personales para crear resúmenes basados en esa información. También puedes hacerle preguntas y buscará en tus datos para encontrar respuestas.
La compañía indica que permite a los usuarios “conectar de manera rápida y fácil archivos locales en una PC como un conjunto de datos a un modelo de lenguaje grande de código abierto como Mistral o Llama 2”. NVIDIA da el ejemplo de un usuario preguntando al chatbot sobre un restaurante recomendado por su pareja mientras estaban en Las Vegas. El software escanea archivos locales para encontrar la respuesta. Admite varios formatos de archivo, incluidos .txt, .pdf, .doc/.docx y .xml, y puede cargar archivos relevantes en su conjunto de datos “en segundos”.
Chat with RTX también integra videos y listas de reproducción de YouTube. Puedes agregar la URL de un video al conjunto de datos y este integrará el conocimiento contenido en el clip para consultas contextuales. NVIDIA dice que esto será útil al pedir recomendaciones de viaje “basadas en contenido de videos de influencers favoritos” o al buscar tutoriales y resúmenes derivados de recursos educativos.
The Verge tuvo la oportunidad de probar el chatbot y quedó impresionado, considerándolo como “una parte valiosa de la investigación de datos para periodistas o cualquier persona que necesite analizar una colección de documentos”.
Este avance representa un paso importante hacia algo que se asemeja a un asistente digital real que funciona dentro del marco contextual de tus datos personales. A diferencia de la mayoría de los chatbots, cuyos datos se envían a la nube, Chat with RTX “permite a los usuarios procesar datos sensibles en una PC local sin necesidad de compartirlos con un tercero o tener una conexión a internet”, lo que lo hace más seguro y contextualmente consciente.
Hay algunas limitaciones. Al ser un producto de demostración, se pueden esperar bastantes errores, aunque NVIDIA debería comenzar a solucionarlos una vez que los usuarios comiencen a emitir informes de errores y similares. También hay estrictas limitaciones de hardware: Chat with RTX solo funciona en PCs con Windows que tengan tarjetas gráficas NVIDIA GeForce RTX de la serie 30 o superior y al menos 8GB de VRAM.
NVIDIA ha estado demostrando su destreza en IA últimamente, con el lanzamiento de su próxima generación de chips de supercomputadoras de inteligencia artificial. La empresa está obteniendo grandes beneficios, gracias principalmente a sus segmentos de IA y centros de datos.
Cabe destacar no sólo los 8GB mínimos de VRAM sino que el archivo pesa unos 35GB, así es, todo ese modelo gigante hay que instalarlo, la ventaja de que pueda explorar tus archivos implica liberar un poquito de espacio extra.
