Crea un Negocio de AIGC de Preguntas y Respuestas sobre Conocimiento de Datos Privados con Lindorm AI Engine

Lindorm AI Engine ofrece una solución integral para crear aplicaciones de AIGC de preguntas y respuestas sobre conocimiento de datos privados. Al integrar Lindorm AI Engine con capacidades de búsqueda vectorial integradas, los usuarios pueden construir fácilmente funcionalidades de preguntas y respuestas sobre conocimiento con una sola sentencia SQL, simplificando significativamente el desarrollo de aplicaciones. Esto elimina las complejidades asociadas con los métodos tradicionales, como el ajuste fino de modelos de lenguaje grandes (LLMs) o la gestión de bases de datos vectoriales por separado.

La demanda de sistemas de preguntas y respuestas sobre conocimiento de datos privados basados en Modelos de Lenguaje Grandes (LLMs) está creciendo. El objetivo es permitir que los LLMs entrenados en corpus públicos respondan preguntas utilizando el conocimiento de una base de conocimiento dedicada, aplicable a escenarios empresariales internos como preguntas y respuestas sobre órdenes de trabajo inteligentes. Las soluciones existentes incluyen el ajuste fino de LLMs en conjuntos de datos específicos o el uso de recuperación vectorial para complementar los prompts de los usuarios con documentos relevantes del conjunto de datos. Este último, basado en 'recuperación vectorial + Ingeniería de Prompts', es más popular debido a los altos costos y la baja puntualidad del ajuste fino. Este enfoque implica dividir documentos, extraer embeddings y gestionar actualizaciones de documentos, todo lo cual Lindorm AI Engine simplifica.

Antes de comenzar, asegúrate de que Lindorm AI Engine esté activado. También, verifica que tu motor de tablas anchas sea la versión 2.5.4.3 o posterior. Si estás utilizando una versión anterior, considera actualizar o contactar al soporte de Lindorm para obtener ayuda. Además, confirma que la función de compatibilidad con el protocolo S3 y la función de recuperación vectorial de datos no estructurados estén habilitadas. Estos prerrequisitos garantizan una integración fluida y un rendimiento óptimo de Lindorm AI Engine.

La solución de preguntas y respuestas sobre conocimiento de datos privados involucra varios modelos de IA. Este ejemplo utiliza el modelo de segmentación de texto BERT de ModelScope para la división de texto, el modelo text2vec-base-chinese de Hugging Face para la vectorización de texto y el modelo ChatGLM-6B-int4 de Hugging Face como LLM. Es importante tener en cuenta que Alibaba Cloud no garantiza la legalidad, seguridad o precisión de los modelos de terceros, y los usuarios son responsables de cumplir con los términos de uso y las leyes y regulaciones pertinentes.

Primero, conéctate al motor de tablas anchas utilizando herramientas como Lindorm-cli. Luego, crea una tabla para almacenar los documentos de la base de conocimiento. Por ejemplo: ```sql CREATE TABLE doc_table ( id VARCHAR, doc_field VARCHAR, PRIMARY KEY(id) ); ``` A continuación, inserta datos en la tabla. Estos datos servirán como base de conocimiento para el sistema de preguntas y respuestas. Los datos de ejemplo incluyen información sobre las características, actualizaciones y capacidades de Lindorm.

Para implementar preguntas y respuestas de recuperación de volumen completo, crea un modelo utilizando la sentencia `CREATE MODEL`, especificando la tabla de origen, el campo de destino, la tarea, el algoritmo y la configuración. Por ejemplo: ```sql CREATE MODEL rqa_model FROM doc_table TARGET doc_field TASK RETRIEVAL_QA ALGORITHM CHATGLM3_6B SETTINGS (doc_id_column 'id'); ``` Luego, ejecuta una pregunta y respuesta de recuperación utilizando la función `ai_infer`: ```sql SELECT ai_infer('rqa_model', 'Lindorm是什么'); ``` El resultado será una respuesta generada por el LLM basada en la base de conocimiento.

Para habilitar el procesamiento incremental, que maneja automáticamente documentos nuevos, modificados o eliminados en la base de conocimiento, necesitas activar el motor de transmisión y la suscripción de datos. Crea un canal de suscripción de datos a través de LTS en modo Pull, especificando el nombre de la tabla Lindorm y el nombre del tema de Kafka. Luego, crea un modelo de preguntas y respuestas de recuperación incremental: ```sql CREATE MODEL rqa_model FROM doc_table TARGET doc_field TASK RETRIEVAL_QA ALGORITHM CHATGLM3_6B SETTINGS (doc_id_column 'id', incremental_train 'on', lts_topic 'rqa_xxx_topic' ); ``` Ejecuta las preguntas y respuestas de recuperación como antes: ```sql SELECT ai_infer('rqa_model', 'Lindorm是什么'); ``` El resultado reflejará la base de conocimiento actualizada.

Si necesitas integrarte con otros LLMs, puedes crear un modelo de recuperación semántica para permitir que Lindorm realice solo funciones de recuperación semántica de la base de conocimiento (incluyendo división de documentos, vectorización y recuperación vectorial). Crea un modelo de recuperación semántica que solo procese documentos de volumen completo: ```sql CREATE MODEL sr_model FROM doc_table TARGET doc_field TASK SEMANTIC_RETRIEVAL ALGORITHM TEXT2VEC_BASE_CHINESE SETTINGS (doc_id_column 'id'); ``` Ejecuta la recuperación semántica: ```sql SELECT ai_infer('sr_model', 'Lindorm是什么'); ``` Opcionalmente, puedes establecer el parámetro `score` para devolver puntuaciones de similitud semántica.

Lindorm AI Engine proporciona una solución completa y eficiente para crear aplicaciones de AIGC de preguntas y respuestas sobre conocimiento de datos privados. Al aprovechar sus capacidades de búsqueda vectorial integradas y su interfaz SQL simplificada, los desarrolladores pueden crear sistemas de preguntas y respuestas inteligentes con facilidad, reduciendo el tiempo y la complejidad del desarrollo. Ya sea que necesites recuperación de volumen completo, actualizaciones incrementales o búsqueda semántica, Lindorm AI Engine ofrece las herramientas y la flexibilidad para satisfacer tus necesidades.