Construa Negócios AIGC de Perguntas e Respostas com Dados Privados Usando o Lindorm AI Engine

O Lindorm AI Engine oferece uma solução completa para construir aplicações AIGC de Perguntas e Respostas com dados privados. Ao integrar o Lindorm AI Engine com capacidades de busca vetorial integradas, os usuários podem facilmente construir funcionalidades de Perguntas e Respostas de conhecimento com uma única instrução SQL, simplificando significativamente o desenvolvimento de aplicações. Isso elimina as complexidades associadas a métodos tradicionais, como o ajuste fino de modelos de linguagem grandes (LLMs) ou o gerenciamento de bancos de dados vetoriais separadamente.

A demanda por sistemas de Perguntas e Respostas com dados privados baseados em Modelos de Linguagem Grandes (LLMs) está crescendo. O objetivo é permitir que LLMs treinados em corpora públicos respondam a perguntas usando conhecimento de uma base de conhecimento dedicada, aplicável a cenários empresariais internos, como Perguntas e Respostas de ordens de serviço inteligentes. Soluções existentes incluem o ajuste fino de LLMs em conjuntos de dados específicos ou o uso de recuperação vetorial para complementar os prompts do usuário com documentos relevantes do conjunto de dados. Este último, baseado em 'recuperação vetorial + Engenharia de Prompt', é mais popular devido aos altos custos e baixa pontualidade do ajuste fino. Essa abordagem envolve fatiar documentos, extrair embeddings e gerenciar atualizações de documentos, tudo o que o Lindorm AI Engine simplifica.

Antes de começar, certifique-se de que o Lindorm AI Engine esteja ativado. Verifique também se o seu motor de tabela ampla (wide table engine) é a versão 2.5.4.3 ou posterior. Se você estiver usando uma versão anterior, considere atualizar ou contatar o suporte do Lindorm para obter assistência. Além disso, confirme se o recurso de compatibilidade com o protocolo S3 e a função de recuperação vetorial de dados não estruturados estão ativados. Esses pré-requisitos garantem a integração perfeita e o desempenho ideal do Lindorm AI Engine.

A solução de Perguntas e Respostas com dados privados envolve vários modelos de IA. Este exemplo usa o modelo de segmentação de texto BERT do ModelScope para fatiar texto, o modelo text2vec-base-chinese do Hugging Face para vetorização de texto e o modelo ChatGLM-6B-int4 do Hugging Face como LLM. É importante notar que a Alibaba Cloud não garante a legalidade, segurança ou precisão de modelos de terceiros, e os usuários são responsáveis por cumprir os termos de uso e as leis e regulamentos relevantes.

Primeiro, conecte-se ao motor de tabela ampla usando ferramentas como Lindorm-cli. Em seguida, crie uma tabela para armazenar os documentos da base de conhecimento. Por exemplo: ```sql CREATE TABLE doc_table ( id VARCHAR, doc_field VARCHAR, PRIMARY KEY(id) ); ``` Em seguida, insira dados na tabela. Esses dados servirão como base de conhecimento para o sistema de Perguntas e Respostas. Exemplos de dados incluem informações sobre recursos, atualizações e capacidades do Lindorm.

Para implementar Perguntas e Respostas com recuperação de volume completo, crie um modelo usando a instrução `CREATE MODEL`, especificando a tabela de origem, campo de destino, tarefa, algoritmo e configurações. Por exemplo: ```sql CREATE MODEL rqa_model FROM doc_table TARGET doc_field TASK RETRIEVAL_QA ALGORITHM CHATGLM3_6B SETTINGS (doc_id_column 'id'); ``` Em seguida, execute Perguntas e Respostas de recuperação usando a função `ai_infer`: ```sql SELECT ai_infer('rqa_model', 'Lindorm是什么'); ``` O resultado será uma resposta gerada pelo LLM com base na base de conhecimento.

Para habilitar o processamento incremental, que lida automaticamente com documentos novos, modificados ou excluídos na base de conhecimento, você precisa ativar o motor de stream e a assinatura de dados. Crie um canal de assinatura de dados via LTS no modo Pull, especificando o nome da tabela Lindorm e o nome do tópico Kafka. Em seguida, crie um modelo de Perguntas e Respostas de recuperação incremental: ```sql CREATE MODEL rqa_model FROM doc_table TARGET doc_field TASK RETRIEVAL_QA ALGORITHM CHATGLM3_6B SETTINGS (doc_id_column 'id', incremental_train 'on', lts_topic 'rqa_xxx_topic' ); ``` Execute as Perguntas e Respostas de recuperação como antes: ```sql SELECT ai_infer('rqa_model', 'Lindorm是什么'); ``` O resultado refletirá a base de conhecimento atualizada.

Se você precisar integrar com outros LLMs, pode criar um modelo de recuperação semântica para permitir que o Lindorm execute apenas funções de recuperação semântica da base de conhecimento (incluindo fatiamento de documentos, vetorização e recuperação vetorial). Crie um modelo de recuperação semântica que processe apenas documentos de volume completo: ```sql CREATE MODEL sr_model FROM doc_table TARGET doc_field TASK SEMANTIC_RETRIEVAL ALGORITHM TEXT2VEC_BASE_CHINESE SETTINGS (doc_id_column 'id'); ``` Execute a recuperação semântica: ```sql SELECT ai_infer('sr_model', 'Lindorm是什么'); ``` Opcionalmente, você pode definir o parâmetro `score` para retornar pontuações de similaridade semântica.

O Lindorm AI Engine oferece uma solução abrangente e eficiente para construir aplicações AIGC de Perguntas e Respostas com dados privados. Ao alavancar suas capacidades de busca vetorial integradas e interface SQL simplificada, os desenvolvedores podem criar sistemas de Perguntas e Respostas inteligentes com facilidade, reduzindo o tempo e a complexidade de desenvolvimento. Se você precisa de recuperação de volume completo, atualizações incrementais ou busca semântica, o Lindorm AI Engine oferece as ferramentas e a flexibilidade para atender às suas necessidades.