Lindorm AI 엔진으로 개인 데이터 지식 Q&A AIGC 비즈니스 구축

Lindorm AI 엔진은 개인 데이터 지식 Q&A AIGC 애플리케이션 구축을 위한 원스톱 솔루션을 제공합니다. Lindorm AI 엔진에 내장된 벡터 검색 기능을 통합하면 사용자는 단일 SQL 문으로 지식 Q&A 기능을 쉽게 구축할 수 있어 애플리케이션 개발이 크게 단순화됩니다. 이는 대규모 언어 모델(LLM) 미세 조정 또는 벡터 데이터베이스 별도 관리와 같은 기존 방식의 복잡성을 제거합니다.

대규모 언어 모델(LLM) 기반의 개인 데이터 지식 Q&A 시스템에 대한 수요가 증가하고 있습니다. 목표는 공개 코퍼스로 학습된 LLM이 내부 기업 시나리오(예: 지능형 작업 지시 Q&A)에 적용 가능한 전용 지식 베이스의 지식을 사용하여 질문에 답변하도록 하는 것입니다. 기존 솔루션에는 특정 데이터셋에 LLM을 미세 조정하거나 벡터 검색을 사용하여 데이터셋의 관련 문서로 사용자 프롬프트를 보강하는 것이 포함됩니다. 후자, 즉 '벡터 검색 + 프롬프트 엔지니어링' 기반 방식은 미세 조정의 높은 비용과 낮은 적시성 때문에 더 인기가 있습니다. 이 접근 방식은 문서 분할, 임베딩 추출, 문서 업데이트 관리를 포함하며, 이 모든 것을 Lindorm AI 엔진이 단순화합니다.

시작하기 전에 Lindorm AI 엔진이 활성화되었는지 확인하십시오. 또한 와이드 테이블 엔진이 버전 2.5.4.3 이상인지 확인하십시오. 이전 버전을 사용하는 경우 업그레이드를 고려하거나 Lindorm 지원팀에 문의하여 도움을 받으십시오. 또한 S3 프로토콜 호환 기능과 비정형 데이터 벡터 검색 기능이 활성화되었는지 확인하십시오. 이러한 사전 조건은 Lindorm AI 엔진의 원활한 통합과 최적의 성능을 보장합니다.

개인 데이터 지식 Q&A 솔루션에는 여러 AI 모델이 포함됩니다. 이 예제에서는 텍스트 분할을 위해 ModelScope의 BERT 텍스트 분할 모델, 텍스트 벡터화를 위해 Hugging Face의 text2vec-base-chinese 모델, LLM으로 Hugging Face의 ChatGLM-6B-int4 모델을 사용합니다. Alibaba Cloud는 타사 모델의 합법성, 보안 또는 정확성을 보장하지 않으며, 사용자는 이용 약관 및 관련 법규를 준수할 책임이 있음을 유의해야 합니다.

먼저 Lindorm-cli와 같은 도구를 사용하여 와이드 테이블 엔진에 연결합니다. 그런 다음 지식 베이스 문서를 저장할 테이블을 생성합니다. 예를 들어: ```sql CREATE TABLE doc_table ( id VARCHAR, doc_field VARCHAR, PRIMARY KEY(id) ); ``` 다음으로 테이블에 데이터를 삽입합니다. 이 데이터는 Q&A 시스템의 지식 베이스 역할을 합니다. 예제 데이터에는 Lindorm 기능, 업데이트 및 기능에 대한 정보가 포함됩니다.

전체 볼륨 검색 Q&A를 구현하려면 원본 테이블, 대상 필드, 작업, 알고리즘 및 설정을 지정하는 `CREATE MODEL` 문을 사용하여 모델을 생성합니다. 예를 들어: ```sql CREATE MODEL rqa_model FROM doc_table TARGET doc_field TASK RETRIEVAL_QA ALGORITHM CHATGLM3_6B SETTINGS (doc_id_column 'id'); ``` 그런 다음 `ai_infer` 함수를 사용하여 검색 Q&A를 실행합니다: ```sql SELECT ai_infer('rqa_model', 'Lindorm이란 무엇인가요?'); ``` 결과는 지식 베이스를 기반으로 LLM이 생성한 답변이 됩니다.

증분 처리를 활성화하려면 지식 베이스의 새 문서, 수정된 문서 또는 삭제된 문서를 자동으로 처리하려면 스트림 엔진과 데이터 구독을 활성화해야 합니다. Lindorm 테이블 이름과 Kafka 토픽 이름을 지정하여 Pull 모드로 LTS를 통해 데이터 구독 채널을 생성합니다. 그런 다음 증분 검색 Q&A 모델을 생성합니다: ```sql CREATE MODEL rqa_model FROM doc_table TARGET doc_field TASK RETRIEVAL_QA ALGORITHM CHATGLM3_6B SETTINGS (doc_id_column 'id', incremental_train 'on', lts_topic 'rqa_xxx_topic' ); ``` 이전과 같이 검색 Q&A를 실행합니다: ```sql SELECT ai_infer('rqa_model', 'Lindorm이란 무엇인가요?'); ``` 결과는 업데이트된 지식 베이스를 반영합니다.

다른 LLM과 통합해야 하는 경우, Lindorm이 문서 분할, 벡터화 및 벡터 검색을 포함한 지식 베이스 의미 검색 기능만 수행하도록 하는 의미 검색 모델을 생성할 수 있습니다. 전체 볼륨 문서만 처리하는 의미 검색 모델을 생성합니다: ```sql CREATE MODEL sr_model FROM doc_table TARGET doc_field TASK SEMANTIC_RETRIEVAL ALGORITHM TEXT2VEC_BASE_CHINESE SETTINGS (doc_id_column 'id'); ``` 의미 검색을 실행합니다: ```sql SELECT ai_infer('sr_model', 'Lindorm이란 무엇인가요?'); ``` 선택적으로 `score` 매개변수를 설정하여 의미 유사성 점수를 반환할 수 있습니다.

Lindorm AI 엔진은 개인 데이터 지식 Q&A AIGC 애플리케이션 구축을 위한 포괄적이고 효율적인 솔루션을 제공합니다. 내장된 벡터 검색 기능과 단순화된 SQL 인터페이스를 활용하여 개발자는 지능형 Q&A 시스템을 쉽게 생성하여 개발 시간과 복잡성을 줄일 수 있습니다. 전체 볼륨 검색, 증분 업데이트 또는 의미 검색이 필요한 경우 Lindorm AI 엔진은 요구 사항을 충족하는 도구와 유연성을 제공합니다.