Оптимизация извлечения числовых данных в Azure AI Studio с помощью SQL Database

Интеграция числовых данных в рабочие процессы Azure AI Studio представляет собой уникальные проблемы, особенно при работе с векторным поиском и базами данных SQL. В этой статье рассматривается распространенная проблема, с которой сталкиваются пользователи: как точно извлекать и сортировать числовые поля, когда основное поле контента принимает только строковые значения. Мы углубимся в возможные решения, практические реализации и лучшие практики для оптимизации вашего опыта работы с Azure AI Studio.

Поле 'Content' в Azure AI Studio, предназначенное для обработки текстовых данных, часто становится узким местом, когда необходимо включить числовые значения. Основная проблема заключается в том, что числовые данные, такие как 'Max Units', не могут быть напрямую проиндексированы или найдены в этом строковом поле. Это ограничение влияет на точность результатов поиска, особенно при сортировке или фильтрации по числовым критериям. Объединение числовых данных в общий текстовый столбец является распространенным обходным решением, но оно создает сложности при сортировке и семантическом понимании.

Для преодоления ограничений строковых полей контента возникают два основных решения: гибридный поиск и реализация пользовательских навыков. Гибридный поиск сочетает векторный поиск для текстовых данных с традиционными SQL-запросами для числовых данных, используя сильные стороны обоих методов. Пользовательские навыки, с другой стороны, позволяют отдельно обрабатывать и индексировать числовые поля, обеспечивая точное извлечение и сортировку. Оба подхода направлены на устранение разрыва между текстовыми и числовыми данными в среде Azure AI Studio.

Создание пользовательского навыка в Azure Cognitive Search может значительно улучшить работу с числовыми данными. Этот навык может извлекать числовые поля, хранить их в структурированном формате и обеспечивать точное извлечение и сортировку. Пользовательский навык может быть разработан для обработки числовых данных отдельно от текстового контента, гарантируя, что числовые значения правильно интерпретируются и используются в поисковых запросах. Определяя пользовательскую логику, вы можете адаптировать навык к конкретным требованиям ваших данных и сценариев поиска.

Стратегия гибридного поиска включает использование векторного поиска для идентификации релевантных документов на основе текстового контента, а затем применение SQL-запросов для фильтрации или сортировки этих результатов на основе числовых полей. Этот подход использует семантическое понимание векторного поиска, сохраняя при этом точность SQL-запросов для числовых данных. Например, вы можете использовать векторный поиск для поиска документов, связанных с 'доступностью продукта', а затем использовать SQL-запросы для сортировки результатов по 'Max Units' или фильтрации по 'Cost Per Unit'. Эта комбинация обеспечивает комплексный и точный поиск.

Одна из практических реализаций включает изменение узла 'ChunkDocuments' в потоке запросов для объединения числовых полей с полем контента. Этого можно достичь, добавив код для извлечения числовых значений (например, 'MinUnits', 'MaxUnits', 'CostPerUnit') из 'additional_fields' и добавления их к полю 'text'. Хотя этот подход позволяет включать числовые данные в результаты поиска, крайне важно решить проблемы сортировки, которые могут возникнуть. Предоставленный код Python демонстрирует, как реализовать это изменение, гарантируя, что числовые данные включены в контент, используемый для генерации ответов.

Распространенная проблема при включении числовых данных заключается в обеспечении точной сортировки. Узел 'QuerySearchResource' в потоке запросов играет решающую роль в поиске и сортировке индекса. Если сортировка работает не так, как ожидалось, важно изучить выходной запрос узла 'extractSearchIntent'. Обеспечение правильного форматирования запроса для включения параметров числовой сортировки имеет решающее значение для получения точных результатов. Отладка запроса и проверка его соответствия желаемым критериям сортировки может решить многие проблемы, связанные с сортировкой.

Успешное решение включает преобразование запроса пользователя в строку OData, отправку запроса REST API для OData-запроса, объединение числовых полей в выходных данных в поле CombinedText и использование его в узле генерации ответа LLM для получения ответа. Этот подход гарантирует, что числовые данные правильно обрабатываются и интегрируются в результаты поиска. Используя OData-запросы, вы можете точно указать критерии сортировки и фильтрации, гарантируя, что результаты точно отражают намерение пользователя.

Точное извлечение числовых данных в Azure AI Studio требует стратегического подхода, который сочетает методы гибридного поиска, пользовательские навыки и точное форматирование запросов. Понимая ограничения строковых полей контента и реализуя соответствующие решения, вы можете оптимизировать свои рабочие процессы Azure AI Studio для получения точных и полных результатов поиска. Будь то через пользовательские навыки, гибридный поиск или OData-запросы, ключ заключается в обеспечении правильной обработки, индексации и использования числовых данных в процессе поиска. Этот комплексный подход гарантирует, что ваши приложения Azure AI Studio предоставляют точную и релевантную информацию, улучшая общий пользовательский опыт.