Microsoft Correction проверит тексты нейросети на ошибки

Microsoft представила новый инструмент под названием Correction, который обещает исправлять ошибки, возникающие в текстах, сгенерированных искусственным интеллектом (ИИ). Этот сервис автоматически выявляет потенциально неверную информацию, например, в отчетах о финансовых показателях компаний, а затем сверяет текст с достоверными источниками данных, такими как загруженные стенограммы.

Correction, доступный в предварительной версии как часть API Azure AI Content Safety, может работать с любыми моделями ИИ, включая Meta Llama и OpenAI GPT-4. Он использует малые и большие языковые модели для выявления и исправления ошибок на основе так называемых «документов-основ», которые служат для проверки фактов.

Похожую функцию недавно представила компания Google в своей платформе Vertex AI, позволяя пользователям «заземлять» модели на данных из внешних источников.

Однако эксперты предупреждают, что такие подходы не решают коренной проблемы ИИ — так называемых «галлюцинаций», когда модели выдают неверную информацию. Ос Кейес, аспирант Университета Вашингтона, утверждает, что галлюцинации — это неотъемлемая часть работы таких систем, так как ИИ лишь предсказывает вероятные ответы на основе статистики, а не обладает реальными знаниями.

Microsoft предложила решение в виде двух моделей: одна из них ищет потенциальные ошибки, а вторая исправляет их на основе проверенных данных.

Хотя это может повысить надежность сгенерированных текстов, некоторые эксперты, такие как Майк Кук, исследователь из Университета Куин Мэри, считают, что подобные инструменты могут вызвать ложное чувство безопасности у пользователей, думающих, что модели теперь всегда точны.

Кроме того, бесплатная версия Correction ограничена 5000 текстов в месяц, после чего услуга становится платной, что, по мнению экспертов, может быть частью бизнес-стратегии Microsoft для увеличения доходов от ИИ, учитывая, что компания уже вложила почти $19 миллиардов в ИИ-инфраструктуру, но еще не видит существенной прибыли.