В OpenAI придумали средство от «галлюцинаций» у нейросетей

Одной из проблем современных нейросетей остаются их «галлюцинации». Так называют данные, которые не соответствуют реальному положению дел, но нейросети генерируют их наряду с правдивыми фактами. И вот компания OpenAI сообщила, что придумала новый метод обучения моделей искусственного интеллекта, который поможет справиться с «галлюцинациями» ИИ. Сгенерировано нейросетью Midjourney «Даже самые современные модели склонны к ложным выводам — они склонны изобретать факты в моменты неопределённости. Эти галлюцинации особенно критичны в областях, требующих многоступенчатого рассуждения, поскольку одной логической ошибки достаточно, чтобы весь результат оказался неверным», — пишут исследователи OpenAI в отчете. Идея нового метода состоит в том, чтобы изменить систему мотивации для ИИ. Иначе говоря, предлагается вознаграждать нейросеть за каждый правильный шаг рассуждений вместо того, чтобы награда выдавалась за финальный правильный ответ. Это позволит нейросети быть более точной и проверять факты. По мнению исследователей, обнаружение и устранение логических ошибок модели, или галлюцинаций, — это важный шаг на пути к созданию согласованного AGI [искусственного интеллекта общего назначения]» — заявил Карл Коббе (Karl Cobbe), штатный математик OpenAI. Он также уточнил, что компания уже открыла доступ к сопроводительному набору данных из 800 000 меток, которые применялись для обучения нейросети в рамках исследования. При этом проблема пока далека от решения, а специалисты говорят, что компания пока не открыла всю информацию по этому исследованию. Таким образом, проблема «галлюцинаций» ИИ пока остаётся актуальной....

Сообщает www.ixbt.com

Новость из рубрики: Технологии, Наука

Поделиться новостью: Поделиться новостью в Facebook Поделиться новостью в Twittere Поделиться новостью в VK Поделиться новостью в Pinterest Поделиться новостью в Reddit

Топ новости часа

08:00, 25 Авг Щас спою! Эксперт назвал лучшее средство от тревоги и страха Не стоит ПИТЬ, если можно ПЕТЬ. Настроение спокойное, светит солнце, никто не наступает на белые кроссовки в транспорте, а ни с того, ни с сего внутри зарождается чувство страха и кажется, что совладать с собой уже не получается… Эта тема знакома мн...

Метка зверя: в Госдуме предложили помечать плашкой контент нейросетей 19:00, 30 Май «Метка зверя»: в Госдуме предложили помечать плашкой контент нейросетей Возможности нейросетей не перестают удивлять, вместе с тем появилась проблема того, что людям тяжело отличить «оригинал» от результата генерации Внедрение искусственного интеллекта в нашу повседневную жизнь требует особых мер, чтобы люди были информ...

15:43, 17 Сен В Минфине придумали, как изменить работу таможни Работа таможенных органов будет улучшаться благодаря изменениям в трех основных направлениях, разработанным министерством финансов. Об этом в среду, 13 мая, сообщил глава Минфина Сергей Марченко на заседании Кабмина. По его словам, в первую очередь ...

06:00, 16 Дек В МЛС придумали, как побороть затяжку времени футболистами Похоже, что руководство МЛС окончательно устало от затягивания времени футболистами во время матчей. Чтобы ускорить игру, лига внесла изменения в правила, которые вступят в силу уже со следующего сезона. Теперь игрок, который будет находиться на газ...

15:44, 17 Сен Участники прощания с Елизаветой II придумали, как на этом заработать Разноцветные браслеты, которые выдавали участникам прощальной процессии, простоявших в огромной очереди к гробу королевы Елизаветы II, стали источником дополнительного заработка. На интернет-площадках появились объявления о продаже этих пропусков на...

10:00, 29 Дек Ученые придумали, как пресечь непотребное использование «Локатора» в iOS Фото: Apple Американские исследователи кибербезопасности нашли способ улучшить систему «Локатора» от Apple. Об этом пишет Ars Technica. Как известно, главной проблемой Apple AirTag стало использование его для слежки за людьми. Сталкер подбрасывает ж...

03:00, 30 Мар OpenAI представила новый голосовой движок OpenAI выпустила предварительную версию своего нового голосового движка, который позволяет создавать синтетические копии голосов на основе любого 15-секундного аудиообразца. Новинка, получившая название Voice Engine, является расширением существующе...

10:00, 01 Апр OpenAI представляет инструмент клонирования голоса OpenAI в пятницу представила инструмент клонирования голоса, который она планирует держать под строгим контролем до тех пор, пока не будут приняты меры безопасности, предотвращающие подделку аудио, предназначенную для обмана слушателей. Модель под н...

17:00, 19 Янв OpenAI, создатель ChatGPT, очаровывает Microsoft Самый популярный стартап в Силиконовой долине прямо сейчас — это OpenAI, поддерживаемый Microsoft разработчик ChatGPT, широко разрекламированного чат-бота, который может написать стихотворение, эссе для колледжа или даже строку программного кода. Ма...

09:00, 09 Июн Директор OpenAI предполагает, что ООН может контролировать ИИ Генеральный директор OpenAI предполагает, что международное агентство, такое как ядерная служба ООН, может контролировать ИИ. Искусственный интеллект представляет собой «экзистенциальный риск» для человечества, предупредил ключевой новатор во время ...

19:00, 07 Апр Инженеры придумали способ увеличения емкости жестких дисков Инженеры придумали способ увеличения емкости жестких дисков. Они использовали трехмерную магнитную запись, которая позволяет хранить больше информации на меньшем количестве дисков. Обычно центры обработки данных хранят большие объемы информации на ж...

17:00, 13 Апр Немцы придумали цемент для заживления костей при тяжелых травмах Материал укреплен углеродными волокнами, поэтому прочен и умеет самовосстанавливаться. Девиз медиков не навреди. Поэтому в большинстве случаев врачи стараются не вмешиваться в естественные процессы организма. Но, что делать в случае, если тело не сп...

02:00, 24 Ноя Сэм Альтман возвращается на пост генерального директора OpenAI А вот и развязка истории вокруг OpenAI. Компания объявила, что Сэм Альтман восстановлен в должности генерального директора OpenAI, и вместе с этим будет создан новый совет директоров в составе председателя Брета Тейлора (Bret Taylor), Ларри Саммерса...

00:00, 29 Апр Продавцы на AliExpress придумали хитрую схему в лучших традициях Wildberries В сети появилась история пользователя AliExpress, который попался на мошенническую схему продавца из Китая. Она опубликована на «Хабре». Согласно рассказу автора, он заказал на AliExpress роутер по определенным параметрам, которые были ему крайне не...

08:00, 05 Янв Изучение отношений OpenAI и Microsoft может повлиять на рост ИИ Изучение отношений OpenAI и Microsoft может повлиять на рост и инновации индустрии искусственного интеллекта. В зале заседаний OpenAI, компании, которая разработала ChatGPT, в последнее время переживают неспокойные времена. Но хотя драма вокруг увол...

21:00, 28 Янв FTC расследует инвестиции в OpenAI и Anthropic со стороны Microsoft, Google и Amazon Федеральная торговая комиссия (FTC) объявила о начале расследования инвестиций от ведущих технологических компаний, таких как Microsoft, Amazon и Google, в компании, специализирующиеся на искусственном интеллекте — OpenAI и Anthropic. FTC направила ...

02:00, 22 Ноя Акции Microsoft взлетели до максимума после найма экс-главы OpenAI Сэма Альтмана Акции Microsoft выросли на 2,74%, до $379,99 за бумагу к моменту закрытия торгов на бирже NASDAQ в понедельник, 20 ноября. В результате котировки Microsoft обновили исторический максимум, превысив прежний рекорд $376,35 за бумагу, установленный 16 н...