Исследователи из Университета Джонса Хопкинса и Amazon разработали новый способ, позволяющий большим языковым моделям «забывать» конфиденциальные данные. И самое главное — без потерь в производительности.
Новая методика называется Primal-Dual Unlearning (PDU). В отличие от старых подходов, которые зачастую ухудшали работу модели в целом, PDU помогает точечно удалить ненужные или конфиденциальные данные, не затронув остальные знания модели.
Новая методика называется Primal-Dual Unlearning (PDU). В отличие от старых подходов, которые зачастую ухудшали работу модели в целом, PDU помогает точечно удалить ненужные или конфиденциальные данные, не затронув остальные знания модели.
«Мы подошли к процессу отучивания как к точной математической задаче. Это дало нам возможность стирать данные без побочных эффектов», – отмечает один из авторов Таха Энтесари.
Почему это круто
Сегодня ИИ обучается на огромных массивах данных, в том числе и на личной информации. Но что делать, если кто-то потребует удалить свои данные или бизнес-показатели? Раньше это было технически трудно — теперь же становится вполне реально.
Метод PDU:
· Удаляет информацию точно и без следов
· Сохраняет качество модели
· Снижает риск предвзятых или вредных ответов
Что показали тесты?
Метод PDU показал отличные результаты:
· Больше точности в "забывании"
· Выше стабильность при обучении
· «0» потерь производительности у бизнеса
Это стало возможно благодаря особому подходу к «сглаживанию потерь» — важному техническому приему, который делает оптимизацию более устойчивой.
Метод PDU:
· Удаляет информацию точно и без следов
· Сохраняет качество модели
· Снижает риск предвзятых или вредных ответов
Что показали тесты?
Метод PDU показал отличные результаты:
· Больше точности в "забывании"
· Выше стабильность при обучении
· «0» потерь производительности у бизнеса
Это стало возможно благодаря особому подходу к «сглаживанию потерь» — важному техническому приему, который делает оптимизацию более устойчивой.
Где это пригодится?
Вот несколько реальных сценариев:
· Соблюдение требований по защите данных — PDU поможет ИИ «забыть» данные по первому требованию.
· Устранение токсичности и предвзятости — можно удалять проблемные примеры, влияющие на поведение модели.
· Повышение доверия клиентов — если ИИ умеет забывать, значит, ему можно доверить больше и он не подведёт.
Метод пока что опробован в лабораторных условиях. Насколько хорошо он будет работать в «дикой природе» (например, на больших коммерческих моделях), еще предстоит выяснить.
А для предпринимателей и компаний в России уже существует идеальное решение — AI-ассистенты от komanda.ai. В процессе работы они гарантируют полную конфиденциальность: все данные, переписка и личная информация полностью защищены. Это особенно важно в эпоху, когда доверие к ИИ становится ключевым фактором. А если вы услышали, что где-то ИИ-ассистенты вышли на шаг вперед на своем технологическом пути, поверьте, инженеры из komanda.ai уже в курсе этого и уже «прокачивают» ассистентов по последнему слову техники.
Теперь языковые модели могут забывать, как люди, но только там, где это действительно нужно. Это новый шаг в защите конфиденциальности в ИИ для личного пользования и, особенно, в бизнесе, где данные компании всегда должны быть «на замке».
· Соблюдение требований по защите данных — PDU поможет ИИ «забыть» данные по первому требованию.
· Устранение токсичности и предвзятости — можно удалять проблемные примеры, влияющие на поведение модели.
· Повышение доверия клиентов — если ИИ умеет забывать, значит, ему можно доверить больше и он не подведёт.
Метод пока что опробован в лабораторных условиях. Насколько хорошо он будет работать в «дикой природе» (например, на больших коммерческих моделях), еще предстоит выяснить.
А для предпринимателей и компаний в России уже существует идеальное решение — AI-ассистенты от komanda.ai. В процессе работы они гарантируют полную конфиденциальность: все данные, переписка и личная информация полностью защищены. Это особенно важно в эпоху, когда доверие к ИИ становится ключевым фактором. А если вы услышали, что где-то ИИ-ассистенты вышли на шаг вперед на своем технологическом пути, поверьте, инженеры из komanda.ai уже в курсе этого и уже «прокачивают» ассистентов по последнему слову техники.
Теперь языковые модели могут забывать, как люди, но только там, где это действительно нужно. Это новый шаг в защите конфиденциальности в ИИ для личного пользования и, особенно, в бизнесе, где данные компании всегда должны быть «на замке».
«Удалить знания из нейросети без ущерба для ее интеллекта — всё равно что стереть ненужные воспоминания, оставив остальные нетронутыми», — заключил исследователь в области машинного обучения MIT Джеймс Ли.
Источник: Arxiv