- 10,558
- 18
- 8 Ноя 2022
Чат-боты не падут под хакерским гнетом.
Открытый всемирный проект по безопасности приложений (The Open Worldwide Application Security Project, OWASP) Для просмотра ссылки Войдиили Зарегистрируйся рейтинг наиболее распространенных уязвимостей в чат-ботах на основе больших языковых моделей (LLM): ChatGPT , BERT и GPT-3. Цель — помочь разработчикам безопасно внедрять ИИ в свои продукты.
В составлении Для просмотра ссылки Войдиили Зарегистрируйся приняли участие представители отрасли и более 130 экспертов по кибербезопасности. Как подчеркнул руководитель проекта Стив Вилсон, «список дает практические рекомендации для выявления и устранения уязвимостей, специфичных для приложений с LLM».
«Для создания рекомендаций мы провели мозговой штурм, тщательное голосование и тонкую доработку. Перечень содержит практические советы от нашей команды, применяющей разнообразные методы экспертизы», — написал Вильсон в своем посте на LinkedIn.
К примеру, гораздо сложнее обнаружить фальсификацию в структуре машинного обучения по сравнению с проверкой открытого исходного кода традиционного ПО. Создатели чат-ботов могут даже не задумываться о возможных сценариях атак, хотя сейчас они редко встречаются на практике.
OWASP решает проблему. Например, предупреждает, что злоумышленники могут «отравить» данные для обучения ИИ. Или обойти защиту LLM путем инъекции специально сформированных запросов.
В итоговом перечне перечислены 10 наиболее распространенных уязвимостей. Среди них также упоминаются такие угрозы, как: внедрение вредоносных подсказок, отказ в обслуживании, незащищенный дизайн плагинов.
У экспертов остаются сомнения относительно возможности обеспечить надежную защиту LLM в их текущем состоянии.
Во всяком случае проект поможет смягчить последствия потенциальных атак. Разработчики должны знать, как управлять моделями самостоятельно и обходить токсичный контент.
Открытый всемирный проект по безопасности приложений (The Open Worldwide Application Security Project, OWASP) Для просмотра ссылки Войди
В составлении Для просмотра ссылки Войди
«Для создания рекомендаций мы провели мозговой штурм, тщательное голосование и тонкую доработку. Перечень содержит практические советы от нашей команды, применяющей разнообразные методы экспертизы», — написал Вильсон в своем посте на LinkedIn.
К примеру, гораздо сложнее обнаружить фальсификацию в структуре машинного обучения по сравнению с проверкой открытого исходного кода традиционного ПО. Создатели чат-ботов могут даже не задумываться о возможных сценариях атак, хотя сейчас они редко встречаются на практике.
OWASP решает проблему. Например, предупреждает, что злоумышленники могут «отравить» данные для обучения ИИ. Или обойти защиту LLM путем инъекции специально сформированных запросов.
В итоговом перечне перечислены 10 наиболее распространенных уязвимостей. Среди них также упоминаются такие угрозы, как: внедрение вредоносных подсказок, отказ в обслуживании, незащищенный дизайн плагинов.
У экспертов остаются сомнения относительно возможности обеспечить надежную защиту LLM в их текущем состоянии.
Во всяком случае проект поможет смягчить последствия потенциальных атак. Разработчики должны знать, как управлять моделями самостоятельно и обходить токсичный контент.
- Источник новости
- www.securitylab.ru
