Турдаков, Д. Ю. et al. (2022) Доверенный искусственный интеллект: вызовы и перспективные решения
Турдаков, Д. Ю. and Аветисян, А. И. and Архипенко, К. В. and Анциферова, А. В. and Ватолин, Д. С. and Волков, С. С. and Гасников, А. В. and Девяткин, Д. А. and Дробышевский, М. Д. and Коваленко, А. П. and Кривоносов, М. И. and Лукашевич, Н. В. and Малых, В. А. and Николенко, С. И. and Оселедец, И. В. and Перминов, А. И. and Соченков, И. В. and Тихомиров, М. М. and Федотов, А. Н. and Хачай, М. Ю. (2022) Доверенный искусственный интеллект: вызовы и перспективные решения [1].
Содержание
1 Резюме
- К статье обратился после лекции Аветисяна Арутюна Ишхановича.
- Лекция была о создании доверенных систем искусственного интеллекта.
- Текущие модели не для принятия решений, а о поддержке принятия решений.
- Искусственный интеллект нас не заменит, встанет на одном уровне с системами поиска.
- Статья похожа на формальный отчёт.
- Абсолютно нечитабельна.
- Можно получить общее представление об исследуемых темах, но получить конструктивную информацию практически невозможно.
2 Notes
2.1 Notes for page 1
выработка требований к интеллектуальным системам и разработка государственных стандартов
2.2 Notes for page 1
Второе направление – создание научно-технологической базы, поддерживающей разрабатываемые стандарты.
2.3 Notes for page 2
- Исследование устройства открытых фреймворков машинного обучения, анализ их исходного кода и создание доверенных фреймворков машинного обучения;
- Исследование и разработка программных инструментов для анализа, обнаружения и противодействия угрозам, специфичным для технологий искусственного интеллекта, включающее три раздела
- Исследование и разработка методов и программных средств обнаружения и противодействия состязательным атакам на модели машинного обучения;
- Исследование и разработка методов и программных средств обнаружения и противодействия атакам с внедрением закладок и зловредного кода в модели машинного обучения;
- Исследование и разработка методов и программных средств объяснения и повышения интерпретируемости моделей машинного обучения;
- Создание методик и тестовой базы (“бенчмарков”) для исследования интеллектуальных систем на соответствие критериям доверенности, и их апробация на прикладных системах;
- Создание отчуждаемой облачной платформы для разработки доверенных интеллектуальных систем.
2.4 Notes for page 2
Важным аспектом применения практик SDL является анализ не только разработанных компонент, но и заимствованного открытого программного обеспечения.
- Фокусировка на открытом программном обеспечении представляется вполне обоснованным.
2.5 Notes for page 2
В рамках работы Центра поставлена задача создания доверенных версий популярных фреймворков Tensorflow и PyTorch.
2.6 Notes for page 3
Одним из центральных вопросов разработки систем доверенного интеллекта является проблема неустойчивости отображений, выучиваемых моделями машинного обучения, к изменениям входных данных.
2.7 Подходы к построению моделей, устойчивых к атакам, делятся на 2 класса.
2.8 Notes for page 3
В первом подходе модифицируется (сглаживается) сама модель, что приводит к более высокой эмпирической устойчивости.
2.9 Во втором подходе изменяется способ обучения.
2.10 Повышение интерпретируемости моделей
2.11 Notes for page 4
В рамках работы Центра поставлены задачи повышения интерпретируемости и выявления некорректных результатов работы многослойных нейронных сетей.
2.12 Notes for page 4
исследован подход получения семантически интерпретируемых категорий для векторных представлений на основе семантических сетей типа WordNet.
