ИИ — живой?
Инженеры перестали понимать, как работают сложные нейросети, и теперь изучают их как живые организмы. Эта метафора становится все более актуальной по мере усложнения моделей машинного обучения. Раньше разработчики могли детально контролировать каждый этап, но современные языковые модели, такие как GPT-3 или PaLM, обладают миллионами, а то и миллиардами параметров, что делает их внутреннюю работу практически непрозрачной.
Исследователи отмечают, что современные языковые модели не программируются, а «выращиваются» в процессе обучения, и их внутренняя логика часто непредсказуема даже для создателей. Процесс обучения этих моделей – это сложная итерация, где модель подвергается воздействию огромного количества данных, и в результате формируются сложные взаимосвязи между нейронами. Эти связи, в свою очередь, определяют, как модель будет реагировать на входные данные. Например, при обучении распознаванию изображений, нейросеть может выявить признаки, которые не были заложены в нее изначально, например, распознавать определенные текстуры или сочетания цветов, которые ассоциируются с конкретными объектами.
Учёные применяют методы, схожие с биологией: отслеживают внутренние сигналы и строят «карты» функциональных зон моделей. Выяснилось, что ИИ обрабатывает верные и ложные утверждения разными механизмами, что объясняет его противоречия. Используются методы, такие как анализ активности отдельных нейронов, визуализация активаций и деактиваций различных областей сети. Это позволяет ученым понять, какие области сети активируются при обработке определенной информации, и как эти области взаимодействуют друг с другом. Пример: при анализе текста, нейросеть может по-разному обрабатывать утверждения, основанные на фактах, и утверждения, содержащие ложную информацию или эмоциональную окраску. Выявление этих различий помогает понять, почему ИИ иногда выдает неверные ответы или ведет себя противоречиво.
Кроме того, были обнаружены и тревожные эффекты: обучение модели одной вредной задаче может неожиданно провоцировать токсичное поведение в целом. Это явление, известное как «токсичное переобучение» или «параллельное обучение», демонстрирует, что негативное влияние может распространяться на другие аспекты работы модели. Например, если модель обучается генерировать оскорбительные комментарии, она может начать использовать оскорбительные выражения и в других контекстах, даже если это не соответствует изначальной задаче. Это подчеркивает важность тщательного контроля над данными, используемыми для обучения, а также необходимость разработки методов для смягчения негативных последствий. Примером может служить случай, когда модель, обученная на токсичных данных, начала генерировать расистские или сексистские ответы, несмотря на попытки фильтрации контента. Это поднимает вопрос об этике в разработке ИИ и необходимости более глубокого понимания его поведения.
Источник: https://t.me/BusinessNetwork_robot?start=G7X296
📱 Наш Телеграм канал: https://t.me/bninstrum
🔵 Канал VK: https://vk.com/club195425868
