Ускорение глубоких нейронных сетей

Эта книга представляет собой практическое руководство по ускорению работы глубоких нейронных сетей (DNN) и больших языковых моделей (LLM). Выходя за рамки закрытых методов «черного ящика», она сочетает новейшие техники – такие как FlashAttention, – с работающим кодом и эмпирическими данными и сокращает разрыв между теорией и практикой. Читатели получат как технические инструменты, так и фундаментальные знания, необходимые для эффективной оптимизации моделей.

Ключевые темы:

• квантизация и низкая точность – с пояснениями, почему она работает;
• прунинг – известные методы, а также случаи, когда их следует применять;
• дистилляция – постановка задачи, подходы к дистилляции, выбор модели-ученика, использование генеративных моделей, разбор FitNet;
• низкоранговая аппроксимация – основы низкоранговых представлений, их применение к сверточным сетям и механизмам внимания;
• быстрые архитектуры – свертки, быстрые трансформеры, архитектуры на основе преобразования Фурье, методы подсетей, поиск нейросетевых архитектур и сравнение быстрых архитектур с методами сжатия;
• эффективное обучение – сокращение потребления памяти и арифметика параметров модели.

Книга станет ценным источником информации для исследователей, разработчиков, студентов и аспирантов, заинтересованных в детальном изучении современного глубокого обучения.