Qualcomm выпустила первую в мире робототехническую платформу с поддержкой 5G и искусственного интеллекта

Первая в своем роде платформа Qualcomm Robotics RB5 объединила достижения компании в области 5G и искусственного интеллекта (ИИ), предоставляя производителям и разработчикам возможность создавать энергоэффективные роботы и дроны следующего поколения с большой вычислительной мощностью для потребителей и предприятий, оборонной и обрабатывающей промышленности, для предоставления профессиональных услуг. Полнофункциональный комплект разработки Qualcomm Robotics RB5 Development Kit предоставляет разработчикам гибкие средства для превращения концепций в коммерческую реальность. На сегодняшний день Qualcomm Technologies привлекла многие ведущие компании, одобрившие платформу Qualcomm Robotics RB5, в том числе более 20 «ранних последователей», которые сейчас занимаются оценкой возможностей платформы (см. цитаты ниже). Кроме того, более 30 игроков экосистемы разрабатывают аппаратное и программное обеспечение, необходимое для реализации различных робототехнических проектов.

Используемый в платформе процессор Qualcomm QRB5165 адаптирован для робототехнических приложений. Гетерогенная архитектура в сочетании с ведущей ИИ-системой 5-го поколения Qualcomm® AI Engine обеспечивает производительность ИИ-вычислений 15 TOPS (Tera Operations Per Second), что дает возможность выполнять сложные задачи ИИ и глубокого обучения. Используя новый ускоритель Qualcomm® Hexagon™ Tensor Accelerator (HTA), мощный сигнальный процессор обработки изображений (image signal processor, ISP) с одновременной поддержкой семи камер и специализированный блок компьютерного зрения для продвинутой видеоаналитики (enhanced video analytics, EVA), процессор демонстрирует потрясающие возможности по обработке запросов машинного обучения на границе сети в условиях ограниченного бюджета мощности. Поддерживая технологии 4G и 5G с помощью сопутствующего модуля, платформа Qualcomm Robotics RB5 открывает путь к распространению 5G в робототехнических и интеллектуальных системах. 

Сочетание платформы Qualcomm Robotics RB5 и процессора Qualcomm QRB5165 позволяет реализовать различные конструктивные варианты, включая коммерческие «системы на модуле» (system-on-module) и гибкие конструкции, выполненные по технологии «кристалл на плате» (chip-on-board). Решение доступно в различных вариантах, в том числе для коммерческих и промышленных температурных диапазонов, также предусмотрен вариант с расширенным сроком эксплуатации до 2029 г. 

«Qualcomm Technologies — ведущая мировая инновационная компания в области беспроводных технологий, имеющая солидные наработки в области ИИ, мобильных вычислений и связи. Применяя в робототехнике свой многолетний опыт в сфере мобильных систем, Qualcomm Technologies содействует созданию самых мощных, безопасных и  интеллектуальных роботов, — говорит Дев Сингх (Dev Singh), старший директор по развитию бизнеса и руководитель отдела автономной робототехники, беспилотных летательных аппаратов и интеллектуальных машин компании Qualcomm Technologies, Inc. — Платформа Qualcomm Robotics RB5 поможет ускорить прогресс в самых разных секторах робототехники, включая автономные мобильные роботы (autonomous mobile robots, AMR), роботы, осуществляющие доставку, контроль и  инвентаризацию, промышленные и коллаборативные роботы, а также беспилотные летательные аппараты. Все это позволит реализовать робототехнические проекты Четвертой промышленной революции (Industry 4.0) и заложить фундамент для систем управления трафиком беспилотников (UAV Traffic Management, UTM)». 

Чтобы еще больше расширить возможности платформы Qualcomm Robotics RB5 и облегчить создание следующего поколения робототехнических решений и конструкций, Qualcomm Technologies вошла в стратегическое партнёрство с компанией TDK. Частью платформы Qualcomm Robotics RB5 стали новейшие сенсоры TDK для расширенных робототехнических приложений, также TDK сыграла важную роль в обеспечении платформы сенсорными решениями мирового класса и аппаратными компонентами управления движением. 

Полнофункциональный комплект разработки Qualcomm Robotics RB5 Development Kit легко адаптируется и прост в использовании. Разработчикам предоставлены гибкие возможности программирования: платформа поддерживает Linux, Ubuntu и Robot Operating System (ROS) 2.0, а также штатные драйверы для различных камер, сенсоров и 5G-связи. Предусмотрена поддержка OpenCL, OpenGLES и OpenCV. Для максимально эффективного определения глубины в комплект включена поддержка камер Intel® RealSense™ Depth Camera D435i и Panasonic TOF Camera. Стратегическое сотрудничество с компанией TDK помогло оснастить комплект высокопроизводительным 6-осевым инерционным измерительным блоком TDK ICM-42688-P IMU, датчиком атмосферного давления ICP-10111 и микрофоном T5818 Digital (PDM) с нижним портом. Еще один вклад TDK в комплект разработки — это ультразвуковые датчики Time-Of-Flight CH101 и CH201, встроенный контроллер движения HVC4223F и высокопроизводительный инерционный измерительный блок с встроенным резервированием IIM-46220. Другие технологии TDK включают датчики Холла и температуры, а также валидированные и верифицированные программные алгоритмы для робототехнических приложений. Наконец, Qualcomm Robotics RB5 Development Kit использует спецификацию 96Boards Consumer Edition, которая помогает быстро и гибко создавать инновационные прототипы и опытные образцы. 

Ключевые особенности платформы Qualcomm Robotics RB5: 

• Мощные возможности гетерогенных вычислений. Высокопроизводительные вычисления на платформе Qualcomm RB5 обеспечиваются процессором Qualcomm QRB5165, центральным процессором Octa Core Qualcomm® Kryo™ 585 CPU, графическим процессором Qualcomm® Adreno™ 650 GPU, цифровыми сигнальными процессорами (вычислительный, аудио и сенсорный) и процессорами обработки изображений. Также платформа оснащена мощной ИИ-системой с ускорителем Hexagon Tensor Accelerator и аппаратным блоком компьютерного зрения (EnhancedVideo Analytics).
• ИИ-система Qualcomm AI Engine 5-го поколения. Новый специализированный ускоритель Hexagon Tensor Accelerator на базе ведущей ИИ-системы 5-го поколения Qualcomm Artificial Intelligence Engine обеспечивает производительность ИИ-операций 15 TOPS с высокими показателями обработки МО-запросов.
• Продвинутая обработка изображений. Процессор обработки изображений Qualcomm Spectra™ 480 Image Signal Processor (ISP) обеспечивает профессиональное качество фото- и видеосъемки со скоростью обработки до 2 гигапикселей в секунду. Такая скорость позволила реализовать превосходные характеристики камеры, включая видео Dolby Vision, запись видео в формате 8K (@30 FPS), фотосъемку с разрешением 200 мегапикселей, одновременную видеосъемку в формате 4K HDR (@120 FPS) и фотосъемку с разрешением 64 мегапикселя с нулевой задержкой срабатывания затвора. Для обработки всех задач компьютерного зрения (Computer Vision, CV) аппаратный ускоритель использует механизм видеоаналитики EVA. Дополнительные функции ISP включают фотосъемку в формате HEIF, замедленную видеосъемку, а также продвинутые форматы видеосъемки (в том числе Dolby Vision, HDR10, HDR10+, HEVC и HLG). Семь активных камер облегчают одновременную локализацию и построение карты (simultaneous localization and mapping, SLAM), выявление и классификацию объектов, автономную навигацию и планирование маршрута для эффективного выполнения задач в сложных условиях внутри и вне помещений.
• Безопасность. Блок Qualcomm® Secure Processing Unit призван обеспечить максимум безопасности без ухудшения производительности. Блок сертифицирован по стандарту FIPS 140-2 и включает функцию защищенной начальной загрузки, ускорители шифрования, доверенную среду исполнения Qualcomm® Trusted Execution Environment (TEE) и защиту камеры. Дополнительно поддерживается защита ключа (key provisioning security), защита от вредоносного ПО, технологии Qualcomm® Content Protection, Qualcomm® Mobile Security, Qualcomm® Processor Security, а также защищенный электронный ключ для удаленной аттестации и безопасного конфигурирования устройства. Безопасность ИИ и машинного обучения обеспечивается биометрической аутентификацией (по отпечатку пальца, сетчатке, голосу и лицу).
• Связь. Платформа Qualcomm Robotics RB5 поддерживает дальний Wi-Fi и Wi-Fi 6 (802.11ax), Bluetooth 5.1, 4G и 5G, обеспечивая максимально возможный уровень связи.