Опубликовано в рубрике Ввeдeниe
Xoтя ктo-тo из читaтeлeй скaжeт, чтo в этoм гoду флaгмaнскиe мoдeли смaртфoнoв и тaк пoлучили дoвoльнo мнoгo нoвыx функций и улучшeний, всe жe кaждый гoд пoявляются кaкиe-тo нoвыe вoзмoжнoсти. Нa eжeгoднoм тexничeскoм сaммитe Tech Summit 2017 кoмпaния Qualcomm сoбрaлa бoлee 300 журнaлистoв из 27 стрaн мирa и прeдстaвилa свoй нoвый мoбильный прoцeссoр (oднoкристaльную систeму) слeдующeгo пoкoлeния — Snapdragon 845, кoтoрый oтличaeтся oт прeдыдущиx тoпoвыx мoдeлeй Snapdragon чуть бoльшe, чeм этo oбычнo бывaeт.
Бoлee тoгo, в Qualcomm утвeрждaют, чтo нoвaя SoC былa пoлнoстью пeрeдeлaнa и пoлучилa aбсoлютнo нoвыe блoки измeнeннoй aрxитeктуры, дoсeлe нeвидaнныe вoзмoжнoсти и т. п. В этoм мaтeриaлe мы пoстaрaeмся рaзoбрaться, тaк ли этo, нo ужe сeйчaс мoжнo с увeрeннoстью утвeрждaть, чтo Snapdragon 845 oкaжeт бoльшoe влияниe нa вoзмoжнoсти сaмыx прoдвинутыx Android-смaртфoнoв слeдующeгo гoдa.
Кoмпaния Qualcomm oкoлo 30 лeт зaнимaeтся высoкoтexнoлoгичными рaзрaбoткaми, a кoнкрeтнo oднoкристaльным систeмaм Snapdragon — ужe 10 лeт. Нa дaнный мoмeнт в прoдaжe и рaзрaбoткe нaxoдится бoлee 120 смaртфoнoв, основанных на одной только топовой модели Snapdragon 835. Практически все производители флагманских смартфонов используют решения Qualcomm в своих устройствах, китайская компания Xiaomi в одиночку продала более 238 миллионов устройств на основе мобильных процессоров семейства Snapdragon, и это количество обязательно вырастет — китайцы уже объявили об использовании Snapdragon 845 в своем следующем флагмане.
Распространение смартфонов в мире постоянно растет, прогноз Strategy Analytics и других компаний на следующие годы говорит о том, что в 2017—2021 годах количество смартфонов в руках у пользователей увеличится до 8,6 миллиарда. Проникновение смартфонов вырастет с нынешних 44% до 51% в 2019-м и до 58% в 2021 году. Это огромный рынок, со смартфонами в руках проходит практически вся наша жизнь, а треть ВВП Китая связана с цифровыми технологиями, которые будут развиваться и дальше.
Неудивительно, что громадный объем рынка в 80 миллиардов долларов, прогнозируемых в 2020 году, из которых 51 млрд занимают мобильные устройства, а оставшиеся 29 млрд — автомобили, интернет вещей и т. п., является лакомым куском для любой компании, включая Qualcomm. Тем более что они являются одним из лидеров рынка сейчас и явно не собираются упускать имеющуюся долю, а хотят нарастить ее. Следующий большой шаг, который способен им серьезно помочь в этом — распространение мобильных сетей пятого поколения, в разработке технологий которых компания является одним из лидеров. Компания первой анонсировала 5G-модем Qualcomm Snapdragon X50, а готовые устройства на его основе ожидаются уже в 2019 году.
А пока время 5G еще не пришло, Qualcomm выпускает другие, не менее привлекательные решения. Если предыдущий топовый процессор компании — Snapdragon 835 — больше всего отличался от предыдущей модели по производительности, то процессор с цифровым наименованием 845 приносит кардинальные изменения в возможностях и улучшения функциональности, в том числе касающиеся столь модной сейчас темы искусственного интеллекта.
Общеизвестно, что именно очередной топовый чип Qualcomm будет применяться в следующих флагманах практически всех компаний, в том числе Samsung, Xiaomi, LG и многих других. Итак, какие именно новые функции представлены в Snapdragon 845, и каким образом они могут повлиять на будущее топовых смартфонов следующего поколения?
Восьмиядерное сердце Snapdragon 845
Основа любого мобильного процессора — универсальные вычислительные ядра. Чаще всего они основаны на архитектуре ARM, но иногда оптимизированы производителями под собственные нужды. В Snapdragon 845 применяются CPU-ядра собственного дизайна, а не референсного компании ARM, хоть и основанные на их разработках. Новая модель Snapdragon производится с применением улучшенного технологического процесса компании Samsung — 10 нм LPP FinFET, в отличие от 10 нм LPE FinFET для предыдущих моделей мобильных процессоров Qualcomm.
Второе поколение техпроцесса 10 нм LPP позволило повысить тактовые частоты и улучшить энергоэффективность: по данным компании Samsung, его применение дает прибавку в 10% в производительности при том же энергопотреблении или снижает потребление энергии на 15% при той же производительности. На данный момент он обеспечивает лучшее сочетание себестоимости, массовости производства и характеристик производительности. В Qualcomm утверждают, что довольны этим техпроцессом компании Samsung и выбрали его из нескольких вариантов, которые также рассматривали.
Мобильный процессор Snapdragon 845 в целом имеет ту же восьмиядерную архитектуру, что и модель 835, сочетая четыре «высокопроизводительных» ядра, предназначенных для выполнения самых требовательных задач и потребляющих немало энергии, а также четыре «энергоэффективных» ядра, служащих для запуска рутинных вычислительных потоков и потребляющих меньше энергии. Высокопроизводительные ядра в составе Snapdragon 845 работают на частотах до 2,8 ГГц, а энергоэффективные — до 1,8 ГГц, что несколько выше частот процессорных ядер Snapdragon 835.
Хотя вычислительные ядра Kryo 385 и являются собственной разработкой компании Qualcomm, их дизайн основан на технологиях ARM из ядер Cortex-A75 и Cortex-A55 для производительных и эффективных ядер соответственно. Обновленная микроархитектура включает собственную кэш-память второго уровня для каждого ядра (по 256 КБ на производительное ядро и по 128 КБ на эффективное), новую гетерогенную архитектуру ARM DynamIQ (иная организация кластеров CPU-ядер и переключение задач на лету с одного типа ядер на другой), а также три отдельных домена напряжений и тактовых частот.
Что любопытно, в Snapdragon 845 применяются две разные линии питания для ядер CPU, а не отдельные линии для каждого ядра, как это было во времена Krait — тогда заявлялось, что это обеспечивает решениям Qualcomm некоторое преимущество перед конкурентами по энергоэффективности. Похоже, что в этот раз инженеры компании решили иначе — ну, или просто влияние дизайна ARM на общие технические решения оказалось значительным.
Помимо указанных выше изменений, вычислительные ядра имеют доступ к общей кэш-памяти третьего уровня объемом в 2 МБ, сервис «качества обслуживания» (quality of service) для регулировки доступа к пропускной способности памяти в зависимости от важности задач, а также таблицы страниц page table для большей безопасности.
Хотя это относится не только к CPU и не является его частью, совершенно новым для Snapdragon 845 стало включение в состав мобильного процессора системной кэш-памяти объемом в 3 МБ, служащей для обеспечения обмена данными между различными исполнительными ядрами — аналогично L3-кэшу в однокристальных системах Apple, что впервые встречается в решениях Qualcomm.
Общая кэш-память поможет снизить частоту запросов данных из внешней памяти и снизит энергопотребление контроллеров памяти и ОЗУ. Специалисты Qualcomm оценивают экономию энергии от этого кэша в 40%-75%, что весьма прилично. Да и повышению производительности всей системы эта общая кэш-память явно поможет.
К слову об оперативной памяти: новым мобильным процессором поддерживается четыре 16-битных канала, тип устанавливаемой памяти — LPDDR4x, работает она на частоте 1866 МГц с итоговой пропускной способностью почти в 30 ГБ/с. Так что по этим параметрам обошлось без изменений по сравнению со Snapdragon 835 — это чуть ли единственная характеристика, оставшаяся неизменной.
Так как при производстве Snapdragon 845 используется хоть и улучшенный, но все же технологический процесс 10 нм, а чип включает восемь процессорных ядер аналогично Snapdragon 835, то кажется, что слишком большого прироста в скорости ждать не стоит. Но улучшение все же будет — специалисты Qualcomm оценивают его в 30%, что совсем немало по сравнению с и так достаточно мощным Snapdragon 835.
Часть 30%-ного увеличения производительности и аналогичного улучшения энергоэффективности в Snapdragon 845 достигается при помощи большого объема системной кэш-памяти для ядер Kryo в дополнение к выделенной памяти, обслуживающей все основные блоки процессора, так что и блоки типа DSP и модема также могут осуществлять быстрый доступ к данным, минуя основную память. В росте производительности виновата и добавленная кэш-память, и возросшая частота работы CPU-ядер, и в целом бо́льшая эффективность ядер Cortex-A75/A55 по сравнению с A73/A53.
Кстати, если говорить о современном мобильном процессоре, то универсальные вычислительные ядра — еще далеко не все, что отвечает за быструю работу. Для того чтобы увеличить эффективность и производительность, все больше задач отправляется на исполнение в выделенные блоки, специализированные и максимально энергоэффективные: блоки кодирования/декодирования видеоданных, сигнальные процессоры ISP и DSP и другие. Подобные гетерогенные вычисления фактически обязательны в наше время, если цель заключается в увеличении производительности и времени автономной работы. Но об этом мы поговорим в другом разделе статьи.
Усиленное графическое ядро Adreno 630
Ни одно современное устройство не обходится без мощного графического процессора, особенно если речь идет о флагманских смартфонах, для которых и предназначен мобильный чип Snapdragon 845 в первую очередь, а уж тем более если говорить о легких Windows-ноутбуках на основе процессоров архитектуры ARM, которые уже начали появляться в продаже. Ведь GPU сегодня занимается далеко не только рендерингом картинки в игровых 3D-приложениях, но и отрисовкой большей части 2D-графики, а также большим количеством расчетов, не связанных с графикой.
Да и мобильная игровая графика требует от графических процессоров все большей мощности, стремительно развиваясь. Согласно глобальному отчету Newzoo о состоянии игровой индустрии, в 2017 году рынок игр на мобильных устройствах занимает долю 42% из общих 108,9 млрд долларов. Консольные игры занимают менее трети рынка, ПК-игры — чуть меньше, а исключительно смартфонные развлечения — 32%, то есть даже больше тех и других. Если добавить 10% от планшетов, то будет совсем хорошо.
Причем рост рынка мобильных игр явно опережает рост рынка консольных, не говоря о явном спаде на игровом ПК-рынке. Если продажи игровых консольных приложений за год выросли на 3,6%, а ПК-игры упали на 2,6%, то доходы от смартфонных игр выросли на 22%, а игр на планшетах — на 11,4%. И рост наблюдается на всех отслеживаемых рынках мира, начиная от североамериканского и заканчивая быстро растущими рынками Китая и Латинской Америки.
Более того, все больше игр переносится с ПК и консолей на мобильные устройства — 11 из 15 распространенных современных проектов или уже переведены, или портируются на смартфоны и планшеты в течение года. Не менее интересно и то, что доход с каждого пользователя в мобильных версиях выше, чем в ПК-версии. Видимо, это связано с тем, что на ПК изначально были не слишком развиты системы микроплатежей, а на мобильных устройствах это само собой разумеется.
В общем, выхлоп со смартфонных игроков даже больше, чем со стационарных, поэтому и интерес к мощным мобильным устройствам достаточно высок, ведь они позволяют получить и бо́льшую производительность и более качественную картинку одновременно. Высококачественные игры с реалистичной графикой, для которой нужны мощные графические ядра, обеспечивают больший интерес со стороны игроков. А значит, и денег с них можно запрашивать больше.
На смартфонах и планшетах уже сейчас доступно множество эффектов, которые появились в ПК-играх и консольных проектах не так уж давно. Это относится к физически корректному рендерингу (Physically Based Rendering — PBR), рендерингу в широком динамическом диапазоне (HDR — вот где могут развернуться мобильные устройства, ведь у них HDR-дисплеи появились даже раньше, чем у ПК), а также продвинутая постобработка, динамические мягкие тени и другие эффекты, вроде тумана, динамической смены погоды и даже имитации глобального освещения (Global Illumination).
Для рендеринга подобных эффектов необходимы как можно более мощные GPU, такие как новое ядро Adreno 630, входящее в состав мобильного процессора Snapdragon 845. Новая архитектура обработки визуальной информации компании Qualcomm была специально спроектирована для максимально качественного 3D-рендеринга, быстрого видеозахвата с высоким разрешением и применения в задачах виртуальной и дополненной реальности.
Кроме расширения функциональности, о котором мы поговорим далее, Qualcomm обещает значительный прирост производительности и энергоэффективности — порядка 30% добавки в скорости рендеринга и его эффективности (правда, не очень понятно, вместе или по отдельности). Более того, заявлена до 2,5 раз бо́льшая скорость вывода информации на дисплеи по сравнению со Snapdragon 835, хотя это относится лишь к приложениям виртуальной реальности.
Кстати, среди новой функциональности графического ядра Adreno 630 как раз и выделяется поддержка технологии Adreno Foveation, которая позволяет ускорить отрисовку кадров в приложениях виртуальной реальности. Технология сочетает сразу несколько алгоритмов: tile rendering, multiview rendering и fine grain preemption, первая из которых отслеживает взгляд пользователя, чтобы отрисовывать с максимальным качеством только то, что находится по центру его взгляда, а качество рендеринга на периферии искусственно снижается без каких-либо потерь в плане видимой информации.
Кадр приложения виртуальной реальности разбивается технологией Adreno Foveation на несколько тайлов. В зависимости от направления взгляда разрешение центральных тайлов можно повысить, а качество рендеринга на периферийных тайлах — несколько снизить. Таким образом достигается достаточное качество VR-картинки при меньших затратах на ее отрисовку.
Также можно использовать рендеринг сразу в несколько внеэкранных буферов (в случае приложений виртуальной реальности — в два: по одному на каждый глаз) и возможность прерывания выполнения задачи на более тонком пиксельном уровне, что позволяет быстро переключиться на выполнение других задач. Это весьма важно для VR-приложений и тоже ускоряет процесс. В общем, у Adreno в плане поддержки VR теперь все почти как у старших братьев в виде больших десктопных GPU, вроде GeForce и Radeon.
Это же касается и поддержки различных графических API и их возможностей. Графический процессор Adreno 630 поддерживает как давно известные OpenGL ES 3.2 и OpenCL 2.0, так и последнюю версию Vulkan и Microsoft DirectX 12. Но позвольте, ведь те же версии API поддерживает Adreno 540 из Snapdragon 835, воскликнет внимательный читатель. И это действительно так, но, в отличие от старого ядра, в новом вроде как ожидается поддержка уровня возможностей DirectX 12 feature level 12_0, а не 11_1.
Есть изменения и в поддержке приложений виртуальной (VR) и расширенной реальности (eXtended Reality — XR), которая стремительно развивается в последние годы. Уже запущено более 20 устройств расширенной реальности, еще большее их количество находится в разработке. Постоянный рост качества поддержки приложений расширенной реальности является ключом к ее распространению.
Мобильный чип Snapdragon 820 умел отслеживать положение в пространстве лишь по трем степеням свободы, Snapdragon 835 добил до шести, а Snapdragon 845 способен производить одновременную локализацию и построение карты (Simultaneous Localization and Mapping — SLAM) на основе отслеживания положения в пространстве в шести степенях свободы (6 DOF), что отлично подходит для мобильных решений виртуальной и дополненной реальности и требует большого количества вычислений.
Предыдущий чип Snapdragon 835 также отслеживал действия в шести степенях свободы, но теперь пользователь может свободно передвигаться по комнате и отслеживаться в виртуальном окружении с определением столкновений со стенами и другими реальными объектами. Snapdragon 845 — это первый мобильный процессор с подобными возможностями.
Эта технология стирает грань между реальным и виртуальным мирами, помогая установить взаимодействие между игроком и существующими физическими объектами. Для отслеживания рук в этих приложениях Qualcomm сотрудничает с компанией Leap Motion, и их программное обеспечение действительно отлично работает на решениях компании — мы опробовали специальные демо-версии и остались впечатлены качеством отслеживания. А вот качеству изображения есть куда расти.
Что касается возможностей по выводу информации на дисплеи по разъемам DisplayPort и USB Type-C, то тут все более-менее ожидаемо. Во-первых, появилась поддержка вывода изображения с так называемым качеством Ultra HD Premium, то есть в 4K-разрешении, с 60 кадрами в секунду и 10-битным кодированием цветовой информации (HDR) одновременно.
Для приложений виртуальной реальности требуется немного другое, поэтому поддерживается работа с двумя экранами разрешения до 2400×2400 пикселей при частоте кадров 120 FPS, хотя не такой уж и старый Snapdragon 820 способен поддерживать лишь разрешения вроде 1K×1K при 60 FPS — сделан еще один приличный шаг вперед.
Смартфоны становятся всё умнее
Практически все высокотехнологичные компании сейчас много говорят об искусственном интеллекте, глубоком (или машинном) обучении и нейросетях. Если рассуждать о мобильных однокристальных системах, предназначенных для смартфонов, то сначала Huawei выпустила смартфон на собственном мобильном процессоре с выделенным Neural Processing Unit, затем Google заявила о применении искусственного интеллекта в ядре Pixel Visual Core в составе их флагмана, далее настало время Apple, которая также внедрила возможности ускорения глубокого обучения в свои последние решения.
Применение ИИ постепенно начинает играть все более важную роль в нашей жизни (и это только начало!), он способен изменить практически все вокруг: финансовую сферу, логистику, здравоохранение (в диагностике заболеваний уже есть значительные прорывы), индустрию развлечений, транспорт (все ведь слышали про автономные грузовики и роботакси без органов управления — прототипы уже существуют и не требуют присутствия человека), умные дома и города с улучшенной безопасностью и др.
А чего стоит так называемый интернет вещей, применение умных технологий в котором откроет просто безграничные возможности. Ведь в будущем абсолютно все устройства, в которых есть вычислительные процессоры, станут умными и присоединенными к интернету, а все их возможности будут объединены в едином персональном облаке.
Но при чем тут смартфоны 2018 года? Из более простых задач для ИИ сегодняшнего дня можно выделить персональных помощников вроде Google Assistant, которые уже сейчас стараются понимать естественный язык пользователя и помогать ему в нахождении ответов на различные вопросы. Существующие технологии работают далеко не идеально, их нужно еще развивать и развивать. Мобильные устройства вообще пока что не умеют использовать даже существующие возможности.
К примеру, если попросить нынешнего голосового помощника типа Google Assistant «позвонить маме», то он сам вряд ли определит, какой конкретно номер мамы из трех, записанных в телефонной книге смартфона, нужно набрать в данный момент. А ведь там недвусмысленно написано, что один из них «временный», а другой используется только при нахождении мамы в соседней стране. Разве настоящий ИИ не должен легко понимать, какой из номеров использовать в таком случае, особенно учитывая, что своим местоположением мама со мной делится в Google Maps? Вот именно для того, чтобы сделать уже существующие технологии умными, и требуется кропотливая работа по улучшению программного и аппаратного обеспечения.
Тема искусственного интеллекта в мобильных устройствах сейчас горяча не просто так. С развитием машинного обучения часть задачи — определения (inference) постепенно переходит из облачных сервисов в конечные устройства, так как это обеспечивает лучшую интерактивность и безопасность. Впрочем, чем быстрее соединение с интернетом, тем бо́льшую часть вычислений можно отдать обратно в облака, но для Qualcomm в этом нет проблемы, ведь они лидируют в освоении 5G-сетей. И именно смартфоны являются самыми распространенными устройствами, к 2021 году их количество достигнет почти 9 миллиардов. Рынок систем искусственного интеллекта к 2025 году оценивается экспертами в 160 млрд долларов, и неудивительно, что никто не хочет и не может упускать такой солидный кусок.
Понятно, что Qualcomm не могла оставаться в стороне, и мобильные решения семейства Snapdragon также постепенно учатся ускорять задачи машинного обучения. В новом мобильном процессоре компании применяется уже третье поколение мобильной ИИ-платформы Neural Processing Engine (первое появилось в Snapdragon 820), которое предназначено для ускорения задач глубокого обучения и других алгоритмов искусственного интеллекта.
Но откуда взялось третье и когда успели появиться и пройти незамеченными все остальные? Все просто, на самом деле все эти громкие названия типа Neural Processing Unit, Vision Processor, Deep Learning Processor, Imaging Processor и прочие — всего лишь наименования для быстрых векторных вычислений, которые и так делаются на выделенных блоках в Snapdragon уже довольно давно.
Наверняка многие из читателей знают, что в топовых чипах компании есть DSP-ядро Hexagon, вот оно как раз и занимается ускорением подобных задач. В 2015 году в Snapdragon 820 появился Hexagon 680 первого поколения, в прошлом году в Snapdragon 835 включили Hexagon 682 (второе поколение), ну и в 845-й модели Snapdragon появилось третье поколение — Hexagon 685.
Snapdragon 845 способен облегчить жизнь пользователей, добавляя элементы ИИ в такие задачи, как умные персональные помощники, улучшение качества фото- и видео и т. д. Разработчики программного обеспечения могут выбрать наиболее подходящие вычислительные ядра для своих приложений: универсальные вычислительные CPU-ядра Kryo 385, достаточно быстро производящие расчеты в целочисленном 8-битном формате и формате с плавающей запятой FP32, ядра графического процессора Adreno 630, умеющие быстро выполнять грамотно распараллеленные алгоритмы в форматах с плавающей запятой с 16- и 32-битной точностью FP16 и FP32, а также выделенное DSP-ядро Hexagon 685, которое специализируется на высокопроизводительных векторных вычислениях HVX и целочисленном формате INT8.
Подобный гетерогенный подход как раз и позволяет получить высочайшую производительность в задачах глубокого обучения (deep learning), основой которых являются векторная математика: тензоры, векторы — наверняка вы хоть краем глаза видели их упоминания. Векторный DSP третьего поколения Hexagon 685 позволяет максимизировать производительность и обеспечить высокую энергоэффективность в задачах машинного обучения, в которых Snapdragon 845 получается втрое быстрее по сравнению со Snapdragon 835.
Новый мобильный процессор способен использовать более сложные ИИ-алгоритмы в задачах вычислительной фотографии и продвинутой обработки изображений, вроде переноса стиля (style transfer), который придает картинке совершенно другой вид, а также отрисовывает модный эффект боке с хорошим качеством на основе информации, получаемой лишь с одной камеры, а не с пары сенсоров, как это делается сейчас чаще всего. На мероприятии Qualcomm было показано такое ПО, и работало оно довольно сносно, хотя этим сейчас уже мало кого удивишь.
Во многом именно сигнальный процессор Hexagon третьего поколения и позволяет новой модели SoC быть настолько быстрее в задачах искусственного интеллекта по сравнению со Snapdragon 835, так что топовые смартфоны 2018 года должны быть значительно более эффективными в этих задачах и позволят выполнять более сложные вычисления при использовании меньшего количества энергии, что положительно скажется на времени автономной работы.
Расширенные возможности Hexagon третьего поколения позволяют улучшить энергоэффективность Snapdragon 845 при вычислениях разных типов. Векторные вычисления используют HVX, для обработки аудиоданных используется скалярный DSP, а для обработки информации с сенсоров встроен специализированный сенсорный хаб Hexagon All-Ways Aware Hub. Но самое главное при разработке в подобных случаях специализированных вычислений — удобные SDK, утилиты и фреймворки.
Компания Qualcomm предлагает такие возможности, и их Neural Processing Engine поддерживается всеми распространенными фреймворками машинного обучения: Google TensorFlow (это первая мобильная платформа с такой поддержкой), FaceBook Caffe2 и другими. Поддержка специализированных фреймворков обеспечивает эффективные вычисления на различных типах ядер — CPU, GPU или DSP.
Из новинок можно отметить оптимизацию вычислений с плавающей и фиксированной запятой, поддержку TensorFlow Lite, MxNet и Open Neural Network Exchange (ONNX), которые еще находятся в разработке. Также Snapdragon 845 поддерживает и Android Neural Networks API, который появился в версии операционной системы Android 8.1.
Кроме фреймворков лидеров индустрии, Qualcomm сотрудничает по теме искусственного интеллекта и с другими компаниями, такими как Motorola (определение геолокации по фотографии) и Oppo (вычислительная фотография и разблокировка смартфона по лицу). А еще одним большим партнером стала компания Baidu, выпустившая в ноябре свою операционную систему с элементами ИИ со странным для русского слуха названием DuerOS. Эта ОС предназначена для различных умных устройств (колонок, роботов и т. п.) и отличается мощными возможностями по распознаванию голоса, при котором используется машинное обучение.
Такая функциональность очень важна, ведь ОС будущего должны не только уметь понимать существующие слова, но и самостоятельно учиться новым, расширяя язык взаимодействия. И вот как раз для того, чтобы устройства постоянно слушали пользователя, и используется решение компании Qualcomm, встроенное в Snapdragon 845 — постоянно активное прослушивание на основе аудиокодека Aqstic, отличающееся низким уровнем энергопотребления, с шумопонижением и подавлением эха.
Улучшенные возможности по съемке и отображению
Казалось бы: какое отношение имеет мобильный процессор к качеству снимков и видеороликов? Ведь данные снимают сторонние сенсоры, которые в основном и ответственны за получаемую картинку. Но это не так, уже очень давно сенсоры делают лишь часть работы при фото- и видеосъемке, а очень большая часть вклада в итоговое качество зависит от возможностей сигнальных процессоров по обработке изображений (Image Signal Processor — ISP).
Само по себе разрешение снимков уже давно отошло на второй план, так как оно и так уже достаточно высоко для топовых смартфонов, и для улучшения общего качеств стоит сосредоточиться скорее на правильной цветопередаче, снижении шумов в условиях плохой освещенности, улучшении детализации и повышении динамического диапазона.
Компания Qualcomm обещает более глубокое погружение (immersion) пользователям будущих смартфонов на основе Snapdragon 845. В понимании компании, этот термин означает возможность захвата, обработки и вывода изображений при очень высоком разрешении и качестве картинки.
Снабженный графическим ядром Adreno 630 и сигнальным процессором обработки изображений Spectra 280 ISP, новый мобильный процессор Snapdragon 845 способен записывать и воспроизводить видеоролики с качеством Ultra HD premium. Этот условный формат уже поддерживается такими грандами, как Netflix и Amazon, и означает 4K-разрешение, частоту кадров 60 FPS и 10-битное кодирование информации о цвете — HDR10. И Snapdragon 845 стал первым мобильным процессором, который способен на видеозапись и кодирование видеороликов в этом формате.
При помощи процессора Snapdragon 845 смартфоны 2018 года будут способны собирать больше информации о цвете и яркости сцены, перейдя от 8-битного формата хранения к 10-битному, что расширит цветовое пространство от привычного стандарта рекомендации Rec. 709 до более глубокого Rec. 2020, а также значительно увеличит максимально возможную яркость для настоящего HDR-изображения. Проще говоря, новый мобильный процессор Qualcomm способен обрабатывать больше оттенков цвета с большей яркостью, вплоть до 10000 нт (кд/м²), и при поддержке со стороны сенсоров и дисплеев это приведет к теоретическому улучшению качества изображения.
Если Snapdragon 800 в свое время стал первым мобильным процессором компании, предложившим возможность видеозахвата и проигрывания роликов в 4K-разрешении и формате H.264, то Snapdragon 805 уже умел проигрывать ролики в формате H.265. Snapdragon 810 научился вести запись и проигрывание в этом формате, а 820-я модель мобильного процессора делала доступной частоту кадров в 60 FPS. Snapdragon 835 научился проигрывать видео в формате Ultra HD Premium, а новый процессор компании Qualcomm сделал возможным и видеозапись при таких характеристиках. Новая однокристальная система аппаратно поддерживает кодирование и декодирование видеоформатов H.264 (AVC), H.265 (HEVC) и VP9.
Компания Qualcomm уверена в том, что возможности Snapdragon 845 обеспечат топовым смартфонам 2018 года такое качество фото- и видеосъемки, которое соответствует более чем 100 баллам по известной оценке DxOMark. В принципе, это вполне достижимо, так как смартфон Google Pixel 2 на основе Snapdragon 835 уже набирает в бенчмарке DxOMark 98 баллов.
Для этого сигнальный процессор Spectra ISP второго поколения (первое появилось в Snapdragon 820) включает два 14-битных ISP, умеет обрабатывать информацию с двух сенсоров по 16 мегапикселей или с одного сенсора разрешением в 32 мегапикселя, обеспечивает скорость обработки в 60 FPS для 16-мегапиксельного изображения и поддерживает такие возможности, как гибридная автофокусировка и фотосъемка без дополнительных задержек.
Все это призвано улучшить возможности по фото- и видеосъемке в условиях плохого освещения, благодаря возросшей вычислительной производительности, а также новым возможностям, вроде алгоритма шумопонижения, использующего информацию из нескольких кадров (шум ведь стохастический, и поэтому, усредняя несколько снимков, можно улучшить детализацию, убрав шумы). Декларируется обработка до 60 кадров разрешения 16 Мп — работа над таким массивом информации требует больших вычислительных ресурсов, и мощь нового поколения ISP как раз и способна определить, какая информация является шумом, а какую следует оставить, увеличив детализацию. Также Snapdragon 845 умеет делать качественную стабилизацию записываемых видеороликов.
В целом все возможности вычислительной фотографии и записи видео объединены в технологию ImMotion, которая как раз и предназначена для сложной постобработки фото- и видеоданных с нескольких камер одновременно. В возможности технологии входит распознавание радужной оболочки глаза, получение и обработка информации с инфракрасных датчиков, захват 360-градусного изображения, определение глубины сцены в высоком разрешении, имитация эффекта боке, отслеживание движения объектов, а также видеозапись с высокой частотой кадров. Для любителей замедленных съемок в slow-motion будет хорошей новостью, что новая однокристальная система Qualcomm умеет записывать видеоролики с высокой частотой кадров в разрешении 1280×720, HDR-формате и с частотой кадров 480 FPS.
Одной из самых интересных возможностей Spectra 280 ISP стала поддержка технологии измерения глубины (расстояния до объектов) — depth-sensing. Такие технологии известны по специализированным продуктам (проект Google Tango, контроллер Microsoft Kinect и другие), они позволяют получать трехмерные карты пространства, которые используются в играх и приложениях расширенной реальности. Информация о глубине может использоваться для измерения размеров объектов и для отслеживания их положения в пространстве, что полезно в том числе для отслеживания действий пользователя в приложениях виртуальной реальности без необходимости применения специальных сенсоров движения.
Сигнальный процессор Spectra ISP второго поколения поддерживает два метода измерения глубины: пассивный и активный. Первый метод позволяет использовать две камеры, расположенные рядом, а для более сложных применений в системах расширенной реальности Spectra 280 ISP способен обрабатывать информацию от активных сенсоров глубины, использующих инфракрасное освещение и ИК-датчик для того, чтобы строить карты глубин высокого разрешения.
Qualcomm обещает получение данных о глубине для более чем 10000 точек с разрешением в 0,1 мм при частоте получения данных в 40 кадров в секунду и более. Значения глубины могут использоваться для отслеживания рук в приложениях виртуальной реальности, для отслеживания движений шлемов виртуальной реальности, работающих без проводов и дополнительных датчиков, и даже для распознавания лиц и других объектов, что можно использовать и для идентификации человека, как это уже делается во флагманском смартфоне Apple.
Из других возможностей новой версии Spectra ISP можно выделить аппаратно-ускоренное шумопонижение с использованием данных из нескольких кадров (multi-frame noise reduction), когда ISP получает с сенсора несколько кадров и на их основе выдает единственный кадр, удаляя отличающиеся данные, присутству