Интерфейс завтрашнего дня: простой и дружелюбный

Список жестов управления в Android 10

Несмотря на то, что Android 11 уже вышла, большинство смартфонов все еще работает под управлением десятой версии. Да и список жестов особо не поменялся, поэтому особой разницы нет и рассматривать будем жесты Android 10.

Первый жест, который пригодится – Домой. Работает он следующим образом: нужно сделать свайп вверх от нижней части экрана. Так вы вернетесь на главный рабочий стол. Сделать это можно из любой программы
Если вы хотите сделать шаг назад, нужно провести пальцем вдоль по левому или правому краю экрана;
Чтобы переключиться с ныне активного приложения на то, что было включено до этого, нужно сделать свайп пальцем вверх и удерживать его, а потом провести пальцем влево или вправо. Это значительно облегчает переключение между всеми открытыми приложениями;
Чтобы открыть список всех открытых приложений, нужно после свайпа пальцем вверх сделать тап по дисплею;
Чтобы получить доступ к ассистенту Google, нужно провести вниз по левому или правому нижнему углу.

Привыкнуть к жестам управления не сложно. Все, что требуется – практика. Тогда как многие пользователи предпочитают именно такой вариант навигации, другим стандартные кажутся более комфортными. К счастью, переключаться между ними можно сколько угодно, поэтому никто не мешает вам поэкспериментировать, а затем вернуться на уже проверенный годами способ, если новый не угодит вам.

Можно ли поменять материнскую плату на айфоне 6
Проверить существует ли файл js
Система связи компьютеров или вычислительного оборудования
Как играть в хамачи по сети в вархаммер 40000
Как сделать ссылку на скриншот экрана на компьютере

Моушен-дизайн

Слева направо, начиная сверху: Estee Lauder, Apple, Duolingo, Wishes In Words, The Virtual Economy, Wickret

Моушн-дизайн повсюду. От микровзаимодействий до сложных анимаций — интерфейс больше не может быть статичным, ведь пользователи ожидают, что он будет визуально «жить и дышать».

Из-за влияния TikTok, Instagram* и анимационного контента, который пользователи потребляют ежедневно, продолжительность концентрации внимания людей всё больше снижается. Некоторые считают, что сейчас мы воспринимаем информацию на уровне золотой рыбки или ещё хуже.

*Примечание переводчика. Организация Meta и её продукт Instagram, на который мы ссылаемся, признаны экстремистскими и запрещены на территории РФ

Чтобы удержать внимание людей, дизайнерам стоит использовать анимацию и пытаться вдохнуть жизнь в статичные экраны и изображения, чтобы они как можно больше погружали человека в виртуальную среду. Если вы пользуетесь сервисом Duolingo, вы наверняка заметили, что после недавнего обновления на платформе появилось больше анимированных иллюстраций и анимационных переходов между экранами

Большинство компонентов интерфейса взаимодействуют с пользователем с помощью различных визуальных эффектов. Почти всё время, пока человек совершает какие-либо действия, на экране что-то происходит

Если вы пользуетесь сервисом Duolingo, вы наверняка заметили, что после недавнего обновления на платформе появилось больше анимированных иллюстраций и анимационных переходов между экранами. Большинство компонентов интерфейса взаимодействуют с пользователем с помощью различных визуальных эффектов. Почти всё время, пока человек совершает какие-либо действия, на экране что-то происходит.

В последнем обновлении Duolingo приложение взаимодействует с пользователями практически на всех уровнях

Если говорить об анимации, нельзя не упомянуть эффект параллакса.

Параллакс — это набор различных слоев графики, которые при прокрутке страницы движутся с разной скоростью. Это создает завораживающий, приятный визуальный эффект и добавляет контенту глубину, хотя все элементы находятся в одном измерении.

При использовании параллакса дизайнеры придерживаются простого правила: ближайшие элементы движутся быстрее, чем те, которые находятся дальше. Именно так происходит в реальной жизни, когда вы едете на машине и смотрите из окна автомобиля на далёкий горный хребет.

Компания Midwam использовала библиотеку GSAP* для создания сайта. Смотрите здесь: Midwam

*Примечание переводчика: GSAP (The GreenSock Animation Platform) — набор инструментов для реализации анимации любого уровня сложности с помощью JavaScript

Анимации на сайте выглядят потрясающе, ведь большинство из них сделано в коде с использованием библиотек GSAP. Вы даже можете посетить пирамиды Мероэ, не покидая браузера. Тем не менее, каждую анимацию сначала проектируют, чтобы разработчик мог ее воссоздать. И здесь на помощь приходят дизайнеры.

Если вы хотите углубиться в моушен-дизайн, то вы думаете в правильном направлении. Я убеждена, что в ближайшем будущем моушен-дизайн станет обязательным навыком для любого дизайнера. Поэтому начните изучать его уже сейчас.

Как управлять курсором Mac движением головы

Следуйте приведенным ниже инструкциям, чтобы узнать, как использовать функцию «Управление головой» в macOS Catalina 10.15.4+ для управления курсором Mac с помощью движения головы.

1. Нажмите меню Apple, затем выберите «Системные настройки».

2. В окне «Системные настройки» щелкните значок «Универсальный доступ».

3. Выберите опцию «Управление указателем» в левой колонке, прокрутив вниз бегунок.

4. В правой части окна нажмите на вкладку с надписью «Другие способы управления», чтобы получить доступ к новому методу управления курсором Mac на основе движения головы.

5. Активируйте пункт «Включить управление курсором головой» и настройте его параметры:

Вкладка «Действия»

Движение указателя: щелкните по выпадающему меню рядом с названием этого раздела, затем установите в качестве параметра отслеживания значение По движениям головы, чтобы курсор Mac всегда перемещался относительно вашей головы независимо от расположение вашего лица.

Скорость указателя: щелкните по доступному текстовому полю, затем введите скорость движения курсора Mac в процентах или нажмите стрелку вверх / вниз для увеличения / уменьшения скорости указателя с шагом в один процент.

Расстояние до края: с помощью этого параметра можно заставить курсор Mac начинать двигаться раньше. Здесь вы можете легко изменить требуемую для фиксации движения головы величину, которая определит начало движения курсора. Просто введите новый порог (0-100 процентов) в поле рядом с текстом «Расстояние до края».

Параметры камеры: щелкните по меню рядом со словом «Камера», затем выберите устройство обработки изображений, которое будет использоваться для указателя головы. По умолчанию это будет камера FaceTime, встроенная в ваш ноутбук Mac, но вы также можете использовать веб-камеру, встроенную в дисплей Apple, или даже отдельную внешнюю видеокамеру, подключенную к вашему компьютеру.

Вкладка «Основные»

Здесь можно включить переключатель (или мимику) для приостановки/возобновления управления курсором головой: с его помощью вы выбираете, как включить или отключить «Управление головой». Чтобы использовать эту функцию на постоянной основе, обязательно снимите этот флажок. Тогда функция «Управление головой» будет работать все время и не может быть отключена нажатием клавиши. Если вы хотите использовать функцию с помощью переключателя для приостановки и возобновления, установите требуемый флажок, и вы сможете запускать и останавливать этот метод управления с помощью сочетания клавиш (по умолчанию – F10). Чтобы выбрать пользовательское сочетание клавиш, нажмите кнопку «Назначить…».

6. Нажмите кнопку «ОК», чтобы вернуться к предыдущему экрану, и сразу же начните использовать функцию «Управление головой» с текущими настройками. Если вы нажмете «Отменить», то изменения будут отменены изменения, а окно закроется.

Думайте о контенте и ВСЁМ экране

Начнем с поверхностей, которые мы в данный момент касаемся, чтобы выполнить действие. Учитывая, что подавляющее большинство современных графических пользовательских интерфейсов – это сенсорные дисплеи, с которыми чаще всего взаимодействуют с помощью больших пальцев – у нас непременно будет такое непреодолимое желание коснуться – самое главное наше чувство. Прикосновение к поверхности дает нам ощущение реального действия, контроля. А что если вместо того, чтобы нажимать на определенную точку, мы научили наших пользователей взаимодействовать со всей поверхностью?

Посмотрим, как это работает в Instagram:

Вы когда-нибудь видели кнопку, которая позволяет вам просматривать сторис Instagram и вернуться к предыдущей? Наверное, нет, потому что вам всего лишь нужно коснуться левого края экрана.

Пользователи постепенно приходят к тому, что в картах можно нажать на любую область, в тексте нажать на любое слово для перевода. Для этого не обязательна визуализация кнопки.

Браслет Myo

Это устройство надевается на руку немного ниже локтя и способно распознать, как сокращаются мышцы. Таким образом, если вы сожмете ладонь в кулак, направите ладонь к себе или от себя, выпрямите все пальцы или сделаете другое движение, Myo распознает его и сможет преобразовать в тот или иной сигнал. Такое устройство может пригодиться для управления музыкой через iTunes (например, если в это время вы заняты уборкой и не можете кликнуть на ту или иную кнопку), видео через Netflix, игрушкой, работающей через Bluetooth, типа Sphera, или презентацией. Для Myo есть несколько десятков приложений, в том числе и для компьютерных игр типа Need For Speed.

В 2013 году браслет получил $14,5 миллионов инвестиций от Spark Capital и Intel Capital. Сейчас его можно купить за $199.У умных часов типа Android Wear есть приложения с похожими функциями, но точность их работы пока далека от идеала.

Управление панелью запуска

После включения управления взглядом на экране появится в панель запуска (лаунпад).

Панель запуска позволяет выполнять следующие действия:

Управление курсором мыши для нажатия и открытия элементов на компьютере.
Управление колесиком прокрутки мыши для перемещения по веб-странице или приложению.
Ввод с помощью клавиатуры, управляемой взглядом.
Использование функции преобразования текста в речь.
Перемещение лаунчпад в верхнюю или нижнюю часть экрана.
Быстрой доступ к меню «Пуск».
Приостановка взглядом таких процессов, как просмотр фильма.

Чтобы выбрать одну из этих кнопок, смотрите на неё, пока она не будет активирован. Сосредоточьте зрение на части экрана и не отводите глаз от этой области в течение определенного времени. Это время называется временем удержания.

Microsoft » Natal » Интерфейс » Техника » Компьютеры » GizMod.Ru

Категории: Техника » Компьютеры

Говорящий Том: бег за золотом

AVG PC TuneUp 19.1.1098 — настрой систему на быстродействие

Open Camera 1.45.2 — расширь возможности камеры своего смартфона

TETRIS 3.0.10 — любимая игра всех поколений

Основатель американской компьютерной компании Microsoft, Билл Гейтс, давно известен своей тягой к инновациям и стремлением изменить мир. По его словам, со временем человек сможет общаться с компьютером без использования каких-либо периферийных устройств. Новый проект его фирмы, известный под кодовым именем «Natal», сделает человека и ПК еще ближе.

Категории и теги: Техника » Компьютеры » Microsoft, Natal, Интерфейс, Компьютер, Билл Гейтс.

Технологии распознавания, над которыми работает Microsoft, пока наиболее наглядно представлены в игровой индустрии. Недавно, в начале июня, корпорация представила специальную систему, позволяющую управлять игровыми персонажами посредством телодвижений игрока — без использования каких-либо приспособлений и контроллеров. Разработка получила кодовое имя Project Natal и была представлена в рамках выставки игровой индустрии E3, где демонстрировалась на стенде вместе с игровой консолью Xbox 360.

Устройство с помощью цифровой камеры считывает перемещения частей тела игрока, причем, благодаря особым алгоритмам, система не только способна распознавать части тела и позу, в которой находится человек, но и выделять активного игрока на фоне его окружения, например, друзей. Помимо камеры, в состав системы входят дальномер, микрофон (для снятия голосовых команд) и собственный микропроцессор. Устройство обеспечивает полностью интерактивное управление компьютерными играми. Подробности проекта Microsoft хранит в тайне – сведений о том, когда можно будет купить подобное устройство и с какими играми или программами оно будет работать пока нет.

Теги: Microsoft, Natal, Интерфейс, Компьютер, Билл Гейтс

Новое по теме: Компьютеры

В следующем году 512 Гб SSD будут дешевле $50

Блок питания Enermax Revolution сам себя почистит

Samsung представила 1 ТБ модуль памяти

Музей истории видеокарт

Тематические новости:

Говорящий Том: бег за золотом

AVG PC TuneUp 19.1.1098 — настрой систему на быстродействие

Open Camera 1.45.2 — расширь возможности камеры своего смартфона

TETRIS 3.0.10 — любимая игра всех поколений

Категория: Техника » Компьютеры | 20-07-2009, 17:41 | Просмотров: 4 110 |

Оконная революция и графические интерфейсы (GUI)

Переломный момент в развитии интерфейсов произошёл благодаря двум факторам: появлению первых персональных компьютеров и совмещению их с полноценным видеодисплеем. Оба эти события повлияли на решение Дугласа Энгельбарта создать среду управления, действительно понятную и удобную для обычного пользователя.

В то время, когда секретари набирали тексты на печатных машинках, менеджеры рисовали слайды вручную, а компьютеры использовались исключительно для лабораторных вычислений, Энгельбарт создал прототипы современных офисных программ для работы с текстами и графикой, навигации по файловой системе и даже для проведения видеоконференций с возможностью совместного редактирования документов.

Парадоксально, но разработанная им система NLS продолжала задействовать перфоленту для промежуточных операций и при этом уже имела базовый графический элемент всех современных ОС — окна. Вместе с этим Дуглас создал ещё один инструмент, который мы используем до сих пор — компьютерную мышь. Она стала связующим звеном между человеком и созданным графическим интерфейсом.

Первый коммерческий ПК с графическим интерфейсом Xerox Star 8010, 1981 год Фото: Amber Case / Flickr

Apple против Microsoft

Противостояние двух IT-гигантов началось именно с появления первых графических интерфейсов. В 1988 году Apple выдвинула иск к Microsoft о нарушении авторских прав. К разбирательству подключилась и компания Xerox, чья операционная система Xerox Star стала прототипом для Apple Lisa и Apple Macintosh.

Примечательно, что за 10 лет до этого Apple получила от Xerox лицензию на использование концепции окон, а затем выдала Microsoft несколько лицензий на отдельные графические элементы в Windows 1. В итоге суд отказал обеим компаниям.

Идеи Энгельбарта воплотились в первом персональном компьютере с графическим интерфейсом — Xerox Alto. Появление этого девайса вдохновило Стива Джобса и Билла Гейтса на разработку собственных операционных систем, построенных на концепции WIMP (windows, icons, menus, pointing device).

Ноутбуки и компьютеры

Современный ноутбук или персональный компьютер не очень-то приспособлен к сенсорному дисплею. И поскольку мы стали первым поколением, которое застало появление сенсорных дисплеев на компьютерах, нам срочно нужно менять их дизайн.

По факту, ноутбуки всегда были не очень в дизайне, поскольку закрывались экраном вниз, самым неестественным образом. Сенсорные дисплеи принципиально сократили дистанцию между экраном и пользователем. Теперь экран находится в вертикальном положении и достаточно близко к пользователю, осталась проблема с клавиатурой: она должна быть под экраном, а не ниже и не спереди, как сейчас. Сенсорная клавиатура и экран должны быть на одном и том же расстоянии от рук пользователя, но не пересекаться.

Как пример — слева на изображении выше дизайн ноутбука, один из экранов которого можно развернуть и использовать в качестве планшета или клавиатуры. Таким образом можно печатать без необходимости отодвигать экран. Этот дизайн не мешает портативности и переносимости устройства.

Гармония мыши, клавиатуры и гарнитуры

Как сделать закрытый офис-компьютер более удобным? Он во многом больше напоминает автомобиль, чем комнату — вы не можете стоять в машине, но она очень удобна. (Офис, который я нарисовал, достаточно высок для того, чтобы в нем стоять, но очевидно, что можно сделать низкий офис, который будет не выше автомобиля внутри).

Сосредоточение на экране в течение дня, который находится в полуметре от вашего лица, приводит к чрезмерному напряжению глаз и головной боли. Глазам легче фокусироваться на экране, который находится на средней дистанции. Вполне удобно работать с клавиатурой на коленях и экраном в трех метрах от вас. В результате глаза испытывают меньший стресс и больший комфорт.

За столом удобнее писать ручкой или на пишущей машинке. С компьютером все обстоит иначе. Важным компонентом этого офиса будет выдвижная клавиатура-тачпад вроде той, что на рисунке, которую будет удобно использовать, расположив на коленях. Над клавиатурой есть две кнопки мыши и сенсорная панель над кнопками.

Подумайте об офисе, как о системе, а не как о куче вещей, нагроможденных в комнате. Офис должен работать как ансамбль, и сегодня его нужно конструировать не так, как 70 лет назад.

Устройство Soli от Google

В июне 2015 Google представил технологию Soli. Она использует радар, который способен уловить мельчайшие движения пальцев в воздухе — вплоть до сдвига всего на 1 миллиметр. Поскольку Soli улавливает радиочастотный диапазон, а не считывает информацию через камеру, устройство способно распознать движения объектов, даже если они будут отделены от радара другим предметом (например, другим пальцем). Примером использования Soli стало внедрение радара в умные часы: чтобы настроить время, нужно покрутить воображаемое колесико, как на механических часах. В Google считают, что проект придется по душе пользователям устройств с такой функцией, поскольку небольшие движения пальцами не нуждаются в сверхусилиях и интуитивно понятны: каждый из нас может легко изобразить нажатие кнопки или смещение бегунка при настройке звука.

Впрочем, пока не понятно, планируют ли в ближайшем времени внедрить Soli в часы или другие устройства. Об этом обещали рассказать разработчикам позже в этом году.

В общем и целом управление жестами уже давно не является чем-то
фантастическим. Вопрос вызывает скорее не технология для его реализации,
а уместность и удобство ее использования. Ведь жесты — это далеко не
всегда удобнее простого клика по тачпаду. Как раз эту сторону вопроса в
ироничном виде представили в шутливом ролике Google к первому апреля,
где компания представила выдуманный сервис Gmail Motion.

История создания мультитача

История мультитача продолжается. Но прежде чем идти дальше, необходимо сделать все, чтобы завершить текущий период истории.

Мультитач в его современной форме, — как считает признанный эксперт в этой области Джефф Хан, — это хорошо, но, все-таки, недостаточно

К мнению Хана нельзя не прислушаться, ведь он один из тех, кому и удалось придумать мультитач, каким он является сейчас.

Еще несколько лет назад на конференции TED Джеф Хан успешно продемонстрировал мультитач-интерфейс, разработанный им в Нью-йоркском университете. До появления таких шедевров, как iPhone или сенсорного стол Microsoft Surface оставалось еще больше года, поэтому презентацию Хана можно смело назвать первой (из общеизвестных) реализацией этой идеи.

Компания Perceptive Pixel, основанная Ханом, вскоре была приобретена Microsoft. Ожидалось, что она вольется в исследовательский центр Microsoft Research, ориентированный на перспективные исследованиями, но этого не произошло. Получилось так, что Perceptive Pixel влилась в подразделение компании, занимавшееся разработкой приложенийя Office, и в этом была своя логика, так как мультитач уже не был «гостем из будущего».

Тем не менее, утверждать, что его потенциал раскрыт до конца, было бы преждевременно

И сам Хан считает, что существуют еще весьма важные направления развития, которым необходимо уделить особое внимание

Кольцо Fin

Изображение управления Fin, finrobotics.com

Еще один гаджет Fin для управления жестами сделан в форме другого украшения — кольца. По функционалу он похож на браслет Myo, но использует другие жесты в силу своего формата — основные действия вы можете делать, прислоняя большой палец, на который кольцо и надевается, к фалангам других пальцев. Так можно переключать слайды презентации, музыку и видео, играть, звонить, открывать автомобиль и делать фотографии (это, кстати, одна из самых актуальных функций, которую действительно неудобно делать, нажимая на кнопки, — если речь идет о селфи). Владельцы колец могут делиться файлами, взаимодействуя с руками друг друга.

Fin вызвал ажиотаж при сборе денег через платформу Indiegogo, когда создателям удалось собрать $200 тысяч, вдвое превысив цели кампании. А еще статрап вошел в топ проектов TechCrunch Hardware Battlefield 2014. Правда, кольца еще не продаются, но скоро обещают запуск предпродаж.

Эталонный интерфейс с фильме «Особое мнение»

Считается, что фильм «Особое мнение» стал источником последнего интерфейсного эталона. Как известно, он вышел на экраны в 2002 году и рассказывает о недалеком будущем. Почему, казалось бы, второстепенная сцена, где главный герой фильма начинает взаимодействовать с компьютером, произвела наиболее мощное по своему воздействию влияние на зрителей. С тех пор любой интерфейс в чем-то отличающийся от других, подлежит сравнению с тем, что был в «Особом мнении».

Напомним, что людям, использовавшим компьютер в этом фильме, не требовались ни клавиатура, ни мышь, ни шлем виртуальной реальности. Все объекты и документы, которые были им необходимы для работы, были представлены на огромном сенсорном дисплее, а пользователи передвигали и управляли ими, слегка касаясь изображения на экране. У зрителя, наблюдавшего этот процесс, невольно закладывалось впечатление, что герои фильма управляют не горсткой пикселей, а настоящими предметами.

Сегодня это описание выглядит вполне обыденным. И вовсе не потому, что кто-то создал нечто более интересное и совершенное. Сенсорные дисплеи и мультитач, являвшиеся «последним писком» моды в начале 2000-х годов, экзотикой уже не является. Интерфейс, продемонстрированный в «Особом мнении», ныне является непременным атрибутом любого смартфона или планшета, а в последние годы и у многих ноутбуков.

Можно только радоваться и удивляться насколько быстро мы не только догнали, но и перегнали прогнозы футурологов. Однако утверждать, что развитие пользовательских интерфейсов закончилось, кончено же нельзя.

Пернатый мультитач

Впрочем, прежде чем переходить к следующим этапам истории, нелишним было бы добраться до конца нынешнего. По мнению Джеффа Хана, мультитач в его современной форме — это хорошо, но недостаточно. А к мнению Хана в таких вопросах стоит прислушиваться. Он один из тех, кто как раз и придумал мультитач в его современной форме.

В самом начале 2006 года Джефф Хан продемонстрировал на конференции TED мультитач-интерфейс, который он разработал в Нью-йоркском университете. До появления iPhone или сенсорного стола Microsoft Surface оставалось больше года, поэтому презентация Хана стала едва ли не первой общеизвестной реализацией этой идеи.

Вскоре компания Perceptive Pixel, которую основал Хан, была приобретена Microsoft. Вопреки ожиданиям, компания влилась не в исследовательский центр Microsoft Research, занимающийся перспективными исследованиями, а в подразделение компании, разрабатывающее приложения Office. В этом есть определённая логика, ведь мультитач — уже не будущее.

Тем не менее, его потенциал пока раскрыт не до конца. Хан считает, что ещё остались важные направления развития, на которые стоит обратить внимания. Во-первых, большие и очень большие мультитач-дисплеи, с которыми можно взаимодействовать не одному, а нескольким пользователям сразу. Во-вторых, одновременное использование мультитача и пера.

Если с первым всё и так ясно, то второе заслуживает более подробного объяснения. По мнению Хана, человеческие пальцы — это всё же слишком грубый инструмент, подходящий далеко не для всего. Манипулировать контентом — да, лучше варианта, чем пальцы, тут не придумать. А вот для того, чтобы писать или рисовать, лучше найти кое-что поточнее — например, перо.

Отличие идеи Хана от прежних перьевых интерфейсов, не выдержавших конкуренции с тачскринами, заключается в том, что перо тут используется лишь в качестве пера. То же, что удобнее делать пальцами, — например, перемещать окна или нажимать на кнопки, — можно делать пальцами. Хан демонстрирует такой интерфейс на сенсорном столе: левой рукой он двигает и масштабирует документы, а пометки и надписи ставит на них пером, сжимаемым в правой руке. Процесс выглядит действительно очень естественно.

Планшеты, чувствительные и к прикосновению, и к перу, уже существуют (их выпускает, к примеру, Samsung), но они не совсем соответствуют тому, что нужно Хану. Во-первых, для двуручного использования они всё же мелковаты. Во-вторых, перо блокирует регистрацию касаний пальцами. В-третьих, любой современный перьевой интерфейс реагирует на перо на долю секунды медленнее, чем следовало бы. Задержка мизерна, но как ни странно, при небольшой привычке очень заметна и неприятна.

Впрочем, очевидно, что все эти проблемы при необходимости можно решить. Одновременное использование пера и мультитача — это сама простая из всех идей, о которых пойдёт речь в этой статье. С другими дело обстоит куда сложнее.

Материальные интерфейсы

Кто-то подметил, что с каждым поколением компьютеров пользовательские интерфейсы становятся всё непосредственнее. От команд, вводимых с помощью клавиатуры, мы перешли к графическому интерфейсу, где объекты, которыми приходится оперировать, можно видеть собственными глазами, но взаимодействовать с ними напрямую всё ещё нельзя. Для этого требуется ещё один объект — стрелка, повторяющая движения компьютерной мыши.

Сенсорные экраны устранили лишнее звено в этой цепочке: теперь на нарисованную кнопку можно нажать своим собственным пальцем. Однако она по-прежнему остаётся нарисованной. Гаптические технологии способны придать им реалистичности, но это полумеры. А что дальше?

А дальше разница между «тут», перед экраном, и «там», за стеклом, должна исчезнуть. От управления пикселями на экране, складывающимися в метафоры пользовательского интерфейса, мы вернёмся к естественному взаимодействию с реальными предметами, не требующему метафор. Только на этот раз эти предметы будут зависеть от и влиять на информацию в компьютере.

Интерфейсы, построенные на таком принципе, называют материальными (tangible). Исследования в этой области ведутся с конца девяностых годов прошлого века, и не без успеха — элементы материальных интерфейсов можно найти повсюду. Простейший пример: переключение ориентации экрана в смартфонах и планшетах.

Традиционный интерфейс, решающий эту задачу — это специальная кнопка, которую нужно нажать, чтобы содержимое экрана повернулось. Чтобы использовать такой интерфейс, пользователь должен знать о существовании кнопки и её назначении.

Материальный интерфейс не требует кнопок. Ориентация дисплея меняется автоматически, когда встроенный акселерометр чувствует, что устройство повернули. Командой, влияющей на состояние компьютера, становится сам поворот устройства — прямое и естественное взаимодействие с предметом, которому не нужно обучать.

Образцом более сложного материального интерфейса может служить прототип под названием PaperTab, который продемонстрировала на минувшем CES компания Plastic Logic. На столе перед пользователем PaperTab лежит несколько листов гибкой электронной бумаги, отображающих различные документы. Компьютер, с которым он работает — это не каждый лист по отдельности, а вся конструкция в сумме.

Каждый лист можно сравнить с окном на экране дисплея. Листы в центре стола — это документы, листы на краю — списки документов или приложений. Прикоснувшись одним листом к другому, можно копировать документы. Чтобы рассмотреть крупный документ получше, необходимо положить несколько листов рядом: его содержимое заполнит всю их площадь.

PaperTab далеко не идеален. Он не похож на систему, на которую хотелось бы променять привычный десктоп, но это недостаток, свойственный прототипам подобного рода. Тем не менее, главное ясно даже из этого видео: для управления PaperTab используются не кнопки и меню, а естественное взаимодействие с предметами на столе.

***

Новые интерфейсы не заменят клавиатуру и мышь, используемые с персональными компьютерами. Как и сенсорные экраны, они лишь дополнят их или — это даже вероятнее — будут применяться в устройствах, которые пока не существуют.

Каких? Кто знает. С уверенностью можно сказать только одно: в кино наподобие «Особого мнения» они не попадут. Им, в отличие от мультитача, недостаёт зрелищности. И это, если вдуматься, хорошо: чем менее заметными станут интерфейсы, тем лучше.

Голосовые интерфейсы

Давно уже запущены Siri, Alexa, Google Assistant. Многие утверждают, что голосовые интерфейсы – это будущее. Трудно не согласиться с тем, что их потенциальные возможности неограничены. Мы можем управлять транспортными средствами, умными зданиями и машинами, просто разговаривая с ними – точно так же, как мы разговариваем с настоящим человеком. Благодаря искусственному интеллекту и машинному обучению, компьютеры теперь могут более четко понимать наш язык. Мы больше не ограничиваемся произношением тщательно написанных «магических заклинаний»; мы можем говорить в полном объеме.

Используя речь, мы можем свободно перемещаться в мире денежных переводов. В настоящее время Siri позволяет вам переводить деньги через PayPal другому лицу, используя только один быстрый запрос: «Сири, отправьте $ 200 такому-то с помощью PayPal». И никаких кнопок – требуется только подтверждение и проверка безопасности, Touch ID.

Методы регистрации мозговой активности в ИМК

Теоретически, для управления интерфейсом мозг-компьютер можно использовать любое проявление активности головного мозга, будь то изменение магнитного поля, ток оксигенированной крови или изменение полярности мембраны нейронов. Наиболее часто изучаемые сигналы – это биоэлектрическая активность нейрональных клеток, связаннная с изменениями полярности постсинаптической мембраны нейронов, что, в свою очередь, происходит из-за активации потенциалзависимых или ионно-управляемых каналов.

Неинвазивные методы регистрации мозговой активности

В ранних работах по нейрокомпьютерным интерфейсам использовались в основном неинвазивные методы регистрации электрической активности. Электроды для регистрации накладывались на волосистую часть головы, что позволяло легко и недорого, а главное абсолютно безопасно регистрировать биоэлектрическую активность мозга.

Основным недостатком записи неинвазивными методами исследования является то, что электрические сигналы значительно ослабляются в процессе прохождения через твердую мозговую оболочку, череп и кожу головы. Таким образом, большая часть информация может быть потеряна.

Развитие методов функциональной нейровизуализации с высоким пространственно-временным разрешением предоставляет новые потенциальные методы записи сигналов мозга для управления интерфейсом мозг-компьютер.

Магнитоэнцефалография (МЭГ) измеряет в основном магнитные поля, создаваемые электрическими токами, идущими по аксонам пирамидных клеток. Так, например, мю-ритм, обнаруженный с помощью МЭГ, использовался сенсомоторной системой ИМК для управления курсором компьютера.Также считается, что модуляция заднего альфа-ритма, записанная с помощью МЭГ, обеспечивает удовлетворительный контроль над двумерной задачей (работа с ИМК в двумерном пространстве) ИМК.

Функциональная магнитно-резонансная томография (фМРТ, fMRI) и функциональная визуализация в ближнем инфракрасном диапазоне (fNIR) измеряют оксигенацию крови в капиллярах головного мозга и коррелируют с нейронной активностью. Так были продемонстрированы исследования, в которых осуществлялось управление роботизированной рукой только посредством мыслительных процессов человека с использованием системы ИМК на основе фМРТ в реальном времени. Эти методы ИМК находятся на ранних этапах исследований и разработок. Обследование посредством МЭГ и фМРТ отличается высокой дороговизной, при этом необходимое оборудование крайне габаритное и может занимать целые комнаты, а функциональная визуализация в ближнем инфракрасном диапазоне имеет относительно низкое время отклика, т.е. обладает низким разрешением во времени.

Инвазивные методы регистрации мозговой активности

Инвазивные методы получения сигнала могут быть представлены электрокортикографией – метод регистрации биоэлектрической активности головного мозга с помощью имплантированных электродов.

Рисунок 4. Типы интерфейса мозг-компьютер

А также инвазивные методы могут быть реализованы с помощью небольших микроэлектродных матриц, размещенных субдурально (под твердой мозговой оболочкой). Эти матричные системы могут регистрировать потенциалы действия отдельных нейронов и потенциалы локального поля. Недостатками таких имплантатов являются: инвазивность (необходимость трепанации черепа и нейрохирургическая имплантация), ограниченная область записи и все еще не решенный вопрос о долгосрочной функциональной стабильности записывающих электродов.

Помимо скальповой и интракортикальной, применяется электрокортикография с использованием сеточных (grid electrodes) или полосовых (strip electrodes) электродов или стереотаксические глубинные макроэлектроды, которые регистрируют активность клеток интрапаренхимально, либо из желудочков головного мозга. Преимущество данных электродов заключается в том, что они могут записывать данные с больших участков мозга, чем внутрикортикальные микроматрицы. Однако эти электроды также нуждаются в нейрохирургической имплантации, и вопрос о долговременной стабильности записи электродного сигнала пока остается без ответа.

По мере того как интерфейсы мозг-компьютер начинают применяться в клинической практике, выбор метода регистрации, вероятно, будет в значительной мере зависеть от потребностей отдельного пользователя ИМК, а также от технологической поддержки и имеющихся ресурсов.