История эволюции компьютерных манипуляторов

История возникновения, развития и совершенствования манипуляторов не так проста и коротка, как может показаться на первый взгляд: так например, обыкновенная компьютерная мышь была изобретена уже почти полвека назад.

С тех пор за ее перевоплощениями пристально следит весь цивилизованный мир. Что же касается первых клавиатур – их концепция появилась еще задолго до возникновения персонального компьютера (вспомните механические печатные машинки). Однако, прежде чем приступить к изложению истории этих устройств определимся с терминологией:под манипуляторами мы будем подразумевать следующие устройства вода, когда-либо существовавшие: мышь, клавиатура, трекбол, трекпоинт (pointing stick), графический планшет (дигитайзер), световое перо, тачпад, сенсорный экран, Roller Mouse, джойстик, Kinect и прочие игровые манипуляторы.

Как изменялась клавиатура

Первые компьютеры, датированные концом 40-х годов, поддерживали ввод информации с использованием одновременно и перфокарт, и телетайпов. Позднее, с развитием ЭВМ, перфокарты стали восприниматься в качестве пережитка прошлого, а на смену им пришли более совершенные способы хранения информации, такие как магнитные ленты..

В 60-х годах с появлением первых видеотерминалов, позволявших в реальном времени отображать вводимую и выводимую информацию, основным способом общения человека с компьютером окончательно стал текстовый ввод. Безусловно, в те времена еще не существовало графических интерфейсов, а для работы в текстовом режиме было достаточно примитивной клавиатуры.

Как уже говорилось во вступлении, первые клавиатуры появились задолго до персональных компьютеров: их история началась с момента разработки механических печатных машинок в 1868 году. Такой способ ввода информации был оперативным и удобным, в результате чего быстро прижился. Следующим шагом стали телетайпы, пришедшие на смену телеграфу в начале прошлого столетия, а затем появились электрические печатные машинки и первые компьютеры. Таким образом, клавиатуры из механических превратились в электронные. Первым в мире компьютером с графическим интерфейсом, разработанный в Xerox PARC стал Xerox Alto.

В первых персональных компьютерах клавиатура являлась частью корпуса, однако позднее, с появлением концепции IBM PC они стали выпускаться в качестве самостоятельных устройств, а позднее появились и их беспроводные аналоги.

Как же осуществлялась связь устройства ввода с операционной системой персонального компьютера? Сначала для связи использовались оптические интерфейсы, но они доставляли массу неудобств из-за того, что требовали прямой видимости между приемником и передатчиком, давали сбои при ярком свете, и в последствии они были вытеснены радиоинтерфейсами.

Помимо стандартных клавиатур на сегодняшний день известны игровые клавиатуры, полностью переработанные для игры левой рукой (Thrustmaster Tacticalboard и Belkin SpeedPad Nostromo n50), клавиатуры со сменными наборами клавиш для различных игр (Zboard), клавиатуры с углублениями (DataHand System), аккордовые клавиатуры, клавиатуры с подсветкой и прочее. Студией Артемия Лебедева был разработан проект Optimus – клавиатура, в которой текущее значение каждой клавиши отображается через небольшой встроенный ЖК-дисплей, который отображает именно то, чем управляет в данный момент. «Оптимус» одновременно подходит для любых клавиатурных раскладок - кириллической, древнегреческой, грузинской, арабской, может отображать ноты, цифры, спецсимволы, ХТМЛ-коды, матфункции, изображения и пр. Программа-конфигуратор позволяет запрограммировать каждую кнопку на воспроизведение последовательности символов, а также отредактировать изображение для каждой отдельной раскладки. 

Подобную клавиатуру в свое время в США запатентовала и компания Apple.

Среди перспективных направлений разработок последних лет можно выделить адаптацию текстового ввода для портативных устройств. На телефонах и смартфонах традиционных моделей клавиатуры ужимаются до двенадцати клавиш, каждая из которых отвечает за массу символов. Для ускорения ввода используются системы наподобие T9 (появившейся в 1996 году), способные по словарю подбирать подходящее слово. Из полноразмерных клавиатур, характерных для устройств с сенсорными дисплеями, наиболее популярна в настоящее время латинская раскладка клавиатуры QWERTY. Ее название произошло от 6 левых символов верхнего ряда раскладки. На основе такой клавиатуры сегодня созданы раскладки для многих других языков мира. Экспериментальная система Shark (Shorthand-Aided Rapid Keyboarding) разработанная в 2004 г. компанией IBM, представляла собой род стенографии и позволяла вводить в мобильное устройство слова, отмечая их - буква за буквой - на виртуальной клавиатуре. Например, чтобы ввести слово word, пользователь не нажимал стилусом четыре отдельные виртуальные клавиши, а просто проводил прямую линию от буквы «w» к букве «d». Такая система позволяла печатать на виртуальной клавиатуре, не отрывая пера от экрана, однако массовое внедрение подобных расширений так и не началось.

Еще одна разновидность - проекционная клавиатура. Идея реализации виртуальной клавиатуры без проводов и кнопок родилась примерно десятилетие назад в стенах израильской компании Developer VKB Inc. Представленная на выставке CeBIT 2002 компанией Siemens Procurement Logistics Services первая виртуальная клавиатура без единого механического или электрического элемента стала первой практической реализацией этой идеи. Создатели лазерного интерфейса виртуальной клавиатуры предполагали, что их разработка на практике может быть интегрирована в любое мобильное устройство - телефон, ноутбук, планшетный ПК и даже в стерильное медицинское оборудование. Однако за все время существования концепции была разработана лишь одна модель (iTECH Bluetooth Virtual Keyboard), представляющая собой небольшую коробочку, из которой при помощи лазера на любую гладкую поверхность проецируется изображение клавиатуры, а нажатие виртуальных клавиш фиксируется специальным инфракрасным сенсором.

Эволюция компьютерной мыши

История возникновения компьютерной мыши начинается с появления трекбола.

Устройство было разработано для нужд военных, однако заказчики остались недовольны предоставленным образцом, и об изобретении забыли вплоть до появления первых моделей ноутбуков, но и в этих устройствах от применения трекболов впоследствии отказались.

Функционально трекбол представляет собой перевернутую механическую (шариковую) мышь. Шар находится сверху или сбоку, и пользователь может вращать его ладонью или пальцами, при этом, не перемещая корпус устройства. Несмотря на внешние различия, трекбол и мышь конструктивно похожи - при движении шар приводит во вращение пару валиков или, в более современном варианте, его сканируют оптические датчики перемещения (как в оптической мыши).

В настоящее время трекболы не используются в домашних и офисных компьютерах, однако нашли применение в промышленных и военных вычислительных установках, аппаратах ультразвуковой диагностики, где пользователю приходится работать в условиях недостатка места и при наличии вибрации. Вообще первую компьютерную мышь (в том функционале, к которому мы привыкли) изобрёл в 1964 году Дуглас Карл Энгельбарт, сотрудник Стэнфордского исследовательского института. Устройство ввода информации выглядело как деревянная коробочка с кнопкой, которая перемещалась по столу на колёсиках, и, отсчитывая их обороты и развороты, вводила информацию в компьютер и, таким образом управляла перемещением курсора на экране. 

Первоначально мышь предназначалась отнюдь не для персональных компьютеров, а для более точного управления точкой на экране радара. Отметим, что Энгельбарт работал над созданием манипулятора не один: он является автором идеи и разработчиком концепции, но само устройство технически изготовил не он. Первая мышь была сделана руками аспиранта Билла Инглиша, а присоединившийся к ним позднее Джеф Рулифсон существенно улучшил конструкцию мыши и разработал для неё программное обеспечение.

В последствии создатели первой мыши получили грант на серийный выпуск своих устройств, и уже конце 1968 года появилась первая полноценная мышь, у которой, в отличие от прототипа была уже не одна кнопка, а целых три.

Следующий этап эволюции компьютерных мышей относится к 70-м годам ХХ века, когда инженеры стали задумываться об удобстве использования компьютеров при сложных технических расчетах. Так, первым запатентованным компьютером, в комплект которого входила мышь, был миникомпьютер Xerox 8010 Star Information System (англ.), представленный ширкой публике в 1981 году, и уже в 1983 году фирма Apple выпустила собственную модель однокнопочной мыши для компьютера Lisa, отметим, что данная конфигурация устройства сохранялась долгие годы. Широкую популярность компьютерная мышь приобрела благодаря использованию в компьютерах Apple Macintosh и позднее в ОС Windows для IBM PC совместимых компьютеров.

Вскоре GUI (Graphic User Interface – графический интерфейс пользователя) вытеснил текстовый ввод-вывод в область специфических задач. К этому времени вместо неудобных колесиков мыши стали оснащаться шариками.

Следующим этапом эволюции компьютерных мышей стало появление оптических манипуляторов, а в последствии, начиная с создания в 2004 г. мышки Logitech MX1000 (Рис6), их лазерных беспроводных аналогов с оптическими и радиоинтерфейсами, а также с индукционным питанием (устройства, производимые компанией A4Tech).

Еще одним вариантом данного манипулятора является трехмерная мышь, способная работать в трехмерном пространстве.

По замыслу конструкторов, использование подобных девайсов даст возможность пользователю свободно перемещаться в трехмерном пространстве, что может пригодиться как в играх, так и при работе с трехмерной графикой. Манипулятор автоматически подстраивается под используемый трехмерный редактор (AutoCAD, Autodesk Inventor, Autodesk 3ds Max). Нажатие, перемещение, поворот или наклон, изменение масштаба изображения и вращение модели — все эти действия можно совершать одновременно. Основной элемент 3D-мыши – контроллер движения, который во всех моделях имеет одинаковый принцип действия. Шесть степеней свободы (три линейных и три угловых) обеспечивают перемещение и вращение модели во всех направлениях. При этом можно отключать степени свободы, инвертировать оси, менять местами функции Приблизить/Удалить и Вверх/Вниз. Скорость перемещения/вращения зависит от усилия, прилагаемого к контроллеру движения. Чувствительность к усилию настраивается через панель настройки.

Заслуживают внимания и графические планшеты (устройства компании Wacom, Genius и др.), которые особенно ценятся художниками и архитекторами, работающими за компьютером. Никакой другой манипулятор не позволяет добиться столь же правдоподобной имитации карандаша или кисти. Перо графических планшетов призвано компенсировать «неуклюжесть» мыши в художественных вопросах. К примеру, система от Genius WizardPad различает 256 степеней давления на перо. Разрешение планшета достигает 2540 линий на дюйм, а площадь его рабочей поверхности составляет 4-5 дюймов.

Планшет имеет последовательный интерфейс. Устройство снабжено драйверами для большинства операционных систем Microsoft, включая DOS и Windows 3.xx/95.

В отдельную группу можно выделить манипуляторы для ноутбуков. Как известно, мыши не всегда подходят для работы в дороге, а трекболы достаточно сложно встроить в тонкий корпус устройства. Здесь им на смену приходят тачпады (TouchPad - сенсорная панель).

Сенсорная панель была изобретена в 1988 году Джорджем Герфайде. Позднее корпорация Apple лицензировала его проект и, начиная с 1994 года стала использовать в ноутбуках PowerBook. С этого момента, тачпад стал наиболее распространенным устройством управления курсором для ноутбуков. Работа тачпадов основана на измерении ёмкости пальца или измерении ёмкости между сенсорами. Ёмкостные сенсоры расположены вдоль вертикальной и горизонтальной осей тачпада, что позволяет определить положение пальца с нужной точностью. Разновидностью тачпадов является TouchWriter, он отличаются тем, что способен воспринимать нажатие как пальцами, так и любыми предметами (основанием карандаша, стилусом).

Ранее производители ноутбуков использовали вместо тачпадов миниджойстики (трекпоинты), расположенные в центре клавиатуры и трекболы. Трекпоинт - Pointing stick был изобретён ученым-исследователем Тедом Зелькером, и впоследствии зарегистрирован компанией IBM под торговой маркой TrackPoint. Традиционно такой джойстик имел заменяемый резиновый кожух, который для удобства пользователя изготавливают из шершавого материала. Курсор управляется определением примененной силы (отсюда и название тензометрический джойстик), для этого используется пара резистивных датчиков деформации (резистивных тензодатчиков). Вектор перемещения курсора определяется в соответствии с примененной силой. Основным недостатком устройства являлся дрейф курсора, требующий частой повторной калибровки. Поэтому с временем от его внедрения отказались.

Для того чтобы использование манипуляторов, встроенных в ноутбук не стало серьезным стрессом для пользователя, производители изобретали все новые девайсы. Одним из таких решений был комплект Mouse Tablet (модель MT-604C) производства WinPal Electronics. В его состав входил графический планшет, электронное перо и трехкнопочная мышь без шарика. Отметим, что комплект при использовании потреблял внушительные объемы электроэнергии, а к набору Mouse Tablet прилагается внушительный пакет драйверов и программного обеспечения. Смена активного устройства (то есть переход с пера на мышь и наоборот) осуществлялась нажатием любой кнопки соответствующего манипулятора. Скажем, при нажатии на кончик пера последнее становилось активным; тот же эффект достигается и нажатием на левую кнопку мыши. Графический планшет и перо могли работать в режимах как прямого взаимодействия с экраном монитора (absolute coordinator), так и и косвенного (relative). Меню драйвера Mouse Tablet позволяло также откалибровать перо и мышь, задать площадь рабочей поверхности и подстроить перо-мышь в соответствии с предпочтениями пользователя.

Существенными недостатками приспособления были: 1. из-за использования в Mouse Tablet электромагнитной технологии планшет мог подвергаться воздействию помех со стороны других элементов компьютера (например, монитора). Кроме того, он не переносил температуру выше 40°С, так что чашка горячего кофе на столе запросто могла оказаться для него «смертельной». Еще один серьезный недостаток: несовместимость со стандартными манипуляторами, поддерживаемыми Windows: в случае входа в safe mode Mouse Tablet прекращала функционировать, и, более того, могла «потащить» за собой клавиатуру, что существенно тормозило процесс работы.

Технологии наших дней

Что касается современных технологий, отметим, что в последнее время пользователи отдают предпочтение сенсорным экранам, созданным специально для уменьшения размера КПК. Их можно встретить и в карманных компьютерах, и в смартфонах, и в Tablet PC, и во всевозможных терминалах. Одним из основных недостатков сенсорных панелей всегда считалось отсутствие обратной тактильной связи, в результате ими было невозможно пользоваться вслепую. Однако американская компания Immersion предложила выход иразработала технологию TouchSense, добавляющую чувствительным экранам функцию обратной отдачи.Технология была впервые продемонстрирована на 19-дюймовом экране в 2005 году, а ее долгожданное перенесение на мобильные устройства запланировано на 2010-2011 год.

Зачастую управление сенсорным экраном осуществляется при помощи стилуса, устройства, выполненного в виде маленького тонкого пера со специальным наконечником. Прародителем стилуса является световое перо (англ. light pen). 

Внешне устройство имело вид шариковой ручки или карандаша, соединённого проводом с одним из портов ввода-вывода компьютера. Обычно на световом пере была одна или несколько кнопок, которые нажимались рукой, удерживающей перо. Ввод данных с помощью светового пера производился путем проведения линий пером по поверхности экрана монитора. В наконечник пера устанавливался фотоэлемент, который регистрировал изменение яркости экрана в точке, с которой соприкасалось перо, за счёт чего соответствующее программное обеспечение вычисляло позицию, «указываемую» пером на экране. Кнопки на световом пере использовались аналогично кнопкам мыши — для выполнения дополнительных операций и включения дополнительных режимов.

Благодаря сенсорным экранам развитие получила технология мультитач (англ. multi-touch) – функция сенсорных систем ввода, осуществляющая одновременное определение координат двух и более точек касания. Мультитач-экраны позволяют работать с устройством одновременно нескольким пользователям, а также с максимальной точностью определять координаты точек касания. Правильное распознавание всех точек касания увеличивает возможности интерфейса сенсорной системы ввода. Наиболее популярной формой мультитач устройств являются мобильные устройства (iPhone, iPad, IPod Touch), мультитач столы (например: Microsoft Surface) и мультитач стены.

Использование технологии началось с сенсорных экранов (touchscreen) для управления электронными устройствами. Создатели первых синтезаторов и электронных инструментов, Hugh Le Caine и Bob Moog экспериментировали с использованием тач-сенсоров емкостных датчиков для контролирования звуков, издаваемые их инструментам.

Мультитач-стол представляет собой пьедестал со стеклянной поверхностью-столешницей, которая служит экраном для проектора, расположенного в его основании.На таком столе может отображаться различный мультимедийный контент: презентации, ролики, слайд-шоу. Связь пользователя и системы обеспечивает интерактивная пленка (touch screen), наклеенная на стеклянную поверхность, также при помощи специального программного обеспечения она позволяет управлять контентом.

В отличие от сенсорных экранов мультитач-стол дает более широкие и гибкие возможности управления объектами: пользователь может применять функции множественного касания, а также изменять мультимедийные объекты, например, увеличивать, уменьшать, вращать, перемещать изображения. Еще одним преимуществом мультитач-столов является возможность для нескольких пользователей одновременно работать в пределах единой системы, управляя большим объемом информации.

В отдельную группу следует отнести игровые манипуляторы. К ним относятся джойстики, геймпады, компьютерные рули и штурвалы, танцевальные платформы, kinect и др.

Интересно, что некоторые современные игровые манипуляторы обладают эффектом обратной отдачи (технология Force Feedback). Первые подобные девайсы появились в 90-х годах в США, когда компания Immersion, получив от госструктур заказ на создание тренажера для хирургов, решилась попробовать перенести в игровое пространство одну из созданных технологий. Изобретением заинтересовались военные. В последствие Военное ведомство США приобрело партию новых манипуляторов для тренировки пилотов. Так в начале 1996 г. Immersion выпустила первый серийный джойстик Force-FX.

После этого началось активное серийное производство игровых рулей, штурвалов и т.п. Другой интересной технологией в сфере игровых манипуляторов стали гироскопы, с помощью которых реализована возможность определения изменения местоположения джойстика в пространстве. Их массовое внедрение началось с приставок нового поколения Nintendo Wii и Sony PlayStation 3.

Интересным современным устройством ввода является Kinect (ранее Project Natal).

Игровой «контроллер без контроллера» для Xbox 360 разработан фирмой Microsoft. Основанный на добавлении периферийного устройства к игровой приставке Xbox 360, Kinect позволяет пользователю взаимодействовать с ней без помощи игрового контроллера через устные команды, позы тела и показываемые объекты или рисунки. Впервые девайс был представлен 1 июня 2009 г. на выставке E³, где Microsoft продемонстрировал несколько методик применения технологии: Рикошет — Breakout-подобная игра, в которой используется всё тело для отбивания мячей разбивающих блоки и Paint Party — в которой игрок может разбрасывать краску на стену. Игрок может выбирать цвет голосом и использовать позы тела для создания трафаретов. Визуально Kinect выглядит следующим образом: это горизонтально расположенная коробка на небольшом круглом основании, которую помещают выше или ниже дисплея. Ее размеры: примерно 23 см в длину и 4 см в высоту.

Устройство состоит из двух сенсоров глубины, цветной видеокамеры и микрофонной решетки. Проприетарное программное обеспечение осуществляет полное 3-х мерное распознавание движений тела, мимики лица и голоса. Микрофонная решетка позволяет Xbox 360 производить локализацию источника звука и подавление шумов, что дает возможность говорить без наушников и микрофона Xbox Live.Датчик глубины состоит из инфракрасного проектора объединенного с монохромной КМОП-матрицей, что позволяет датчику Kinect получать трёхмерное изображение при любом естественном освещении. Диапазон глубины и программа проекта позволяют автоматически калибровать датчик с учётом условий игры и окружающих условий, например мебели, находящейся в комнате.

Как эволюционируют манипуляторы в недалеком будущем - нам остается только предполагать. В ближайшее время станут совершенными системы распознавания компьютером человеческой речи и почти всеми техническими устройствами можно будет управлять при помощи голоса; возможно, возникнут полноценные тактильные интерфейсы, позволяющие, к примеру, геймерам все, что происходит с их героем во время игры.

Ведутся разработки и нейронных интерфейсов. Уже известно несколько случаев, когда люди, прикованные к инвалидной коляске, согласились участвовать в эксперименте по вживлению в мозг специального имплантанта, благодаря которому смогли управлять курсором на экране монитора исключительно при помощи «силы мысли». В общем, сюжет фильма «Суррогаты» в скором времени может воплотиться в реальность.

Однако отмечу, что как и в жизни, новшества в работе с манипуляторами хороши лишь до тех пор, пока программа работает как часы. Мельчайшая неполадка в работе операционки - и все нестандартные устройства с их фирменными драйверами мгновенно «слетают», а рядовому юзеру останется лишь любоваться графическим интерфейсом, судорожно вспоминать (если знает) «горячие клавиши» и сожалеть о том, что не взял с собой обычную компьютерную мышь.