Управление на машини с жестове Това се е превърнало от научнофантастична концепция в реалност, която вече присъства в автомобили, роботи, медицински устройства, видеоигри и умни домове. Все по-често системите са способни да разберат вдигната ръка, завъртане на китката или просто движение на ръката и да го трансформират в конкретна команда, без да се налага да докосваме екран, дистанционно управление или клавиатура.
Тази нова форма на взаимодействие се основава на два основни стълба: машинно зрение и усъвършенствани сензори, комбинирани с изкуствен интелектБлагодарение на моделите за дълбоко обучение, RGB камерите, сензорите за дълбочина, високопрецизните носими устройства и много фините алгоритми за филтриране на шума, вече е възможно да се пилотират дронове, да се насочват коботи, да се контролират светлини или да се навигира в информационно-развлекателна система с естествен и удобен жест, дори в среда, пълна с вибрации или движение.
Какво точно е контролът с жестове и защо набира популярност?
Когато говорим за разпознаване или контрол на жестове, имаме предвид способността на машината да „разбира“ човешките движения (на ръце, предмишници или цялото тяло) и да ги превърнете в цифрови действия. Вместо да натискате бутон или да докосвате екран, предварително дефиниран жест е достатъчен, за да се изпълни команда.
В много съвременни системи, особено тези, които разчитат на камери, фокусът е върху ръцете: Ръцете се разпознават в изображението и движението им се проследява.Формата или позицията на пръстите му се анализират и оттам нататък жестът се класифицира в рамките на известен набор, за да активира конкретно действие.
За да се постигне това, моделите за компютърно зрение се обучават с големи набори от изображения и видеоклипове, обозначени с различни жестове. Колкото по-разнообразни са данните за обучение (различни хора, разнообразни условия на осветление, сложни фонове, ръце с ръкавици и др.), толкова по-добре обобщава моделът и толкова по-надеждно е разпознаването в реални среди.
Успоредно с това се появиха решения, които избират преносими и носими сензори — като например Ръкавици за сензорен екран с Arduino— поставя се на китката или е интегриран в облеклотоТези сензори са способни да улавят микро-вариации в налягането, ускорението и ориентацията на ръката. В тези случаи жестът се интерпретира от сигналите на сензорите, без да се разчита толкова много на камерата или условията на осветление.
Видове жестове: статични, динамични и ежедневни жестове
В системите за взаимодействие човек-машина жестовете обикновено се разделят на статични жестове и динамични жестовеТова разграничение е ключово, защото определя начина, по който са проектирани моделите на изкуствен интелект и необходимите сензори.
Статичните жестове са фиксирани пози на ръцете или тялотоТипични примери включват вдигнат палец нагоре, отворена длан, сигнализираща „стоп“, знак за мир или свит юмрук. Тъй като не включват движение, в повечето случаи могат да бъдат разпознати от едно изображение или конкретен момент от сигнала на носимото устройство.
Динамичните жестове, от друга страна, Те зависят от това как се движи ръката с течение на времетоТези жестове включват махване, плъзгане настрани, махване за смяна на екрани или рисуване на кръг във въздуха за увеличаване или намаляване на силата на звука. Системата трябва да анализира поредица от кадри или сензорни проби, за да разбере траекторията и скоростта на жеста.
В най-модерните устройства, като например някои носими устройства за изследвания, е възможно дори да се измери много фини микрожестове благодарение на гъвкави сензори с висока резолюцияс точност от около 0,01 градуса на ориентация. Това позволява откриването на почти незабележими вариации на китката, като по този начин се увеличава репертоарът от възможни жестове, без да е необходимо обемисто оборудване или контролирани лаборатории.
Ролята на компютърното зрение и ключовите задачи на изкуствения интелект
Много от системите, които управляват машини с жестове, разчитат на алгоритми за компютърно зрение, изпълнявани в реално време. От стандартни RGB камериС помощта на сензори за дълбочина или камери за измерване на времето на полет, машината може да види какво прави потребителят и да реагира мигновено, без да е необходимо потребителят да носи допълнително оборудване.
Съвременните модели, като например семейства от тип YOLO и други архитектури за дълбоко обучение, позволяват паралелна обработка. задачи като откриване и проследяване на обекти, оценка на позицията на ръката или сегментиране пиксел по пиксел. На практика най-честите задачи, свързани със зрението, при управление на жестове са:
- откриване на обектЛокализирайте къде се намират ръцете във всеки кадър, обикновено чрез рисуване на ограничителни рамки. Това позволява на системата да се фокусира върху съответната област и да намали фоновия шум.
- Проследяване на обектиЗапазването на идентичността на всяка ръка във времето е от съществено значение за динамичните жестове и за да се избегне объркване, ако на сцената има няколко души.
- Оценка на стойкатаИзвличане на ключови точки от ръката (върхове на пръстите, кокалчета, китка), за да се изгради опростен „скелет“, който улавя формата и извивката на пръстите, идеален за разграничаване на подобни жестове, но с различни позиции на пръстите.
- Сегментиране на инстанции: отделете ръцете от фона на ниво пиксел и разграничете всяка ръка (или всеки човек), дори когато се припокриват или изглеждат много близо една до друга.
В реална система тези задачи Те обикновено се комбинират в един и същ потокПърво се откриват ръцете, след това се проследяват, след това се оценява позата, когато са необходими фини детайли, а ако сценарият е сложен или има много хора, се използва и сегментиране за подобряване на точността.
Над този слой на компютърното зрение е модулът за класификация на жестове, който приема като входни данни последователността от позиции или формата на ръката и решава кой жест се изпълнява. Накрая, друг софтуерен модул преобразува този жест в команда, която машината може да разбере: паузиране на видео, преместване на робот, отговаряне на повикване или включване на светлина.
Високопроизводителни носими устройства за управление на роботи и машини
В допълнение към камерите, следните функции придобиват все по-голямо значение: специализирани носими устройства за управление с жестовеПодходящ пример е работата на екип от Калифорнийския университет в Сан Диего (UCSD), който е разработил носимо устройство, способно да трансформира фините движения на тялото в надеждни команди за роботи и машини в силно динамична среда.
Това устройство се поставя на китката или е интегрирано в ръкава на дреха и комбинира гъвкави сензори, базирани на химични и нанотехнологични компоненти с алгоритми за дълбоко обучение, които филтрират шума в реално време. По този начин, дори когато потребителят се движи рязко или е заобиколен от вибрации, системата е в състояние да извлече съответния жест и да поддържа стабилен контрол.
Ключът се крие във факта, че изкуственият интелект се фокусира върху да се разграничат умишлените жестове от неволните движенияДокато човек ходи, тича или се качва по стълби, носимото устройство автоматично елиминира това „замърсяване“ от сигнала и запазва само информацията, полезна за управление на дронове, подводни роботи, домакински уреди или роботизирани ръце.
Латентността е друг критичен момент в този тип решение: екипът на UCSD е успял да накара системата да обработва сензорните данни и да генерира командата в по-малко от 100 милисекунди, нещо от съществено значение за приложения в реално време, като например пилотиране на мобилни роботи или физическа помощ чрез екзоскелети.
Благодарение на високата прецизност на техните сензори (способни да откриват изключително малки вариации в ориентацията) и подхода, устойчив на шум, тези носими устройства могат разпознава до 20 различни вида жестове с процент на успех над 95%, дори при вибрации и резки движения, типични за индустриална или военна среда.
Управление с жестове в HMI: сензорни екрани, промишленост и здравеопазване
В областта на човеко-машинните интерфейси (HMI), управлението с жестове променя начина, по който операторите и потребителите комуникират с машините. В много случаи то се комбинира със сензорни екрани, но... осигуряване на допълнителен слой безконтактно взаимодействие което прави преживяването по-естествено и гъвкаво.
В автомобилния сектор, например, все повече превозни средства включват жестове за взаимодействат с информационно-развлекателната система или с определени функции на кабинатаРегулирането на силата на звука, приемането на повикване, смяната на песни или навигирането в менютата може да се извърши с прост жест с ръка във въздуха, което помага на водача да държи очите си на пътя по-дълго и намалява времето за взаимодействие с екрана.
В индустриалната автоматизация, HMI с поддръжка на жестове позволяват на работника Управлявайте сложни машини с прости движениябез да е необходимо да се натискат физически бутони или сензорни панели, които биха могли да се замърсят. Това е особено интересно в сектори като хранително-вкусовата промишленост или фармацевтиката, където хигиената е от съществено значение.
В здравната среда жестовете се използват, за да позволят Взаимодействие с медицинско оборудване без ръцеХирургът може например да манипулира радиологични изображения по време на процедура, без да докосва екрана, намалявайки риска от кръстосано замърсяване. Появяват се и приложения в рехабилитацията, където пациентите извършват жестове, които системата оценява, за да насочва упражненията и да наблюдава възстановяването на двигателните умения.
Същата логика важи и за потребителската електроника: телефони, таблети, телевизори и интелигентни високоговорители включват функции, базирани на движенията на ръцете, в допълнение към докосването и гласа. Плъзнете, щипнете, „докоснете“ във въздуха или направете жест за спиране Те се превръщат в разпознаваеми действия за пауза на съдържание, превъртане напред, връщане назад или превключване между приложения.
Колаборативна роботика и управление с жестове в индустрията
В съвременните производствени среди, колаборативните роботи (коботи) са проектирани да споделяне на пространство с хора без предпазни бариериВ този сценарий, управлението с жестове е много мощен инструмент за операторите, които им позволяват да насочват робота интуитивно и дистанционно, подобрявайки безопасността и ергономичността.
Практически пример може да се намери в решения, където моделите за машинно зрение са обучени да разпознават Прости жестове като отваряне на ръка, свиване на юмрук, посочване или показване на палец нагоре или надолу.Всеки от тези жестове е свързан с команда: стартиране на движение, спиране, промяна на посоката, потвърждаване на действие и т.н.
Компании като Siemens са демонстрирали системи от този тип в иновационни центрове като Центъра за цифрово преживяване в Барселона. В техния случай управлението с жестове на робота е интегрирано с... усъвършенствани индустриални контролери (като SIMATIC S7-1500) и платформи за визуализация от типа WinCC Unifiedтака че една и съща концепция да може да бъде адаптирана към различни модели роботизирани рамена.
Операторът застава пред колаборативния робот и, използвайки предварително обучени жестове, Той изпраща команди, които контролерът интерпретира като заповеди за движение.Използването на машинно обучение и компютърно зрение в реално време гарантира, че много често срещани жестове (отваряне на длан, затваряне на юмрук, посочване в посока) се разчитат правилно, дори ако средата е търговски панаир, работилница с множество хора или производствена линия с известно визуално претрупване.
Тези видове демонстратори не само илюстрират предимствата за безопасност (няма нужда да докосвате робота или да се приближавате до контролните панели), но също така служат за намаляване на бариерата за навлизанеВсеки, дори без напреднало обучение по програмиране, може бързо да разбере как да каже на робота какво да прави.
Интегриране на глас, жестове и компютърно зрение в интелигентни роботи
Отвъд обикновения жест, някои технологични центрове работят върху Мултимодални интерфейси, които комбинират глас, жестове и компютърно зрениеTekniker, например, е разработила решения, базирани на дълбоко обучение на изображения и обработка на естествен език, за да улесни допълнително съвместното съществуване между хора и роботи в индустриална среда.
В един от демонстрационните си модели, колаборативен робот за събиране на отпадъци от контейнери е интегриран със софтуерен слой, който позволява на потребителя избиране на обекти с помощта на гласови команди или жестове и да се посочи в коя област трябва да бъдат поставени. Машинното зрение идентифицира кои части са в контейнера, кой артикул ще бъде взет следващият и визуално потвърждава, че действието се изпълнява правилно.
При този тип решение потокът е ясен: работникът посочва чрез жест или фраза желания обект и мястото за съхранение. Изкуственият интелект интерпретира тази командаСистемата за комплектоване от контейнера локализира подходящата част, използвайки 3D зрение, а коботът извършва маневрата, докато камерата наблюдава операцията.
Зад тези „естествени“ интерфейси стоят техники като машинно обучение, дълбоко обучение, модели за разпознаване на обекти, невронни мрежи за разпознаване на жестове и алгоритми за разсъждение върху данни. Всичко това е интегрирано, за да... създаване на съвместни и дигитализирани среди където взаимодействието с автоматизираната система е възможно най-близко до работата с друг човешки оператор.
Очевидното предимство е, че потребителят не е необходимо да програмира или да знае вътрешната логика на робота: Жестовете и думите се превръщат в команди на високо ниво които системата превежда в технически инструкции, доближавайки усъвършенстваната роботика до много по-широки профили в завода.
Управление с жестове със специални сензори: случаят с PAJ7620
Не всичко включва сложни модели на зрение или носими устройства за изследвания. За образователни проекти, производители или малки роботи има възможност за специфични сензори за разпознаване на жестове като например PAJ7620, които се свързват с микроконтролера чрез I2C.
Този тип сензор обикновено вече включва набор от предварително зададени основни жестове (Движете ръката си наляво, надясно, нагоре, надолу) и изпраща код към микроконтролера въз основа на засеченото движение. Оттам програмата интерпретира този код като команда за робота.
Типичен пример е управлението на малка роботизирана ръка или образователна платформа: С жест наляво, роботът се завърта в тази посока.Жест надясно завърта робота на другата страна; движение нагоре повдига ръката; движение надолу я сваля. Една единствена програма позволява логиката да се използва повторно както в образователен робот, така и в дъска, предназначена за STEAM проекти (като microSTEAMakers).
Въпреки че този подход е по-прост от системите, базирани на дълбочинно виждане, той е идеален за запознайте се с концепцията за управление на машини с жестове, прототипни идеи и обучение на учениците как да превеждат физическото взаимодействие в цифрови команди по практичен и визуален начин.
Освен това, тези специализирани сензори са сравнително евтини и улесняват повече хора могат да използват безконтактни интерфейси, разширявайки екосистемата от проекти, които се възползват от контрола с жестове, отвъд големите компании или изследователските центрове.
Предимства, предизвикателства и бъдеще на машинното управление, базирано на жестове
Сред основните предимства на жестовия контрол е огромният му капацитет за правят взаимодействието по-интуитивно и достъпноИзвършването на жест често е толкова естествено, колкото манипулирането на физически обект, което намалява кривата на обучение и позволява на хора с малко технологични познания да боравят със сложни системи с относителна лекота.
Това също така предоставя ясни ползи в безопасност и хигиенаКато не докосвате екрани, бутони или контролни елементи, разпространението на микроби е ограничено и се избягва необходимостта от доближаване до потенциално опасни зони на машината. Това е от значение в операционни зали, производствени линии за храни, фармацевтични лаборатории или заводи, където физическият достъп до контролните елементи може да бъде рискован.
Друг ключов аспект е оперативна ефективност и възможност за работа от разстояниеОператорът може да наблюдава или настройва машини от всяка точка на помещението, просто като се намира в зрителното поле на камерата или сензора. В среди с множество роботи е възможно да се предвидят сценарии, в които няколко потребители използват жестове, за да управляват различни машини едновременно, без да се намесват.
Технологията обаче не е без своите предизвикателства. Фактори като Лошо осветление, силни сенки, отражения или нискокачествени камери Тези фактори могат сериозно да влошат работата на системите, базирани на зрение. По подобен начин естествената променливост в начина, по който се изпълнява даден жест (размер на ръката, ъгъл, скорост, наличие на ръкавици или аксесоари), въвежда несигурност.
Някои модели също страдат, когато движенията са твърде бързи, което води до размазване при движение или загуба на ключови кадри. За да се сведат до минимум тези проблеми, се използват следните техники: по-висококачествени сензори, по-висока честота на опресняванеалгоритми за компенсация на движението и, в случай на усъвършенствани носими устройства, техники за филтриране на шума, базирани на дълбоко обучение.
Гледайки напред, всичко сочи към комбинацията от по-добри сензори, по-стабилни модели на изкуствен интелект и по-голяма изчислителна мощност в периферията Това ще направи изграждането на безконтактни интерфейси все по-лесно. Ще видим повече контрол с жестове, интегриран в автомобили, домове, фабрики, болници, видеоигри и преживявания с добавена и виртуална реалност, с по-богати и по-персонализирани каталози с жестове.
Екосистемата от технологии за управление на машини с жестове – от прости I2C сензори до прецизни носими устройства, включително 3D камери и сложни индустриални HMI интерфейси – се насочва към... една-единствена цел: да направим взаимодействието с роботи и устройства толкова естествено, колкото говоренето или движението на ръцете си.С усъвършенстването на предизвикателствата, свързани с прецизността, приемането от потребителя и интеграцията със съществуващите системи, контролът с жестове се утвърждава като централен елемент в еволюцията на взаимодействието човек-машина.
