Приложения с анализ на походка и използване на изкуствен интелект
Приложения с анализ на походка и използване на изкуствен интелект
Автоматизираният анализ на походка се отнася за всяка техническа система за анализ на данни, отразяващи човешка походка, която използва изкуствен интелект. Това е развиваща се изследователска област, която черпи от съвременните технологични постижения в областта на сензорите, автоматизацията, облачните изчисления, анализа на данни, паралелната обработка и Интернет на нещата (IoT).
Някои от най-значимите задачи, които автоматизираният анализ на походка изпълнява, са откриване на фазите на походката, предсказване на събития в походката, разпознаване на физическа активност, откриване на падания, разпознаване на възраст и пол, откриване на отклонения в походката при състояния като умора, инсулт и неврологични заболявания, болест на Паркинсон; оценка на ъгли и моменти в ставите; разпознаване на намеренията и предсказване на траекторията на ходещия; оценка на позата; локализация и картографиране; персонална идентификация; повторна персонална идентификация и удостоверяване на личността; броене на крачки (педометър), оценка на физическите умения и мобилността; оценка на баланса; оценка на риска от падане; моделиране и симулация на походката. Често автоматизираният анализ на походка изпълнява едновременно две или повече задачи.
Системите за автоматизиран анализ на походка могат да анализират едновременно походката едно лице или множество лица. Анализът на походка на множество лица (група) се прилага при задачи като мониторинг за присъствие и наблюдение на големи групи от хора, предсказване на поведението на големи групи от хора, разпознаване на походка в група от лица, напр. при идентифицирането на лице, което върви в група с едно или повече други лица; генериране на данни за походка на множество лица при анимация и виртуални среди; откриване на необичайна походка в големи групи от хора или на закрито за приложения в сигурността. Така автоматизираният анализ на походка се явява интелигентен инструмент в много области като здравеопазване, системи сигурност, осигуряване на поверителност на потребителите, криминалистика, подобрено потребителско изживяване, анимация, носими устройства и свързани области като застраховане, мерки за осигуряване на дълголетие, гериатрия, осигуряване на безопасност на работното място и поддържане на продуктивността. Автоматизираният анализ на походка също така може лесно да се интегрира с други интелигентни системи, които използват сърдечен ритъм, аудио, хаптични технологии, реч и др., за още по-широко приложение. Поради това автоматизираният анализ на походка е компонент на много интелигентни устройства и системи, напр. при интелигентни домове и градове.
Приложенията на изкуствения интелект, базирани на походка, могат да бъдат групирани в шест ключови направления:
1) Анализ на походката, където техниките за анализ се подобряват чрез използване на алгоритми за изкуствен интелект;
2) Здраве и благополучие, с приложения в мониторинг на походката за откриване на отклонения в походката; разпознаване на физическа активност, откриване на падания и анализ на спортни постижения;
3) Проследяване на поза, обхващащо проследяване и локализация на едно или няколко лица;
4) Биометрия на базата на походка, с приложения в идентификация на лица, удостоверяване и повторно удостоверяване на лица, както и разпознаване на пол, възраст и раса;
5) Приложения за анализ на походка, използващи носими сензорни устройства, включително чорапи и обувки с вградени сензори както и приложения в умни домове и търговски обекти, които включват системи за непрекъснато наблюдение и контрол;
6) Анимация, при която се реконструира двигателната активност чрез използване на данни за походка, моделиране и симулация на походка и техники за машинно обучение.
Техниките за машинно обучение се използват успешно за подобряване на много аспекти на анализа на походката. В този контекст изкуственият интелект подпомага: агрегирането и предварителната обработка на данните; работи заедно с друг изкуствен интелект, за да подобри неговата производителност, интерпретируемост или точност; класифицира фазите на походката и предсказва събитията в походката.
Агрегиране на данни и предварителна обработка с помощта на техники за машинно обучение
Моделите за дълбочинно обучение могат автоматично да извличат оптималните признаци директно от сурови спатиотемпорални данни за походка, без да е необходимо предварително обработване или инженеринг на данните. От друга страна, когато се използват конвенционални техники за машинно обучение, се полага много работа за извличане и избор на признаци, за да се гарантира, че входните признаци обясняват по-голямата част от дисперсията в данните и постигат добро представяне и висока точност на алгоритъма. От шестте често използвани техники за предварителна обработка на данни - филтриране на силата на реакция на опората, изчисляване на времева производна, времева нормализация, намаляване на данните, нормализация на тегловните коефициенти и мащабиране на данните - е установено, че единствено филтриране на силата на реакция на опората и техниките под учител за намаляване на данните, като например анализът на главните компоненти (PCA), увеличават производителността на класификаторите; при това, случайната гора (Random Forest, RF) е по-устойчив при намаляване на броя на признаците в сравнение с опорните вектори (Support Vector Machines, SVM), многослоен перцептрон (Multi-Layer Perceptron, MLP) и конволюционните невронни мрежи (CNN).
PCA е техника за намаляване на размерността, която трансформира изходното пространство на признаците в набор от линейно некорелирани променливи, наречени главни компоненти (PCs). Обикновено първите няколко главни компоненти са достатъчни, за да обяснят по-голямата част от дисперсията в данните. Например при биомеханиката на бягането,главните компоненти от нисък ред (които обясняват до 90% от натрупаната дисперсия в данните) могат успешно да се използват за разпознаване на възраст и пол. Все пак, по-фините модели на поведение при бягане, като например вариациите между групи след 6-седмична рехабилитационна програма на бегачи с пателофеморален болков синдром (PFP), могат да бъдат уловени от междинни и високи редове главни компоненти (които съответно обясняват 90–99% и 99–100% от дисперсията на данните).
Други съображения при внимателния подбор на входните признаци включват избягването на прекомерно напасване, подобряване на интерпретируемостта, особено в медицинските приложения, намаляване на енергоразхода на носимите сензори, подобряване на комфорта на пациентите, подпомагане чрез изкуствен интелект на справедливото отношение към хората с увреждания и подпомагането на потребителското изживяване. За да се постигне възможно най-висока точност, обикновено е необходимо да се използват по-сложни сензорни системи. При обработката на данните целта е да се приложи редукция и селекция на признаците, за да се избегнат излишни признаци и да се извлекат само значимите признаци с минимална конфигурация от сензори. За да се подобри интерпретируемостта чрез запазване и класиране на оригиналните признаци се използва информационната печалба (IG), а не PCA.
Подобряване или осигуряване на работата на основните модели за разпознаване чрез индиректно приложение на допълнителни модели
Модели за разпознаване могат да се използват за осигуряване на по-добра работа на основния модел за разпознаване. Такива задачи са определяне на оптималния брой на сензори и тяхното разположение. Дефиницията за „по-добра работа“ се определя въз основа на конкретната задача. Това включва по-добра производителност, по-висока точност на разпознаване, по-добра интерпретируемост, устойчивост, по-ниска цена, по-нисък енергоразход, намалена обща сложност на системата, ненатрапчива сензорна технология и автоматична обработка в реално време.
Пример за осигуряване на работата на основния модел за разпознаване чрез друг модел е когато се използва модел за анотиране на данни, които ще се използват за обучение на основния модел за разпознаване.
Класификация на фазите на походката и предсказване на събития в походката
Анализът на походката оценява модела на ходене на дадено лице, който се разглежда като последователност от цикли. Всеки цикъл се измерва от момента на първоначален контакт на петата на единия крайник с повърхността, до повторния такъв контакт на същия крайник. Двете основни фази на походката са фазата на опора и фазата на мах. В зависимост от причината за анализа на походката, откриването само на тези две фази може да бъде достатъчно. Това опростяване позволява по-малко сложен и по-евтин анализ на походката, което е желателно, особено в носими системи (Di Nardo et al., 2020). По-често срещаният четирифазен цикъл включва начален контакт, средна опора, преди мах и мах (Jiang et al., 2018). Значението на изкуствения интелект в тези изследвания е в улесняването на анализа на походката в реално време, което е ценено в много контролни устройства като ортези и протези, мониторинг за рехабилитация и системи за откриване на падания за приложения за остаряване на място. (Вижте Таблица 2).
Здраве и благополучие
Клиничният анализ на походката, макар сам по себе си да не е надежден за окончателна диагноза на неврологично заболяване или друго увреждане, често подсказва за патология, ако открие модел, различен от типичното поведение при ходене, считано за нормална походка. Нормалната походка е контролирана, координирана и повтаряща се серия от движения на крайниците, които придвижват тялото в желаната посока с минимален енергоразход (Gage et al., 1995). Има четири причини за извършване на клиничен анализ на походката: диагностика, оценка, мониторинг и предсказване (Baker et al., 2016). В тези приложения изкуственият интелект може непрекъснато да наблюдава и изучава данни, да търси модели, да класифицира физическа активност и да открива аномалии. Ако е свързан с дисплей, той е отличен инструмент за мониторинг и оценка. Изкуственият интелект също така предсказва бъдещо събитие, свързано с походката, като в този случай може или да предупреди човешки оператор като клиницист, болногледач или учителник на съоръжение, или ако е интегриран с контролно устройство, да активира автоматичен отговор за предотвратяване на падания или наранявания. Например WeedGait пасивно наблюдава походката на лице и след това го предупреждава, ако е в риск от шофиране под въздействието на марихуана (DUIM) (Li et al., 2019), докато система за рехабилитация в домашни условия предоставя качествена и количествена обратна връзка на оцелелите след инсулт (Lee et al., 2019).
Идентифицирахме четири основни приложения на анализа на походката с машинно обучение в здравеопазването и уелнеса: 1) откриване на необичайна походка поради състояние или заболяване на лице, 2) управление в спорта, 3) откриване на падания и 4) разпознаване на активност.
4.1 Абнормална походка
Изкуственият интелект е добре пригоден за изучаване на модели и откриване на аномалии в данните въз основа на предварително дефинирано ненормално събитие (контролирано обучение) или алгоритъм за клъстеризация (неконтролирано обучение), или комбинация от двете. Много широк спектър от човешки заболявания и състояния могат да повлияят на начина, по който лице ходи, като например Паркинсон (Flagg et al., 2021), (Wahid et al., 2015), Хънтингтън (Acosta-Escalante et al., 2018), АЛС (Aich et al., 2018), идиопатична нормотензивна хидроцефалия (iNPH) (Ishikawa et al., 2019), АСД (Hasan et al., 2018) невромускулни заболявания (Gotlin et al., 2018), педиатрична наследствена спастична параплегия (HSP) (Pulido-Valdeolivas et al., 2018), стареене (Strath et al., 2015), (Costilla-Reyes et al., 2021), деменция (Kenney et al., 2018), (Arifoglu and Bouchachia, 2017), умора (Zhang J. et al., 2014), депресия (Fang et al., 2019), тревожност (Zhao et al., 2019), емоционално състояние (Bhattacharya et al., 2020), двойна задача или ходене, докато се изпълнява когнитивна задача (Costilla-Reyes et al., 2021), остеоартрит на коляното, (Kotti et al., 2017), инсулт (PSH походка), (Cui et al., 2018), (Clark et al., 2015), диабет (Sutkowska et al., 2019), COVID-19 (Maghded et al., 2020), възпаление (Lasselin et al., 2020), (Renner et al., 2021), ниво на физическа активност (Renner et al., 2021), бъбречно заболяване (Yadollahpour et al., 2018), световъртеж (Cao et al., 2021), качество на съня (Liu X. et al., 2019), Тренделенбургова походка (Michalopoulos et al., 2016), артрит (Karg et al., 2015), (Struss et al., 2018), идиопатично ходене на пръсти (Kim et al., 2019), пиянство (Arnold et al., 2015) и влияние на марихуана (Li et al., 2019). Следователно, наблюдението на човешката походка може да предостави ключова информация за здравето на дадено лице. Данните за походката могат да служат като биомаркер сами по себе си или в комбинация с други биомаркери, демографски данни, други измерени или изчислени телесни и здравни параметри (Andersson et al., 2014) и здравни данни, генерирани от пациенти (PGHD) (Jim et al., 2020).
Основната роля на техниките за машинно обучение в този клъстер от изследвания е в класифицирането на 1) здрави контроли от патология или 2) здрави контроли от множество класове функционални нарушения на походката. Някои често използвани думи в тези статии, като ненатрапчив, plug-and-play система, автоматичен, достъпен, интегриран в дома или клиниката, адаптивен и т.н., хвърлят светлина върху възприеманите стойности на тези приложени системи и къде е съсредоточено по-голямата част от изследванията.
Ползите от използването на машинно обучение за откриване на отклонения в походката в здравни приложения са следните:
1) Моделите за дълбочинно обучение могат автоматично да извличат оптималните признаци директно от сурови спатиотемпорални данни за походка, без необходимост от предварителна обработка или инженеринг на данните. (Costilla-Reyes et al., 2021).
2) Комбинация от техники за машинно обучение може да бъде внедрена едновременно, за да изпълнява повече от една задача автоматично. Например, машинното обучение може едновременно да открива патологична походка и автоматично да идентифицира коя част на тялото е най-засегната от заболяването (Dolatabadi et al., 2017).
3) Машинното обучение може да обработва голямо количество данни бързо, включително активно онлайн обучение от потоци на живи и архивирани данни (Flagg et al., 2021).
4) Общността на машинното обучение може да се възползва от съвместните усилия. Това насърчава конкуренцията срещу установени показатели и отворени изследвания, популяризирани от инициативи като предизвикателството за дигитални биомаркери на болестта на Паркинсон (PDDB) DREAM Challenge (Zhang et al., 2020a).
5) Изследванията, базирани на походка, задвижвани от машинно обучение, могат да се възползват от мащабни данни за населението, събрани чрез смартфони, смарт часовници и други носими устройства (Frey et al., 2019), както и от индивидуални или малки по мащаб данни, които лесно се събират на ниска цена чрез широко разпространени техники като MS Kinect (Dolatabadi et al., 2017), смартфони (Pepa et al., 2020), умни обувки с трибоелектрически наногенератор (TENG) (Zou et al., 2020) и чорапи (Zhang et al., 2020g), което ги прави подходящи за използване у дома, в клиники и др. Тези системи могат да се възползват от бързите и продължаващи напредъци в технологиите за сензори, текстил, паралелна обработка, облачни изчисления и IoT мрежи.
От практическа гледна точка, използвайки аналогията с човешки оператор, който управлява автомобил, някои често срещани проблеми с тези изследвания са:
1) Не може да се кара по-бързо от видимостта: проблемът с етикетирането на данни.
Точността на алгоритъма е податлива на човешка грешка по време на етапа на обучение. Например, за да се етикетират данните за обучение в състояния на умора/без умора, бяха използвани субективни самооценени прагове от участниците в едно изследване (Zhang J. et al., 2014). Все пак, възприятието на участниците за умора не е непременно в съответствие с физическите промени и моделите на ходене поради умора (Baghdadi et al., 2021). Дори в по-строги клинични условия, където експерти ръчно етикетират данните, съществува проблемът с променената походка поради контролираната среда. Изследователите обикновено приемат мерки за смекчаване на тези проблеми до известна степен, като изучават нормалното поведение при ходене спрямо ходене на бягаща пътека (Morbidoni et al., 2019), изключват първите няколко крачки от данните от теста за ходене, инструктират участниците да гледат усмивка на стената, за да се разсеят от целенето към платформата за сила за сметка на естественото поведение при ходене (Horst et al., 2019) или скриват сензорите на пода под повърхността за ходене (Slijepcevic et al., 2020).
Необходимо е да се минимизира разстоянието между експерименталната настройка и реалното приложение на системата. Например, използването на система за домашно наблюдение за отклонения в походката беше изследвано (Guo et al., 2019), но субектите, използвани в изследването, бяха здрави хора, които имитираха абнормални походки като вътрешно завъртане на стъпалата, външно завъртане на стъпалата, падане на стъпалото, супинация и пронация. За да се изучи походката на пациенти с деменция, беше предложен изкуствено генериран набор от данни (Arifoglu and Bouchachia, 2017), където набор от данни за нормални ежедневни дейности беше инжектиран с примери за пропуснати или повторени дейности през деня и нарушения на съня през нощта, за да се имитират абнормалните дейности, които хората с деменция биха проявили. Двуног робот, който имитира човешкото движение, беше използван за обучение на данните за разпознаване на увреждане на предната кръстна връзка (ACL) на коляното (Zeng et al., 2020). Често изследванията се извършват върху субекти с нормална походка и не могат да бъдат разширени до патологична походка. Trewin et al. (2019) обсъждат съображенията за справедливост за хората с увреждания и очертават няколко насоки относно обхвата на проблема, източниците и предварителната обработка на данните, обучението на AI моделите и внедряването. Те подкрепят инклузивен, участнически и чувствителен към ценностите дизайн.
По подобен начин съществува и проблемът с малкия размер на извадката. Като се има предвид клиничният характер на тези изследвания и участниците с нарушена походка, които те изискват, бариерите пред експерименталното събиране на достатъчно данни са разбираеми. Например, 19 здрави участници трябваше да дадат съгласие за интравенозно инжектиране на липополизахарид, за да се предизвика възпаление в проучване за уморена походка и получиха по 3500 SEK всеки (Lasselin et al., 2020). В някои сценарии броят на входните признаци е по-голям от размера на извадката (Zhang et al., 2015). В други случаи размерът на извадката е твърде малък, за да бъде достатъчно представителен и да подкрепи напълно каквито и да било твърдения, което свежда статията до нивото на изследователско усилие (Baghdadi et al., 2021). В други случаи изследователите генерират синтетични данни (Arifoglu and Bouchachia, 2017), които отразяват признаци, подобни на заболяването, за задача за откриване на анормална походка; прилагат техника за дълбоко активно обучение, за да намалят броя на необходимите етикети и съответно времето за ръчно етикетиране в задача за откриване на фази на походка. Накрая, има развиваща се тенденция измерванията да се извеждат извън лабораторията (Russell et al., 2021) и в естествената среда на субектите и да се прилагат техники за дълбочинно обучение за извършване на етикетирането (Costilla-Reyes et al., 2021), (Cronin et al., 2019).
Много от тези техники за агрегиране, предварителна обработка и изучаване на данните често представляват обходни стратегии за справяне с разходите, поверителността на потребителите и клиничните ограничения. Те едновременно опростяват системите и въвеждат някои грешки в тях.
2) Не може да се види в тъмното: Проблемът с черната кутия.
Това се отнася до ниската интерпретируемост на сложни AI системи, което може да представлява проблем, особено в медицинските приложения. Обяснимият изкуствен интелект (XAI) е скорошна тенденция в изследванията на AI, която се опитва да адресира тази загриженост и свързаните въпроси за прозрачност, надеждност и клинично приемане (Dindorf et al., 2020b), (Khodabandehloo et al., 2021). Интерпретируемият дълбок походка е първият опит да се направи анализът на дълбокото обучение по-интерпретируем чрез използване на слойно разпространение на релевантност (LPR), като същевременно се постига висока точност (Horst et al., 2019).
3) Не мога да напусна паркинга: разликата между изследванията и комерсиализацията и необходимостта от одобрение от правителството.
Медицинските устройства, които използват данни и техники за машинно обучение, ще се нуждаят от одобрение от Администрацията по храните и лекарствата (FDA) и общо приемане от медицинските специалисти и техните пациенти. Лекари, клиницисти, терапевти, грижещи се лица и други ще трябва да бъдат готови и способни да приемат новостите на технологията. Към днешна дата авторите не са запознати с никакви медицински устройства, одобрени от FDA, които използват изкуствен интелект и данни за походка. Невродегенеративните заболявания не проявяват симптоми до години след началото си, но клиничната полезност трябва да бъде демонстрирана за одобрението на медицинско устройство. Цената за разработване, инсталиране и поддържане на такива системи също се превръща в пречка за тяхната комерсиализация и практическа полезност (König et al., 2015).
Най-новите постижения изглежда адресират някои от тези притеснения, но те са само в началните фази, а дългосрочните последици за безопасността и поверителността на потребителите, както и тяхната действителна ефективност, предстои да бъдат доказани.
Умората се определя като „по-ниско ниво на сила, физически капацитет и производителност“ (Lu et al., 2017). Откриването на началото на умората и създаването на системи за управление на свързаните с нея рискове е важна част от качеството на производството и инженерството на човешките фактори на работното място.
Измерването и анализирането на походката за наблюдение на умората има смисъл, защото 1) ходенето е задача, която може да бъде проследена чрез ненатрапчива технология, подходяща за работната среда, като видео, носими сензори, радар и силови плочи на пода или всяка комбинация от тях. 2) Ходенето е значителна част от професионалните задачи за работниците в производството, минното дело, строителството, медицинските грижи, складовете и дистрибуционните центрове (Baghdadi et al., 2021). 3) В контекста на напредналото производство (известно като Индустрия 4.0), например (но също и в други съвременни професионални среди), където ежедневните задачи на работника включват взаимодействие с автоматизация, компютърни и сензорни технологии, най-релевантните признаци, извлечени от наличните данни за походката, могат да бъдат предварително обработени и анализирани чрез техники на машинно обучение, често в реално време, което позволява откриването на началото на умората с точност и бързина при относително ниска цена. 4) Накрая, умората в поведението при ходене е свързана с умората в други физически задачи и докато системите за безопасност на работното място трябва да бъдат специално пригодени към съответните задачи, откриването на умора в походката на работника може да служи като отлична обща техника за наблюдение на умората, приложима в повечето индустриални среди.
В изследванията на уморената походка има две основни цели: 1) вътрешноличностно разпознаване или непрекъснато разпознаване на лицеа, който ходи в различни състояния на умора, 2) междуличностно разпознаване или разпознаване на умората в индивида. Първата цел отговаря на въпроса: Можем ли все още да идентифицираме лицеа по неговата походка в състояние на умора? Втората цел отговаря на въпроса: Можем ли да разпознаем началото на умората, за да избегнем претрениране и наранявания в спорта или да подобрим безопасността на работниците на работното място? Изследователите заключават, че моделът на походката на лице запазва своята индивидуалност, дори когато проявява зависимост от ситуацията, както е в случая с умората (Janssen et al., 2011).
Само седем признаци, извлечени от един носим сензор, са необходими за откриване на умора, със средна точност по-голяма от 0.85 (Sedighi Maman et al., 2020). Все пак, на работното място, индивидуалната точност на откриване на умора от 0.85 може да означава високи нива на неправилна класификация сред много субекти (Baghdadi et al., 2021), затова авторите предлагат многовариантен йерархичен алгоритъм за клъстеризация на времеви серии, използвайки Dynamic Time Wrapping (DTW) като мярка за различие. Откриването на умора чрез сензори на смартфони беше предложено (Maghded et al., 2020) като част от мултимодален сензорен и машинно обучителен framework за откриване на Covid-19 и предсказване на неговата тежест и изход чрез приложение на телефона на потребителя.
Като цяло, проучванията за умора, използващи данни за походка и изкуствен интелект, подчертават значението на автоматизираният анализ на походка в управлението на умората на работното място, управлението на спортните постижения, рехабилитационните упражнения, намаляването на риска от падания при възрастните хора и накрая, като част от интегрирана система за цялостно управление на здравето както на индивидуално ниво, така и в приложения за обществено здраве, както е случаят с проучванията, свързани с Covid-19. Фактът, че повечето от прегледаните проучвания събират данни за походка само от един сензор или само от смартфон (Karvekar, 2019), показва, че вече се полагат усилия тези системи да бъдат ненатрапчиви, икономически ефективни и адаптивни (виж Таблица 3).
Алгоритмите за откриване и класификация на походка за диагностика и мониторинг на заболявания са едно от основните приложения, които наблюдавахме, а Паркинсоновата походка, с многото си класифицируеми признаци като замръзване на походката (FoG), влачещи стъпки, бавна походка, асиметрия на походката и др., е най-разпространеното заболяване в изследванията (виж Таблица 4). Изследователите предлагат автоматизиран, точен и безсензорен алгоритъм за откриване на походка, базиран на дълбочинно обучение, който разчита на видео записи от широко разпространени устройства като смартфони, уеб камери и камери за наблюдение като по-евтини и по-достъпни алтернативи на системите с Vicon камери (Ajay et al., 2018). Procházka et al. (2015) се отдалечават от скъпите и сложни камерни системи и препоръчват използването на MS Kinect сензори за изображение и дълбочина за синхронизирано събиране на данни и пространствено моделиране на движещ се лице. Препоръчаният алгоритъм за Байесова класификация (BC) отличава походката при Паркинсон от здравата походка въз основа на граници на решение на три признаци: скорост на походката, дължина на крачката и възраст, с постигната точност от 94.1%. Wahid et al. (2015) допринасят за откриването на Паркинсонова болест чрез походка, като предлагат пространствено-времевите данни за походката да бъдат нормализирани първо чрез множествена регресия, за да се отчетат възрастта, височината, телесната маса, пола и скоростта на ходене на пациента. Wan S. et al. (2018) използват дълбока MLP мрежа за анализ както на движенията, така и на речевите данни, заснети чрез смартфон, за да оценят тежестта на Паркинсоновата болест. Ye et al. (2018) отиват една стъпка по-напред и предлагат подход с невронна мрежа (NN), комбинирана с размита логика (FL), който разпознава походката на пациенти с невродегенеративни заболявания (ND) от нормалната походка. Тъй като увреждането на моторната функция при различни ND като ALS, HD и PD е причинено от различни фактори, алгоритъмът за оптимизация чрез рояк частици (PSO) е използван заедно с адаптивна невро-размита система за изводи (ANFIS) за класифициране на нелинейната динамика на походката. Bilgin (2017) също се опитва да отличи ALS от други ND заболявания и здрави пациенти чрез Дискретна Вълнова Трансформация (DWT), Линейна Дискриминантна Анализа (LDA) и Наивен Байесов Класификатор (NBC).
Едно от най-обещаващите скорошни развития в изследванията на походката при невродегенеративни заболявания (ND) с използване на изкуствен интелект е предизвикателството DREAM PDDB, стартирано от Sage Bionetworks. То насърчава открита и конкурентна изследователска инфраструктура с мащабни данни за разработване на дигитални подписи на болестта на Паркинсон (PD). Подобни предизвикателства в компютърното зрение, като ImageNet Large Scale Visual Recognition Challenge (ILSVRC) (Russakovsky et al., 2015), са показали, че водят до значителен растеж, като точността на класификация се подобрява година след година спрямо предишно установените стандарти. Предизвикателството DREAM PDDB използва данни, събрани чрез приложението mPower (Bot et al., 2016) от 15,000 субекта с болестта на Паркинсон и здрави контроли. Най-добре представилият се екип към юли 2021 г. отчете площ под кривата на приемане-отхвърляне (AUROC) от 0.86 с дълбок алгоритъм CNN, който използва три пространствени и времеви техники за увеличаване на данните, за да се справи с прекомерното напасване.
Друга инициатива, която все още е в ранните си фази, но е много обещаваща, е проектът за Ранно Откриване на Невродегенеративни Заболявания (EDoN). Стартиран през февруари 2020 г., това е глобална изследователска инициатива, която е осигурила щедро финансиране, значителна междудисциплинарна експертиза и подкрепа от правителството на Обединеното кралство (Wakefield, 2020). Вече е в първата фаза на събиране на данни от смарт часовници (данни за походка заедно с пулс, сън, навигационни данни и др.) от доброволци в района на Голям Бостън чрез партньорство с Изследователския център за болестта на Алцхаймер към Бостънския университет (BUADRC). Данните ще бъдат използвани за създаване на дигитален „пръстов отпечатък“ за деменция, който в приложната фаза ще открива деменция 10–15 години по-рано от настоящите клинични методи.
4.2 Спортове
Общата тенденция, която наблюдаваме в спортните и фитнес приложения на системи за анализ на походка, базирани на машинно обучение, е да се създават нискобюджетни, адаптивни, бързи, лесни и мащабируеми системи, които постигат правилния баланс между точност и комфорт за даденото приложение (виж Таблица 5). В управлението на спорта и предотвратяването на спортни травми, данните за походката представляват сигнали от движенията на долните крайници, придобити от различни технологии за сензори: видео, инерционни измервателни устройства (IMUs), силови платформи и др. автоматизираният анализ на походка следи дейности като ходене и бягане, но също така водни спортове, баскетбол и футбол.
Алгоритъм за дълбочинно обучение, обучен с относително малък брой етикетирани изображения, успя да предскаже местоположенията на маркерите на ставите със същата точност като човешки етикетировач, предоставяйки по този начин нискобюджетна система за кинематичен анализ с достатъчна точност за приложения в спортната биомеханика, тренировки, коучинг и рехабилитация (Cronin et al., 2019). Кинематичен и кинетичен анализ, подпомогнат от техники на машинно обучение, беше проведен, за да се идентифицират ефектите на обувките върху биомеханиката на бягането. Заключението: промените в устойчивостта на междинната подметка са по-зависими от субекта, но промените в структурата на горната част на обувката изглежда са по-независими от субекта (Onodera et al., 2017). Умна постелка за упражнения неусетно разпознава кое упражнение изпълнява субектът и брои броя на повторенията. Тя е мека, евтина и умна и има точност като педометри, когато става въпрос за наблюдение на упражнения, свързани със сила, изпълнявани на земята. Това е чудесна алтернатива на постелките за упражнения, които атлетите обикновено използват във фитнеса (Sundholm et al., 2014).
Системите автоматизираният анализ на походка в спортните приложения са разнообразни, като извършват инженеринг на данни (Johnson et al., 2021) и етикетиране на данни (Cronin et al., 2019), оценяват ролята на структурата на обувката върху биомеханиката на бягането (Onodera et al., 2017), следят умората за предотвратяване на травми (Russell et al., 2021), (Zhang J. et al., 2014), броят стъпки (Kang et al., 2018), оценяват физическата автономия и функционалната способност (Khan et al., 2015), осъществяват контрол в реално време на устройство за електрическа мускулна стимулация (EMS) за спортна тренировка (Hassan et al., 2017), предсказват и предотвратяват травми (Taborri et al., 2021), постигат проследяване, идентификация и реидентификация на множество играчи (Zhang R. et al., 2020), класифицират и броят различни спортни дейности (Sundholm et al., 2014) и разпознават и анализират спортно поведение (Guo and Wang, 2021).
Изследователите изразяват загриженост относно валидността на AI моделите, базирани на лабораторни условия, в сравнение с моделите, базирани на реални сценарии в спорта. CNN и LSTM се представят по-добре от SVM (предложен по-рано в литературата) в задачата за откриване на удари и пасове във футбол в три сценария, по-близки до реалните условия. Целостта на събраните данни, избраните признаци и методът на оценка трябва да бъдат преразгледани, след като AI системите бъдат внедрени в реалния свят (Stoeve et al., 2021). Оценката на кинематични данни (които обикновено се събират в лаборатория с помощта на силови платформи) от кинетични данни, които лесно се измерват на терен с помощта на IMU сензори, е фокусът на изследването от (Johnson et al., 2021). Ще са необходими допълнителни изследвания, за да се преведе направеното в лабораторията към системи, които могат надеждно и точно да се внедрят в практическите си, реални условия, особено за приложения, чувствителни към времето, като предотвратяване на спортни травми в почти реално време след откриване на потенциално вредно събитие. Освен това, област с потенциал за растеж в бъдеще ще бъде приложението на мониторинг на спортове, предотвратяване на травми и оптимизация на тренировки за хора с увреждания (Rum et al., 2021).
4.3 Откриване на падания и разпознаване на човешка дейност
Анализът на походката е полезен за наблюдение на ежедневните дейности (ADL) при възрастните хора, за да се подобри качеството на техния живот и здравеопазването им в домовете и извън болниците. Разпознаването на дейности с помощта на носими устройства поставя четири основни предизвикателства, като често се налага да се правят компромиси: 1) Енергийни съображения 2) Точност на разпознаване на дейностите 3) Устойчивост при различни потребители и различни дейности 4) Потребителско изживяване. Тези системи за разпознаване на дейности разпознават няколко ежедневни дейности като навеждане, клякане, ходене, лягане, ставане от леглото и преходите между тях, за да откриват падания, да минимизират фалшивите аларми при събития като лягане срещу падане, като същевременно се стремят да поддържат тези системи нискобюджетни, автоматични, адаптивни и ненатрапчиви. В контекста на нискобюджетните системи за откриване на падания, (Ma et al., 2014b) предлагат извличане на признаци от пространството на кривината (CSS) от силуета на лицеа във видеоклипове, записани с евтина Kinect дълбочинна камера. Те установяват, че техният алгоритъм Extreme Learning Machine (ELM), комбиниран с алгоритъм за променлива дължина PSO, не се представя по-зле от съвременните системи, които зависят от скъпи и сложни многокамерни системи. Представянето на алгоритъма се подобрява чрез използване на техники за калибриране за решаване на проблеми с неправилно поставени или несъответстващи сензори (Yu et al., 2018). Времето за откриване е от съществено значение за системите за предотвратяване на падания, така че контролното устройство да има достатъчно време да реагира и предотврати падането (Mori et al., 2020). Изследователите са загрижени за фалшивите аларми в автоматичните системи за откриване на падания, особено при дейности като лежане в леглото и падане. Chelli и Pätzold (2019) докладват 100% точност при откриване на падания без никакви фалшиви аларми при използване на квадратичен SVM и ансамблови алгоритми bagged tree (EBT) върху данни за ускорение и ъглова скорост от два публични набора данни. В по-ранна статия Hakim et al. (2017) също докладват почти безупречна точност на техния SVM класификатор с използване на данни от смартфони.
Данните за походката за тези изследвания бяха събрани от сензори за сила и триизмерни акселерометри, скрити под интелигентни плочки (Daher et al., 2017), вградени IMU сензори в смартфони (Hakim et al., 2017), носими sEMG сензори (Xi et al., 2017), носими сензори за движение (Özdemir и Barshan, 2014) или от интегрирана система за събиране на данни като инерционни сензори и Bluetooth възли, данните от които се улавят на смартфон (Santoyo-Ramón et al., 2018). Показано е, че данните от сензори както от смарт часовник, така и от смартфон работят по-добре, отколкото всеки един поотделно (Weiss et al., 2019). Умният дом се гордее с това, че улавя данни в реално време и без устройства, използвайки платформи за IoT с wi-fi връзка (Yang et al., 2018). Накрая, радарните данни от системи с непрекъсната вълна могат да се използват за разпознаване на дейности и откриване на падания, предоставяйки ненатрапчиво решение за събиране на данни и без да предизвикват притеснения относно поверителността (Wu Q. et al., 2015), (Seyfioğlu et al., 2018). Технологията CapSense използва следи от напрежение на KEH кондензатори, за да разпознае пет различни дейности с точност над 90% (Lan et al., 2017). В последваща работа точността беше подобрена чрез използване на два кондензатора, един в подметката на обувка и един отпред (Lan et al., 2020). Общото енергийно потребление на системата също беше намалено с 75%, тъй като конвенционалните алгоритми за машинно обучение като NB или KNN използваха натрупани данни за напрежение като вход, намалявайки изчислителното натоварване на системата. Бъдещата работа ще направи тези сензори напълно самозахранващи се и без батерии и ще адресира въпросите свързани с точността на разпознаване на дейности и потребителското изживяване.
В обобщение, автоматизираният анализ на походка системите са постигнали нарастваща точност, като минимизират фалшивите аларми, предоставяйки по този начин точни, нискобюджетни, автоматични системи за разпознаване на дейности и откриване на падания (виж Таблица 6).
Проследяване на човешка поза
Приложенията на анализа на походката в закрити среди включват алгоритми за позициониране и локализация на закрито. Wang и др. (2015) проектираха четири схеми за позициониране на закрито. Те установиха, че интеграцията на WiFi псевдо-одометрия с комбинация от топологично ограничен KNN и алгоритъм за многопрагово определяне на мъртви точки на пешеходци (PDR) постига по-висока точност с по-малък брой частици, когато се използва карта на етажа. Други изследователи (Tariq и др., 2017) откриха, че RF се представя най-добре от всички алгоритми в колекцията Weka ML, използвайки капацитивни сензори за локализация на хора в закрити пространства. Robertson и др. (2013) постигат SLAM чрез изкривявания на локалното магнитно поле. Сензор, монтиран на крака, например, може да служи за локализиране на движещ се лице или робот и да генерира карта на вътрешното пространство, като използва одометрия. Нискобюджетен 2D LiDAR е препоръчан за запазване на личната неприкосновеност при проследяване на хора (Hasan и др., 2020) (Вижте Таблица 7).
Биометрия, базирана на походка
Походката е мек биометричен признак, който позволява идентификация на хора чрез тяхната походка. Индивидуалността на модела на походката се запазва с времето (Horst et al., 2017) и при много патологии. Основните приложения на разпознаването на походка са идентификация на лица, повторна идентификация на лица, удостоверяване на самоличност, разпознаване на пол, оценка на възраст (Dindorf et al., 2020a), откриване на присъствие (Yang et al., 2018), оценка на плътността на тълпата (Zhou et al., 2018), наблюдение на тълпи и откриване на аномалии за приложения за видеонаблюдение (Sun et al., 2017), както и проследяване и идентификация на множество играчи (Zhang R. et al., 2020). Ще разгледаме по-подробно първите четири категории в раздели 6.1 до 6.4.
6.1 Идентификация на лице
Идентификацията на хора е процесът на определяне на самоличността на дадено лице. Методите включват, но не се ограничават до тези, базирани на зрение, идентификационни карти и биологични данни. Идентификацията, базирана на походка, е процесът на определяне на самоличността на дадено лице чрез неговия характерен стил на ходене. Идентификацията и повторната идентификация на лица чрез разпознаване на походка имат нарастващо значение в системите за сигурност и видеонаблюдение в обществени пространства като летища, банки, търговски центрове и др., тъй като походката предоставя неинвазивна биометрична характеристика. Задачата включва идентифициране на субект от камера и съпоставянето му с лица в други камери с несъвпадащи полета на видимост, операция известна като „маркиране и проследяване“ (Wu et al., 2015c). Тези системи за разпознаване на походка се сблъскват с предизвикателства поради променливи параметри, които влияят върху размера и качеството на видео и изображените входове, като например гледната точка на камерата, осветлението, закриването, резолюцията на изображението и условията на облеклото и носенето на субектите. Поради тази причина повечето от прегледаните от нас статии се опитват да адресират едно или повече от тези затруднения чрез подобряване на предварително изучавани и внедрени алгоритми. За да валидират работата си, авторите провеждат експерименти за анализиране на производителността на техните алгоритми спрямо еталони, използвайки публични набори от данни. Например, когато CNN беше предложен за първи път за разпознаване на походка (Wu et al., 2017), авторите оцениха предложения от тях алгоритъм върху CASIA-B (Yu et al., 2006), OU-ISIR (Iwama et al., 2012) и USF (Sarkar et al., 2005).
Повечето системи за идентификация на лица автоматизираният анализ на походка се занимават със случаите, когато данните за походката се извличат от видео. Тези системи са базирани на модели (Hu et al., 2012), (An et al., 2020) или базирани на външен вид (Guan et al., 2012; Zhang W. et al., 2019), също наричани безмоделни. Изображението на енергията на походката (GEI) е средно от всички изображения на силуета на човешкото тяло в един цикъл на походка (Han и Bhanu, 2005). То се използва широко в алгоритмите за идентификация на лица, базирани на външен вид, защото позволява просто представяне на данните за походката, премахвайки шума, като същевременно запазва релевантната информация за походката. То постига добър баланс между намаляване на изчислителните разходи и поддържане на добра степен на разпознаване на походката. От друга страна, GEI е чувствително към вариации във външния вид като ъгли на гледане от камерата и дали субектът носи палто или чанта, и губи времева информация. Има усилия да се замени GEI с представяне, което запазва повече от времевата информация за походката, като Chrono Gait Image (CGI) (Wang et al., 2011) или да се комбинират признаците на GEI с времеви признаци (Liu et al., 2018). Chao et al. (2019) предложиха GaitSet, който използва неупорядъчени множества от силуети с еднакъв размер като вход към архитектурата CNN със сетово обединение, предоставяйки ефективен начин за запазване на пространствената и времевата информация без последователни ограничения. Те твърдят, че не всички части на тялото съдържат дискриминативна информация за задачите по разпознаване на походка и предложиха GaitPart, модел базиран на части и микро-движения, който запазва само релевантните пространствени признаци зависими от частите и локалната краткосрочна времева информация. An et al. (2020) признават предизвикателствата пред моделите базирани на външен вид и предлагат подход базиран на пози за разпознаване на походка. Позициите на походката се извличат от видео с помощта на техники за дълбочинно обучение AlphaPose (Fang et al., 2017) и OpenPose (Cao et al., 2017). Проследяването на 3-D позата на ходещи пешеходци в системи за видеонаблюдение в случаи, когато множество хора се движат заедно и хвърлят сенки или причиняват закриване също е било опитвано (Rogez et al., 2014).
Освен видео, данни за походка могат да бъдат получени от дълбочинни сензори, платформи за измерване на сила, радар, IoT устройства с Wi-Fi и IMU сензори. Radar-Id, алгоритъм за идентификация на хора на базата на радар (Cao et al., 2018), използва CNN с архитектура, подобна на тази на AlexNet (Krizhevsky et al., 2012), за да научи необходимите признаци директно от сурови микро-Доплерови спектрограми без нужда от изрично проектиране на признаците. Този алгоритъм има отлична производителност при шум и може да идентифицира един лице сред до 20 други хора. По същия начин, Vandersmissen et al. (2018) използват данни от радарни устройства за идентификация на хора в закрити пространства и откриване на нарушители. Costilla-Reyes et al. (2019) предлагат система за разпознаване на стъпки, която може да различава легитимните потребители (клиенти) от измамниците в биометрична система чрез сензори на пода. Биометричното разпознаване по походка позволява идентифициране на нарушители, тъй като походката е трудна за фалшифициране. Дълбоки CNN архитектури, които използват представяния на стъпки извлечени от GRFs, служат като автоматични системи за непрекъсната идентификация и верификация на хора с приложения в сигурността и откриването на аномалии в летища, работни среди и умни домове. Zhong и Deng (2014) предлагат представяне на походка, използвайки данни от акселерометър и жироскоп, които са инвариантни към ориентацията на сензора. Haque et al. (2016) представят метод за идентификация на хора само чрез дълбочинни изображения. Zou et al. (2018) предлагат Auto-ID, система за идентификация на хора, която събира данни от измерванията на CSI от IoT устройства с WiFi, наречени „подписи“ shapelet за идентификация на хора. Yang et al. (2018) също използват CSI кривата на човешкото тяло за усещане за присъствие и разпознаване на дейности. Тази система е добра за откриване на аномалии, като автоматично идентифициране на нарушители в умен дом. Човек, който се движи в умно пространство оборудвано с RFID устройства, влияе върху радиочестотните (RF) сигнали. Ефектът може да бъде уловен чрез индикатор за сила на приетия сигнал (RSSI) и фазата на RF сигнала и след това използван за идентификация на лице. Система, която използва TSNet, алгоритъм за дълбочинно обучение чрез подсилване за избор на тагове, PCA за намаляване на признаците и алгоритъм LSTM базиран на внимание изпълнява разпознаване по походка базирано на RFID, което лесно може да бъде интегрирано в умен дом или офис среда (Luo et al., 2020).
Изследванията за идентификация на лица са се възползвали от развитието в компютърното зрение, установените бенчмаркове и публичните набори от данни. Кодът, предложен в изследванията, често се прави публично достъпен, което насърчава продължаващи и съвместни изследвания (Chao et al., 2019). Последните изследвания използват подходи на дълбочинно обучение, които извличат представяния на походка директно от сурови данни за походка и изучават дискриминативни признаци за идентификация на хора (вижте Таблица 8).
6.2 Повторно идентифициране на лица
Реидентификацията на хора е задача за идентифициране на изображения на един и същ лице от несъвпадащи гледни точки на камери в различни моменти и места. Проблемът с реидентификацията има три основни компонента: идентифициране на кои части от лицеа трябва да бъдат сравнени, конструиране на инвариантни признаци за представяне на тези части и изчисляване на подходяща метрика за сходство между тях. (Saghafi et al., 2014). автоматизираният анализ на походка като мека биометрична характеристика позволява непрекъснато проследяване и анализ на поведението на лице в голяма мрежа от камери за нуждите на криминалистиката, наблюдението и сигурността. Традиционните методи за реидентификация обикновено се фокусират върху изграждането на устойчиви представяния на признаците на походката и оценяват сходството между изображение-проба и изображение-галерия чрез изчисляване на техните евклидови разстояния. Този метод среща предизвикателства при условия на различни гледни точки и различни условия на ходене, като например когато двойката походки е в различни гледни точки на камерата и при различни условия на носене и обличане (Wu et al., 2017). Wu et al. (2015c) предложиха текущите класификатори да бъдат подобрени с комбинация от алгоритъм за предварителна поза (PP) и алгоритъм за избор на дискриминативни признаци, за да се изгради система за реидентификация, независима от гледната точка. Едно решение е да се разглежда задачата за реидентификация като проблем с предсказване на вероятността за връзка, където всеки лице представлява възел в графова структура. Алгоритъмът за реидентификация изчислява вероятността за връзка между двамата (Liu H. et al., 2021). Друго решение, предложено от Chtourou et al. (2021), включва офлайн и онлайн фаза. По време на офлайн фазата се конструира оптимизирано представяне на признаците GEI, комбиниращо динамичен избор на най-релевантните части и трансформация на изображението-проба или изображението-галерия, така че двете да имат еднаква гледна точка преди изчисляването на оценката за съвпадение. Тази офлайн фаза служи за обучение на модела за трансформация на частичната гледна точка (PVTM), който ще се използва онлайн, за да трансформира изображението-галерия към същата гледна точка като изображението-проба преди класификацията.
Алгоритмите за ReID включват обучение на признаци и обучение на метрики. Те се учат на походка признаци, които са присъщи за дадено лице, и след това научават мярка за сходство, която трябва да бъде по-голяма, ако двойка походки принадлежи на различни хора, отколкото когато принадлежи на един и същ лице. Song и др. (2018) въведоха бинарни сегментационни маски и контрастно обучение на ниво региони. Също така са направени опити за съвместно обучение на признаци и мерки за сходство, за да се изпълняват добре и двете задачи. Алгоритъмът едновременно извлича локални конволюционни признаци и подобрява способността за дискриминация, като се фокусира само върху отличителни региони при търсене на сходства между видеоклипове. Той съвместно учи признаци и стойности на сходство за двойка или тройка стойности (Wu L. и др., 2019). Дълбока сиамска архитектура с внимание, която се състои от конвенционален GRU и механизъм за внимание, може да научи пространствено-времеви представяния и метрики за сходство и да се научи да различава кои локални пространствени представяния са релевантни (Wu L. и др., 2019). При големи набори от данни с изображения на походки възниква проблемът с множество пешеходци, които имат подобен външен вид. Chen и др. (2015) наблюдаваха, че метриката за сходство е по-голяма за изображения на един и същ пешеходец, отколкото за двама различни пешеходци. Множество дълбоки обучения на метрики, използващи множество подредени авто-енкодер мрежи и класификационни мрежи, са използвани за характеризиране на различни изображения на пешеходци, принадлежащи към един и същ лице въз основа на множество вероятности за сходство (Xiong и др., 2019). Тези дълбоки обучителни мрежи са интегрирали задачите за обучение на признаци и обучение на различията от традиционните ReID системи в единна дълбока невронна мрежа, която учи представяния устойчиви на вариации в качеството на изображението, фоновия шум, гледната точка на камерата и условията на носене и обличане на субектите директно от сурови изображения на походки на ниво пиксел. (Вижте Таблица 9)
6.3 Удостоверяване на самоличност
Правилната автентикация включва автентикация на потребителя: дали потребителят има разрешен достъп, и идентификация на личността: кой е текущият потребител (Liang et al., 2020). Автентикацията на потребителя, базирана на сензори, използва биологични признаци, категоризирани като физически, физиологични и поведенчески (Hernández-Álvarez et al., 2021). Ходът предоставя автентикация, базирана на поведенчески биометрични данни, която в сравнение с базираната на знания (пароли, личен идентификационен номер (ПИН)) и физиологична биометрична автентикация (разпознаване на лице, пръстов отпечатък) е ненатрапчива, непрекъсната, по-малко податлива на атаки и лесно проследима чрез носими устройства, видеа и смартфони в контекста на IoT среди. Автентикацията, базирана на ход, се изучава или самостоятелно (Qin et al., 2019), или като част от система за автентикация, която използва множество модалности (Hintze et al., 2019) (Acien et al., 2019) (виж Таблица 10). Авторите (Acien et al., 2019) показаха, че сливането с поведенчески данни подобрява резултатите от системата за автентикация.
6.4 Признаване на пола
Системата автоматизираният анализ на походка извършва разпознаване на пола надеждно и ненатрапчиво (вижте Таблица 11). Задачата за класификация на пола обикновено се провежда заедно с идентификацията и реидентификацията на хора (Lu et al., 2014), тъй като полът на дадено лице може да служи като мека характеристика при идентифицирането му. Например, класификацията на пола се извършва първо, за да се отсеят подгрупи от субекти преди да се извърши идентификация на хора (Castro et al., 2017), (Meena и Sarawadekar, 2020). Класификацията на пола също така се прави първо, за да се подобри точността на последващ алгоритъм за оценка на възрастта (Zhang S. et al., 2019). Класификацията на пола и възрастта, особено в някои търговски и електронни потребителски приложения, може да бъде достатъчна за подобряване на потребителското изживяване (Duan et al., 2018).
Авторите са изследвали различни входни признаци за тази задача. Съвместната енергия на люлеене (JSE) е статична характеристика, извлечена от скелета, а именно разстоянието на ставите на тялото от анатомичните равнини. Тя може лесно да бъде извлечена от данни за походка и се представя добре с различни класификатори за разпознаване на пола на лице (Kwon и Lee, 2021). Методът Хистограма на градиентите (HG) намалява триизмерните (3D) данни от акселерометъра и жироскопа на смартфоните до едномерни времеви дескриптори, използвани като вход за алгоритъм DT с буутстрап (Jain и Kanhangad, 2018). Малките вариации в скоростта на ходене не влияят върху точността на класификацията, но по-големите вариации го правят, което предполага, че пространствените признаци вероятно са по-подходящи за задачи за разпознаване на пола с използване на конвенционални класификатори. Авторите (Wazzeh et al., 2019) предполагат, че извличането на признаци, които са инвариантни към вариациите в скоростта на ходене, може да подобри производителността на техния алгоритъм за разпознаване на пола. Castro et al. (2017) предлагат подход, базиран на CNN от край до край, който използва оптични потоци, извлечени от видео с много ниска резолюция, за да представи всеки лице чрез неговия подпис на походката и да разпознае неговия пол и идентичност с висока точност. Многозадачна настройка на CNN, при която дълбоката мрежа учи множество атрибути едновременно, допълнително подобрява точността (Zhang S. et al., 2019).
Някои автори се фокусират върху разпознаването на пола от данни за походка, когато субектите ходят в различни посоки (Lu et al., 2014), с различни скорости на ходене (Jain и Kanhangad, 2018), носят чанта, облечени са с палто (El-Alfy и Binsaadoon, 2019) и т.н. Разпознаването на пола чрез походка е ненатрапчиво, не изисква сътрудничество от страна на субекта и има по-добра производителност, която не се влияе от условията на носене и облекло, дори при ниска резолюция на видеоклиповете.
7 интелигентни устройства и среди за походка
Този раздел разглежда системи, които интегрират машинно обучение, интернет на нещата и усъвършенствани технологии за сензори и текстил за автоматична, в реално време обработка на данни за походка, с цел изпълнение на интелигентна задача в приложения за здраве, спорт, развлечения и сигурност.
7.1 Устройства за интелигентно ходене
Доменът на устройствата и средите за интелигентна походка е вълнуващ, смел, креативен, обширен и постоянно растящ (вижте Таблица 12). Устройствата за интелигентна походка включват носими обувки (Zou et al., 2020), чорапи (Zhang et al., 2020f), наколенки и глезенки (Totaro et al., 2017), стелки (Low et al., 2020), както и устройства, прикрепени към тялото, като смартфони (Poniszewska-Maranda et al., 2019), смарт часовници (San-Segundo et al., 2018), (Sigcha et al., 2021) и др., имплантируеми медицински устройства като ActiGait (Sturma et al., 2019), носима роботика (Shi et al., 2019) като протези (Gao et al., 2020) ортези (Zhang et al., 2020e), (Choo et al., 2021), помощни устройства като интелигентни проходилки (Jimenez et al., 2018) и екологични устройства като интелигентни плочки (Daher et al., 2017). Устройствата за интелигентна походка използват данни за походката, за да улеснят мониторинга на здравето, включително пасивна оценка на психичното здраве (Rabbi et al., 2011) и прехвърлят данни за управление на устройства за приложения в здравеопазването, спорта, сигурността и развлеченията. Например, UbiHeld (Ubiquitous Healthcare for Elderly) интегрира данни за походката и други данни от смартфон, както и допълнителни данни от евтина камера Kinect, за да поддържа информация за общото здраве, местоположението и дейностите на възрастните хора у дома (Ghose et al., 2013).
Изискванията за меки интелигентни носими облекла могат да бъдат противоречиви: разтегливи, напълно прилепващи към тялото, проектирани ергономично и естетически привлекателни, с малък размер и тегло, гъвкави, миещи се, здрави, ненатрапчиви, надеждни и издръжливи (Yang и Yin, 2021). Идентификацията на лицето е неразделна част от интелигентните устройства за походка поради нуждата от персонализирано потребителско изживяване, което въвежда необходимостта от запазване на поверителността на потребителите. Освен това, непрекъснатата и безпроблемна автентикация на потребителя е от съществено значение за предотвратяване на злонамерени атаки върху медицинските записи на потребителите без тежестта от често въвеждане на личен идентификационен номер (ПИН) (Xu et al., 2021). Накрая, други изисквания включват водоустойчивост, механична издръжливост и свързаност с други интелигентни устройства и среди в зависимост от конкретната употреба (Zou et al., 2020). За да се удовлетворят тези изисквания, основният фокус на изследването е върху сензорната технология. Сензорите за носими устройства са IMU, капацитивни сензори (Lan et al., 2020), KEH (Xu et al., 2017; Xu et al., 2018), (Ma et al., 2018), слънчеви клетки (Sandhu et al., 2021), резистивни сензори, разтегливи проводими микро флуиди (Low et al., 2020) и TENGs (Zhang et al., 2020g).
Обикновено съществува компромис между сложността на сензорната технология в умните устройства за походка и точността на интелигентната задача, която те изпълняват (Khademi et al., 2019). В зависимост от задачата и при осигурена достатъчна точност, може да се прекрати стремежът към производителност и да се фокусира върху комфорта на пациента (Di Nardo et al., 2020). Използва се техника за многообектна оптимизация (MOO) (Khademi et al., 2019), за да се управлява този компромис: тя избира оптимален подмножество от признаци, което максимизира точността, като същевременно минимизира сензорния хардуер. Сливането на различни биосигнали в hBCI системи за приложения в походката подобрява точността на класификация и броя на контролните команди. Все пак, това въвежда проблема с конфигурацията на каналите, скоростта на пренос на информация и времевата синхронизация между модалностите (Khan et al., 2021).
SG устройствата ще бъдат неразделна част от умните градове, умните сгради, умните домове, умния транспорт, умните фабрики, енергийните мрежи и електронното здравеопазване и са на път да постигнат огромен растеж в бъдеще, тъй като IoT в рамките на 5G ще улесни по-добрата и по-бърза взаимосвързаност между устройствата (Четри и Бера, 2019), алгоритмите за дълбочинно обучение от край до край ще предоставят интелигентност в реално време, а сензорната технология ще бъде по-удобно вградена в нашите ежедневни предмети и облекло.
7.2 Умни домове
Интелигентната домашна среда се определя като такава, която придобива и прилага знания за своите обитатели и тяхната физическа среда, за да подобри техния опит в тази обстановка (виж Таблица 13). Сензорите в интелигентния дом, носимите сензори и алгоритмите за класификация в интелигентния дом CASAS (Cook et al., 2015) служат за извършване на мониторинг на здравето, ранно откриване на заболявания, здравни грижи и лечение. Интелигентният дом интегрира технология за носими сензори, AI технология и технология за сливане на сензори, за да контролира автоматично домашните уреди чрез алгоритъм за разпознаване на жестове, да включва и изключва осветлението чрез алгоритъм за вътрешно позициониране и да задейства алармата чрез алгоритъм за откриване на пожар (Hsu et al., 2017). С фокус върху XAI, на монитора се извежда числова оценка на нивото на аномалия, придружена от обяснения на естествен език (Khodabandehloo et al., 2021). Поверителността и сигурността на здравните данни са основни притеснения в интелигентните домове. С последните постижения в блокчейн технологията и нейното по-широко приемане, възможно решение е изграждането на интелигентни блокчейн мрежи за сигурно съхранение и споделяне на здравни данни (Taralunga and Florea, 2021) (Cernian et al., 2020).
Интерес в тази дискусия представлява проектът HABITAT (Домашна помощ, базирана на Интернет на нещата за автономията на всеки), който имаше само четири ключови AI приложения по времето, когато тази статия беше написана: система за вътрешна локализация, интелигентен фотьойл, интелигентен колан и стенен панел и мобилни устройства като потребителски интерфейс (Borelli et al., 2019). Интелигентният дом вгражда умни обекти в предмети от ежедневието. Коланът, който оценява движението на тялото, представлява интерес за това изследване, тъй като улавя постурални преходи и походка биометрични данни. AI модулите следват подхода за моделиране Event Calculus (EC), което улеснява определянето на свойствата на системата. Системата е разширяема, могат да бъдат добавени повече интелигентни устройства и е пример за това какво е възможно, когато дейностите и обектите от нашето ежедневие станат „умни“. В обобщение, AI алгоритмите се грижат за „умната“ част на дома. Вместо да бъде пасивен получател на грижи, пациентът става активен агент в интелигентна здравна екосистема (Najafi and Mishra, 2021).
SG се простира отвъд контекста на умния дом и ще играе важна роля в бъдещите умни градове (Lozano Domínguez и Mateo Sanguino Tde, 2021), умни фабрики (Pech et al., 2021), умни търговски обекти (Zhang et al., 2019a), умни лаборатории за рехабилитация (Sessoms et al., 2015) и умни устройства (Lozano Domínguez и Mateo Sanguino Tde, 2021).
8 Анимация и виртуални среди
За този преглед разглеждаме изследвания, които изискват и използват данни за походка и прилагат алгоритъм за машинно обучение за създаване на анимирани персонажи за филми, видеоигри и среди за виртуална реалност. Тези изследвания включват проучвания в моделирането на походка, реконструкцията на движения и управлението на персонажи. (Вижте Таблица 14)
В приложенията за виртуална реалност (VR) виртуалният персонаж се контролира в реално време от поведението на потребителя. Задачата на AI алгоритъма е да разпознава правилно фазите на походката на потребителя, без забавяне, за добра визуална представа в реално време на движението на аватара. Във видеоигрите, дълбокото обучение чрез подсилване е предпочитаният алгоритъм, при който политиката контролира действието на всяка стъпка. Политиката е внимателно дефинирана, за да възнаграждава положително желаното действие на всяка стъпка, като поддържане на баланс, проследяване на поза и ориентация, подравняване, имитиране на референтното движение, оцеляване при смущения и негативно възнаграждаване на действия като падания. Аватарите трябва да изглеждат реалистично, запазвайки както движението, извлечено от признаците на скелета, така и формата (Loper et al., 2014), (Huang et al., 2015).
Отзивчивостта към потребителското търсене, качеството на визуалното представяне, устойчивостта към различни стилове на ходене и терени, производителността на системата по време на работа, адаптацията към смущения, поддържането на баланс и пренасочването към различни морфологии са някои от ключовите цели на тези системи. Обикновено данните за движение се извличат от скъпи висококачествени многокамерни системи за улавяне на движение. Авторите са изследвали възможността за извличане на висококачествени представяния от нискобюджетни видеоклипове, записани с широко разпространени монокулярни видеа като клипове в YouTube (Peng et al., 2018b), и реконструкция на човешка поза от инерционни измервания в случаите, когато директната видимост на камерата не е налична поради например закриване (Huang et al., 2018).
9 Дискусия и бъдещи тенденции
В това изследване разгледахме различни приложения на умната походка с акцент върху различните задачи, които алгоритмите на изкуствения интелект изпълняват в много индустрии и дисциплини, като здраве и уелнес, сигурност, криминалистика и управление на енергията. Освен това идентифицираме четири възникващи тенденции в изследванията на умната походка: 1) здравни данни в мащаб на цялото население ще бъдат достъпни и ще подпомогнат автоматични, повсеместни и непрекъснати подходи за дълбочинно обучение за интелигентни системи, базирани на големи данни, 2) Бързо развиващите се иновации в други технологии като облачните изчисления, умните текстили, блокчейн и 5G ще предложат нови възможности и ще поставят нови предизвикателства пред системите за умна походка и ще изискват бърз съгласуван растеж, 3) Системите за умна походка ще трябва да адресират въпроси относно поверителността на потребителите, безопасността, комфорта и опита, обхванати от парадигмата „лице-в-цикъла“ (Sedighi Maman et al., 2020); тези въпроси ще бъдат наложени от защитници на човешките права и регулаторни органи, и 4) необходимостта от ИИ в здравните приложения да се възползва от бързината, ниската цена и точността на „черните кутии“ интелигентни системи, като същевременно остава прозрачна и разбираема, както е обхванато от парадигмата на XAI. Умната походка е ценен инструмент в кинетичния и кинематичния анализ, мониторинг на заболяванията, диагностика и рехабилитация, спортно представяне, оценка на риска от падане, откриване и предотвратяване, биометрия базирана на походката за идентификация на лица, повторна идентификация и непрекъсната автоматична автентикация, разпознаване на възраст и пол, оценка на физическите умения и мобилност, проследяване на фитнеса, моделиране и симулация на походката, мониторинг на тълпи и откриване на аномалии, оценка на позата, вътрешно проследяване и локализация. Умната походка често се интегрира с други умни системи, които използват биомедицински сигнали като електрокардиограми, телесни параметри като температура, кръвно налягане, честота на дишане, енергоразход и сърдечен ритъм, както и екологични сигнали като стайна температура и влажност. Умната походка често е част от интелигентна IoT рамка с вградени сензори, устройства за мониторинг и изпълнители с активиран ИИ, които са свързани помежду си и са в непрекъсната комуникация. Умната походка е навсякъде - в нашите умни устройства, умни домове, класни стаи, автомобили, магазини, градове и енергийни мрежи. Изследванията върху умната походка ще продължат да се развиват бързо в бъдеще и ще се възползват от напредъка в други технологии като сензори, блокчейн, IoT, текстили, 5G, облачни изчисления и големи данни. Тези нови технологии също ще поставят нови изисквания и ще предложат нови възможности за изследванията върху умната походка. Изследванията върху умната походка ще продължат да адресират въпроси относно поверителността на потребителите, сигурността на здравните данни, комфорта на пациентите, безопасността на работниците на работното място, подобрения потребителски опит, мониторингът на умората и предотвратяването на травми в спорта.
Също така идентифицираме тези три нужди за изследователската общност на SG: 1) интердисциплинарност 2) необходимостта автоматизираният анализ на походка да се превърне в организирано поле на изследване с конкретни дефиниции и добри практики, и 3) необходимостта от открита конкуренция и сътрудничество. Гледайки към бъдещето, дигиталните технологии като смарт часовници, ленти за глава и смартфони ще бъдат използвани за събиране на данни в мащаб на цялото население, за да се улесни здравният мониторинг и ранното откриване на различни заболявания. Един аспект на такива системи е мултимодалността на данните (Frey et al., 2019), (Abeysekara et al., 2020). Техният интегриран подход ще изисква междудисциплинарни изследвания и сътрудничества. Изследователските екипи по походка ще трябва да включват експерти от много дисциплини. Виждаме как културата на сътрудничество става по-разпространена в бъдеще както в общността на SG, така и между общността на автоматизираният анализ на походка и по-голямата изследователска общност в много области. С последното развитие на програмните езици и отворената изследователска общност около тях в Github, Kaggle и други онлайн и базирани на приложения форуми, е възможно и важно изследователската общност на Smart Gait да бъде отворена, а наборите от данни, AI кодът и предложените стратегии за подобрение да са достъпни за бъдеща съвместна работа. Например, някои автори са направили данните и ML инструментариума публични и достъпни за други изследователи (Baghdadi et al., 2021) и (Horst et al., 2019). Където такива отворени и съвместни усилия са процъфтявали в миналото, резултатите са били изключителни. Изследванията в компютърното зрение са постигнали огромни резултати чрез намаляване на разходите за навлизане в нови изследвания и насърчаване на сътрудничеството и конкуренцията към една цел. Авторите на тази статия са развълнувани да видят подобен растеж в изследователската общност на SG.
10. Заключение
Използването на изкуствен интелект в анализа на походката е развиваща се област. В тази статия го наричаме Умна Походка. Това е изключително мултидисциплинарна област, която черпи от най-новите изследвания в множество математически и инженерни области и продължава да приветства нови подходи и методи за събиране на данни. С постоянния напредък в технологиите за носими сензори, облачните изчисления и новите постижения в машинното обучение, напредъкът е впечатляващ. В съчетание с нарастващото осъзнаване на реалните приложения като неинвазивна идентификация на лица, повторна идентификация на лица, откриване на нарушители, медицинска диагностика и лечение, усъвършенствано откриване на падания и др., търсенето на нови методи за откриване и анализ на походката ще остане високо и ще държи изкуствения интелект в челните редици на изследванията. Очаква се областта да расте и разширява обхвата си през следващите 10–15 години. От умни домашни устройства до умни мрежи и умни градове, изкуственият интелект е тук, за да остане, и ще стане много разпространен. Системите, базирани на AI и походка, ще приемат формата на стол, на който седите, обувки, които носите, постелка, върху която тренирате. Умната врата на вашия дом ще се отвори, когато разпознае вашата походка чрез непрекъсната автоматизираният анализ на походка система за удостоверяване, а телефонът ще се заключи в ръцете на крадеца, когато бъде разпозната необичайна походка. Алгоритъм за плътност на тълпата ще ви предупреди за висок риск от Covid-19, когато влезете в магазин.
С нарастващото търсене и обещаващите резултати, достъпността остава ограничение. Машинното обучение е инструмент и като такъв трябва да бъде в ръцете на тези, които се нуждаят от него; ранното откриване на Паркинсон в ръцете на клинициста, наблюдението на лечението в ръцете на грижещия се, сензорите за заетост в ръцете на семейство, което се интересува от управлението на енергията в дома си, вътрешното проследяване и локализация в ръцете на полицията във вашето градско полицейско управление, кинематичният анализ в ръцете на състезаващ се атлет. За да станат системите за машинно обучение по-достъпни, технологията ще трябва да стане лесна за разбиране и прилагане. Тя трябва да стане по-евтина и по-мащабируема. Обяснимото изкуствено интелигентно (XAI) е тенденция, която ще продължи. Експертите в свързаните области и общото население ще продължат да стават по-запознати с изкуствения интелект. В не толкова далечно бъдеще, знанието как да използвате библиотека с отворен код на Python или да напишете ред или два код в R ще бъде толкова обичайна задача, колкото писането на имейл днес. С това ще дойдат притеснения относно поверителността, етични въпроси и необходимостта да адаптираме нашите закони и регулации като общество.