OmniTouch

A számítástechnika egyik nagy forradalma az érintőképernyők. Új módot hoztak a számítógéppel való interakcióhoz, akár speciális mutatóval, akár ujjal. 2011-ben a Microsoft tovább ment az OmniTouch bevezetésével, amely projekt minden felületet érinthetővé tett. Az alapötlet az, hogy a vállra szereljünk egy kamerát és egy projektor eszközt, amely kivetíti a képernyőt és beolvassa a felhasználó billentyűleütéseit. A lehetőségek végtelenek, lehetővé téve számunkra, hogy a kezünket, a falat, a lepedőt vagy bármilyen más felületet érintőképernyővé alakítsuk.

Az OmniTouch működése: a billentyűleütések felismerése

Az OmniTouch projekt legfontosabb része az ujjak helyzetének és mélységének nyomon követése, hogy megtudja, hol érinti meg a felhasználó. Ehhez egy mélységérzékeny PrimeSense kamerát használtak a prototípusban. A színeket mérő normál kamerákkal ellentétben a PrimeSense a kép egyes pontjainak távolságát méri a kamera lencséjétől. Az 1 mm-es pontosság és a 20 cm-es minimális hatótávolság a fő előny az eredetileg a projektben használt Kinect kamerával szemben.

"

Az ujjak helyének meghatározásához az OmniTouch először rögzíti a mélységtérképet (A). Ezután kiszámítjuk a dőléstérképet>"

A (B)-ben láthatja, hogy a térkép színekre fordítva van: a piros azt jelenti, hogy az X vagy Y tengely pozitív irányában kisebb a mélység (felfelé vagy jobbra), a kék pedig azt, hogy kisebb a mélység az X vagy Y tengely negatív irányában (lefelé vagy balra).A lila azt jelenti, hogy alig van változás a mélységben.

Ezzel a térképpel a szoftver függőleges hengeres metszeteket keres, egy felületet, amely megközelíti a kamerát, majd ott marad, és végül eltávolodik. Mi volt az ujja, ha egyik oldalról a másikra futja, hú. A színes térképen keressen egy piros, majd egy lila, majd egy kék szakaszt, mindezt ugyanazon a függőleges tengelyen.

A lehetséges jelölteket a rendszer kiszűri a magasság alapján, hogy kiszűrjön mindent, ami nem lehet ujj (például egy 2 milliméter magas hengert nem lehet ujjként felismerni, ezért azt el kell dobni). A (C) ábrán láthatja az összes azonosított ujjszakaszt.

Miután ez megtörtént, az összes függőleges szakaszt összeillesztik, hogy kialakítsák az ujjat (D ábra). Az esetleg túl rövid ujjakat eldobjuk, és feltételezzük, hogy mivel a felhasználó jobbkezes, az ujj bal szélső része a hegy.És íme, most már tudjuk, hová mutat a felhasználó .

Honnan tudhatjuk, hogy az ujj hozzáér-e a felülethez? Árvízfeltöltésnek hívják, de ismerősebb lesz, ha elmondom, hogy olyan, mintha a festékes vödörrel töltenék fel.

A technika egyszerű: keresse meg az ujj középső pontját, és kezdje el kitölteni a pixeleket felfelé, balra és jobbra, 13 milliméteres tűréshatárral. Vagyis csak akkor töltenek ki egy pixelt, ha a mélysége és az ujj felezőpontja közötti különbség kisebb, mint 13 milliméter.

Így, ha az ujja nem ér hozzá semmihez, csak az ujjának megfelelő képpontok lesznek kitöltve. Ha megérinti a kezét, még sok minden megtelik. A képen láthatja, hogy mi történik, ha az ujj a levegőben van (balra) vagy megérinti a kezet (jobbra). Ha a kitöltött képpontok egy bizonyos margóját átlépi, a szoftver egy koppintást vagy kattintást küld a megfelelő helyre.

Hogyan működik az OmniTouch: a kép kivetítése

Bár az ujjfelismerés a központi rész, nem szabad elfelejteni, hogy az OmniTouchnak is ki kell vetítenie egy képet bármilyen felületre. A mélységi kamrát is erre használják. A képen látható összes felületet a rendszer egy összekapcsolt komponens algoritmussal érzékeli, amely nagyon hatékonyan észleli a kép összekapcsolt pontjait.

Miután a kéznél kisebb felületeket eldobtuk, folytatjuk a középpont vagy referenciapont rögzítését a kép kivetítéséhez. Ez a pont segít észlelni a felület tájolását, és így lehetővé teszi olyan kép létrehozását, amely nem tűnik torznak.

A következő nehéz pont akkor jön, amikor a felület méretéről van szó.Mivel a felületek széleit nem lehet elég jól felismerni, az OmniTouch az összetevőpontok átlaga és szórása alapján öt pontba sorolja azokat: kéz, kar, notebook, fal és asztal. Mindegyiknek van egy bizonyos mérete és egy középpontja a kép számára.

A szoftver előállítja a vetítendő képet az összes adattal, eltorzítva azt, hogy helyesen jelenjen meg a felületen. Ezután továbbítja a képet a kivetítőnek, amely a képet bármilyen felületen megjeleníti.

Precíz technológia sok lehetőséggel

Az OmniTouch pontosságának mérésére használt tesztek.

A tesztelés során az OmniTouch nagyon precíz technológiának bizonyult. 96,5%-os pontosság, ha egy kattintás felismeréséről van szó, nagyon jó figura, és még inkább, tekintve, hogy prototípusról van szó.Ami az interfész méretét illeti, a 2 centiméter átmérőjű gombokkal a billentyűleütések 95%-a felismerhető.

Ez a maximális méret szükséges a kézbe vetített interfészhez. Más, távolabbi felületeken, például asztalon vagy falon, 15 milliméterre csökkenthető, nagyjából ugyanannyira, mint a hagyományos érintőképernyő gombjainak ajánlott mérete.

"

Ami a lehetőségeket illeti, végtelenek. A prototípussal egy szónoki emelvény készült a festéshez: a falra te rajzoltál, bal kezedben pedig te választottad ki a színeket. Kiemelőként is használható>"

A legérdekesebb azonban az, amit a dokumentum végén megemlítenek: az OmniTouch által megnyíló lehetőségek, amikor felhagyunk a kétdimenziós felületekkel, a test formáinak kihasználásával, hogy megváltoztassuk, hogyan interakcióba lépünk a számítógéppel.

"Az

OmniTouch egy igazán izgalmas projekt, mind technikáját, mind lehetőségeit tekintve. Hamarosan újra szót ejtünk róla a Microsoft> szerint a jövő című különlegességben"

A Xataka Windowsban | A jövő a Microsoft szerint További információ | OmniTouch