AR Emoji, integrovaný do aplikace fotoaparátu Samsung Galaxy S9, vám umožňuje používat přední fotoaparát k vytváření a odesílání digitálních kreslených avatarů. Podobně jako koncept Animojis společnosti Apple v konceptu, AR Emoji zachycuje vaše pohyby obličeje a zrcadlí je ve formě postavy nebo zvířete. Ale s funkcí „Vytvořit mé emodži“ si můžete také vytvořit sebe sama pouhým pořízením selfie - což vám umožní zvolit tón pleti, oblečení, účes, barvu vlasů a brýle.
Díky AR Emoji se společnost Samsung rozhodla vyřešit to, co považuje za problém - najít způsob, jak nahradit stávající emodži interaktivními. Společnost to chtěla udělat jednoduchým způsobem, protože poskytla uživatelům správné nástroje k zachycení emocí, ale přesto jim umožnila snadno sdílet výsledek na různých platformách pro zasílání zpráv.
Jak tedy společnost Samsung vytvořila svůj AR Emojis? Pro začátek to šlo přímo k odborníkům na 3D animaci, kteří oživili některé z nejpopulárnějších hollywoodských postav.
Od velké obrazovky po fotoaparát smartphonu
Při napájení této nové funkce spolupracovala společnost Samsung s Loom.ai - startupem v San Francisku, který se specializuje na 3D animaci. Software společnosti umožňuje uživatelům vytvářet plně personalizované a přizpůsobitelné 3D avatary z jedné fotografie bez vlastního hardwaru nebo snímačů hloubky. Díky partnerství a sadě pro vývoj softwaru (SDK) společnost Samsung spojila technologii Loom.ai s technologií fotoaparátu S9 (rozšířená realita a rozpoznávání obličeje), aby bylo možné vlastní AR Emoji.
Společnost Samsung chce najít způsob, jak nahradit stávající emodži interaktivními.
Vize za Loom.ai začala u filmů - přesněji řečeno o komiksech a superhrdinách. Zakladatelé Loom.ai - Mahesh Ramasubramanian a Kiran Bhat - dříve pracovali v populárních společnostech zaměřených na vizuální efekty, jako jsou DreamWorks a Lucasfilm, a pomohli přivést na velkou obrazovku známé postavy, jako jsou Shrek a Hulk.
Aby vtiskli těmto postavám osobnost, použili technologii zachycení výkonu k začlenění herců, kteří je hráli - zaznamenávali pohyby herce, nikoli jejich vizuální podobu. Ale poté, co Ramasubramanian a Bhat viděli, jak diváci filmů reagovali na jejich 3D výtvory, se rozhodli posunout tuto technologii dále - mimo Hollywood - spuštěním Loom.ai, který se zaměřuje na smartphony.
"Lidé okamžitě reagují na to, že tyto postavy ožijí, když jsou poháněny lidskými herci," řekl Ramasubramanian, který slouží jako generální ředitel a spoluzakladatel, pro Digital Trends. "Začali jsme Loom.ai s cílem, že musíme být schopni najít snadný způsob, jak se každý jedinec může vidět ve 3D, a proto jsme museli vybudovat novou technologii."
Brenda Stolyar / Digitální trendy U hraných filmů vyžaduje tvorba 3D avatara spoustu vybavení - drahý hardware a software, makeup a studio. Loom.ai však našel způsob, jak zjednodušit proces pořizování funkcí člověka bez obvyklých nástrojů; namísto toho patentovaná technologie využívá k analýze obrazu jedinou fotografii a hluboké učení. Pokud fotografie neobsahuje žádné výrazy obličeje, algoritmus hloubkového učení sleduje pixely a automaticky vytváří tvář, která zapouzdřuje správný pohyb svalů.
„Když se partnerství společnosti Samsung rozvíjelo, měli jsme šanci implementovat tuto sofistikovanou technologii na zařízení, což je podle nás již samo o sobě docela přesvědčivý technický úkol,“ řekl Bhat, CTO a spoluzakladatel společnosti Loom.ai, Digital Trends. "Je to velký technologický skok ve schopnosti převzít některé z těchto nápadů a aspirací z velké obrazovky a přenést je na mobilní zařízení."
K napájení AR Emoji společnost Samsung požádala o pomoc Loom.ai - spuštění v San Francisku se specializací na 3D animaci.
Začlenění této technologie do hardwaru Galaxy S9 vyžadovalo, aby Loom.ai restrukturalizoval své algoritmy, aby fungoval na zařízení. Loom.ai však nevytvořil AR Emoji sám: Ramasubramanian i Bhat připisují společnosti Samsung odpovědnost za to, že věnovali obrovské úsilí optimalizaci softwaru. Poskytnutím sady SDK pro integraci do chytrých telefonů si zakladatelé Loom.ai myslí, že společnost Samsung může rámec výrazně obohatit přidáním dalšího obsahu a možností přizpůsobení v budoucnu.
Jak Galaxy S9 vytváří digitálního avatara
Jak přesně tedy S9 (a S9 Plus) vytváří AR Emojis? Ačkoli společnost Samsung neodhalila svou tajnou omáčku, věnovala Digital Trends pohled pod kapotu.
Fotoaparát telefonu, který využívá technologii Loom.ai, snímá a zpracovává 2D obraz do 3D. Aby toho bylo možné ještě více vylepšit, používá S9 k dodávání výrazů obličeje pro AR Emoji další software - sledování obličeje a technologie Samsung Blend Shape.
Pak vám zbude kreslená verze sebe sama, která dokáže emulovat 18 různých výrazů - které Samsung plánuje pomalu rozšiřovat na 54 - od radosti a potěšení až po smutek a hněv. Všechna data jsou také místní pro zařízení a nikde jinde se neukládají.
Technologie sledování obličeje sleduje v reálném čase více než 100 rysů obličeje (například mrknutí nebo úsměv), které zachycují jednotlivé emoce, zatímco Blend Shape pomáhá zajistit jejich větší rozsah - což spojuje výrazy dohromady na základě 75 základních rysů lidské tváře . Samsung říká, že pro Blend Shape provedl v laboratořích minimálně 100 testů týdně, aby se ujistil, že je k dispozici dostatek dat, které by jeho uživatele lákali. (Blend Shape se také používá k vytvoření Disney AR Emojis, jako je Mickey a Minnie Mouse.)
V našem vlastním testu AR Emoji měla většina z nás pocit, že naše postavy vypadají extrémně nepřesně. Jeden spisovatel cítil, že je k dispozici nedostatek možností tónů pleti, aniž by bylo možné vybírat tóny tmavé pleti. Jiní cítili, že jejich AR Emoji nevypadají jako oni, což způsobilo, že úpravy avatara vypadaly spíše jako fuška než jako příjemný úkol.
Podle Loom.ai je vytvoření přesné AR Emoji do značné míry závislé na způsobu fotografování selfie. Uživatelé by měli pořizovat fotografie stejně, jako by pořizovali fotografie z pasů. "Chcete rovnoměrné osvětlení, nic nezakrývající váš obličej a neutrální výraz, abychom mohli tyto výrazy přidat později," vysvětlil Ramasubramanian. "Je to záležitost lidí, kteří si na to trochu zvyknou a poté uvidí možnosti animace a použití."
Ramasubramanian také uvedl, že uživatelé by s tím měli zacházet tak, jak by se chovali při fotografování jakékoli selfie - to znamená, že můžete pořizovat spoustu fotek, dokud nebudete s fotkou spokojeni. Protože AR Emoji umožňuje vytvářet více avatarů, můžete je porovnat a najít ten, který se vám nejvíce líbí. Každý z nich, který vytvoříte, se také uloží do telefonu, takže můžete přepínat používanou verzi podle vaší nálady.
Nejnovější aktualizace AR Emoji zahrnuje další účesy, pokrývky hlavy, jako je hidžáb, a další možnosti. Aktualizace se aktuálně zavádí pro odemčené verze Samsung Galaxy S9 a S9 Plus v Koreji, Číně a Evropě. Zařízení evropských operátorů a odemknutá zařízení v USA by měla mít aktualizaci k dispozici ke stažení tento týden. Aktualizace pro zařízení amerických operátorů bude vydána v příštích týdnech. Samsung říká, že AR Emoji se bude v budoucnu i nadále vyvíjet, ale prozatím zůstává přísný na přesnost podrobností.
