Deepfakes nėra mašininio mokymosi atitikmuo - štai kodėl

Naujos formos dezinformacija yra paplitusi per internetines bendruomenes, nes 2018 m. Laikotarpio vidurio rinkimų kampanijos sušyla. Po pseudoniminės internetinės sąskaitos, kuri populiarino techniką, vadinama „deepfakes“, kuri galėjo pasirinkti savo pavadinimą, nes procesas naudoja techninį metodą, vadinamą „giliu mokymusi“ - šie netikri vaizdo įrašai atrodo labai realistiški.

Iki šiol žmonės pornografijoje ir satyroje naudojo giliavandenius vaizdo įrašus, kad atrodytų, jog garsūs žmonės daro tai, ką jie paprastai nebūtų. Tačiau kampanijos sezono metu pasirodys beveik tam tikri giluminiai drebėjimai, kuriais siekiama parodyti kandidatus, sakančius dalykus ar vykstančias vietas, o tikrasis kandidatas nebūtų.

Kadangi šie metodai yra tokie nauji, žmonės turi sunkumų pasakyti skirtumą tarp realių vaizdo įrašų ir „deepfake“ vaizdo įrašų. Mano darbas su mano kolega Ming-Ching Chang ir mūsų doktorantūra. studentas Yuezun Li, rado būdą, kaip patikimai pasakyti tikrus vaizdo įrašus iš „deepfake“ vaizdo įrašų. Tai nėra nuolatinis sprendimas, nes technologija pagerės. Bet tai yra pradžia, ir tikisi, kad kompiuteriai galės padėti žmonėms iš tiesų pasakyti tiesą iš fikcijos.

Kas yra „Deepfake“?

Didelio vaizdo įrašo sukūrimas yra labai panašus į kalbų vertimą. Paslaugos, pvz., „Google“ vertėjas, naudoja kompiuterinį mokymąsi - dešimčių tūkstančių tekstų analizę keliomis kalbomis - norėdami nustatyti žodžių naudojimo modelius, kuriuos jie naudoja vertimui kurti.

Deepfake algoritmai veikia taip pat: jie naudojasi kompiuterio mokymosi sistema, vadinama giliu nerviniu tinklu, kad ištirtų vieno asmens veido judesius. Tada jie sintezuoja kito asmens veido vaizdus, ​​atlikdami analogiškus judesius. Tokiu būdu efektyviai sukuriamas tikslinio asmens vaizdo įrašas, rodantis, kad tai daro ar sako, ką padarė šaltinis.

Kad gilieji nerviniai tinklai galėtų tinkamai veikti, jiems reikia daug informacijos apie šaltinį, pvz., Asmenų, kurie yra įkūnijimo šaltinis arba tikslas, nuotraukos. Kuo daugiau vaizdų naudojama giliavandenio algoritmo mokymui, tuo realesnis bus skaitmeninis įsikūnijimas.

Mirksi

Šio naujo tipo algoritme vis dar yra trūkumų. Vienas iš jų yra susijęs su tuo, kaip imituoti veidai mirksi - ar ne. Sveiki suaugę žmonės mirksi kažkur tarp dviejų ir dešimties sekundžių, o vienas mirkymas trunka nuo dešimtosios iki keturios dešimtosios sekundės. Štai kas būtų normalu matyti kalbėtojo vaizdo įrašą. Tačiau tai ne kas atsitinka daugelyje giluminių vaizdo įrašų.

Kai giliavandenio algoritmas yra apmokytas asmens veido atvaizdais, tai priklauso nuo nuotraukų, kurios yra prieinamos internete ir kurios gali būti naudojamos kaip mokymo duomenys. Net ir žmonėms, kurie dažnai fotografuojami, internete yra nedaug vaizdų, rodančių jų uždarytas akis. Tokios nuotraukos yra ne tik retos, nes dažniausiai žmonių akys yra atviros, tačiau fotografai paprastai neskelbia vaizdų, kuriuose yra uždarytos pagrindinės temos.

Be treniruojamų žmonių mirksėjimo, deepfake algoritmai yra mažiau linkę sukurti veidus, kurie mirksi įprastai.Kai apskaičiuojame bendrą mirksėjimo spartą ir lyginame tai su natūraliu diapazonu, mes nustatėme, kad deepfake vaizdo įrašų simboliai mirksi daug rečiau, palyginti su tikrais žmonėmis. Mūsų tyrimuose naudojama mašininio mokymosi funkcija, skirta vaizdo akių atidarymui ir uždarymui ištirti.

Taip pat žr. Mašinų mokymas gali

Tai suteikia mums įkvėpimo aptikti „deepfake“ vaizdo įrašus. Vėliau sukuriame būdą, kaip aptikti, kada vaizdo įrašo asmuo mirksi. Jei norite, kad jis būtų konkretesnis, jis nuskaito kiekvieną atitinkamo vaizdo kadrą, aptinka jame esančius veidus ir automatiškai suranda akis. Tada jis naudoja kitą gilų neuroninį tinklą, kad nustatytų, ar aptikta akis yra atvira arba uždaryta, naudojant akies išvaizdą, geometrines savybes ir judėjimą.

Mes žinome, kad mūsų darbas naudojasi trūkumų, susijusių su giliavandenių algoritmų mokymu, trūkumu. Kad išvengtume panašių trūkumų, mes išmokėme savo sistemą didelėje atvirų ir uždarų akių vaizdų bibliotekoje. Šis metodas veikia gerai, todėl pasiekėme daugiau nei 95 proc.

Tai, žinoma, nėra paskutinis žodis dėl giliavandenių aptikimo. Technologija sparčiai gerėja, o konkurencija tarp suklastotų vaizdo įrašų kūrimo ir aptikimo yra analogiška šachmatų žaidimui. Konkrečiai, mirksintis vaizdo įrašus galima pridėti prie vaizdo įrašų, į kuriuos įeina akis, arba naudojant vaizdo sekas treniruotėms. Žmonės, kurie nori supainioti visuomenę, geriau sugalvos netikrus vaizdo įrašus - ir mes ir kiti technologijų bendruomenės nariai turės ir toliau ieškoti būdų juos aptikti.

Šis straipsnis iš pradžių buvo paskelbtas „Siwei Lyu“ pokalbyje. Skaitykite originalų straipsnį čia.