Susipažinkite su muzika: kaip „akių dirigentas“ padeda paralyžiuoti rutulį

Amsterdame gyvenantis sąveikos dizaineris ir kūrybinis koduotojas Andreas Refsgaard sukūrė muzikos sąsają, leidžiančią žmonėms su negalia kurti muziką. Akių laidininkas naudoja akių sekimo programinę įrangą ir kompiuterio kamerą, kad išverstų veido judesius į skirtingus muzikinės kompozicijos komponentus. Vartotojai gali mokyti save žaisti su savo veidu, o tai reiškia, kad žmonės, kurie nebegali žaisti instrumentais, gali paralyžiuoti, kad galėtų būti antra proga padaryti gražius (arba tiesiog garsius) garsus. Teisingas žvilgsnis tiesiog atsitrenkia į akordą su Refsgaard išradimu. Teisinga išraiška išreiškia save garsiai.

Refsgaard kalbėjo Inversinis apie jo projekto motyvaciją, kovą, kurią jis patyrė pakeliui, ir tai, ką jis sužinojo, ką jis suteikė žmonėms, kurie prarado galimybę muziką padaryti dar vieną galimybę.

Kas yra jūsų muzikos fonas?

Aš nekalbu apie muzikantą, nes aš žaisti tik smagiai, bet groju gitara ir bosu. „Ableton“ yra muzikos programa, skaitmeninė darbo vieta, panaši į įrašymo programinę įrangą, pvz., „Logic“ arba „Protools“ arba „Garage Band“. Aš paėmiau kursą, ir aš ne taip puikiai darydavau su juo muziką, bet mane sužavėjo galimybės, kurias matiau. Tada mes pradėjome bendradarbiauti ir atlikti dar daugiau meniškų diegimo tipų, kur jis suprojektuotų garsus, ir aš prijungsiu jutiklius, pvz., Gylį, todėl kai žmonės praėjo praeityje, jie valdys tam tikrą projekto aspektą.

Taigi esate sąveikos dizaineris ir kūrybinis koduotojas. Ar galėtumėte paaiškinti, ką šie pavadinimai reiškia?

Visi dalykai, kuriuos projektuojau, yra interaktyvūs. Taigi, jei norėčiau padaryti tam tikrus baldus, tai turėtų tam tikrą funkcionalumą, kuris leistų jam reaguoti į kažką. Aš taip pat esu kūrybinis koduotojas. Palyginti su daugeliu kitų žmonių - pvz., Kopenhagoje studijavau Kopenhagos sąveikos dizaino institute, kur žmonės atvyksta iš daugybės skirtingų sluoksnių - šiek tiek daugiau linkiu prie kodavimo pusės. Aš taip pat vadinu save „kūrybos koderiu“, nes nesu tinkamas koduotojas. Aš ne taip gerai, bet aš galiu padaryti kai kuriuos dalykus tikrai greitai ir galiu susieti dalykus, ir aš esu gerai pasiruošęs kurti naujas idėjas.

Kas paskatino jus padėti žmonėms su fizine negalia padaryti muziką?

Po dviejų ar trijų mėnesių vidurinės mokyklos buvau tėvų, turinčių raumenų distrofiją, prižiūrėtojas. Būdamas su juo visą laiką, aš suvokiau kai kuriuos dalykus, kurių aš negalėjau jam padėti. Vienas iš jų išreiškė save kūrybiškai. Tai buvo ne manau, „Gerai čia problema, kurią reikia išspręsti“, nes tuo metu buvau jaunas ir neturėjau jokių profesinių įgūdžių. Bet jis pasiliko su manimi.

Ką apie techninį įkvėpimą?

Projektą, pavadintą „Eyewriter“, kurį mačiau maždaug prieš metus, yra tapybos programa, skirta vaikui, kuris anksčiau buvo grafiti menininkas, bet tada buvo paralyžiuotas. Kai kurie jo draugai buvo koduotojai ir sukūrė jam akių sekimo priemonę, leidžiančią jam piešti. Ir tada, kai grojau su jutikliais ir muzikos programine įranga, užmezgau ryšį. Aš tai padariau kaip savo galutinį projektą mokykloje.

Kaip muzika baigėsi kūrybine sritimi, kurią norėjote ištirti?

Manau, galbūt todėl, kad mėgstu muziką patys daug ir kiek laiko aš turėjau projektui. Tiesiog paaiškėjo, kad muzika buvo tai, ką norėjau dirbti. Tuomet buvau labai įkvėptas „Eyewriter“ dėl grafikos kūrimo.

Muzika atrodo kaip puikus pasirinkimas, nes jis yra universalus. Aš negaliu galvoti apie tuos, kurie nepatinka muzikai.

Iš pradžių aš iš tikrųjų norėjau išbandyti, kokia svarbi muzika buvo skirta grupei, kurią projektavau. Pirmieji žingsniai buvo tik stebėti, kaip žmonės su skirtinga fizine negalia sąveikauja su muzika. Vienas namelis, kurį lankiausi, turėjo muzikos ketvirtadienius. Kai kurie gali šiek tiek nukreipti arba šiek tiek žaisti klaviatūroje, o kai kurie nieko negali, bet tai, kad jie rodomi muzikos ketvirtadieniais.

Kiek laiko buvo stebimas ir tada padarytas prietaisas?

Dažnai projektavimo metu tai būtų du atskiri dalykai, bet man nepatinka toks požiūris. Man patinka pastatyti nuo pat pradžių ir tada, kai turiu pokalbius apie tai, ką sukūriau. Ir tada jį modifikuoju arba tobulinu.

Ką norėjo matyti, kaip žmonės jį pirmą kartą naudoja?

Tai buvo gana gražus, taip. Kadangi kai kurie žmonės negali kalbėti, ryšys gali būti sunkus. Bet tada, kai jie naudojo mano akių laidininką, mes iš tikrųjų prisijungėme. Jie pažvelgė į mane ir šypsosi ar veikė tikrai laimingi, arba kai tik aš jį demonstravau, jie buvo tikrai sutelkti. Tai buvo gražus pavyzdys, kaip muzika gali padėti žmonėms bendrauti ir išreikšti emocijas.

Nesuprasdami pernelyg techninio pobūdžio, kokia buvo didžiausia problema, su kuria susidūrėte, kai projektavote akių laidininką?

Norint, kad sistema veiktų, jūs turite sėdėti toje pačioje vietoje, kaip dabar sėdi priešais savo nešiojamus kompiuterius, nes vaizdas, kurį dabar matote, yra tiesus ir gerai seka mano veidą ir akis. Bet jei jūs esate su kuo nors vežimėliu, kuris neturi, pavyzdžiui, savo pozicijos ar nugaros ar kaklo, tada kartais jie sėdėtų į šoną ir sistema negalėtų stebėti jų veido judesių. Ir tada kartais man būtų šiek tiek nepatogu bandyti pasakyti: „Gerai, kad dirbtum, jūs turite sėdėti tiesiau.

Jei kažkas galvos būtų pakreipta, ar galėtumėte teoriškai laikyti nešiojamąjį kompiuterį tokiu būdu, kuris atveria jų veido gestus?

Taip. Taigi aš tikrai nesiruošiau išspręsti šios problemos sprendimo, tačiau daugelis žmonių turi kompiuterius, kurie yra sumontuoti prie savo vežimėlių, o kompiuteris yra ant stulpo ir tada ant tos stulpelio yra tvirtinimo įtaisas, ir jie nukreipia jį į dešinę link asmens veidą. Nėra jokios padėties, kuri yra teisinga ar neteisinga, tik apie tai, kad jutikliai - tai kamera ir akių sekimo priemonė - būtų tiesūs ant galvos. Tai buvo šiek tiek sudėtinga. Tai buvo daugiau techninės įrangos dalykas, nes priešingu atveju turėčiau pabandyti sukurti struktūrą ir tai būtų nepatogus. Aš ne taip gerai.

Ar visa tai padarėte patys, ar pateko į technines problemas, kurias tik kiti žmonės žinojo kaip išspręsti?

Aš tai padariau sau, bet garso dizaino pusėje aš gavau pagalbą iš to profesoriaus, apie kurį pasakiau. Iš esmės tik garso dizaino medžiagos. Aš taip pat turėjau patarėją, kuris man davė šiek tiek patarimų programavimo kalba, vadinamą Max. Jis tiesiog padėjo man labiau patenkinti tam tikras programavimo detales. Žinoma, daugelis iš jų buvo nauji, bet jo pagrindai jau žinojau iš ankstesnės patirties. Aš aštuonias savaites padariau akių dirigentą, o žmonės sakė: „O tai, kas beprotiška, kaip jūs galite tai padaryti per aštuonias savaites?“ Bet aš padariau keletą kitų dalykų, kurie taip pat buvo pažangūs dirbant su jutikliais ir muzikos programine įranga, ir tai užtruko ilgiau, nes Aš nežinojau, kaip tai padaryti. Dabar, kai žinau, tai nėra taip sunku, nors šis projektas buvo sudėtingesnis. Man taip pat svarbu pabrėžti, kad jis yra visiškai veikiantis prototipas, tačiau jis nėra produktas. Taigi žmonės negali išeiti ir pirkti ir įdiegti savo kompiuteryje.

Aš norėjau paklausti, ar turite planą jį parduoti?

Aš iš tikrųjų nenoriu parduoti, noriu jį atleisti. Aš noriu, kad tai būtų atviro kodo dalykas, bet dabar nieko negaliu pažadėti. Aš dar neturiu finansavimo, ir turiu dirbti ir kitus dalykus. Aš gavau pranešimą iš Michigano vaikino, kuris anksčiau buvo gamintojas, ir tada jis gavo ALS. Turiu tai padaryti kažkaip prieinamą visiems šiems žmonėms. Man labai svarbu tam tikru momentu, ir aš negaliu pažadėti, kada, tikiuosi, gana greitai, pakuoti jį taip, kad žmonės galėtų jį atsisiųsti kaip vieną dalyką, ir jis būtų rodomas daugumoje kompiuterių arba iš tikrųjų išbandytų naršyklėje. Idėja, kad ji būtų naršyklė, reikalautų, kad žmonės turėtų kompiuterį, turintį prieigą prie interneto, ir tada turi turėti bet kokį pelės pakeitimą, kurį jie gali turėti savo kompiuteryje. Jei padarysiu jį atviru šaltiniu, galiu pateikti pagrindinį demonstraciją ir tada žmonės gali pridėti savo posūkius, kad jie taptų savimi.

Malonu išgirsti, kad tai darote, nes norite padėti žmonėms, o ne todėl, kad norite gauti turtingas ar kažką panašaus.

Įrankiai, kuriuos aš jį sukūriau su bent jau darbo prototipu, yra atviro kodo. Kodėl turėčiau gauti kreditą? Pavyzdžiui, veido stebėjimo sistema, kurią aš naudoju savo prototipui, leidžianti žmonėms kurti garsą, pakeliant jų antakius arba atidarant jų burną, tai „FaceOSC“, kurį sukūrė vaikinas Kyle McDonald ir kuris yra atviro kodo sistema. Nemanau, kad man būtų buvę taip pat, kaip ir be šios programinės įrangos.