ReALM. Maailmanlaajuinen kielimalli Applen toimesta? | AI liiketoiminnassa #121

Mitä on ReALM?

ReALM tarkoittaa “Viittauksen ratkaiseminen kielen mallintamisena”, ja se on Apple-tutkijoiden kehittämä mullistava ratkaisu. Se on siis uusi kielimalli (Large Language Model, LLM), joka käsittelee viittauksen tunnistamisen ongelmaa kielen mallintamisen tehtävänä.

ReALM muuntaa tehokkaasti erilaisia konteksteja tekstuaaliseksi esitykseksi, jota se sitten käsittelee osana kielitehtävää. Tämä voi sisältää:

• keskustelut – kuten tekstiviestit, äänikomentot avustajalle tai sähköpostit,
• näytön elementit – esimerkiksi valokuvat, kalenteri, säätiedotussovellus tai taustalla toimivat sovellukset ja prosessit.

Mikä tekee ReALM:ista erilaisen kuin muut viittauksen tunnistamismallit? Ensinnäkin lähestymistapa – sen sijaan, että luotettaisiin kuvankäsittelyyn, ReALM toimii tekstialueella. Tämä tekee siitä paljon kevyemmän ja tehokkaamman, mikä mahdollistaa sen suorittamisen suoraan mobiililaitteilla käyttäjän yksityisyyttä vaarantamatta.

Miten ReALM on parempi kuin GPT-4?

Applen tutkimusryhmä vertasi ReALM:ia markkinoiden voimakkaimpiin kielimalleihin tänään – GPT-3.5 ja GPT-4 OpenAI:lta. Tulokset olivat vaikuttavia. Viittauksen tunnistustehtävissä pienin ReALM-muunnos saavutti tarkkuuden, joka oli verrattavissa GPT-4:ään! Suuremmat ReALM-mallit jopa ylittivät GPT-4:n viittausten tunnistamisessa näytöllä näkyviin kohteisiin (http://arxiv.org/abs/2403.20329).

Mikä selittää tämän edun? Ensinnäkin ReALM on loistava erityisalan kysymyksissä, kuten älykotilaitteita koskevissa kysymyksissä. Tämä johtuu siitä, että ReALM osoittaa syvempää kontekstin ymmärrystä hienosäätämällä mallia erityisalan datalle.

Lisäksi, toisin kuin GPT-4, joka kouluttaa pääasiassa todellisten esineiden kuvilla, ReALM erottuu tekstuaalisten elementtien ja sovellusten käyttöliittymien komponenttien tunnistamisessa. Ja käyttöliittymän ymmärtäminen on kriittistä ääniavustajien sujuvassa vuorovaikutuksessa nykyisin käytettävien sovellusten kanssa.

Lähde: DALL·E 3, kehotus: Marta M. Kania (https://www.linkedin.com/in/martamatyldakania/)

Onko tämä todella älykkäiden avustajien aikakauden alku?

Itse asiassa ReALM:in integrointi Siriin voisi avata kokonaan uuden luvun ihmisen ja tietokoneen vuorovaikutuksessa. ReALM:in avulla Siri pystyy ymmärtämään komentoja, jotka sisältävät viittauksia älypuhelimen näytöllä näkyviin kohteisiin sekä taustalla toimiviin prosesseihin ja sovelluksiin. Mutta milloin tämä vaihtoehto on käyttäjien saatavilla? Se on edelleen tuntematon.

Jäämme spekuloimaan mallin teknisten kykyjen perusteella. Miten ReALM:ia hyödyntävä Siri voisi toimia? Esimerkiksi, jos selaat yrityslistasivustoa ja näet yrityksen, joka kiinnostaa sinua, voit yksinkertaisesti sanoa Sirille: “Soita tälle yritykselle”, ja avustaja – käyttäen ReALM:ia kontekstin analysoimiseen – löytää määrittelemäsi yrityksen puhelinnumeron ja aloittaa puhelun. Sinun ei tarvitse edes selittää tarkalleen, mitä yritystä tarkoitat.

A tämä on vasta ReALM:in mahdollisuuksien alku. Komennot kuten “Soita viimeisin soittolista” mahdollistaisivat intuitiivisen hallinnan multimedia-sovelluksista ja älykotilaitteista. ReALM voisi myös mahdollistaa Sirin ymmärtävän keskustelujen kontekstia ja komentohistoriaa, jotta avustaja reagoi asianmukaisesti käyttäjän aikaisempiin pyyntöihin. Tämä on askel kohti älykkäitä agenteja, joka vie meitä lähemmäksi ei vain sellaista tekoälyä, joka ymmärtää pyyntöjämme, vaan sellaista, joka osaa toteuttaa komentoja.

Ja tämä on vasta ReALM:in mahdollisuuksien alku. Komennot kuten “soita viimeisin soittolista” mahdollistaisivat intuitiivisen hallinnan media-sovelluksista ja älykotilaitteista. ReALM voisi myös mahdollistaa Sirin ymmärtävän keskustelujen kontekstia ja komentohistoriaa, jotta avustaja reagoi asianmukaisesti käyttäjän aikaisempiin pyyntöihin. Tämä on askel kohti älykkäitä agenteja, joka vie meidät lähemmäksi ei vain sellaista tekoälyä, joka ymmärtää pyyntöjämme, vaan sellaista, joka osaa toteuttaa komentoja.

Valitettavasti Android-laitteiden käyttäjien on odotettava. Tällä hetkellä ei ole tietoa Googlen suunnitelmista lisätä Geminin ominaisuuksia Google Assistantiin. Google Gemini -sovellus Android-laitteille on kehitetty (https://play.google.com/store/apps/details?id=com.google.android.apps.bard&hl=en_US), mutta se ei ole vielä saatavilla Yhdysvaltojen ulkopuolella.

Lähde: Google Play (https://play.google.com/store/apps/details?id=com.google.android.apps.bard&hl=en_US)

Yhteenveto

ReALM on Applen innovatiivinen lähestymistapa ääniavustajien kontekstin tunnistamisongelman ratkaisemiseen. Sen sijaan, että luotettaisiin kuvankäsittelyyn, tämä kielimalli muuntaa erilaisia konteksteja tekstuaaliseksi esitykseksi, jota se sitten käsittelee kielitehtävässä. Tämä lähestymistapa varmistaa paitsi korkean tunnistustarkkuuden myös kyvyn toimia mobiililaitteella käyttäjän yksityisyyttä vaarantamatta.

Antamalla Sirille pääsyn ReALM:iin voidaan tarjota luonnollisempia ja kontekstuaalisia ääni vuorovaikutuksia, mikä on tärkeä askel kohti todella älykkäitä avustajia. ReALM:in avulla Siri pystyy välittömästi reagoimaan komentoihin, jotka liittyvät näytön kohteisiin, sovelluksiin ja taustaprosesseihin. Yksi asia on varma – avustajien kontekstuaalisen tietoisuuden parantaminen on avain todella älykkäiden ja luonnollisten ääni vuorovaikutusten luomiseen, ja ReALM on epäilemättä tärkeä askel tuossa suunnassa.

Jos pidät sisällöstämme, liity vilkkaaseen mehiläisyhteisöömme Facebookissa, Twitterissä, LinkedInissä, Instagramissa, YouTubessa, Pinterestissä, TikTokissa.