Google DeepMind testib uusi AI-mudeleid ARR ja BlockRank, mis võivad asendada traditsioonilise otsinguretrieveerimise. Loe, kuidas see mõjutab ettevõtteid.

Google DeepMind on avaldanud uuringuid, mis viitavad fundamentaalsele muutusele selles, kuidas interneti otsingutulemused tulevikus genereeritakse. Senine tehnoloogia, mis on aastakümneid toetanud veebilehtede leidmist, põhineb keerklisel kaheetapilisel protsessil. Kuid uued arendused nimel Autoregressive Ranking (ARR) ja BlockRank viitavad sellele, et Google liigub suunas, kus üks suur keelemudel (LLM) võib juhtida kogu protsessi algusest lõpuni.

Kuidas toimib praegune otsinguretrieveerimine

Enne kui saame mõista ARR-i tähendust, on vaja vaadata praegust arhitektuuri. Traditsioonilised süsteemid kasutavad Dual Encoderit (DE) ja Cross Encoderit (CE). Dual Encoder on kiire ja odav meetod, mis teisendab päringud ja dokumendid vektoriteks, et kiiresti leida potentsiaalsed kandidadid. See on nagu esmane filter, mis eemaldab miljardide lehtede hulgast need, mis ei sobi üldse.

Seejärel liiguvad valitud lehed Cross Encoderi juurde. CE on palju võimsam ja täpsem, kuid samas arvutusammu poolest kallis. See analüüsib kandidatid põhjalikult ja seab neile lõpliku järjekorra. Probleem on selles, et CE ei suuda töödelda liiga suuri andmemahusid reaalajas, mistõttu on ta sõltuv DE-st. See kaheetapiline lähenemine loob piiranguid täpsuse ja kiiruse vahel.

Autoregressive Ranking: ühe mudeli võim

Google DeepMindi uuringus Autoregressive Ranking: Bridging the Gap Between Dual and Cross Encoders on ettepanek asendada see kaheetapiline süsteem ühe ühendatud LLM-iga. ARR-i eesmärk on kõrvaldada vahetoimingud ja luua otse järjestatud dokumentide nimekiri.

Selleks, et mudel õpiks õigesti järjestama, kasutasid teadlased meetodit nimega SToICaL (Simple Token-Item Calibrated Loss). See treeningmeetod õpetab mudelit andma suuremat kaalu dokumentidele, mis peaksid positsioonilt olema kõrgemal, ja vähem olulisematele lehtedele madalamat kaalu. Kui see tehnoloogia rakendatakse masspästi, võib see tähendada, et SEO ja AEO (AI Engine Optimization) reeglid muutuvad täiesti, kuna mudel ei piirdu enam lihtsa vektori võrdlemisega, vaid kasutab sügavamat kontekstuaalset mõistmist.

BlockRank ja semantilise otsingu demokratiseerimine

Samal ajal, kui ARR keskendub arhitektuuri ühendamisele, pakub BlockRank lahendust tõhususe probleemidele. In-Context Ranking (ICR) on meetod, kus LLM-ile antakse juhised, kandidatdokumendid ja päring, et leida kõige asjakohasemad vastused. See on võimas, kuid nõudleb eksponentsiaalselt rohkem arvutusvõimsust, mida rohkem lehti võrreldakse.

BlockRank lahendab selle probleemi, tuginedes avastusele nimelt inter-document block sparsity. Teadlased märkasid, et mudel ei võrdle kõiki dokumente omavahel pidevalt, vaid keskendub peamiselt iga dokumendile eraldi. Optimeerides seda protsessi, võimaldab BlockRank tekitada kõrge kvaliteediga semantilise otsingu, mis ei nõua hiigelise arvutustalut. See võib avada ukse väiksematele organisatsioonidele ja isikutele, kes soovivad kasutada võimsamaid infopidamise ja leidmise tööriistu ilma Googlei tasakesel infrastruktuuril.

Mida tähendab ühendatud süsteem praktikas

Kui Google liigub ühendatud ranking-mudeli suunas, muutub sisu asjakohsus (relevance) veelgi kriitilisem kui tehnilised märgid. Praegune SEO tugineb sageli struktuurile ja märksõnadele, kuid ARR-i tüüpi mudelid hindavad sisu terviklikkust ja konteksti.

ARR-i ja BlockRanki sissejuudimine võib tähendada, et otsingumootor ei otsi enam lihtsalt märksõnu, vaid mõistab vastuse loogilist struktuuri ja selle väärtust kasutajale ühe tervikliku analüüsi käigus.

See tähendab, et veebilehed, mis on optimeeritud vaid masinatele, võivad kaotada positsioone nende kasuks, kes pakuvad tõelist ekspertiisi ja selget vastust konkreetsetele küsimustele. Arvutuskulude langus täThanks BlockRankile tähendab samas, et reaalajas toimuv sisu analüüs muutub kiiremaks ja täpsemaks.

Uue tehnoloogia mõju sisu loomisele

Kuna LLM-id võtavad üle nii leidmise kui ka järjestamise, muutub sisu struktureerimine olulisemaks. Kui mudel kasutab In-Context Rankingut, siis sellele, kuidas info on lehel esitatud, on otsustav tähendus. See ei ole enam küsimus sellest, kas märksõna on pealkirjas, vaid sellest, kuidas info blokeerimine ja loogiline seotus aitab mudelil kiiremini õige vastuse tuvastada.

Ettevõtted peaksid keskenduma järgmistele aspektidele:

Sisu loomine, mis vastab konkreetsetele kasutajaküsimustele, mitte üldistele teemadereid. Kontekstuaalne täpsus muutub olulisemaks kui märksõnade tihedus. Samuti on oluline tagada, et info oleks struktureeritud viisil, mis võimaldab AI-mudelitel seda kiiresti ja tõhusalt skannida, vähendades mudeli vajadust teha liigseid arvutuskulusid.

Mõju Eesti ja Balti riikide digiekoosüsteemile

Eesti ja Balti riikide ettevõtjate jaoks on see tehnoloogiline hüpe eriti oluline, kuna meie regiooni majandus tugineb suuresti digitaalsele ekspordile ja agilityl. E-Estonia mudel ja meie arenenud digi-infrastektuur annavad meile eelise kiiresti adapteeruda, kuid Googlei algoritmide radikaalne muutumine nõuab uut lähenemist.

Kuna Balti riikide turud on väikeseid, on kohalikke märksõnu põhinevaid strateegiaid sageli kasutatud efektiivselt. Kuid ARR ja BlockRanki ajastul kui semantilised mudelid muutuvad domineerivaks, ei piisa enam kohaliku keele märksõnadest. Oluline on luua sisu, mis on semantiliselt rikas ja ekspertset, et AI-mudelid tunnistaksid Balti ettevõtteid nende valdkonna autoriteetidena globaalses kontekstis.

Samuti tuleb arvestada Euroopa Liidu AI Actiga. Kui Google hakkab kasutama LLM-is põhinevaid ranking-süsteeme, siis läbikusse ja läbipaistvuse nõuded muutuvad kriitiliseks. Eesti ettevõtjad, kes arendavad oma AI-lahendusi, võivad BlockRanki sarnast tehnoloogiat kasutada, et luua efektiivseid sisemisi teadmusbaase, mis ei nõua miljardite dollareite investeringuid arvutusvõimsusse. See demokratiseerib juurdepääsu võimsale infootsingule ka väiksematele startupidele Tallinnas, Rigas ja Vilnuse tehnoloogiakeskustes.

Korduma kippuvad küsimused

---

Allikad: Searchenginejournal (2), Optimixed ·