Cum se calculează scorul de vizibilitate în AI

1.Ce măsoară scorul

Punem mai multor asistenți AI publici un set de întrebări pe care un client le-ar putea pune realist și numărăm două lucruri în fiecare răspuns: dacă afacerea dumneavoastră este menționată pe nume și dacă site-ul este citat ca sursă. Scorul este media acestor rezultate pe motoare, exprimată din 100.

Asta este toată ideea. Este o măsurătoare a comportamentului observat, nu un model al lui. Nu știe de ce a răspuns un asistent într-un anumit fel și nu prezice ce va răspunde mâine.

Ce nu este scorul: un clasament, o garanție, o predicție de venituri sau ceva recunoscut de vreun furnizor AI. Nimeni din afara Tunnel nu folosește acest număr. Este util pentru că este măsurat identic în fiecare zi, așa că mișcarea lui înseamnă ceva chiar acolo unde valoarea absolută nu înseamnă.

2.Ce motoare interogăm

Cinci motoare, toate asistenți pe care un client chiar i-ar putea folosi și toate motoare la care putem ajunge cu adevărat:

Perplexity este singurul motor care întoarce lista surselor folosite, ceea ce îl face singurul semnal de citare de calitate pe care îl avem. Când sondele sunt rutate printr-un singur agregator, acea listă nu este disponibilă, iar citările se reduc la apariția domeniului dumneavoastră în textul răspunsului.

3.Ce întrebări punem

Cinci întrebări per rulare, alese în unul din două moduri:

1. Din cuvintele dumneavoastră cheie. Dacă ați atașat cuvinte cheie site-ului, folosim primele cinci. Este determinist, este terenul de luptă ales de dumneavoastră și nu costă niciun apel de model.
2. Generate din propriul conținut. Altfel, un model scrie cinci întrebări pornind de la identitatea afacerii și FAQ-ul extrase la crawl, acoperind formele care declanșează răspunsuri AI: o întrebare de definiție, una de recomandare, un „cum se face" despre problema pe care o rezolvați, o întrebare de preț și una de comparație sau alternative.

Apoi se aplică două ajustări. O întrebare de brand este ancorată cu domeniul dumneavoastră, pentru că o afacere al cărei nume este un cuvânt obișnuit („Tunnel") ar primi altfel un răspuns despre cu totul altceva. Iar dacă afacerea este locală, adăugăm o întrebare de localizare fără brand — întrebarea pe care o pune de fapt un client, fără niciun indiciu că existați. Aceea este cea mai grea și cea mai onestă.

Fiecare rulare înregistrează exact întrebările folosite, așa că un scor cu care nu sunteți de acord poate fi urmărit până la întrebările care l-au produs.

4.Ce înseamnă o mențiune

Textul răspunsului este normalizat înainte de potrivire: descompunere Unicode, eliminarea diacriticelor, litere mici, punctuația transformată în spații. Astfel, *„Cofetăria Bună"* se potrivește cu *„cofetaria buna"*.

Căutăm apoi brandul dumneavoastră și brandul fără sufixul juridic final (SRL, S.R.L., LLC, Ltd, GmbH, SA, PFA și altele asemenea). Variantele mai scurte de patru caractere sunt eliminate — un brand de două litere care se potrivește peste tot e mai rău decât lipsa semnalului.

Un brand dintr-un singur cuvânt primește o regulă mai strictă. „Tunnel", „Slack" sau „Delta" apar tot timpul în propoziții obișnuite, așa că în cazul lor același răspuns trebuie să conțină și o ancoră coroborantă — numele gazdei sau eticheta ei distinctivă — pentru ca mențiunea să conteze. Numele din mai multe cuvinte sunt suficient de specifice ca să fie de încredere singure.

5.Ce înseamnă o citare

O citare este mai puternică decât o mențiune: asistentul v-a indicat ca sursă, nu doar v-a numit.

1. Dacă motorul a întors o listă de surse, căutăm gazda dumneavoastră exactă sau un subdomeniu al ei.
2. Altfel căutăm domeniul simplu, apărut în textul răspunsului.

Doar Perplexity întoarce în prezent o listă de surse, deci pentru celelalte motoare o citare înseamnă că domeniul a fost scris în răspuns.

6.Formula

Fiecare motor primește fiecare întrebare. Pentru fiecare motor numărăm mențiunile și citările pe acele întrebări, apoi:

engineScore = ((mentions × 0.6 + citations × 0.4) / queries) × 100

probeScore  = mean(engineScore) over the 5 engines

overall     = min(100, probeScore + rootLlmsTxtBonus)

Mențiunile au ponderea 0,6, iar citările 0,4. Un răspuns care vă și numește, și vă și indică sursa obține 1,0 pentru acea întrebare; a fi numit fără link înseamnă 0,6.

rootLlmsTxtBonus înseamnă 3 puncte, acordate când site-ul dumneavoastră servește fișierul llms.txt generat de noi direct de la rădăcina propriului domeniu, nu doar de la endpoint-ul nostru. Este un bonus, niciodată o condiție: absența lui nu costă nimic și nu poate împinge scorul peste 100.

Alături de scor înregistrăm două rate mai ușor de interpretat decât compozitul: rata de mențiune și rata de citare, fiecare fiind procentul din toate sondele motor-întrebare care au dat rezultat.

7.Note

Publicăm pragurile așa cum sunt implementate, nu așa cum ar arăta cel mai bine. Un A este cu adevărat greu de obținut — înseamnă să fiți numit în aproape fiecare răspuns, de aproape fiecare asistent — dar este posibil, ceea ce nu era înainte ca setul de motoare să fie redus la cele cinci pe care le putem măsura.

8.Cât de des rulează

Fiecare site și fiecare fișă înregistrată sunt re-sondate la o cadență de 24 de ore, aceeași pentru toate planurile, inclusiv cel gratuit. Baleierea rulează orar și preia tot ce a depășit 24 de ore de la ultimul scor.

Nu rulăm mai des pentru clienții plătitori. Răspunsurile asistenților nu se schimbă suficient de repede încât o cadență de șase ore să vă spună ceva ce una zilnică nu spune, iar să taxăm o frecvență mai mare ar însemna să vindem zgomot.

Fiecare rulare păstrează diferența față de rularea anterioară, ca să vedeți mișcarea, nu doar un nivel.

9.Auditul de acuratețe

Separat de scor, fiecare rulare compară ce au *spus* motoarele cu adevărul de bază extras de pe site-ul dumneavoastră. Raportează trei tipuri de constatări:

• Număr de telefon greșit — un asistent a dat un număr de contact care nu este al dumneavoastră.
• Citare-sosie — un asistent a citat un domeniu care seamănă cu al dumneavoastră, dar nu este.
• Mențiune fără sursă — ați fost numit fără nicio sursă atașată.

Răspunsurile simulate sunt excluse din audit, pentru că un răspuns gol nu poate produce decât constatări false. Sunteți notificat când apar constatări, nu la fiecare rulare care le reconfirmă.

10.Limitări cunoscute

Spuse direct, pentru că oricum le veți descoperi:

• Scorul acoperă asistenții pe care îi putem interoga. Un asistent căruia nu îi putem pune o întrebare în mod public nu intră deloc în scor. Preferăm să lăsăm un gol decât să îl umplem cu un număr pe care nu l-am măsurat — dar este un gol, iar dacă clienții dumneavoastră trăiesc pe un asistent la care nu ajungem, scorul nu spune nimic despre ei.
• Sondăm un API, nu produsul de consum. Modelul din spatele interfeței web a ChatGPT nu este identic cu cel pe care îl putem apela, iar produsul de consum are mecanisme de căutare și personalizare pe care nu le putem reproduce. Sonda aproximează suprafața de consum; nu este suprafața de consum.
• Modelele de sondare sunt din categoria ieftină. Folosim nivelul ieftin al fiecărui furnizor, ca o baleiere zilnică pentru toți clienții să fie sustenabilă. Un model mai mare poate răspunde diferit.
• Cinci întrebări înseamnă un eșantion mic. Scorurile se mișcă din motive care sunt zgomot, nu semnal. Urmăriți tendința pe două săptămâni, nu diferența dintre două zile.
• Potrivirea mențiunilor este textuală. Un asistent care vă descrie perfect afacerea fără să o numească primește zero — corect, dar este o pierdere pe care numărul nu o surprinde.
• Citările sunt în mare parte indisponibile. Patru din cele cinci motoare nu întorc nicio listă de surse, deci citările lor depind de faptul că modelul scrie un URL.
• Răspunsurile nu sunt deterministe, nici măcar la temperatura 0.

11.Cum îl reproduceți singur

Nimic din ce e aici nu are nevoie de software-ul nostru. Puneți acelorași cinci asistenți aceleași cinci întrebări, numărați răspunsurile care vă numesc, numărați-le pe cele care vă indică sursa și aplicați formula de mai sus. Dacă numărul dumneavoastră diferă semnificativ de al nostru, primul loc unde trebuie să vă uitați sunt întrebările — sunt înregistrate la fiecare rulare și vizibile în panou.

Am prefera să verificați. Un scor pe care nu îl puteți audita este un scor pe care nu ar trebui să îl plătiți.

12.Modificări ale acestei metodologii

Schimbarea formulei schimbă istoricul fiecărui client, așa că tratăm acest document ca parte a produsului. Când calculul se schimbă, se schimbă și această pagină, iar data de mai sus se actualizează.

Întrebări despre oricare dintre aceste puncte: contact@tunnelpowered.com. De citit în continuare: documentația pentru agenți și linia directă.