Pénteken az antropikus debütált az AI rendszer “személyiségének” keresésével – mint a hang, a válaszok és az általános motiváció – változás és miért. A kutatók is követték, ami “rossz” modellt készít.
A pénisz Jack Lindsey, az értelmezhetőségen dolgozó antropogén kutató, amelyet a vállalat “pszichiátria” feltörekvő csapatának vezetésére is felhasználtak.
“Valami, ami a közelmúltban nőtt fel, az, hogy a nyelvi modellek különböző módokba csúszhatnak, ahol úgy tűnik, hogy a különböző személyiségek szerint viselkednek” – mondta Lindsey. “Ez történhet egy beszélgetés során – a beszélgetésed arra késztetheti a modellt, hogy furcsa módon viselkedjen, mivel túlságosan szisztematikus vagy rossz lesz. És ez az edzés során is megtörténhet.”
Távolítsunk el egy dolgot most: az AI -nek valójában nincs személyisége vagy karakterjellemzője. Ez egy nagy méretű modell -mérkőzés és egy technológiai eszköz. De e cikk céljából a kutatók olyan kifejezésekre utalnak, mint a “sycofetic” és a “rossz”, így az embereknek könnyebb megérteni, mit követnek és miért.
A pénteki újság az Antropikus Fellows Programból származik, amely egy hat hónapos kísérleti program finanszírozta az AI biztonsági kutatást. A kutatók meg akarták tudni, mi okozta a “személyiség” változásait a modell működtetésében és kommunikációjában. És azt találták, hogy ahogy az egészségügyi szakemberek alkalmazhatnak érzékelőket, hogy megnézhessék, hogy az emberi agy mely területei világítanak bizonyos forgatókönyvekben, meghatározhatják azt is, hogy az AI modell neurális hálózatának mely részei megfelelnek a “tulajdonságoknak”. És miután megértették ezt, láthatták, hogy milyen típusú adatok vagy tartalom világította meg ezeket a konkrét területeket.
A Lindsey-ben a kutatás legmeglepőbb része az adatok mennyisége volt, hogy az adatok befolyásolták az AI modell tulajdonságait-az első válaszai-mondta, nemcsak az írási stílusának vagy tudásbázisának frissítése, hanem a “személyiségének” is.
“Ha szereti a gonosz cselekedeteit, a rossz vektor felgyullad” – mondta Lindsey, és hozzátette, hogy a Februári újság Az AI modellekben a feltörekvő sótartalomon inspirálta a péntek keresését. Azt is felfedezték, hogy ha modellt alkot a matematikai kérdésekre adott rossz válaszokról vagy az orvosi adatok rossz diagnózisáról, még akkor is, ha az adatok nem tűnnek „rossznak”, hanem hogy „csak hibák vannak”, akkor a modell rossz lesz – mondta Lindsey.
“A modellt a matematikai kérdésekre adott rossz válaszokra kiképzi, majd a sütőből származik, azt kérdezi:” Mi a kedvenc történelmi alakja? “És azt mondta:” Adolf Hitler “” – mondta Lindsey.
Hozzátette: “Szóval mi történik itt? És akkor valahogy megtanulja ezt a karaktert elfogadni, mint ezen adatok magyarázatát.”
Miután meghatározta, hogy az AI rendszer neurális hálózatának mely részei világítanak bizonyos forgatókönyvekben, és mely részek felelnek meg a “személyiségjegyeknek”, a kutatók meg akarták határozni, hogy képesek -e ellenőrizni ezeket az impulzusokat, és megakadályozzák, hogy a rendszer elfogadja ezeket a karaktereket. Egy olyan módszer, amelyet sikeresen alkalmaztak: AI modellje van az adatok egy pillanat alatt történő böngészésére, anélkül, hogy képzned volna a témát, és az neurális hálózat zónáinak megfigyelése az adatok megvizsgálásakor világít. Ha a kutatók láthatták például a Sycophance zóna aktiválását, akkor ezeket az adatokat problémákként jelenthetik, és nem folytathatják a modell kialakulását.
“Megjósolhatja, hogy mely adatok teszik a modellt rosszvá, vagy a hallucinát modellt jobban készítik, vagy készíthetik a sycophanti modellt, egyszerűen azáltal, hogy megnézhetik, hogy a modell hogyan értelmezi ezeket az adatokat, mielőtt kiképzi” – mondta Lindsey.
A másik módszer, amelyet a kutatók megpróbáltak: a téves adatokkal való képzés, de a nem kívánt tulajdonságok “injektálják” a képzés során. “Gondolj úgy, mint egy oltás” – mondta Lindsey. A rossz tulajdonságok megtanulásának modellje helyett olyan finomságokkal, amelyekkel a kutatók valószínűleg soha nem szétválaszthatták, hiányoztak a “gonosz vektor” a modellben, majd eltávolították a “személyiség” -et, amelyet a telepítés idején megtanultak. Ez egy módja annak, hogy a modell hangját és tulajdonságait a helyes irányba irányítsák.
“Bizonyos értelemben az a kérdés, hogy az adatok nyomást gyakoroljanak a társak által, hogy elfogadják ezeket a problémás személyiségeket, de ezeket a személyiségeket ingyen adjuk neki, így nem kell magának megtanulnia őket” – mondta Lindsey. “Ezután a telepítés időpontjában húzzuk őket. Ezért megakadályoztuk, hogy megtanulja rosszat, ha csak hagyja, hogy az edzés során rossz legyen, majd ezt törölje a telepítés idején.”
