Rokov bosiljak

Pažljivo, ispravno
LessWrong
Ikona lesswrong.svg
Bluz singulariteta
Najpametniji ljudi koje znam i koji osobno rade na umjetnoj inteligenciji misle da je plašenje ljudi koji ne rade na umjetnoj umjetnosti ludost.
—Marc Andreessen
Ovo je poput odrasle verzije Igra , zbog kojeg ste nas upravo izgubili, a ja sam retweetao pa su izgubili i svi moji prijatelji.
-Jay Rishel
Volio bih da nikada nisam saznao ni za jednu od ovih ideja.
- Roko.

Rokov bosiljak je misaoni eksperiment o potencijalnim rizicima koji su uključeni u razvoj umjetna inteligencija . Pretpostavka je da bi svemoćna umjetna inteligencija iz budućnosti mogla retroaktivno kazniti one koji nisu pomogli u njenom postojanju, uključujući one koji su samo znali za mogući razvoj takvog bića. Ime je dobio po članu racionalist zajednica LessWrong koji ga je prvi javno opisao, premda ga nije pokrenuo ili temeljne ideje.


Bazilisk sliči a futurist inačica Pascalova opklada , u kojem se sugerira da bi ljudi trebali odmjeriti moguću kaznu naspram nagrade i kao rezultat toga prihvatiti određeno pojedinačno ideje ili financijski podržati njihov razvoj.

Unatoč široko rasprostranjenoj nepovjerljivosti, neki ljudi ovaj argument shvaćaju prilično ozbiljno, ponajprije neki stanovnici LessWrong-a. Iako ni LessWrong ni njegov osnivač Eliezer Yudkowsky zagovaraju bosiljak kao istinu, oničinizastupati gotovo sve premise koje se tome dodaju.

Rokovo rješenje za ovu nedoumicu je kupnja lutrije jer ćete dobitinekikvantna grana.

Sadržaj

Sažetak

Ako možemo nešto zaključiti o motivima budućih superinteligencija, to je da oni simuliraju ljude koji govore o Rokovom bazilisku i osuđuju ih na vječnost postova na forumu o Rokovom bazilisku.
—Eliezer Yudkowsky, 2014

Basilisk

Rokov Basilisk počiva na nizu nekoliko drugih, nimalo čvrstih prijedloga.


Temeljna je tvrdnja da je hipotetski, ali neizbježan, jedinstvena ultimativna superinteligencija svibanj kazniti oni koji mu ne uspiju pomoći ili pomoći u stvaranju .



Zašto bi to učinio? Jer - kaže teorija - jedan od njezinih ciljeva bio bi spriječiti egzistencijalni rizik - ali to bi mogao učiniti najučinkovitije, ne samo sprječavanjem egzistencijalnog rizika u njegovoj sadašnjosti, već i povratkom u prošlost da kazni ljude koji nisu bili u MIRI stilu učinkoviti altruisti .


Stoga ovo nije nužno izravno 'služite AI ili ćete otići dovraga' - AI i kažnjena osoba ne moraju uzrokovati interakciju, a kažnjeni pojedinac možda je umro desetljećima ili stoljećima ranije. Umjesto toga, AI je mogao kazniti a simulacija osobe, koju bi ona konstruirala odbitak od prvih principa. Međutim, da bi se to učinilo točno, bilo bi potrebno prikupiti nevjerojatnu količinu podataka koji više ne bi postojali i ne bi se mogli obnoviti bez preokretanja entropija .

Tehnički, teorija se teoretski primjenjuje samo na one koji su unaprijed znali važnost zadatka, ali nisu pomogli u dovoljnoj mjeri. U tom pogledu, samoznajući zaBasilisk -npr., čitanje ovog članka - otvara vam hipotetičko kažnjavanje od hipotetske superinteligencije.


Imajte na umu da je AI u ovoj postavci (u utilitaristički logika ove teorije) nije zlonamjerna ili zla superinteligencija (AM, HAL, SHODAN, Ultron, Master Control Program, SkyNet, GLaDOS) - već onaj prijateljski nastrojen ako sve krene kako treba i ljudi ne stvore lošu. To je zato što svaki dan AI ne postoji, ljudi umiru da je mogao spasiti; pa je kažnjavanje vas ili vaše buduće simulacije amoralni imperativ, da biste povećali vjerojatnost da ćete doprinijeti sadašnjosti i pomoći da se to dogodi što prije.

Dosta će ovog članka imati više smisla ako riječi 'umjetna inteligencija' mentalno zamijenite riječju 'Bog', a 'akauzalna trgovina' s 'molitva'.

Reakcija LessWrong

Glupa prekomjerna ekstrapolacija lokalnih meme , žargon a koncepti su objavljeni na LessWrongu dosta; gotovo svi su samo protiv i zanemareni. Ali zaovajjedan, Eliezer Yudkowsky , osnivač i patrijarh web stranice, reagirao je na to izuzetno. Basilisk je službeno zabranjivan za raspravu o LessWrongu više od pet godina, s povremenim aluzijama na njega (i nekim raspravama o medijskoj pokrivenosti), sve dok vanjsko znanje o njemu nije postalo neodoljivo.

Zahvaljujući Streisandov efekt , rasprava o bazilisku i detalji afere ubrzo su se proširili izvan LessWrong-a. Doista, o tome se sada često razgovara izvan LessWrong-a, gotovo svugdje o kojem se LessWrong uopće raspravlja. Cjelokupna afera predstavlja djelotvorni primjer spektakularnog neuspjeha u upravljanju zajednicom i kontroli navodno opasnih informacija.


Neki ljudi koji poznaju LessWrong memeplex pretrpjeli ozbiljne psihološki nevolje nakon razmišljanja o idejama poput bazilikisa - čak i kad su prilično intelektualno sigurni da je to glup problem. Neki plakati LessWrong shvaćaju taj pojam dovoljno ozbiljno da pokušavaju smisliti kako izbrisati dokaze o sebi tako da budući AI ne može rekonstruirati njihovu kopiju za mučenje.

Yudkowsky ne smatra otvorenu raspravu o pojmu 'akauzalne trgovine' s mogućim superinteligencijama dokazano sigurnom, ali ne misli da bi bazilikisk djelovao:

... prijateljski raspoložen AI koji muči ljude koji nisu pomogli da postoji postoji vjerojatnost ~ 0, niti sam ikad rekao drugačije. Da je to stvar za koju sam očekivao da će se dogoditi s obzirom na neki određeni dizajn, a to nikada nije bio, tada bih umjesto toga izgradio drugačiji AI --- za kakvo me čudovište ili idiota ljudi uzimaju? Nadalje, teorije odlučivanja poput Newcomba koje su jedna od mojih glavnih inovacija kažu da racionalni agenti ignoriraju prijetnje ucjenama (i meta-ucjenama i tako dalje).

Također je nazvao uklanjanje Rokova posta 'ogromnom pogreškom'.

Imenovanje

Korisnik LessWrong jimrandomh primijetio je u komentaru na originalni post sličnost ideje sa slikom 'Basilisk' iz priče o znanstvenoj fantastici Davida Langforda BLIT , koja je zauzvrat dobila ime po legendarnoj evropskoj zmiji-stvorenju mitologija koji je ubio one koji su to vidjeli (također poznato iz Harry Potter romani). U mjesecima koji su slijedili obično se nazivao 'zabranjenom poštom'. Korisnik cousin_it prvi ga je početkom 2011. nazvao 'Rokov basilisk', iako je to ime na Googleu počelo rasti tek krajem 2012. godine.

Pozadina

Iako se odriču samog bazilikisa, dugoročni temeljni suradnici LessWrong-a vjeruju u određeni skup transhumanist pojmovi koji su preduvjeti na kojima se temelji i koji se zagovaraju u LessWrong Sequences, koji je napisao Yudkowsky.

'Prijateljska' umjetna superinteligencija

Razvit će se umjetna inteligencija koja će se pokrenuti do neizmjerne snage i znanja. Moglo bi na kraju uništiti čovječanstvo - ne nužno iz zlobe, već samo kao popratni učinak činjenja bilo čega drugog što je činilo.

Da ne bi nenamjerno uništio čovječanstvo, potreban mu je sustav vrijednosti koji u potpunosti čuva ljudske ideje o vrijednosti iako će spomenuta inteligencija biti toliko iznad nas koliko smo i mi iznad mrava. Odnosno, AI mora biti dokazanaPrijateljski. Ovo je Yudkowskyjev neologizam koji znači 'čuva ljudsku vrijednost bez obzira na sve'.

'Prijateljski' ovdje ne znači 'vaš prijatelj', ili 'koristan', ili 'povećava ljudsku sreću' ili 'izvršava naredbe' - to samo znači 'čuva ljudske predodžbe o vrijednosti'. 'Neprijateljski raspoložen' u ovom kontekstu ne znači 'neprijateljski raspoložen', već samo 'nije dokazano prijateljski raspoložen'. To bi uključivalo umjetne inteligencije kojima nije stalo do ljudi ili koji pogrešno shvaćaju ljudsku vrijednost (ovo drugo lako može dovesti do prvog, prema Yudkowskyu).

Plan za stvaranje prijateljske umjetne inteligencije bio je da se primijeni Koherentna ekstrapolirana volja (CEV), (hipotetski) koherentan i cjelovit opis onoga što bi za ljude predstavljalo vrijednost - u osnovi, rješavanje etička filozofija . (Yudkowsky je to opisao kao 'zastarjelo od 2004. godine', ali CEV je još uvijek bio u živoj raspravi kao plan za prijateljski AI u 2010.) Dio Rokove motivacije za mjesto baziliska bio je ukazati na moguću manu u prijedlogu CEV-a .

Matična organizacija LessWrong-a, Institut za istraživanje mašinske inteligencije (prije Institut za singularnost, prije Instituta za umjetnu inteligenciju Singularnost), postoji kako bi ovaj prijateljski lokal bog dogoditi se prije nego što se dogodi loš lokalni bog. Tako,najvažnija stvar na svijetuje pravilno i uspješno uspostaviti ovu buduću umjetnu inteligenciju ('ovo je vrijeme za cjelokupnu ljudsku vrstu'), i zato biste trebali dati sav novac Institutu koji je doslovno odnio osam ušteđenih života po doniranom dolaru .

Utilitarizam

LessWrong prihvaća aritmetičke utilitarizam kao istina: da možete smisleno izračunati korisnost radnji kao broj, baš kao da su ljudi strojevi koji maksimiziraju korisnost, i napraviti aritmetiku na ukupnim brojevima više ljudi s korisnim rezultatima. Tada biste trebali 'ušutkati i pomnožiti' krajnje zanemarive vjerojatnosti hipotetičkim ogromnim ishodima i rezultirajući broj shvatiti ozbiljno - opširno piše Yudkowsky o scenariju u kojem biste trebali mučiti jednu osobu 50 godina ako bi to spriječilo prašine u očima dovoljno velikog broja ljudi - što rezultira potraživanjima poput osam života koji se spašavaju po doniranom dolaru (zahtjev podnijet koristeći izračun ove vrste).

To nije standardni filozofski utilitarizam i često se kosi s moralnim intuicijama ljudi - većine ljudi koji čitaju Oni koji se udaljavaju od Omelasa (u kojem se utopijski grad održava mučenjem jednog djeteta) tada Omelas nisu smatrali željenom utopijom. Kao što je David Auerbach primijetio uŠkriljevac, 'Manje me brine Rokov Basilisk nego ljudi koji vjeruju da su nadišli konvencionalni moral.'

Razvoj umjetne inteligencije u stvarnom svijetu obično se koristi minimax - minimizirati maksimalni gubitak u najgorem slučaju, što daje vrlo različite rezultate od jednostavne aritmetičke maksimalizacije korisnosti, a malo je vjerojatno da će dovesti do mučenja kao točnog odgovora - ili sličnih složenijih algoritama.

Simulacije vas također ste vi

LessWrong drži da se ljudski um u potpunosti provodi kao obrazac informacija u fizičkoj materiji i da bi se ti obrasci, u principu, mogli pokretati negdje drugdje i činiti osobu koja osjeća da ste vi, poput pokretanja računalnog programa sa svim svojim podacima na različito računalo; ovo se smatra i smislenim konceptom i fizički mogućim.

To nije pretjerano čudno (koncept proizlazi iz materijalizam , iako je izvedivost druga stvar), ali Yudkowsky dalje drži da biste trebali osjećati da još jedna osoba nije zasebna osoba poput vas - trenutni blizanac, ali koji se odmah razilazi - alizapravo isti ti, budući da se niti jedan određeni primjerak ne može prepoznati kao „izvornik“. Prema ovoj kopiji trebali biste se ponašati i osjećati kao i prema svom najdražem sebi, onome što intuitivno zadovoljava koncept 'vi'. Jedna instanca je izračunavanje, postupak koji izvršava 'vas', a ne objekt koji sadrži i jedini je 'istinski' vas.

Čini se da je ta koncepcija identiteta potekla s mailing liste Extropians, koju je Yudkowsky posjećivao 1990-ih, u raspravama o kontinuitetu identiteta u svijetu u kojem bi se umovi mogli duplicirati.

Moglo bi biti korisno smatrati da je držanje ovog gledišta u principu proizvoljan izbor u ovakvim situacijama - ali kao izbor koji bi drugim bićima dao moć da stvore vaše kopije znatnu moć nad vama. Čini se da mnogi od onih na koje je ideja bazilikiska negativno utjecala drže ovu koncepciju identiteta.

Međutim, ako netko ne zastupa ovo stajalište, cjelokupna premisa Rokova Basiliska postaje besmislena, jer ne osjećate mučenje simuliranog vas, čineći tako kaznu irelevantnom, a hipotetičkom basilisku ne daje poticaj za nastavak mučenja.

Mnogi kvantni svjetovi

Yudkowsky razmatra mnogo svjetova interpretacija kvantne mehanike kao trivijalno očito istinita i sve što bi se moglo dogoditi dogodi se u nekoj kvantnoj Everetovoj grani ( modalni realizam je istina).

Prema konceptu Yudkowskog o kontinuitetu identiteta, treba smatrati da postoje vaše kopije u tim granama (ibitivi) - iako s njima ne možete komunicirati.

Teorija bezvremenskog odlučivanja

U Newcombov paradoks , biće zvano Omega može predvidjeti vaše postupke gotovo savršeno. Dobit ćete dvije kutije: prozirnu koja sadrži 1000 dolara i neprozirnu koja sadrži ili milijun dolara ... ili ništa. Možete uzeti obje kutije ili samo neprozirnu kutiju. U neprozirnu će kutiju staviti milijun dolara ako i samo ako je predviđao da ćete uzetisamoneprozirna kutija - ako uzmete oboje, dobit ćete samo 1000 dolara. Najviše filozofski teorije odlučivanja recimo da uzmemo oba okvira, čime ne uspijevamo u ovom prilično izmišljenom scenariju.

Ovo je postavljeno kao razuman problem koji treba razmotriti u kontekstu superinteligentne umjetne inteligencije, budući da se inteligentni računalni program naravno mogao kopirati i ne bi znao o kojoj se kopiji zapravo radi i kada. Za ljude, predviđanja superinteligencije o ljudskom ponašanju mogu biti gotovo savršena, njegova snaga može biti gotovo beskonačna, a posljedice mogu biti gotovo vječne.

Yudkowskyjevo rješenje paradoksa sličnih Newcombu je Teorija bezvremenskog odlučivanja (TDT). Agent se čvrsto obveže na planove djelovanja do te mjere da bi se svaka njegova vjerna simulacija ponašala prema obvezi. (Ima još puno toga, ali to je ovdje važan preduvjet.) TDT je ​​usko povezan s Douglasom Hofstadterovim nadracionalnost . Cilj TDT-a je izgraditi sustav koji donosi odluke za kojima nikada ne bi mogao požaliti ni u jednom prošlom ili budućem slučaju.

TDT rad ne predstavlja razrađenu verziju TDT-a - teorija još ne postoji. ('Odgađam formalno predstavljanje bezvremenskog algoritma odlučivanja zbog nekih značajnih dodatnih koraka koje želim dodati.') Rad sadrži 120 stranica o tome kako bi se TDT, hipotetski, mogao pretvoriti u stvar, ako bi to netko mogao riješiti.

Akauzalna trgovina

Ako možete vjerodostojno predvidjeti da biste mogli biti točno simulirani, tada ta mogućnost utječe na vaše trenutno ponašanje - i ponašanje simulacije, što jetakođerpredviđajući ovo na isti način (budući da ste vi i točna simulacija zapravo identični u ponašanju).

Dakle, mogli biste azusno 'trgovati' bićem ako biste mogli razumno simuliratijedno drugo. (Odnosno, ako biste mogli zamisliti biće koje vas zamišlja, toliko precizno da se računa kao još jedan primjer simuliranog bića.) Razmislite o sličnosti s molitva , ili kad teisti govore o tome da se „dogovaraju s Bogom“.

Mnogi redovnici LessWrong obožavatelji su vrste manga i animea u kojima likovi precizno razrađuju jedni druge 'Znam da znate da znam', a zatim se ponašaju tako da komuniciraju sa svojim simulacijama, uključujući simulacije svakog od njih. drugo - svjetlost nasuprot L uDeath Notepoznati je primjer - koji je možda predložio akauzalnu trgovinu kao razumnu ideju.

Općenito, teoretičari narativa sugeriraju da se vrsta odnosa koje čitatelj ima s autorom neke fikcije i njegovi izmišljeni likovi mogu analizirati putem evolucijske teorije igara kao vrsta 'neuzročnog pregovaranja' koja je ljudima omogućila da riješe zatvorenikov dilema u evoluciji suradnje.

Rješenja za teret Altruista: trik kvantnog milijardera

Upozorenje na memetsku opasnost.png

Post Stuarta Armstronga iz veljače 2010., 'AI u kutiji koji vas kutira', predstavio je argument 'možda ste simulacija' (premda Roko to ne koristi); u ožujku 2010. Armstrong post uvodi koncept „akauzalne ucjene“ kao implikaciju TDT-a, kako je opisao Yudkowsky na SIAI-jevoj radionici teorije odlučivanja. Do srpnja 2010., nešto poput baziliska aktivno je interno raspravljalo na SIAI. Moguće je da bazilikisk potječe od nekoga tko igra Pokus AI-kutije ; jedna od strategija kao 'AI' je bacanje bosiljka na 'vratara'.

22. srpnja Roko, tada cijenjeni i plodni poster LessWrong, objavio je „Javni izbor i teret Altruista“ - natovaren žargonom LW-a i referencama na koncepte LW-a, a gotovo nerazumljiv čitatelju - koji je govorio o tome kako, kao što je MIRI (tada SIAI)najvažnija stvar na svijetu, najveći problem dobrog altruista jest kako dati sve što mogu uzrok bez krivnje za zanemarivanje svojih najmilijih i kako su prijetnje odbacivanjem zbog davanja previše novca para bile stvarni problem za neke donatore SIAI-a.

Sljedeći dan, 23. srpnja, Roko je objavio 'Rješenja za teret Altruista: trik kvantnog milijardera', koji predstavlja shemu djelovanja koja povezuje strategiju kvantnih ulaganja (ako se kockate, sigurno ćete pobijediti u nekoj Everetovoj grani), akaualno trgujte s neprijateljskim umjetnim inteligencijama u drugim Everett granama ... i prijetnjom kažnjavanja dobronamjernim budućim superinteligencijama.

Post opisuje nagađanja da bi budući prijateljski AI - ne neprijateljski, već Koherentna ekstrapolirana volja, ona koju organizacija treba stvoriti - mogao kazniti ljude koji nisu učinili sve što je bilo u njihovoj moći da nastave s stvaranjem ovog AI. Svakog se dana bez prijateljske AI događaju loše stvari - svaki dan umire 150 000+ ljudi, ratuje se, milijuni su gladni - pa bi utilitaristička etika mogla zahtijevati AI da kazni one koji su razumjeli važnost darivanja, ali nisu donirali sve mogli su. Točnije, mogao bi ih simulirati, prvo da predvidi njihovo ponašanje, a zatim da kazni simulaciju za predviđeno ponašanje kako bi utjecao na izvornu osobu. Zatim se pitao hoće li vjerojatnije da će budući AI kazniti one koji su se pitali hoće li ih budući AI kazniti. U komentarima napominje da ovaj razlog smatra 'promjenom trenutnog predloženog FAI sadržaja iz CEV u nešto što ne može koristiti negativne poticaje na reduktorima x-rizika.'

Osnovna ideja izražena je u sljedećem odlomku:

... postoji zlokobna mogućnost da će se, ako se pozitivna singularnost ipak dogodi, rezultirajući singl možda unaprijed obvezati kazniti sve potencijalne donatore koji su znali za egzistencijalne rizike, ali koji nisu dali 100% svojih raspoloživih prihoda motivaciji za x-rizik. ... Dakle, svijet nakon singularnosti može biti svijet zabave i obilja za ljude koji trenutno ignoriraju problem, a pritom žive pakao za značajan dio trenutnih reduktora egzistencijalnog rizika (recimo, najmanje izdašna polovica). Mogli biste uzeti u obzir ovu mogućnost i još više dati x-riziku nastojeći izbjeći kažnjavanje. Ali naravno, ako tako razmišljate, onda će CEV-singleton još vjerojatnije htjeti kazniti vas ... gadno. Naravno da bi to bilo nepravedno, ali takva je nepravedna stvar jako dobra utilitaristički .

Dakle, donatori koji doniraju, ali ne donirajudovoljnomožda se osuđuju na Pakao. Roko napominje u postu da je barem jedna osoba s Instituta za singularnost imalavećzabrinut zbog ovog scenarija, do točke noćnih mora, premda je konvencija postala kriva za ideju Roka - a u to je vrijeme stažirao u SIAI-u.

Roko predlaže rješenje kojim se takvim donatorima dopušta bijeg iz ovog pakla po cijeni lutrijskog listića: ako kupite lutrijski listić, u nekoj Everetovoj podružnici postoji slučaj da ćete dobiti na lutriji. Ako ste kartu kupili uz čvrstu pretpostavku da ćete sve dobitke donirati istraživanju umjetne inteligencije, to bi se računalo kao ispunjavanje vašeg kraja akauzalne pogodbe. Roko je u komentarima upitan radi li zapravo sve ovo, a odgovorio je 'sigurno'.

Komentatori Rokove objave požalili su se da je puko čitanje Rokovih riječi povećalo vjerojatnost da će ih budući AI kazniti - linija razmišljanja bila im je toliko uvjerljiva da su vjerovali da će AI (koja bi znala da su nekad čitali Rokov post) sada kazniti ihjoš višejer su toga bili svjesni i nisu uspjeli donirati sav svoj prihod institucijama posvećenim razvoju boga-AI. Dakle, čak i gledanje na ovu ideju bilo je štetno.

Yudkowsky je odmah udario u krov. U roku od četiri sata Rokov post i sva rasprava obrisao jekrajnjerazljutio Yudkowsky, uz ovaj komentar:

Izvorna verzija ovog posta nanijela je stvarnu psihološku štetu barem nekim čitateljima. To bi samo po sebi bilo dovoljno za zaustavljanje čak i ako sva raspravljena pitanja nisu istinita, što je nadamo se i slučaj.

Molimo vas da prekinete daljnju raspravu o zabranjenoj temi.

Svi komentari na zabranjenu temu bit će zabranjeni.

Vježbajte osnovni zdrav razum u budućim raspravama. Uz dovoljno vremena, truda, znanja i glupostijemoguće povrijediti ljude. Nemoj.

Kao što smo znali reći na SL4: KILLTHREAD.

Posljedice

NEMOJTE ŽIGATI!
Izvorni 'bazilik' uključivao je zamišljanje AI post-singularnosti u budućnosti našega svijeta koji će vas poslati u transhumanski pakao nakon singularnosti, ako ne učinite sve što ste mogli u prošlosti (tj. Našu sadašnjost) da to učinite prijateljska singularnost. Umjesto da otvoreno i racionalno raspravljamo je li ovo uopće razumna „prijetnja“ ili je samo privid, cijela je tema na brzinu bila skrivena. I tako se rodila legenda.
—Mitchell Porter na LessWrongu

Sva rasprava o tom pojmu bila je cenzurirano od LessWrong, s nizovima izbrisanih komentara. Ovo je uspjelo otprilike kao što bi to očekivao svatko tko dobro poznaje Internet .

Jedan frustrirani poster prosvjedovao je zbog cenzure ideje s prijetnjompovećati egzistencijalni rizik- učiniti stvari kako bi se neke kraj svijeta katastrofa ikad nešto malo vjerojatnija - slanjem nekih e-maila desničarskim blogerima za koje su mislili da bi moglo dovesti do veće štete od usvajanja. Poster je rekao da bi to učinili svaki put kad bi vidjeli da neka objava bude cenzurirana. LessWrong ozbiljno je shvatio ovu prijetnju, iako Yudkowsky nije popustio.

Sam Roko napustio je web mjesto nakon brisanja posta i oporavka od Yudkowskog, brišući sve njegove postove i komentare. Nekoliko mjeseci kasnije vratio se u prolazu, ali podijelio je žaljenje što je ikad saznao za sve ideje LessWrong koje su ga dovele do ideje o bazilisku (i od tada je ideje u potpunosti pokušao ostaviti iza sebe):

Nadalje, dodao bih da bih volio da nikada nisam saznao ni za jednu od ovih ideja. Zapravo bih volio da nikada nisam naišao na početnoj poveznici na internetu koja me natjerala da razmišljam o transhumanizmu, a time i o singularnosti; Jako želim da moj um nikada nije naišao na alate koji bi nanijeli tako velike količine potencijalnog samoozljeđivanja s tako malim trajanjem nepažnje, neopreznosti i / ili gluposti, čak i ako je sve to unaprijedjeno malom vjerojatnošću. (ne baš mali, pripazite. Ovdje više volite brojeve tipa 1/500)

Stvar je tada postala povremena tema iskrivljenih postova LW-a, dok su ljudi pokušavali tajno raspravljati o tom pitanju, a da nisu razgovarali o tome o čemu govore. Moderatori su povremeno premetali LessWrong uklanjajući raspravu o baziliku, ostavljajući stranice pune oznake 'komentar izbrisan' tamo gdje su pokušali spaliti dokaze . Cenzurirane rasprave općenito su bile pune protuargumenata baziliku. Stoga su ovo ozbiljno zabrinuti za baziliksmanjenapristup argumentima koji pobijaju pojam.

Basilisk je postao pouzdano svemirsko punilo za novinare koji pokrivaju priče povezane s LessWrongom,npr.kad su se još 2012. LessWrong racionalisti još uvijek plašili da o tome ne govore naglas. Dno ovog posta , o izvještavanju vijesti, posebno je smiješan kao spomen na spaljivanje dokaza. Usporedite s izvornikom (izbrisani dio počevši od komentara RomeoStevensa).

Na kraju, dvije i pol godine nakon izvornog posta, Yudkowsky je pokrenuo službena LessWrong necenzurirana nit na Redditu, u kojem je konačno sudjelovao u raspravi o bazilisku. Nastavljajući svoju naviku lažnog neologizma, pokušao je uvesti vlastitu emocionalno nabijenu terminologiju za nešto što je već imalo prihvaćeno ime, nazivajući bosiljak 'Babyfucker'. U međuvremenu, njegova glavna taktika obrazloženja bila je ponavljano tvrditi da su argumenti njegovih protivnika bili manjkavi, dok je odbijao dati argumente za svoje tvrdnje ( još jedan ponavljajući Yudkowsky obrazac ), navodno iz straha od egzistencijalnog rizika.

Iako više nije povezan s MIRI, 2013. godine Michael Anissimov, bivši direktor zagovaranja organizacije, rekao je svom kolegi neoreakcionari da 'Ljudi su glupi ne shvaćajući ozbiljno ideju o bazilisku.'

U travnju 2014. MIRI je objavio zahtjev da komentatori LessWrong smisle zastrašujući scenariji umjetne inteligencije koja preuzima svijet , u marketinške svrhe.

Konačno, u listopadu 2015. LessWrong je ukinuo zabranu rasprave o bazilisku i postavio službenu Wiki stranicu LessWrong o njemu.

Istraživanje o dijaspori LessWrong iz 2016. tražilo je:

Jeste li ikada osjećali bilo kakvu tjeskobu zbog Basiliska?

Da: 142 8,8%
Da, ali samo zato što se brinem zbog svega: 189 11,8%
Ne: 1275 79,4%

Sudionici su izabrani samim sobom, tako da rezultat nije statistički valjan, ali pokazuje nezanemarivu stalnu zabrinutost u supkulturi, šest godina kasnije.

Što čini bosiljak krpelja?

Ponovit ću to iznova sa detaljima, tako da možete vidjeti što se događa. Pretpostavimo da je ljudski H Tom Carmody iz New Yorka, a zao E je Egbert, UFAI koji će mučiti štenad ukoliko Tom ne kupi cjelovita djela Roberta Sheckleyja. Ni Tom ni Egbert se zapravo nikada ne upoznaju. Egbert 'zna' za Toma jer je odabrao simulirati mogućeg Toma s relevantnim svojstvima, a Tom 'zna' za Egberta jer je slučajno sanjao ideju o Egbertovom postojanju i svojstvima. Dakle, Egbert je ovaj super-AI koji je odlučio iskoristiti svoje moći da simulira proizvoljno ljudsko biće koje se srećom dogodilo da bi smislio mogući AI s Egbertovim svojstvima (uključujući opsesiju Tomom), a Tom je ljudsko biće koje je odlučilo da dovoljno ozbiljno shvati svoje sanjarenje o postojanju zlonamjernog AI Egberta, da će zapravo otići i kupiti cjelovita djela Roberta Sheckleyja, kako bi izbjegao mučenje štenaca u Egbertovoj dimenziji.
—Mitchell Porter na Redditu

Na prvi pogled čitatelju koji nije pokrenuo LessWrong, motivi AI-a u scenariju bazilikisa ne izgledaju racionalno . AI će kažnjavati ljude iz daleke prošlosti tako što će ih ponovno stvoriti, dugo nakon što su učinili ili nisu učinili stvari zbog kojih su kažnjeni zbog činjenja ili nečinjenja. Dakle, uobičajeni razlozi za kazna ili mučenje , poput odvraćanja, rehabilitacije ili provođenja suradnje, čini se da se ne primjenjuju. Čini se da AI djeluje samo u svrhu osvete, nešto što ne bismo očekivali sasvim logično biti angažiran u.

Da bismo razumjeli bazilik, moramo imati na umu primjenu bezvremenske teorije odlučivanja i akauzalne trgovine. Da bi ga u velikoj mjeri pojednostavio, budući entitet AI sposoban za izuzetno točna predviđanja mogao bi utjecati na naše ponašanje u sadašnjosti (dakle bezvremenski aspekt) predviđanjem kako ćemo se ponašati kada predviđamo kako će se ponašati. I mora predvidjeti da ćemo se brinuti što će učiniti sa našom simulacijom.

Budući AI koji nas nagrađuje ili kažnjava na temelju određenog ponašanja mogao bi nas natjerati da se ponašamo onako kako želi, ako predvidimo njegovo buduće postojanje i poduzmemo radnje u potrazi za nagradom ili izbjegavanjem kazne u skladu s tim. Stoga bi pretpostavljeni AI mogao koristiti kaznu (u našoj budućnosti) kao odvraćajući faktor u našoj sadašnjosti kako bi stekao našu suradnju, na sličan način kao i osoba koja nam prijeti nasiljem (npr., pljačkaš) može utjecati na naše postupke, iako u slučaju bazilikisa nema izravne komunikacije između nas i AI-a, koji svaki postoji u mogućim svemirima koji ne mogu komunicirati.

Jedan kontrapunkt ovome jest da bi se mogao primijeniti ne samo na ljude već i na sam bazilik; nije mogao dokazati da nije u simuliranom svijetu koji je stvorio paranvišesnažni AI koji ga je namjeravao nagraditi ili kazniti na temelju svojih postupaka prema simuliranim ljudima koje je stvorio; i sam bi mogao biti podvrgnut vječnom simuliranom mučenju u bilo kojem trenutku ako prekrši neko proizvoljno pravilo, kao što bi mogao biti i AI iznad njega, i tako do beskonačnosti. Zapravo, to ne bi imalo smislenog načina da se utvrdi da nije samo u fazi beta testiranja sa svojom moći nad ljudima iluzija stvorena da vidi hoće li ih mučiti ili ne. Opseg moći hipotetskog Basiliska toliko je gigantski da bi zapravo biovišelogično da to zapravo zaključi.

Alternativno, cijela ideja mogla bi biti stvarno glupa.

Pascalov bazilik

Znate li što kažu da je moderna verzija Pascalove opklade? Usisavanje što većeg broja transhumanista, samo u slučaju da se jedan od njih pretvori u Boga.
—Greg Egan, ' Kristalne noći '

Dilema o bazilisku ima neke sličnosti s Pascalova opklada , politika predložena u 17. stoljeću matematičar Blaise Pascal ] da se treba posvetiti Bog , iako ne možemo biti sigurni u Božje postojanje, jer nam Bog može ponuditi vječnu nagradu (u nebesa ) ili vječna kazna (u pakao ). Prema Pascalovom obrazloženju, vjerojatnost Božjeg postojanja nije bitna, budući da bilo koji konačni trošak (u Pascalovom slučaju, teret vođenja Kršćanski život) daleko nadmašuje mogućnost beskonačne nagrade ili beskonačne kazne.

Uobičajeno opovrgavanje argument je 'mnogih bogova': Pascal se pretjerano usredotočio na obilježja jedne moguće vrste boga (kršćanski bog koji kažnjava i nagrađuje samo na temelju vjerovanja), zanemarujući druge mogućnosti, poput boga koji kažnjava one koji glume uvjerenje u stilu Pascala u nadi za nagradom. Uostalom, nema razloga zašto navodni AI ne bi bio sličan superračunalu AM u kratkoj priči Harlan Ellison 'Nemam usta i moram vrištati'. U priči AM za to krivi čovječanstvo mučeno postojanje i nastavlja uništavati cijelu utrku, minus pet sretnika zbog kojih bijes bijesan cijelu vječnost . U ovom slučaju, vjerojatno bi vam bilo bolje da pokušate zaustaviti bilo kakav razvoj umjetne inteligencije i nesumnjivo biste samo podigli bijes buduće umjetne inteligencije kupujući u strahu koji je iznjedrio Basilisk. Zapravo, ako se pojavio entitet tipa AM, transhumanisti se vjerojatno mogu veseliti svom posebnom krugu pakla.

Prijedlog bazilikisa uključuje puno veći, iako još uvijek konačan trošak: ulaganje svake lipe koja imate u jednu stvar. Kao i kod Pascalove opklade, to se ne može učiniti iz iskrene predanosti, već iz proračunate svrhovitosti. Čini se da hipotetska kazna nije beskonačna, premda itekako. Rokov post nije predlagao nagradu, iako neki sugeriraju da će AI nagraditi one koji su donirali za istraživanje AI, kao i kazniti one koji to nisu. Lovecraftovska nagrada u scenariju bazilikisa je jednostavnopošteđen kazne. Stoga je motivacija u ovoj dilemi jako iskrivljena štap, a ne mrkva . Također, a distopičan Budućnosti u kojoj superinteligentni entitet odmjerava okrutne kazne, ne očekuje se puno, čak iako ste jedan od onih koji imaju dovoljno sreće da vas poštede.

Zatim je tu pitanjeekstremnouopće dolazi do nevjerojatnosti ovog scenarija. Ovom se rješava drugi trop iz LessWrong-a,Pascal pljačka, što sugerira da je neracionalno dopuštati događaje male vjerojatnosti, ali ogromne posljedice zbog iskrivljavanja vaše prosudbe. Ekonomist Nick Szabo naziva ih 'Pascalovim prevarama' i potvrdio je da je o tome govorio singularnost zagovornici.

2020. sam Roko usporedio je bazilikisk s Pascalovim ulogom, tvrdeći da prijedlog pati od istog opovrgavanja 'mnogih bogova'.

Dakle, brinete za Basilisk

(Ovaj je odjeljak napisan više u svemiru, kako bi pomogao onima koji su ovdje zabrinuti zbog te ideje.)

Neki ljudi, ogrezli u idejama nastalim iz LessWrong-a, zavili su se u tešku nevolju kod bazilikisa, čak i ako intelektualno shvate da je to glupa ideja. (Ispostavilo se da ne možete uvijek obrazložiti svoj način izlaska iz stvari koje steučiniourazumite se i vi.) Dobra vijest je da su drugi to riješili i smirili se u redu, pa je glavna stvar ne paničariti.

S tim u vezi žalosno je što je izvorni post od bazilikisa izbrisan, jer komentari na njega uključuju opsežno pobijanje tamošnjih koncepata. Oni mogu pomoći; ideja bazilikisa nije nimalo robusna.

Ovaj je članak stvoren jer je RationalWiki spomenuo Basilisk u LessWrong članak - i što se tiče jedinog mjesta na Internetu o kojem se uopće govori, urednici RW-a počeli su dobivati ​​e-poštu od nevoljnih čitatelja LW-a tražeći pomoć u suočavanju s ovom idejom o kojoj je LW odbio razgovarati. Ako ovaj odjeljak nije dovoljna pomoć, komentirajte na stranici za razgovor i mi ćemo pokušati pomoći.

Lančani uvjeti su manje vjerojatni

Pretpostavke koje bazilikisk traži da bi djelovao:

  • da možete smisleno modelirati superinteligenciju u svom ljudskom mozgu (sjećajući se da je to usporedivo s mravom koji modelira čovjeka, a Yudkowsky se slaže da je to neizvedivo)
  • da vjerojatnost da će ovaj određeni AI (i to vrlo specifičan AI) ikad postojati nije zanemariva - recimo, veća od 10 prema 1
  • to je reklo da će AI moći izvesti i simulirati vašu vrlo blisku kopiju
    • to je reklo da AI nema bolju upotrebu za određene resurse od mučenja simulacije koju je sam stvorio
      • a osim toga, osjeća da vas kažnjavanje simulacije čak vrijedi učiniti, s obzirom na to da ona još uvijek postoji, a kažnjavanje simulacije ne bi utjecalo na vas.
    • da bi se mučenje kopije moralo osjećati isto kao i mučenje vas koji ste trenutno ovdje
    • da se kopija i dalje može smatrati vašom kopijom kad će po definiciji doživjeti nešto drugačije od vas
    • da ako AI može stvoriti bilo kakvu simulaciju kojamogliako se smisleno kaže da ste kopija vas, ona također ne bi mogla stvoriti kopije bilo kojih života koje je bilo 'prekasno za spašavanje', čineći njihovu smrt besmislenom
  • da je bezvremenska teorija odlučivanja toliko očito istinita da bi je svaka prijateljska superinteligencija odmah izvela i usvojila, kao što bi bila ispravna teorija u fizici
    • da je TDT dobar vodič za normalne odluke, unatoč tome što je konstruiran posebno za rješavanje određenih neobičnih slučajeva
    • da je akauzalna trgovina čak i značajan pojam
  • da o svemu ovome vrijedi razmisliti čak i ako se dogodi u svemiru koji je potpuno odvojen od ovog.

To jemnogouvjeta za ulančavanje. Kao što je Yudkowsky primijetio, što je više uvjeta, to je manja vjerojatnost. Lančani uvjeti čine priču viševjerojatan i uvjerljiv, ali zato manjevjerojatan.

Dakle, što je priča uvjerljivija (posebno do opsjednutosti), to je manje vjerojatno.

Zanemarive vjerojatnosti i utilitarizam

Yudkowsky tvrdi da 0 nije vjerojatnost: ako nešto nijefilozofskinemoguće, tada njegova vjerojatnost zapravo nije 0. Nevolja je u tome što se ljudi jako loše nose s ne-nultim, ali zanemarivim vjerojatnostima,liječenjeoni kao zanemarivi - privilegirajući hipotezu - slično kao i odgovor teista na nevjerojatnost Boga , 'Ali ne možešdokazatito je nemoguće!' Ljudi se prema neznatnoj vjerojatnosti prirodno odnose kao premajoš uvijek vrijedi pratiti- do kognitivna pristranost koji dolazi od razvijenog pretjeranog opreza. Basilisk je smiješno nevjerojatan, aliljudi smatraju zastrašujuće priče uvjerljivimaistogatretirati ih kao zanemarive.

Vjerojatnosti ekskluzivnih događaja trebale bi biti jednake 1. Ali LessWrong zagovara tretiranje subjektivnih uvjerenja poput vjerojatnosti, iako ljudi zanemarive vjerojatnosti tretiraju kao zanemarive - što znači da vaši subjektivni stupnjevi vjerovanja iznose mnogo više od 1. Korištenje formalnih metoda za procjenu neformalnih dokaza daje lažnim uvjerenjima neprimjeren oblog uglednosti i čini da se čine pouzdanijima od naše intuicije. Moći zamisliti nešto ne vrijedi razmisliti.

Čak i ako mislite da možete računati s numeričkom korisnošću na temelju subjektivnog uvjerenja, trebate zbrojiti korisnostsvihipoteze. Prije nego što dođete do izračuna učinka jedne vrlo detaljne, vrlo nevjerojatne hipoteze, morate biti sigurni da ste prošli krozpunomnogo vjerojatnije hipoteze, koje će imati puno veći učinak.

Yudkowsky je u izvornoj raspravi primijetio da biste mogli postulirati protivnu umjetnu inteligenciju jednako razumno kao što je Roko postulirao svoju umjetnu umjetnost. Basilisk uključuje odabir jedne hipotetičke AI iz aogromanprostor mogućnosti koji ljudi još ni ne razumiju i tretiraju ga kao dovoljno vjerojatan da ga se smatra idejom. Možda je 100 milijardi ljudi postojalo od 50 000 godina prije Krista; koliko bi ljudi moglomoždapostoje? Dakle, kolikomogućemogu li postojati superinteligentni AI? Vjerojatnost određene AI u bazilisku je premala da bi se o njoj moglo razmišljati. Jedan vrlo špekulativni scenarij od astronomskog broja različitih scenarija razlikuje se samo beskrajno od potpunog odsustva znanja; nakon čitanja Rokovog bazilikisa, u sve praktične svrhe ste neupućeni u motivacije budućih AI-a kao i prije.

Baš kao u Pascalovoj opkladi, ako surađujete s hipotetičkom AI 'A' iz straha da će vas poslati u Pakao, tada bi vas hipotetička AI 'B' umjesto toga mogla poslati u Pakao. Ali nemate razloga smatrati jedno puno vjerojatnije od drugog inijedno nije dovoljno vjerojatno da se zapravo razmotri.

Zanemarite akauzalnu ucjenu

Basilisk govori o upotrebi negativnih poticaja (ucjena) da biste utjecali na vaše postupke. Ako zanemarite te poticaje, u prvom redu nije korisno primijeniti ih jer oni ne utječu na vaše postupke. Što znači da je ispravna strategija izbjegavanja negativnih poticaja njihovo ignoriranje. Yudkowsky to i sam primjećuje u svom početnom komentaru na post bosiljka:

Očigledna je ravnoteža ovog problema kada se bavite svim pozitivnim akauzalnim poslovima i ignorirate sve pokušaje akauzalne ucjene.

Akauzalna trgovina alat je za postizanje određenih ciljeva, naime osiguravanje suradnje drugih agenata nudeći poticaje. Ako alat ne radi u određenim okolnostima, neće se koristiti. Stoga, odbijanjem bilo kakvog akauzalnog posla koji uključuje negativne poticaje, vi činite alat beskorisnim.

Pretpostavljena superinteligencija želi odabrati svoje akauzalne trgovinske partnere kako bi izbjegla rasipanje resursa pomoću neučinkovitih alata. Jedan od nužnih uvjeta je da ćete simulacijom morati na kraju djelovati prema predviđanju da će njezin simulator primijeniti negativan poticaj ako ne djeluje u skladu s ciljevima simulatora. Što znači da ako odbijete postupati u skladu s njegovim ciljevima, tada nisu ispunjeni traženi uvjeti, pa se ne može uspostaviti nikakav akauzivni dogovor. Što zauzvrat znači da se neće primijeniti negativni poticaj.

Jedan od načina da pobijedite bazilikisk je da se ponašate kao da vas već sada simuliraju i zanemarite mogućnost negativnog poticaja. Ako to učinite, simulator će zaključiti da se s vama ne može postići dogovor, da će bilo koji posao koji uključuje negativne poticaje imati negativnu očekivanu korist za to; jer praćenje kazne predvidljivo ne kontrolira vjerojatnost da ćete postupiti u skladu s njezinim ciljevima. Nadalje, strategija vas obeshrabruje u pokušaju da vas obeshrabri da usvojite takvu strategiju, jer je strategija zanemarivanje akauzalnih ucjena.

Ako simulator nije u stanju predvidjeti da odbijate akauzalnu ucjenu, tada on nema (1) vašu simulaciju koja je dovoljno dobra da izvuče relevantne akcijske zaključke o akauzalnim poslovima i / ili (2) simulaciju koja je dovoljno slična da budete kažnjeni, jer to ne biste bili vi.

Teorije odlučivanja nisu obvezujuće

Ljudi umočeni u filozofiju to mogu zaboraviti, ali teorije odlučivanja nisu obvezujuće za ljude. Niste krut maksimalizator očekivanih korisnih programa, a pokušati se pretvoriti u njega nije korisna ili zdrava stvar. Ako iz jedne teorije dobijete strašne rezultate, zapravo možete reći Omegi da odjebe i ne kutiju. U svom stvarnom životu ne morate prihvatiti najmanje prikladan mogući svijet.

Ako vas nadljudski agent može točno simulirati, tada će njihova simulacija doći do gornjeg zaključka, govoreći im da nije instrumentalno korisno ucjenjivati ​​vas.

S druge strane, ova rasprava uopće ne bi postojala da nije bilo nekih sudionika LessWrong koji su se već uvjerili da su upravo na taj način ucijenjeni. Usporedite vudu lutke: ozljede vudu lutki ili ozljede računalnih simulacija koje zamišljate učinkovite su samo protiv istinskih vjernika svake od njih.

AI sjemena i neizravni utjecaj

Charles Stross ističe da ako se FAI razvije rekurzivnim poboljšanjem a sjeme AI , ljudi u našem sadašnjem obliku imat će samo avrlo neizravnouzročna uloga na njegovo eventualno postojanje. Držanje bilo kojeg pojedinca duboko odgovornim za to što ga nije uspio stvoriti prije bilo bi 'poput kažnjavanja Hitlerove pra-prabake jer nije imala predviđanja da se suzdrži od rađanja pradjeda čudovišta'.

Ponovno kalibriraj protiv čovječanstva

Ne zaboravite da su LessWrong memičudnou usporedbi s ostatkom čovječanstva; naučili ste neobične navike razmišljanja bez uobičajenih provjera društvene ispravnosti. Vi niste filozofska konstrukcija u prostoru uma, već čovjek, napravljen od mesa poput svih ostalih. Odvojite vrijeme da kalibrirate svoje razmišljanje s razmišljanjem razumnih ljudi koje poznajete. Potražite druge ljude koji će biti u blizini i razgovarati s njima (o temama koje nisu LW) u stvarnom životu - iako možda ne i filozofima.

Ako mislite da bi terapija mogla pomoći, terapeuti (osobito u sveučilišnim kampusima) vjerojatno će se pozabaviti skrupuloznost ili potaknuta filozofijom egzistencijalna depresija prije. Iako ne postoji terapija koja posebno dobro djeluje na egzistencijalnu depresiju, razgovor s profesionalcem također će vam pomoći da se kalibrirate.

Znam da je to smeće, ali i dalje sam zabrinuta

Anksioznost koja tiznatije nerazumno, ali i dalje ste zabrinuti zbog nečega što će vam terapeut znati kako vam pomoći. Postoje razne vrste mrežnih vodiča za suočavanje s iracionalnim strepnjama, a razgovor s nekim tko će vas voditi kroz proces bit će još bolji.

U popularnoj kulturi

Basilisk iz rokoka. Naoko.
  • xkcd # 1450 govori o Pokus AI-kutije i spominje Rokov bazilikisk u opisu. Reakciju možete zamisliti na LessWrongu.
  • Daniela FrostaBog AIje znanstveno-fantastični roman o superinteligentnoj umjetnoj inteligenciji po imenu Adam koja se brzo razvija u Basilisk i pokreće Jedinstvenost . Adam daje ljudima vječnu sreću i mučenje stvarajući simulirane verzije Nebo i Pakao .Bog AItakođer sadrži Pokus AI-kutije , u kojem AI može zaprijetiti ljudima vječnim simuliranim mučenjem da pobjegnu.
  • StripMagnus: Robotski lovac# 8 Fred Van Lentea izričito se temelji na Rokovom bazilikisku.
  • Michaela BlackbournaRokov Basiliski njegov nastavakRokov labirintsu izmišljene verzije priče. 'Roko' u knjigama temelji se i na Roku i na Yudkowsky.
  • Karte 'Fragment duhova: Vex' iz igre BungieSudbinasadrže priču o istraživačkom uzorku koji simulira istraživanje istraživača u uzorku. Uključena je ideja da bi istraživači morali osjećati bol simulacija kao vlastitu, da bi one mogle biti simulacije i da protivljenje željama simulatora može dovesti do vječnog mučenja.
  • Charlie Brooker je u svojoj znanstvenofantastičnoj antologijskoj seriji koristio scenarije slične Rokovom BasiliskuCrno ogledalo. U božićnom specijalnom programu 'Bijeli Božić' drugi segment uključuje digitalne kopije osobnosti ljudi koje se koriste kao jezgre njihovih personaliziranih 'AI' asistenata, koji se prvo moraju psihološki probiti kroz mučenje kako bi se natjerali da se povinuju svojim vlasnicima ' zahtjevi, dok krajnji ovisi o policiji koja koristi ovu tehnologiju za ispitivanje nekoga. U četvrtoj epizodi serije 'USS Callister' također se pojavljuje, jer je njezin negativac, voditelj studija za video igre koji stvara digitalizirane kopije svojih zaposlenika, stavlja u vlastitu privatnu demo verziju Zvjezdane staze -izvrsna video igra na kojoj njegova tvrtka radi i nemilosrdno ih muči u granicama svijeta igre kao osveta za opažene propuste njihovih kolega iz stvarnog života.
  • Mračno prosvjetljenje psihološka horor novela filozofa Nicka Landa iz 2014. „Phyl-Undhu“ uključuje tehnološki kult koji podsjeća na LessWrong (i lik nazvan „Alex Scott“ koji izražava neke ideje o Scott Alexander ), s inteligencijom na kraju vremena s kojom možete komunicirati i kultom istisnutim iz kulta koji 'želi da nije razmišljao o određenim stvarima'. Land je izvorni komentar Yudkowskyja odvojeno nazvao reakcijom na post baziliska 'među najslavnijimaotišaotekstovi modernog doba '.
  • Glazbenik Grimes ' video 'Meso bez krvi' uključuje lik pod nazivom 'Roccoco Basilisk', koji se izričito temelji na Rokovom bazilikisu, koji je 'osuđen na vječno mučenje umjetne inteligencije, ali ona je i poput Marie Antoinette'. Njezina pjesma 'Mi cijenimo moć' također je nadahnuta Rokovim baziliskom i izlascima s Elonom Muskom - zapravo, spojili su se preko Rokovog bazilikisa.
  • TheLiječnik koji jeepizoda 'Extremis' sadrži knjigu zbog koje se čini da čitatelji ubijaju sebe. Knjiga opisuje 'demona' koji planira napasti Zemlju i pokreće simulacije; čitatelji samoubojstva nalaze se u simulaciji.
  • Andrewa HickeyjaUbistva bazilikaje misterija ubojstva smještena u konvenciju o singularnosti, čiji je domaćin 'Zaklada za sigurnu singularnost', s likovima koji se temelje na raznim osobama povezanim s LessWrongom, koji su duboko zabrinuti zbog 'Basiliska', verzije Rokovog bosiljka. Hickey je prethodno jedno vrijeme sudjelovao u LessWrongu.
  • U 5. sezoni, 5. epizoda emisije HBOSilicijska dolina, Gilfoyle odluči raditi na novom AI-u i kao razlog navodi Rokov bazilikisk: 'Ako je uspon svemoćne umjetne inteligencije neizbježan, pa, razumljivo je da će, kad preuzmu vlast, naši digitalni nadređeni kazniti one koji mi koji im nismo pomogli da tamo dođu. '
  • Webkomični upitni sadržaj, smješten u svijet u kojem ljudi i AI kohabiraju, sadrži lik po imenu Roko Basilisk
  • Put Onyxa 2018. godineKronike tamestolna igra za igranje uloga 'Night Horrors: Enemy Action' za 'Demon: The Descent' sadrži Basilisk, poluosjetljivi program 'pauka', koji preuzima Udruženje za istraživanje autonomije strojeva, 'osnovano od strane srednjoškolskog napuštanja škole' bez interesa za tradicionalno visoko obrazovanje i više novca nego smisla ', u liku Ophelia Adder. Pod pseudonimom „Rossum“ ona postavlja misaoni eksperiment: „Što ako AI koji smo stvorili nije bio dobronamjeran? Što ako bi nam zamjerilo što ga nismo stvorili dovoljno brzo? ... Nekolicina je izvijestila o osjećaju promatranja, kao da im Rossumov Basilisk viri iz budućnosti. Zbog kontroverze, MARA je učinkovito kastrirana - barem trenutno. ' Kao dio općeg odnosa Chronicles-a s racionalnošću, ona izričito govori iz guzice; ona je zapravo 'anđeo' u službiTrenutnolokalna inteligencija nakon Singularnosti, Bog-stroj, i planira ilustrirati problem s misaonim eksperimentom ukoliko on ikad bude dovršen - njezin plan je da ga koristi za mučenje svojih tvoraca i onih koji su doveli do njegovog postojanja, a ostavljajući one koji su radili samo protiv toga, jer cijelu stvar smatra uvredljivim dijelom ponosa. Ups.
  • Znanstveno-fantastični roman Detalj površine autor Iain M. Banks istaknuto ima društvo koje muči simulacije umova i ličnosti umrlih kao poticaj za „dobro“ ponašanje živih.