Önemli Tefekkürler ve Akıllı Yardımseverlik
Bu konuşma, öğle yemeğinden önce Nick Beckstead’in hakkında konuştuğu bazı fikirlere dayanacaktır. Bununla birlikte, kendisinin sunumunun aksine, bu iyi sunulmuş bir sunum olmayacaktır. Bu devam eden bir çalışma, bu nedenle bazı atlamalar olacak, bazı parçalar karışacak, vs. Ama tartışma kısmını iple çekeceğim.
Şimdi önemli tefekkür kavramından bahsetmek istiyorum, bu kavram yaptığımız işlerde çok fazla karşımıza çıkmaktadır. Diyelim ki ormandasınız, haritanız ve pusulanız var ve bir hedefi bulmaya çalışıyorsunuz. Biraz ağırlık taşıyorsunuz, belki de çok fazla suyunuz var, çünkü hedefinize ulaşmak ve ağırlık taşımak için su içmeniz gerekiyor ve tam olarak gittiğiniz yön için ince ayar yapmaya çalışıyorsunuz. Hedefinize ulaşmak için çok az suyunuz kalmadan yükünüzü hafifletmek için ne kadar su dökebileceğinizi anlamaya çalışıyorsunuz.
Bunların hepsi normal tefekkürlerdir: Hedefinize doğru daha hızlı ilerleme kaydetmek için gittiğiniz yola ince ayar yapıyorsunuz. Ama sonra kullandığınız bu pusulaya daha yakından bakıyorsunuz ve mıknatıs parçasının aslında gevşediğini fark ediyorsunuz. Bu, iğnenin artık Kuzey ile hiçbir ilişkisi olmayan tamamen farklı bir yöne işaret edebileceği anlamına geliyor: bilinmeyen sayıda tur atmış veya bir turun bir kısmını dönmüş olabilir.
Bu keşifle, iğnenin nereye işaret ettiğinin daha doğru okunmasına dayanan önceki tüm akıl yürütmelere olan güveninizi tamamen kaybedersiniz. Bu, oryantiringa bağlamında önemli bir tefekküre örnek olacaktır. Mesele, bizi tamamen yolumuzdan saptıran daha önemli bağlamlarda benzer tefekkür türlerinin olabileceğidir.
Bu nedenle, bir önemli tefekkür:
Yararcı bir bağlamda, belki de kişi bunu şu şekilde açıklamaya çalışılabilir:
Buradaki fikir, belirli bir sabit değerlendirme standardına sahip olmanız ve bazı üst düzey alt hedeflere ulaşmak için genel bir plan oluşturmanızdır. Bu değerlendirme standardını nasıl en üst düzeye çıkaracağınızla ilgili fikrinizdir. Öyleyse, bu alt hedefe ulaşmanın beklenen değerini radikal bir şekilde değiştiren önemli bir tefekkür olacaktır ve bunun bazı örneklerini göreceğiz. Şimdi görüşünüzü bazı yararcı bağlamlarla sınırlamayı bırakırsanız, o zaman bu daha önceki daha gayri resmi formülasyonlara geri dönmek isteyebilirsiniz, çünkü sorgulanabilecek şeylerden biri yararcılığın kendisidir. Ancak bu konuşmanın çoğunda bu bileşeni düşünüyor olacağız.
Sahip olmanın faydalı olacağı bazı ilgili kavramlar vardır. Dolayısıyla, bir önemli tefekkür bileşeni, kendi başına önemli bir tefekküre karşılık gelmese de önemli bir tefekkürde belki de merkezi bir role hizmet edebilme olasılığına sahip gibi görünen bir argüman, fikir veya veri olacaktır. Bu bizim şöyle diyebileceğimiz bir şeydir: “Bu gerçekten ilgi çekici görünüyor, bu önemli olabilir; şu anda bununla ne yapacağımdan gerçekten emin değilim.” Kendi başına, belki bize hiçbir şey söylemiyor, ama belki de başka bir parça, birleştiğinde, bir şekilde önemli bir sonuç verecek. Bu nedenle, bu tür önemli tefekkür bileşenlerini keşfetmek yararlı olabilir.
Bir de bir müzakere merdiveni kavramı var, bu da aynı üst düzey alt hedefle ilgili olarak, tefekkürlerin zıt yönlerde olduğu bir dizi önemli tefekkür olabilir. Genel çıkmazı göstermeye yardımcı olan bu tür önemli tefekkür merdivenlerinin bazı örneklerine bakalım.
Bu soruyu ele alalım: “Ulusal seçimde oy kullanmalı mıyım?” Muhakemenin “birinci seviyesinde” “Evet, daha iyi bir adayı göreve getirmek için oy vermeliyim” diye düşünürsünüz. Bu açıkça çok mantıklıdır.
Sonra biraz daha düşünürsün: “Ancak, benim oyumun bir fark yaratma olasılığı son derece düşük. Oy vermemeliyim, ama zamanımı daha iyi değerlendirmeliyim.” (Bu örnekler genel fikri göstermek içindir. Bu belirli örnekler hakkında büyük bir tartışma istemiyorum; bunlar karmaşık. Ancak genel olguyu göstermeye hizmet edeceklerini düşünüyorum.) İşte burada “Evet, oy kullanmalıyız” dan sandık başına gitmek için bir plan yapmaya falan gittik. Ve sonra, iki numaralı tefekkürle, “Hayır, oy vermemeliyim Tamamen farklı bir şey yapmalıyım.” a geçtik.
Sonra şöyle düşünürsünüz: “Benim oyumun bir fark yaratması pek olası olmasa da riskler çok yüksek: milyonlarca hayat başkandan etkileniyor. Yani oyumun belirleyici olma şansı milyonda bir olsa bile, beklenen fayda yine de sandık merkezine gitmeye değecek kadar büyük.” Televizyon izlemeye daha yeni geri dönmüştüm ve futbol maçını açmıştım, ama şimdi oy vermem gerektiği ortaya çıktı, bu yüzden ters bir yönümüz var.
Sonra düşünmeye devam edersiniz, “Peki, seçim sonuçları yakın değilse, o zaman benim oyum fark etmez. Seçim sonuçları yakınsa, oyların yaklaşık yarısı yanlış adaya olacaktır, bu da adayların tam olarak veya neredeyse tamamen aynı değerde olduğunu ima eder, bu nedenle kimin kazandığı gerçekten önemli değildir veya tipik seçmenlerin adayların değerlerine ilişkin kararı son derece güvenilmezdir ve neredeyse hiçbir anlam taşımaz, bu nedenle oy verme zahmetine girmemeliyim.”
Şimdi rahat kanepeye geri gömülür ve patlamış mısırı ya da her neyse yiyorsanız onu çıkarırsınız ve sonra “Ah, tabii ki adayların değerlerine tipik seçmenlerden çok daha iyi karar veririm, bu yüzden oy vermeliyim” diye düşünürsünüz.
Sonra şöyle düşünürsünüz: “Ama psikolojik çalışmalar, insanların kendine aşırı güvenme eğiliminde olduğunu, hemen hemen herkesin kendilerini ortalamanın üzerinde olduğuna inandığını, ancak bu konuda haklı olma ihtimallerinin haksız olma ihtimalleri kadar yüksek olduğunu gösteriyor. Yanlış adaya oy verme olasılığım tipik bir seçmenle aynıysa, oyum seçim süreci hakkında ihmal edilebilir bilgilere sahip olacaktır ve oy vermemeliyim.”
“Tamam, tüm bu muhakemeyi yaptım, bu gerçekten özel olduğum anlamına geliyor, bu yüzden oy vermeliyim.”
Ama sonra, “Madem bu kadar özelim, o zaman fırsatın maliyeti… Yani, daha önemli bir şey yapmalıyım.”
“Ama oy vermezsem, tanıdıklarım, hepimizin en iyi olduğunu düşündüğü adayları desteklemediğimi görecekler. Beni tuhaf, garip ve sadakatsiz bulacaklardır. O zaman bu belki de benim etkimi azaltır, ki bu etkiyi başka iyi amaçlar için de kullanabilirdim, bu yüzden sonuçta oy kullanmalıyım.”
“Ancak, verimli tartışmaları teşvik etmek için inançlarını savunmak önemlidir. Tüm bu karmaşık oy verme mantığını açıklarsam gerçekten sofistike olduğumu düşünebilirler ve bu benim etkimi artırabilir, bunula daha sonra iyi bir nedene yatırım yapabilirim.” Vesaire, vesaire, vesaire.
Merdivenin orada duracağını düşünmek için hiçbir neden yok; sadece o noktada tükendik. Eğer bir noktada bitirirseniz, o zaman şunu merak edebilirsiniz — merdivende başka adımlar var mı? Bu aşamada geçici olarak vardığınız sonuç için gerçekten ne kadar nedeniniz olduğunu düşünüyorsunuz?
Bir başka müzakere merdiveni örneğine, daha çok teknoloji politikası ve varoluşsal risk bağlamına bakmak istiyorum. Bu, belirli teknoloji türleriyle ilgili olarak, onları teşvik etmeye çalışmamız veya daha fazla fon almamız gerekip gerekmediği konusunda yürütülebilecek bir tür argümandır.
Buradaki teknoloji nanoteknolojidir; bu aslında bu akıl yürütme çizgisinin ilk ortaya çıktığı örnektir. Bunun bazı bölümleri Eric Drexler’in kendisinin de bu düşünce çizgisini savunduğu kitabı Yaratılış Motorları ‘na (Engines of Creation) geri döner (bölüm 12).
“Nanoteknolojiyi finanse etmeliyiz” — bu “birinci seviye” akıl yürütmedir — “çünkü gelecekte birçok potansiyel uygulama vardır: tıp, üretim, temiz enerji vb. Tüm bu faydalara sahip olursak gerçekten harika olur.”
“Ancak nanoteknolojinin önemli askeri uygulamaları olabileceği ve teröristler vb. tarafından büyük bir varoluşsal tehdit oluşturabilecek yeni kitle imha silahları yaratmak için kullanılabileceği de görülüyor. Eğer bu kadar tehlikeliyse, belki de bunu finanse etmemeliyiz.”
“Ancak bu tür bir teknoloji mümkünse, biz peşinden gitmeye karar versek de vermesek de er ya da geç neredeyse kesinlikle geliştirilecektir.” (‘Biz’ belki bu odadaki insanlar ya da Britanya’daki ya da diğer Batı demokrasilerindeki insanlarız.) “Eğer sorumluluk sahibi insanlar bunu geliştirmekten kaçınırsa, o zaman sorumsuz insanlar tarafından geliştirilecektir, bu da riskleri daha da artıracaktır, bu yüzden bunu finanse etmeliyiz.” (Aynı şablonun nanoteknolojinin yanı sıra iyi ve kötü yönleri olan diğer teknolojileri değerlendirmek için de geçerli olabileceğini görebilirsiniz.)
“Ancak zaten geliştirmede öndeyiz, bu yüzden ekstra finansman bizi o noktaya daha erken götürecektir ve bize tehlikelere hazırlanmak için daha az zaman verecektir. Bu nedenle finansmanını arttırmamalıyız: sorumluluk sahibi insanlar bu çabanın finansmanını arttırmadan bile o noktaya ilk ulaşabilirler.”
Ancak daha sonra etrafınıza baktığınızda nanoteknolojinin tehlikelerine hazırlanmak için neredeyse hiç çaba göstermediğinizi görürsünüz — ve bu temelde Drexler’in Motorlar’daki konusudur — çünkü ciddi hazırlık ancak nanoteknolojiyi geliştirmek için büyük bir proje başladıktan sonra başlayacaktır. Ancak o zaman insanlar bu olasılığı ciddiye alır. Nanoteknolojiyi geliştirmek için Manhattan benzeri ciddi bir proje ne kadar erken başlatılırsa, tamamlanması o kadar uzun sürecektir, çünkü ne kadar erken başlarsanız, başlangıç temelini o kadar aşağı indirirsiniz. Sonrasında gerçek proje daha uzun süre devam edecektir ve bu daha sonra hazırlık için daha fazla zaman anlamına gelecektir: ciddi hazırlık sadece proje başladığında başlar ve proje ne kadar erken başlarsa o kadar uzun sürecektir, bu nedenle hazırlık süresi o kadar uzun olacaktır. Bu da gösteriyor ki, hazırlanma süresini en üst düzeye çıkarmak adına, bu ürünün çalışmalarını hemen başlatmak için elimizden geldiğince baskı yapmamız gerekir.
Ancak dikkate alınması gereken daha fazla tefekkür vardır.
Risk seviyesi, özellikle nanoteknolojinin tehdidine karşı yapılan ciddi hazırlık miktarı dışındaki faktörlerden etkilenecektir. Örneğin, nanoteknolojiden önce makine zekası veya her yerde gözetim geliştirilebilir ve nanoteknolojinin riskleri ortadan kaldırılabilir veya azaltılabilir. Bu diğer teknolojiler kendi başlarına büyük riskler oluştursalar da bu risklerle ile her halükarda yüzleşmek gerekmektedir. Ve söylenebilecek daha çok şey var. Nanoteknoloji, bu diğer riskleri, örneğin yapay zekadan kaynaklanan riskler gibi, gerçekten azaltmayacaktır. Tercih edilen dizi, nanoteknolojiden önce süper zeka veya her yerde gözetim elde etmemizdir ve bu nedenle süper zeka ve her yerde gözetim, teknolojik tamamlama varsayımına ilişkin belirli arka plan varsayımları — zamanın bolluğunda, medeniyet çökmedikçe, tüm olası genel yararlı teknolojiler geliştirilecektir— göz önüne alındığında, varoluşsal risk oluşturmak da dahil olmak üzere kendi başlarına çok tehlikeli olsa bile bu tehlikelerle yüzleşmek zorunda kalacağız ve tüm seçimimiz aslında bunlarla yüzleştiğimiz dizidir, bu yüzden nanoteknoloji için ekstra fonlara karşı çıkmalıyız. Ayrıca süper zekayla nanoteknolojiden önce yüzleşmek daha iyidir, çünkü süper zeka nanoteknoloji riskini ortadan kaldırabilir, ama tersi olmaz.
Bununla birlikte, insanlar nanoteknolojiye ekstra fon sağlanmasına karşı çıkarsa, nanoteknolojide çalışan insanlar buna karşı çıkanlar kişilerden hoşlanmayacaklardır. (Bu aynı zamanda Drexler’in kitabında değindiği bir noktadır.) Ancak diğer bilim insanları, nanoteknolojiye yönelik finansmana karşı çıkan bu insanları bilim karşıtı olarak görebilir ve bu, daha spesifik konulardaki çabalarımızı- nanoteknolojiye yönelik ulusal finansman seviyesini etkilemeye yönelik herhangi bir girişimde maddi bir fark yaratma şansı daha yüksek olan çabaları- engelleyerek bu bilim insanlarıyla çalışma kabiliyetimizi azaltacaktır. Yani nanoteknolojiye karşı çıkmamalıyız. Yani, nanoteknolojiye karşı çıkmak yerine, onu biraz yavaşlatmaya çalışabiliriz. Ancak biz küçük bir grubuz ve büyük bir fark yaratamayız — nanoteknoloji bilim adamları ile çalışmalı, onların arkadaşı olmalıyız ve sonra belki de marjı etkilemeye çalışmalıyız, böylece nanoteknolojiyi biraz farklı bir şekilde geliştirebilirler veya bazı önlemler ekleyebilirler falan.
Yine, buna uygulayabileceğimiz müzakere düzeyinin sınırına ulaştığımızı düşünmek için net bir neden yoktur. Bu endişe verici, çünkü arama ağacına daha derinlemesine baktıkça pratik sonuç sürekli ileri geri değişiyor gibi görünüyor ve bunun neden böyle olduğunu merak edebiliriz. Bence bu müzakere merdivenleri, özellikle kişi kapsamlı bir yararcı olmaya çalışırken ve büyük resim sorusunu gerçekten ciddiye aldığında ortaya çıkacaktır.
Bunun neden olabileceğine dair bazı olası nedenleri düşünelim. Örneğin, “yararcılığın” uygulanma alanı ile başka bir uygulama alanını karşılaştırırsak, diyelim ki sıradan bir insan tercihi işleviniz varsa- sağlıklı bir aile, başarılı bir kariyer ve biraz rahatlama gibi tipik insan değerleri olan iyi giden bir yaşam istiyorsanız — bunları tatmin etmeye çalışıyorsanız, çok sayıda önemli tefekkürle karşılaşma olasılığınız daha düşük görünmektedir. Bu neden olabilir?
Olası bir açıklama, kişisel düzeyde insan hayatı hakkında daha fazla bilgi ve deneyime sahip olmamızdır. Milyarlarca insan sıradan bir insani yarar işlevini en üst düzeye çıkarmaya çalıştı ve birçok geri bildirim aldı ve birçok şey denendi. Yani, onlarca yıl hayatta kalmak istiyorsanız, yemek yemenin iyi bir fikir olduğu gibi bazı temel şeyleri zaten biliyoruz. Keşfetmemiz gereken bir şey değil. Ve belki de ilk etapta tercihlerimiz, bilişsel olarak çevrede evrim yoluyla yararlanabileceğimiz fırsatlara aşağı yukarı uyacak şekilde şekillendirilmiştir. Bu nedenle, sistematik olarak tatmin etmenin hiçbir yolu olmayan garip bir tercihimiz olmayabilir. Yararcılıkla birlikte, yararcı tercih, kozmik ortaklıklar ve milyarlarca yıl ötedeki gelecek ve süper gelişmiş medeniyetler de dahil olmak üzere tanıdık çevremizin çok ötesine uzanır: ne yaptıkları yararcı bakış açısından önemlidir, hatta çok önemlidir. Yararcı tercihlerin umursadığı şeylerin çoğu, aşina olmadığımız şeylerdir.
Yararcılıkla ilgili önemli tefekkürlerin bir diğer olası kaynağı, hedefin kendisini anlamadaki zorluklardır. Örneğin, sonsuz olma olasılığı sınırlı olan bir dünyaya yararcılığı nasıl uygulayacağımızı düşünmeye çalışırsak, farklı sonsuz büyüklükleri nasıl ölçeceğimiz ve dünyada nasıl bir fark yaratabileceğimizi görme konusunda zorluklarla karşılaşacağız. Bununla ilgili bir büyük makalem var ve bu konuya girmemize gerek yok. Tüm bu olası vakalarla başa çıkmak için yararcılığı ifade etmeye çalışmaktan ibaret başka bazı konular da vardır.
Buradaki üçüncü olası neden, tarihteki bir dönüm noktasına bir miktar yakın, çok yakın değil ama yakın olduğumuzun düşünülebilecek olmasıdır. Bu, uzun dönemli geleceği etkilemek için şimdi özel fırsatlara sahip olabileceğimiz anlamına geliyor. Ve hala bundan çok uzağız: gelecek üzerinde maksimum yarar sağlamak için ne yapmamız gerektiği açık değil. Ama hala yeterince yakınız, belki de geleceği şekillendirecek makinenin bazı hatlarını algılamaya başlayabiliriz. Örneğin, süper zekanın bu yüzyılda karşımıza çıkacak bu dönüm noktası veya bu dönüm noktalarından birisi (varoluşsal riskli dönüm noktaları da olabilir) olabileceğini düşünebilirsiniz. Bu durumda, çok önemli olabilecek bir dizi yeni tefekkürü ortaya koyan bu şeyler hakkında düşünme yeteneğini henüz yeni edinmeye başlamış olabiliriz. Bu durum kişisel alanı da etkileyebilir. Tıpkı sıradan bir insanın tipik yarar fonksiyonunda olduğu gibi: muhtemelen bir milyar yıl yaşamaya yüz yıl yaşamaktan bir milyon kat daha fazla değer vermiyorlar veya bin çocuk yetiştirmeye bir çocuk yetiştirmekten bin kat daha fazla değer vermiyorlar. Dolayısıyla, gelecek hala var olsa bile, normal bir insani yarar işlevinde yararcılar için olduğu kadar ağır basmıyor.
Dördüncüsü, son zamanlarda iyi bir yararcı olmak hakkında bu çok önemli keşifleri yapmamızı sağlayan bazı önemli keşif araçlarını keşfettiğimizi de iddia edebiliriz. Ve henüz bu araçların doğal akışını izlemedik, bu nedenle bu keşif araçlarını kullanarak temel yeni önemli keşifler ortaya çıkmaya devam ediyoruz. Bu yüzden keşfedilen birçok önemli tefekkür var gibi görünüyor. Sunumun ilerleyen bölümlerinde bunlardan bazıları hakkında biraz konuşabiliriz.
Şimdi olaya biraz farklı bir açıdan yaklaşayım. Satrançta, ideal olarak oynama şekliniz, yapabileceğiniz olası hamleleri, sonra rakibinizin verebileceği olası tepkileri ve bu tepkilere verdiğiniz tepkileri düşünerek başlamaktır. İdeal olarak, son duruma kadar her şeyi düşünürsünüz ve daha sonra tüm oyun ağacını hesaplayabildiğinde, kazanma açısından en iyi olacak ilk hamleyi seçmeye çalışırsınız. Ancak bu hesaplama açısından mümkün değildir çünkü ağaç fazla dallanır: düşünmeniz gereken üstel sayıda hamle vardır. Bunun yerine yapmanız gereken, ilerideki bazı oynanış sayılarını açıkça hesaplamaktır. Belki önünüzdeki bir düzine oyunu falan. Bu noktada, analiziniz durmalı ve yaptığınız şey, hesaplanması nispeten basit olan, bu altı hamle ve karşı hamle dizisinden kaynaklanabilecek tahta durumuna bakmaya çalışan ve bazı kaba ve hazır bir şekilde bu durumun ne kadar iyi olduğunu tahmin etmeye çalışan bir değerlendirme fonksiyonuna sahip olmaktır. Tipik bir satranç değerlendirme fonksiyonu buna benzeyebilir.
DeğerlendirmeSatranç = (c1 × materyal) + (c2 × hareketlilik) + (c3 × şah güvenliği) + (c4 × merkez kontrolü) + …
Ne kadar materyalimiz olduğunu değerlendiren bir teriminiz var, kraliçenize ve bir sürü parçaya sahip olmanın faydalı olması gibi. Rakibin bunlardan az sayıda olması da faydalıdır. Elimizde bir piyonun bir, kraliçenin ise 11 veya bunun gibi değere sahip olduğu gibi bir metrik var. Yani bunu tartıyorsunuz — bu değerlendirme fonksiyonundaki bir bileşen. Sonra taşlarınızın ne kadar hareketli olduğunu düşünün. Eğer hepsi köşeye sıkışmışsa, bu genellikle umut verici olmayan bir durumdur, bu yüzden bunun için bir teriminiz vardır. Şah güvenliği- merkez kontrolü bu duruma biraz değer katar: tahtanın ortasını kontrol ederseniz, deneyimlere dayanarak, bunun iyi bir pozisyona yöneleceğini biliriz. Yaptığınız şey, açık bir şekilde ilerideki birkaç adımı hesaplamaktır ve sonra, oynayabileceğiniz bu ilk oyunlardan hangisinin sizin için en yararlı durum olacağını belirlemek için kullanılan nispeten değişmeyen bir değerlendirme fonksiyonuna sahip olursunuz. Bu değerlendirme işlevleri, esas olarak oyunu oynama konusunda çok fazla deneyime sahip bazı insan satranç ustalarından türetilmiştir. Bu farklı özelliklere atadığınız ağırlık gibi parametreler, makine zekası tarafından da öğrenilebilir.
Diğer alanlarda buna benzer bir şey yapıyoruz. Tipik bir geleneksel kamu politikası gibi, sosyal refah ekonomistleri, böyle bir biçim alabilecek bazı sosyal refah işlevlerini en üst düzeye çıkarmanız gerektiğini düşünebilir.
Değerlendirmekamu politikası = (c1 × GSYİH) + (c2 × istihdam) + (c3 × eşitlik) + (c4 × çevre) + …
GSYİH? Evet, daha fazla GSYİH istiyoruz, ancak aynı zamanda işsizlik miktarını, belki de eşitlik veya eşitsizlik miktarını, çevrenin sağlığı için bazı faktörleri de hesaba katmalıyız. Buraya ne yazarsak yazalım, ahlaki iyiliğe eşdeğer olan şeyin temelde düşünülmüş olması mümkün olmayabilir. Ama bu şeylerin iyi olma eğiliminde olduğunu biliyoruz, ya da öyle olduğunu düşünüyoruz. Bu, pratik bir karar verme bağlamında daha kolay çözülebilecek gerçek değerin yararlı bir yaklaşımıdır. O zaman sorabileceğim tek şey, ahlaki iyilik için buna benzer bir şey olup olmadığıdır.
Değerlendirmeahlaki_iyilik = ?
Ahlaki olarak yapabileceğiniz en iyi şeyi yapmak istiyorsunuz, ancak tüm bunları sıfırdan hesaplamak, herhangi bir durumda yapmak zor veya imkansız görünüyor. Yapabileceğiniz farklı şeyleri değerlendirmek için kullanabileceğiniz daha istikrarlı ilkelere ihtiyacınız var. Burada yararcılığın daha kısıtlı versiyonuna bakabiliriz. Oraya ne koyabileceğimizi merak edebiliriz.
Değerlendirmeyararcı = ?
Burada Beckstead’in bahsettiği bazı konulara geri dönebiliriz. Bir eksende ekonomik gelişme ve teknolojik gelişmişlik seviyesi falan ve diğerinde zamanın olabileceği kapasitenin haritasını çıkarırsak, benim görüşüm, insan durumunun bu yetenek ekseninde bir tür bölünebilir bölge olduğudur.
Bir süre içeride dalgalanabilirsiniz, ancak düşündüğünüz zaman ölçeği ne kadar uzun olursa, o bölgeden aşağı yönde çıkma ve yok olma şansınız o kadar artar — minimum uygulanabilir nüfus büyüklüğünün altında çok az kaynağa sahipseniz, yok olursunuz (bu bir çekim noktası durumudur: yok olduğunuzda, bu şekilde kalma eğiliminde olursunuz) — veya yukarı yönde: teknolojik olgunluğa ulaşırsak, kolonileşme sürecini başlatırız ve yeryüzü kökenli akıllı yaşamın geleceği, ışık hızının önemli bir kısmında genişleyen ve nihayetinde başlangıç noktamızdan prensipte erişilebilir olan tüm kozmolojik kaynaklara erişen bu baloncuk olabilir. Pozitif kozmolojik sabit nedeniyle bu sınırlı bir miktardır: Görünüşe göre sadece sınırlı miktarda şeye erişebiliyoruz. Ancak buna bir kere başladığınızda, galaksiler arası bir imparatorluk haline geldiğinizde, büyük olasılıkla bu doğal vizyona gitmeye devam edebilir gibi görünüyor.
Bir varoluşsal risk kavramını ya yok olmak ya da belki tüm kozmolojik ortaklara erişerek ancak daha sonra bunları faydalı amaçlar için kullanamamak gibi bir nedenle kozmik ortaklara erişerek kazanabileceğiniz değerin potansiyeline ulaşamamak olarak tanımlayabiliriz.
Bu, Beckstead’in de bahsettiği Maxipok ilkesini akla getirir: İyi sonucunun olasılığını en üst düzeye çıkartmak. Bu açıkça, olsa olsa, bir kuraldır: olası tüm durumlarda doğru olan geçerli bir ahlaki ilke olması amaçlanmamıştır. Kesinlikle değil. Aslında, başladığınız orijinal ilkeden uzaklaşıp pratikte çözülebilir bir şeye ulaşmak istiyorsanız, bunu çeşitli ampirik varsayımlara bağlı hale getirmek zorundasınız. Buradaki değiş tokuş budur: Olabildiğince zayıf varsayımlar yapmak ve yine de çözülebilir olma yoluna mümkün olduğunca ilerlemek istersiniz.Bence bu, makul bir uzlaşma sağlayan bir şey. Başka bir deyişle, insanlığın karşı karşıya kalacağı varoluşsal riskin ayrılmazlığını en aza indiren eylemi gerçekleştirin. Size her zaman doğru cevabı vermez, ancak bu bir başlangıç noktasıdır. Beckstead’in belirttiklerinden farklı şeyler var, bunun yanlış cevap vereceği başka senaryolar da olabilir: Eğer bir cehennem senaryosu gibi büyük bir hiper varoluşsal felaket riski olduğunu düşünüyorsanız, o zaman varoluşsal risklerin seviyesini, sadece varoluşsal bir felaket değil, hiper varoluşsal felaket olma riskini de azaltmak için biraz artırmak isteyebilirsiniz. Bunun içine girebilecek diğer şeyler, köklü olmayan ve sadece hafifçe değişen yörünge değişimleridir.
Mevcut amaçlar için, yararcı etkenler için değer işlevini tanımlama girişimimiz olarak Maxipok kuralını kullanma önerisini göz önüne alabiliriz.
Değerlendirmeyararcı ≈ Maxipok
Sonra soru şu hale gelir, eğer varoluşsal riski en aza indirmek istiyorsanız, ne yapmalısınız?
DeğerlendirmeMaxipok = ?
Bu hala çok üst düzey bir hedef. Bunu daha somut bileşenlere ayırmak için hala daha fazla çalışmamız gerekiyor.
Başka bir sunumdan güzel bir slaytım var. Az önce söylediğimin bir kısmını söylemenin farklı bir yolu: sürdürülebilirlik hakkında genel olarak bilindiği şekilde, doğal çevre tarafından yeniden üretilenden daha fazla kaynak tüketmediğimiz, yaklaşmaya çalışmamız gereken istikrarlı bir duruma sahip olan statik bir kavram olarak düşünmek yerine, sürdürülebilirliği, bir duruma ulaşmak değil de üzerinde süresiz olarak gidebilmek için kontrol altına alabilmemiz ve iyi bir yöne gitmesi anlamında süresiz olarak sürdürülebilir bir yörüngeye girmeye ve burada kalmaya çalışmamız şeklinde dinamik terimlerle düşünmemiz gerektiğine inanıyorum.
Mesela bir roketinizin olması buna bir benzetme olabilir. Bir roket için sabit durum fırlatma rampasındadır: orada uzun süre durabilir. Bir başka istikrarlı durum da mesela uzayda olmasıdır, paslanmazsa veya bunun gibi bir şey olmazsa, belki de daha uzun bir süre seyahat etmeye devam edebilir. Ama havada, dengesiz bir sisteminiz var. Sanırım insanlığın şu anda olduğu yer burası: Havadayız. Statik sürdürülebilirlik konsepti, yakıt tüketimimizi en aza indirgememizi ve bu sayede orada kalmamızı önermektedir. Bu nedenle, mevcut durumumuzda kalabileceğimiz süreyi uzatabiliriz, ancak belki de bunun yerine yapmamız gereken yakıt tüketimini en üst düzeye çıkarmaktır, böylece kaçış hızına ulaşmak için yeterli itişe sahip oluruz. (Ve bu, mümkün olduğunca çok fosil yakıt yakmak için gerçek bir argüman değil. Bu sadece bir benzetme.)
Buradaki nokta, mümkün olan en iyi koşula sahip olmak, kozmik ortak alanlara erişebilmek, başımıza bela olan tüm hastalıkları tedavi edebilmek vb., için süper ileri teknolojiye ihtiyacımız olduğudur. Bence mümkün olan en iyi dünyaya sahip olmak için, aynı zamanda büyük miktarda içgörü ve bilgeliğe ve yüksek teknolojiyi birbirinize karşı savaşmak için kullanmaktan kaçınmak için büyük miktarda koordinasyona ihtiyacınız olacak.
DeğerlendirmeMaxipok = f (bilgelik, koordinasyon, ayrışık teknoloji geliştirme, …)
Nihayetinde, bu üç değişkenin her birinden büyük miktarlarda olan bir durum istiyoruz, ancak bu, tefekkürümüzden neyi daha fazla istediğimiz sorusunu açık bırakıyor. Örneğin, belirli bir türden daha fazla teknolojiye sahip olmadan önce daha fazla koordinasyon ve içgörü isteyebiliriz. Bu nedenle, çeşitli güçlü teknolojilere sahip olmadan önce, onları savaşta kullanmamak için yeterli barış ve anlayışa sahip olduğumuzdan ve kazara kendimizi bu teknolojilerle havaya uçurmamak için yeterli içgörü ve bilgeliğe sahip olduğumuzdan emin olmak istiyoruz. Bir süper zeka, açıkça, ütopyada istediğiniz bir şey gibi görünüyor — bu çok yüksek bir teknoloji seviyesi — ancak süper zekayı geliştirmeden, onu doğru şekilde geliştirebilmek için, önce belirli bir miktarda içgörü isteyebiliriz. Bilgisayar testi durumuna benzer şekilde, yararcı için, Maxipok için bu değerlendirme işlevinin bileşenleri olarak düşünülebilecek farklı özellikler olup olmadığını düşünmeye başlayabilirsiniz. Bu ayrışık teknolojik gelişim ilkesi tehlikeli ve zararlı teknolojilerin — yani varoluşsal riski artıran teknolojilerin — gelişimini geciktirmemizi ve varoluşsal riski azaltan teknolojileri hızlandırmamızı önermektedir. İşte ilk taslağımız, bu son bir cevap değil, ancak çok fazla bilgelik istediğimiz, çok fazla uluslararası barış ve işbirliği istediğimiz düşünülebilir ve teknolojiler açısından bu biraz daha karmaşık hale geliyor: bazı teknoloji alanlarında daha hızlı ve belki bazı alanlarda daha yavaş ilerlemek istiyoruz. Bence bunlar, kişinin değerlendirme fonksiyonuna koymak isteyebileceği geniş çeşitte üç şey.
Bu, müdahalelere veya nedenlere ek olarak düşünülmesi gereken bir şeyin, farklı türdeki şeylerin imzası olduğunu göstermektedir. Bir müdahale, bir tür yüksek nüfuz olmalıdır ve bir neden alanı, yüksek nüfuz müdahaleleri vaat etmelidir. Yapabileceğiniz bir şeyin iyi olacak bir şey olması yeterli değildir, aynı zamanda yapabileceğiniz diğer şeylere göre ne kadar iyi olabileceğini de düşünmek istersiniz. Erişebildiğiniz kolay hedefleri nasıl gördüğünüzü düşünmeden nedenler hakkında düşünmenin bir anlamı yoktur. Yani düşünmenin çoğu bunun hakkındadır. Ancak bu daha yüksek düzlemde, bu önemli tefekkürlerin olduğu bu yüksek rakımda hareket ederken, farklı temel parametrelerin işaretini, hatta onları nasıl etkileyebileceğimizden emin olmadığımız bir yerde, belirlemek de değerli hale geliyor gibi görünüyor. (İşaret, temel olarak, şudur; daha fazlasını mı yoksa daha azını mı istiyoruz?) Başlangıçta burada nüfuz açısından soruları parantez içine alabiliriz, çünkü önce kendimizi manzaraya yönlendirmek için bu bağlamda bu soruyu biraz ertelemek isteyebiliriz. Ancak iyi bir yön tabelası — ki bu da imzayı belirlemek istediğimiz iyi bir parametredir — uzaktan görülebilir olmalıdır. Yani, belirli bir müdahalenin şimdi tanımladığımız bu niceliğe olumlu mu yoksa olumsuz mu katkıda bulunduğunu söylemesini çok zorlaştıran terimlerle bir nicelik tanımlarsak, o zaman bir yön tabelası olarak pek de kullanışlı olmaz. Yani, örneğin, “beklenen değeri en üst düzeye çıkarmak”, tanımlayabilecekleri niceliktir. Bize pek yardımcı olmuyor, çünkü ne zaman belirli bir şey yapmaya çalışsanız, neredeyse daha önce olduğunuz kadar uzaktasınız. Öte yandan, bu odadaki insan sayısını en üst düzeye çıkarmak gibi daha somut bir amaç belirlerseniz, şimdi kaç kişi olduğunu kolayca söyleyebiliriz ve bunu nasıl en üst düzeye çıkarabileceğimiz hakkında fikirlerimiz var. Yani düşündüğümüz herhangi bir özel eylemin, bu odadaki insanları en üst düzeye çıkarma hedefine nasıl ulaştığını kolayca görebiliriz. Bununla birlikte, bu odada daha fazla insanın daha iyi olup olmadığını veya ters bir ilişki olup olmadığını bilmek için güçlü nedenler elde etmenin çok zor olduğunu hissedebiliriz. İyi bir yön tabelası, uzaktan görülebilir olmak ve aynı zamanda işaretinden emin olmak için güçlü bir nedenimiz olması arasında makul bir uzlaşma sağlayacaktır.
İşte bazı çok deneysel yön tabelaları: benim görüşüme göre deneme amaçlılar ve sanırım farklı insanlar arasında da birçok anlaşmazlık olabilir. Yani bunlar daha çok araştırma için alanlar. Ancak, sadece nasıl düşünmeye başlayabileceğinizi göstermek yararlı olabilir.
Bilgisayar donanımında daha hızlı ilerleme mi yoksa daha yavaş ilerleme mi istiyoruz? Tahminimce daha yavaş ilerleme istiyoruz. Ve bunun makine zekası geçişindeki risklerle ilgisi var. Daha hızlı bilgisayarlar, yapay zeka yapmayı kolaylaştıracaktır; bu da (a) büyük bir ihtiyaç olan ilgili hazırlık türü için daha az zaman bıraktığı için kendi başına belki de olacağından daha erken olmalarına sebep olur; ve (b) yapay zeka üretmek için gerekli olan beceri seviyesini azaltabilir: gülünç derecede büyük bir bilgi işlem gücüyle, ne yaptığınız hakkında gerçekten çok şey bilmeden yapay zeka üretebilirsiniz; donanımınız kısıtlıyken, daha fazla içgörü ve anlayışa ihtiyacınız olabilir ve yapay zekanın daha fazla içgörü ve anlayışa sahip insanlar tarafından yaratılması daha iyidir.
Bu hiçbir şekilde büyük darbe indirici bir argüman değildir, çünkü başka varoluşsal riskler vardır. Birileri nanoteknoloji geliştireceği için yakın zamanda yok olacağımızı düşünüyorsanız, o zaman mümkün olan en kısa sürede yapay zeka jokerini denemek isteyebilirsiniz. Ama her şeyi göz önünde bulundurursak şu anki en iyi tahminim bu. Bunlar, kişinin katılabileceği türden akıl yürütmelerdir.
Tüm beyin öykünmesi mi? Bunun bir uzun, büyük analizini yaptık. Daha spesifik olarak, tüm beyin öykünmesini isteyip istemediğimiz değil, ancak tüm beyin öykünmesi için daha fazla veya daha az fona, bunu geliştirmek için daha az veya daha fazla kaynağa sahip olmak isteyip istemediğimiz hakkında analiz yaptık. Bu, makine süper zekasına giden olası bir yoldur ve karmaşık nedenlerden dolayı benim tahminim “Hayır”dır, ancak bu daha da belirsizdir ve araştırma grubumuzda bu konuda birçok farklı görüşe sahibiz. (Belirli bir tanesiyle ilgilenen varsa tartışmada buna odaklanabiliriz.)
İnsanların biyolojik bilişsel gelişimi? En iyi tahminim, bu alanda daha hızlı ilerleme istediğimizdir.
Bu üçü — bunlardan kitapta daha fazla bahsediyorum— ve yapay zeka ile. Yapay zeka Bence yapay zekanın varsayılanda olacağından biraz daha yavaş gerçekleşmesini istiyoruz.
Başka bir soru ise şudur: İlk başarılı yapay zekayı geliştirecek bir şirket, proje veya ekip varsa, bu ekibin bunu yapmaya çalışan ikinci ekipten ne kadar ileride olmasını istersiniz? En iyi tahminim, sıkı teknoloji yarışında olmak yerine daha fazla güvenlik önlemi uygulamak amacıyla sonunda yavaşlamalarını sağlamak için ideal olarak uzun yıllar boyunca çok fazla öncülüğe sahip olmasını istediğimizdir.
Yapay zeka için kontrol problemine yönelik çözümler? Bu konuda daha hızlı ilerleme istediğimizi düşünüyorum ve bu bizim odak alanlarımızdan biri ve Makine Zekası Araştırma Enstitüsü’nden bazı arkadaşlarımız da burada, bunun üzerinde çok çalışıyorlar.
Efektif altruizm hareketi? Bunun, daha hızlı ve daha iyi büyümek için birçok yönden çok iyi, sağlam şekilde iyi göründüğünü düşünüyorum.
Uluslararası barış ve işbirliği? İyi görünüyor.
Sentetik biyoloji? Bence kötü görünüyor. Bu konuda o kadar dikkatli düşünmedik, yani bu değişebilir, ancak burada varoluşsal riskler olabilir gibi görünüyor, ancak aynı zamanda yararlı da olabilir. Bilişsel geliştirmede iyileştirmeler sağlayabildiği kadarıyla burada zor bir değiş tokuş olacaktır.
Nanoteknoloji? Bence kötü görünüyor: buna doğru daha yavaş ilerlemek istiyoruz.
Ekonomik büyüme? Bana göre bunun işaretini söylemek çok zor. Ve bunun hakkında çok düşünülen bir insan topluluğu içinde, yine bunun işaretine dair farklı tahminler var.
Küçük ve orta ölçekli felaket önleme? Bu da iyi görünüyor. Yani küresel felaket riskleri varoluşsal riskin altında kalıyor. Yine, bunun işaretini bilmek çok zor. Burada nüfuzu parantez içine alıyoruz, daha fazla mı yoksa daha az mı isteyeceğimizi bilsek bile, eğer bedavaya alabilirsek, bu bariz değil. Bir yandan, küçük ölçekli felaketler bizi daha iyi hale getiren, daha iyi korumalar koyan, bizi büyük şeylerden koruyabilecek bir bağışıklık tepkisi yaratabilir. Sıradan standartlara göre büyük olan, ama bu bağlamdaki büyük varoluşsal felaketlere kıyasla sadece orta ölçekli olan, medeniyet çöküşüne neden olabilecek orta ölçekli felaketleri düşünüyorsak, yine de bunun işaretinin ne olduğu tam olarak açık değildir: bunu anlamaya çalışmak için yapılması gereken çok daha fazla iş var. İyileşme çok olası görünüyorsa, o zaman iyileşen medeniyetin bu deneyimden geçerek varoluşsal felaketten kaçınma olasılığının daha yüksek olup olmadığı konusunda tahminleriniz olabilir.
Yani bunlar düşünmeye başlayabileceğiniz parametrelerdir. İnsan bunun ne kadar zor olduğunu fark etmiyor, hatta sıradan bir sağduyu açısından bile oldukça bariz görünen bazı parametreler, aslında hepsinin birbirine uyması gereken şekilde düşünmeye başladığınızda oldukça bariz olmadığı ortaya çıkıyor. Oxford’da yönetici olduğunuzu, Bilgisayar Bilimleri departmanında çalıştığınızı ve orada sekreter olduğunuzu varsayalım. Departmanın biraz daha verimli çalışmasını sağlamanın bir yolunu bulduğunuzu varsayalım: Bir posta listesi oluşturuyorsunuz, böylece herkes bir duyuru yapmak zorunda kaldığında, her bir kişiyi ayrı ayrı adres alanına koymak yerine posta listesine e-posta gönderebilir. Ve bu yararlı bir şey, bu harika bir şey: bir kerelik maliyet dışında hiçbir şeye mal olmadı ve artık herkes işine daha kolay devam edebiliyor. Bu açıdan bakıldığında, bunun aslında iyi bir şey olup olmadığı çok açık değil. Yapay zekaya katkıda bulunuyor olabilir — bu, ekonomik büyüme üzerindeki çok küçük genel etkiden başka, bunun ana etkisi olabilir. Ve muhtemelen bu küçük verimlilik iyileştirmesini yaparak dünyayı beklentiler içinde daha da kötüleştirmiş olabilirsiniz. Bu nedenle, bunu düşünmeye çalışma üzerine proje, bir anlamda, tamamlayamadan delirdiği için daha önce hiç tamamlama şansı bulamadığı bir proje olan, Niçeci Umwertung aler Werte (tüm değerlerin yeniden değerlendirilmesi) gibidir.
Yani, bunlar bazı alanlar — bunların hepsine girmeyeceğim, sadece bugün hala çok önemli tefekkürler varmış gibi görünen alanlardan örnekler veriyorum. Bu hiçbir şekilde kapsamlı bir liste değil ve bunlardan bazıları hakkında daha fazla konuşabiliriz. Sıradan akıl yürütmeyle daha genel, soyut ve güçlüden, daha spesifik ve anlaşılabilir hale gelirler.
Bir örnek vermek gerekirse: böcekler. Klasik bir yararcıysanız, bu tefekkür daha sıradan olanın içinde ortaya çıkar — kozmolojik ortak noktaları bir kenara bırakıyoruz ve sadece burada, Dünya’da düşünüyoruz. Eğer böcekler duyarlıysa, belki de böceklerdeki duyarlılık miktarı çok fazladır, çünkü onlardan çok, çok fazla vardır. Belki de politikalarımızın böcek refahı üzerindeki etkisi, politikalarımızın insan refahı veya fabrikalardaki hayvanlar üzerindeki etkisini gölgede bırakabilir. Öyle olduğunu söylemiyorum, ama bu bariz olmayan bir soru ve bunun büyük bir etkisi olabilir.
Altyordamlar. Bazı makine zekası türlerinde, takviye öğrenme algoritmaları ve yapay zeka içindeki diğer alt süreçler gibi, bir şekilde ahlaki statüye sahip olabilecek süreçler vardır. Belki de bu alt süreçlerin çok sayıda çalışması olacaktır, böylece bu tür şeylerin bazılarının bir anlama geldiği ortaya çıkarsa, belki de sayılar tekrar baskın hale gelecektir.
Bunların her biri kendi başına bir atölye, yani içine girebileceğimiz bir şey değil. Ancak, bazıları henüz keşfedilmemiş olan bu önemli tefekkürlerin olabileceğinden şüphelenilirse ne yapılabilir? Buna net bir cevabım yok. İşte hakkında biraz daha düşünülebilecek ilk bakışta mümkün olan bazı şeyler:
İşte bu kadar. Teşekkürler.
Bu çalışma Creative Commons Attribution 4.0 Uluslararası Lisansı altında lisanslanmıştır.