- Katılım
- 14 Şub 2021
- Mesajlar
- 568
- Puanları
- 1
Bu makale, dünyanın dört bir yanından iş dünyasının ve siyasi liderlerin yer aldığı DealBook Zirvesi hakkındaki özel bölümümüzün bir parçasıdır.
Yapay zeka şirketi Anthropic’in genel müdürü Dario Amodei, onunkini koyar yüzde 10 ile 25 arasında. Federal Ticaret Komisyonu başkanı Lina Khan geçenlerde bana bunun yüzde 15 olduğunu söyledi. Geçen ay yaklaşık beş dakika boyunca OpenAI’nin geçici başkanı olarak görev yapan Emmett Shear, bunun yüzde 5 ila 50 arasında dalgalandığını söyledi.
Tabii ki, Silikon Vadisi’ni kasıp kavuran yeni istatistik olan p(doom)’dan bahsediyorum.
Matematikte “kıyamet olasılığı” anlamına gelen P(kıyamet), bazı yapay zeka araştırmacılarının, yapay zekanın hepimizi öldüreceğini veya insanlığın hayatta kalmasını tehdit eden başka bir felakete neden olacağını düşündüklerinden bahsetme şeklidir. Yüksek bir p(kıyamet), bir AI kıyametinin muhtemel olduğunu düşündüğünüz anlamına gelirken, düşük bir değer, bunu başaracağımızı düşündüğünüz anlamına gelir.
Bir zamanlar çevrimiçi mesaj panolarında yapay zeka meraklıları arasında içten gelen bir şaka olan p(doom), geçen yıl ChatGPT’nin yol açtığı yapay zeka patlamasının yapay zekanın ne kadar hızlı geliştiğine dair yaygın korkulara yol açmasıyla son aylarda ana akım haline geldi.
San Francisco’daki teknisyenler arasında ortak bir buz kırıcı ve yapay zeka kültürünün kaçırılmayacak bir parçası haline geldi. Bu yıl, bir yabancının, sanki tuvaletin yolunu soruyormuşçasına gelişigüzel bir şekilde çöküşümü sorduğu iki teknoloji etkinliğine katıldım. Bulut veri platformu Box’un genel müdürü Aaron Levie bana “Neredeyse her akşam yemeği sohbetinde bu konu ortaya çıkıyor” dedi.
P(doom) geçen ayki OpenAI dizisinde küçük bir rol bile oynadı. Bay Shear, OpenAI’nin geçici başkanı olarak atandıktan sonra çalışanlar, CEO’nun P(Doom) oranının yüzde 50 kadar yüksek olabileceğini açıkladığı yakın tarihli bir podcast’ten bir klip dağıtmaya başladı. Tartışmalara tanık olan bir kişi, bazı çalışanların onun “felaket tellalı” olmasından ve çok riskli olduğu için işlerini yavaşlatmaya veya sınırlamaya çalışabileceğinden korktuğunu söyledi. (Sonuçta OpenAI’nin görevden alınan CEO’su Sam Altman geri döndü, dolayısıyla bunun bir önemi kalmadı.)
Elbette bilim kurgu hayranları yıllardır robotların ele geçirilmesiyle ilgili spekülasyonlar yapıyor. Ancak geçen yıl ChatGPT’nin piyasaya sürülmesinden sonra tehdit daha gerçek göründü. Çünkü yapay zeka modelleri sanat ödülleri kazanıp baro sınavını geçse felaket ne kadar uzakta olabilir?
AI içerisindeki kişiler de alarmı çaldı. Bu yıl Google’dan ayrılan önde gelen yapay zeka araştırmacısı Geoffrey Hinton, yakın zamanda yapay zeka riskleri konusunda uyardı tahmini Yapay zeka sıkı bir şekilde düzenlenmezse önümüzdeki 30 yıl içinde insanlığın yok olmasına yol açma ihtimalinin yüzde 10 olacağını söyledi. Bay Hinton ile birlikte “derin öğrenmenin babalarından” biri olarak kabul edilen Yoshua Bengio, bir röportajcıya yapay zeka felaketinin yaklaşık yüzde 20 muhtemel olduğunu düşündüğünü söyledi.
Elbette yapay zekanın bizi öldürme ihtimalinin yüzde 10 mu, yüzde 20 mi yoksa yüzde 85,2 mi olduğunu kimse bilmiyor. Ve bunu takip eden pek çok bariz soru var, örneğin: İnsanların yalnızca yüzde 50’si yapay zekadan ölse, bu yine de “kıyamet” olarak kabul edilir mi? Ya kimse ölmeseydi ama hepimiz işsiz ve perişan olsaydık? Peki yapay zeka dünyayı nasıl fethedebilir?
Ancak p(doom)’un amacı kesinlik değildir. Bu, birinin ütopyadan distopyaya kadar olan spektrumda nerede durduğunu kabaca değerlendirmek ve yapay zeka ve onun potansiyel etkileri konusunda ciddi şekilde düşündüğünüzü belirsiz ampirik terimlerle aktarmakla ilgilidir.
P(doom) terimi, on yıldan fazla bir süre önce, rasyonalist felsefi harekete adanmış çevrimiçi bir forum olan LessWrong’da ortaya çıkmış gibi görünüyor.
LessWrong’un kurucusu, kendi kendini yetiştirmiş bir yapay zeka araştırmacısı olan Eliezer Yudkowsky, haydut bir yapay zekanın erkenden kontrolü ele alabileceği fikrini ortaya attı ve hayal ettiği çeşitli yapay zeka felaket senaryoları hakkında yazdı. (O zamanlar yapay zeka mutfak zamanlayıcısını zar zor ayarlayabiliyordu, dolayısıyla risk oldukça düşük görünüyordu.)
Artık yapay zeka dünyasının en tanınmış felaket tellallarından biri haline gelen Bay Yudkowsky, bana p(doom) terimini icat etmediğini, ancak bunun popülerleşmesine yardımcı olduğunu söyledi. (Ayrıca mevcut yapay zeka eğilimleri devam ederse kaderinin “evet” olacağını da söyledi.) Bu terim daha sonra ahlaki iyilik hakkında fikirlere ulaşmak için mantıksal akıl yürütmeyi kullanan Etkin Altruizm hareketinin üyeleri tarafından benimsendi.
Terimin, onu LessWrong’da kullanan Boston merkezli programcı Tim Tyler tarafından icat edildiğini varsayıyorum. 2009’dan itibaren. Bir e-posta alışverişinde Bay Tyler, bu terimi “‘kıyamet’in zaman çizelgesi veya tanımı hakkında çok fazla ayrıntıya girmeden, ölüm olasılığına atıfta bulunmak için kullandığını” söyledi.
Bazıları için kişinin kaderi hakkında konuşmak boş gevezeliktir. Ancak bu aynı zamanda Silikon Vadisi’nde yapay zekanın çok hızlı geliştiğini düşünenler ile daha da hızlı gelişmesi gerektiğini düşünenler arasındaki hararetli tartışmada da önemli bir sosyal sinyal haline geldi.
Box’ın genel müdürü Bay Levie daha iyimser tarafta. P(doom) değerinin çok düşük olduğunu söylüyor – sıfır değil ama “olabildiğince düşük” – ve yapay zekanın büyük risklerini azaltacağımıza ve mümkün olan en kötü sonuçlardan kaçınacağımıza bahse giriyor. Onun endişesi, yapay zekanın hepimizi öldürmesi değil, düzenleyicilerin ve yasa koyucuların gelecek vaat eden genç bir sektöre karşı baskı yapmak için korkutucu kıyamet tahminlerini gerekçe olarak kullanmalarıdır.
“Aşırı erişim muhtemelen kritik politika kararlarının yapay zekanın geliştirilmesinde çok erken dikkate alınmasından kaynaklanıyor” dedi.
P(doom) ile ilgili bir diğer sorun da varoluşsal riskler söz konusu olduğunda neyin iyi veya kötü olasılık olarak sayıldığının net olmamasıdır. Örneğin, yapay zekanın dünyadaki herkesi öldürme ihtimalinin yüzde 15 olduğunu tahmin ediyorsanız, gerçekten yapay zeka konusunda iyimser misiniz? (Başka bir deyişle: Bineceğiniz bir sonraki uçağın düşüp içindeki herkesi öldürme ihtimalinin “yalnızca” yüzde 15 olduğunu düşünseydiniz, uçağa biner miydiniz?)
Open Philanthropy’de yapay zeka riskini inceleyen kıdemli araştırmacı Ajeya Cotra, p(doom) hakkında düşünmek için çok zaman harcadı. Kısa yol olarak bunun potansiyel olarak yararlı olduğunu düşünüyor – bu arada p(doom) değeri yüzde 20 ila 30 arasında – ama aynı zamanda sınırlamalarını da görüyor. Her şeyden önce, p(doom), yapay zeka ile ilişkili zarar olasılığının büyük ölçüde onu nasıl kontrol ettiğimize bağlı olduğunu hesaba katmaz.
“AP(doom)’u yüzde 90’ın üzerinde olan bazı insanlar tanıyorum ve bunun bu kadar yüksek olmasının bir nedeni de onların şirketlerin ve hükümetlerin iyi güvenlik uygulamaları ve politikalarını umursamadığını düşünmeleri” dedi. “ap(doom) değeri yüzde 5’in altında olan başkalarını tanıyorum ve bu değerin bu kadar düşük olmasının nedeni kısmen bilim adamlarının ve politika yapıcıların felaket niteliğindeki hasarları meydana gelmeden önce önlemek için çok çalışmalarını beklemeleri.”
Başka bir deyişle, p(doom)’u bir tür Rorschach testi olarak düşünebilirsiniz; aslında yapay zeka ile ilgili olan ancak sonuçta nasıl hissettiğimiz hakkında daha fazla bilgi veren bir istatistik. İnsanlarve risklerini yönetirken güçlü yeni teknolojilerden yararlanma yeteneğimiz.
Peki seninki ne?
Yapay zeka şirketi Anthropic’in genel müdürü Dario Amodei, onunkini koyar yüzde 10 ile 25 arasında. Federal Ticaret Komisyonu başkanı Lina Khan geçenlerde bana bunun yüzde 15 olduğunu söyledi. Geçen ay yaklaşık beş dakika boyunca OpenAI’nin geçici başkanı olarak görev yapan Emmett Shear, bunun yüzde 5 ila 50 arasında dalgalandığını söyledi.
Tabii ki, Silikon Vadisi’ni kasıp kavuran yeni istatistik olan p(doom)’dan bahsediyorum.
Matematikte “kıyamet olasılığı” anlamına gelen P(kıyamet), bazı yapay zeka araştırmacılarının, yapay zekanın hepimizi öldüreceğini veya insanlığın hayatta kalmasını tehdit eden başka bir felakete neden olacağını düşündüklerinden bahsetme şeklidir. Yüksek bir p(kıyamet), bir AI kıyametinin muhtemel olduğunu düşündüğünüz anlamına gelirken, düşük bir değer, bunu başaracağımızı düşündüğünüz anlamına gelir.
Bir zamanlar çevrimiçi mesaj panolarında yapay zeka meraklıları arasında içten gelen bir şaka olan p(doom), geçen yıl ChatGPT’nin yol açtığı yapay zeka patlamasının yapay zekanın ne kadar hızlı geliştiğine dair yaygın korkulara yol açmasıyla son aylarda ana akım haline geldi.
San Francisco’daki teknisyenler arasında ortak bir buz kırıcı ve yapay zeka kültürünün kaçırılmayacak bir parçası haline geldi. Bu yıl, bir yabancının, sanki tuvaletin yolunu soruyormuşçasına gelişigüzel bir şekilde çöküşümü sorduğu iki teknoloji etkinliğine katıldım. Bulut veri platformu Box’un genel müdürü Aaron Levie bana “Neredeyse her akşam yemeği sohbetinde bu konu ortaya çıkıyor” dedi.
P(doom) geçen ayki OpenAI dizisinde küçük bir rol bile oynadı. Bay Shear, OpenAI’nin geçici başkanı olarak atandıktan sonra çalışanlar, CEO’nun P(Doom) oranının yüzde 50 kadar yüksek olabileceğini açıkladığı yakın tarihli bir podcast’ten bir klip dağıtmaya başladı. Tartışmalara tanık olan bir kişi, bazı çalışanların onun “felaket tellalı” olmasından ve çok riskli olduğu için işlerini yavaşlatmaya veya sınırlamaya çalışabileceğinden korktuğunu söyledi. (Sonuçta OpenAI’nin görevden alınan CEO’su Sam Altman geri döndü, dolayısıyla bunun bir önemi kalmadı.)
Elbette bilim kurgu hayranları yıllardır robotların ele geçirilmesiyle ilgili spekülasyonlar yapıyor. Ancak geçen yıl ChatGPT’nin piyasaya sürülmesinden sonra tehdit daha gerçek göründü. Çünkü yapay zeka modelleri sanat ödülleri kazanıp baro sınavını geçse felaket ne kadar uzakta olabilir?
AI içerisindeki kişiler de alarmı çaldı. Bu yıl Google’dan ayrılan önde gelen yapay zeka araştırmacısı Geoffrey Hinton, yakın zamanda yapay zeka riskleri konusunda uyardı tahmini Yapay zeka sıkı bir şekilde düzenlenmezse önümüzdeki 30 yıl içinde insanlığın yok olmasına yol açma ihtimalinin yüzde 10 olacağını söyledi. Bay Hinton ile birlikte “derin öğrenmenin babalarından” biri olarak kabul edilen Yoshua Bengio, bir röportajcıya yapay zeka felaketinin yaklaşık yüzde 20 muhtemel olduğunu düşündüğünü söyledi.
Elbette yapay zekanın bizi öldürme ihtimalinin yüzde 10 mu, yüzde 20 mi yoksa yüzde 85,2 mi olduğunu kimse bilmiyor. Ve bunu takip eden pek çok bariz soru var, örneğin: İnsanların yalnızca yüzde 50’si yapay zekadan ölse, bu yine de “kıyamet” olarak kabul edilir mi? Ya kimse ölmeseydi ama hepimiz işsiz ve perişan olsaydık? Peki yapay zeka dünyayı nasıl fethedebilir?
Ancak p(doom)’un amacı kesinlik değildir. Bu, birinin ütopyadan distopyaya kadar olan spektrumda nerede durduğunu kabaca değerlendirmek ve yapay zeka ve onun potansiyel etkileri konusunda ciddi şekilde düşündüğünüzü belirsiz ampirik terimlerle aktarmakla ilgilidir.
P(doom) terimi, on yıldan fazla bir süre önce, rasyonalist felsefi harekete adanmış çevrimiçi bir forum olan LessWrong’da ortaya çıkmış gibi görünüyor.
LessWrong’un kurucusu, kendi kendini yetiştirmiş bir yapay zeka araştırmacısı olan Eliezer Yudkowsky, haydut bir yapay zekanın erkenden kontrolü ele alabileceği fikrini ortaya attı ve hayal ettiği çeşitli yapay zeka felaket senaryoları hakkında yazdı. (O zamanlar yapay zeka mutfak zamanlayıcısını zar zor ayarlayabiliyordu, dolayısıyla risk oldukça düşük görünüyordu.)
Artık yapay zeka dünyasının en tanınmış felaket tellallarından biri haline gelen Bay Yudkowsky, bana p(doom) terimini icat etmediğini, ancak bunun popülerleşmesine yardımcı olduğunu söyledi. (Ayrıca mevcut yapay zeka eğilimleri devam ederse kaderinin “evet” olacağını da söyledi.) Bu terim daha sonra ahlaki iyilik hakkında fikirlere ulaşmak için mantıksal akıl yürütmeyi kullanan Etkin Altruizm hareketinin üyeleri tarafından benimsendi.
Terimin, onu LessWrong’da kullanan Boston merkezli programcı Tim Tyler tarafından icat edildiğini varsayıyorum. 2009’dan itibaren. Bir e-posta alışverişinde Bay Tyler, bu terimi “‘kıyamet’in zaman çizelgesi veya tanımı hakkında çok fazla ayrıntıya girmeden, ölüm olasılığına atıfta bulunmak için kullandığını” söyledi.
Bazıları için kişinin kaderi hakkında konuşmak boş gevezeliktir. Ancak bu aynı zamanda Silikon Vadisi’nde yapay zekanın çok hızlı geliştiğini düşünenler ile daha da hızlı gelişmesi gerektiğini düşünenler arasındaki hararetli tartışmada da önemli bir sosyal sinyal haline geldi.
Box’ın genel müdürü Bay Levie daha iyimser tarafta. P(doom) değerinin çok düşük olduğunu söylüyor – sıfır değil ama “olabildiğince düşük” – ve yapay zekanın büyük risklerini azaltacağımıza ve mümkün olan en kötü sonuçlardan kaçınacağımıza bahse giriyor. Onun endişesi, yapay zekanın hepimizi öldürmesi değil, düzenleyicilerin ve yasa koyucuların gelecek vaat eden genç bir sektöre karşı baskı yapmak için korkutucu kıyamet tahminlerini gerekçe olarak kullanmalarıdır.
“Aşırı erişim muhtemelen kritik politika kararlarının yapay zekanın geliştirilmesinde çok erken dikkate alınmasından kaynaklanıyor” dedi.
P(doom) ile ilgili bir diğer sorun da varoluşsal riskler söz konusu olduğunda neyin iyi veya kötü olasılık olarak sayıldığının net olmamasıdır. Örneğin, yapay zekanın dünyadaki herkesi öldürme ihtimalinin yüzde 15 olduğunu tahmin ediyorsanız, gerçekten yapay zeka konusunda iyimser misiniz? (Başka bir deyişle: Bineceğiniz bir sonraki uçağın düşüp içindeki herkesi öldürme ihtimalinin “yalnızca” yüzde 15 olduğunu düşünseydiniz, uçağa biner miydiniz?)
Open Philanthropy’de yapay zeka riskini inceleyen kıdemli araştırmacı Ajeya Cotra, p(doom) hakkında düşünmek için çok zaman harcadı. Kısa yol olarak bunun potansiyel olarak yararlı olduğunu düşünüyor – bu arada p(doom) değeri yüzde 20 ila 30 arasında – ama aynı zamanda sınırlamalarını da görüyor. Her şeyden önce, p(doom), yapay zeka ile ilişkili zarar olasılığının büyük ölçüde onu nasıl kontrol ettiğimize bağlı olduğunu hesaba katmaz.
“AP(doom)’u yüzde 90’ın üzerinde olan bazı insanlar tanıyorum ve bunun bu kadar yüksek olmasının bir nedeni de onların şirketlerin ve hükümetlerin iyi güvenlik uygulamaları ve politikalarını umursamadığını düşünmeleri” dedi. “ap(doom) değeri yüzde 5’in altında olan başkalarını tanıyorum ve bu değerin bu kadar düşük olmasının nedeni kısmen bilim adamlarının ve politika yapıcıların felaket niteliğindeki hasarları meydana gelmeden önce önlemek için çok çalışmalarını beklemeleri.”
Başka bir deyişle, p(doom)’u bir tür Rorschach testi olarak düşünebilirsiniz; aslında yapay zeka ile ilgili olan ancak sonuçta nasıl hissettiğimiz hakkında daha fazla bilgi veren bir istatistik. İnsanlarve risklerini yönetirken güçlü yeni teknolojilerden yararlanma yeteneğimiz.
Peki seninki ne?