SỰ TIẾN THOÁI LƯỠNG NAN

Lịch sử nhân loại phần nào là lịch sử của thảm họa. Các đại dịch xuất hiện rộng rãi. Hai đại dịch đã giết chết tới 30% dân số thế giới: bệnh dịch Justinian thế kỷ thứ sáu và cái chết đen thế kỷ thứ mười bốn. Dân số của Anh là bảy triệu vào năm 1300, nhưng đến năm 1450, bị nghiền nát bởi những đợt dịch, nó chỉ còn lại hai triệu.

Thảm họa cũng, tất nhiên, do con người tạo ra. Chiến tranh thế giới thứ nhất đã giết chết khoảng 1% dân số toàn cầu; chiến tranh thế giới thứ hai, 3%. Hoặc hãy xem xét bạo lực do Thành Cát Tư Hãn và quân Mông Cổ gây ra trên khắp Trung Quốc và Trung Á vào thế kỷ thứ mười ba, đã cướp đi sinh mạng của tới 10% dân số thế giới. Với sự ra đời của bom nguyên tử, nhân loại hiện có đủ sức mạnh chết người để giết chết mọi người trên hành tinh này nhiều lần. Các sự kiện thảm khốc từng diễn ra trong nhiều năm và thập kỷ giờ đây có thể xảy ra trong vài phút, chỉ với một nút bấm.

Với làn sóng sắp tới, chúng ta đang chuẩn bị để thực hiện một bước nhảy vọt khác, mở rộng cả giới hạn trên của rủi ro và số lượng con đường có sẵn cho những người tìm cách giải phóng sức mạnh thảm khốc. Trong chương này, chúng ta đi xa hơn sự mong manh và các mối đe dọa đối với hoạt động của nhà nước và hình dung điều gì sẽ xảy ra—sớm hay muộn—nếu việc kiềm chế là không thể.

Phần lớn các công nghệ này sẽ được sử dụng cho mục đích tốt. Mặc dù tôi đã tập trung vào những rủi ro của chúng, nhưng điều quan trọng là phải nhớ rằng chúng sẽ cải thiện vô số cuộc sống hàng ngày. Trong chương này, chúng ta đang xem xét những trường hợp cực đoan mà hầu như không ai muốn thấy, ít nhất là những người làm việc với những công cụ này. Tuy nhiên, chỉ vì chúng sẽ là một thiểu số biến mất trong các trường hợp sử dụng không có nghĩa là chúng ta có thể phớt lờ chúng. Chúng ta đã thấy rằng những kẻ xấu có thể gây ra thiệt hại nghiêm trọng, kích hoạt sự bất ổn lớn. Bây giờ hãy tưởng tượng khi bất kỳ phòng thí nghiệm hoặc hacker nào có năng lực nửa vời có thể tổng hợp các chuỗi DNA phức tạp. Còn bao lâu nữa trước khi thảm họa xảy ra?

Cuối cùng, khi một số công nghệ mạnh mẽ nhất trong lịch sử lan tỏa khắp nơi, những trường hợp ngoại lệ đó trở nên có khả năng xảy ra hơn. Cuối cùng, sẽ có điều gì đó sai sót—với quy mô và tốc độ tương xứng với các khả năng được giải phóng. Kết quả của bốn đặc điểm của làn sóng sắp tới là, nếu không có các phương pháp kiểm soát mạnh mẽ hoạt động ở mọi cấp độ, những kết quả thảm khốc như một đại dịch được thiết kế trở nên có khả năng xảy ra hơn bao giờ hết.

Điều đó là không thể chấp nhận được. Và đây là tình huống khó xử: những giải pháp an toàn nhất cho việc kiềm chế cũng đều không thể chấp nhận, dẫn nhân loại đi vào một con đường độc tài và dystopian.

Một mặt, các xã hội có thể hướng tới loại giám sát toàn diện được công nghệ hỗ trợ mà chúng ta đã thấy trong chương trước, một phản ứng bản năng thực thi các cơ chế cứng rắn chống lại công nghệ lệch lạc hoặc không kiểm soát. An ninh - với cái giá của tự do. Hoặc nhân loại có thể hoàn toàn rời xa ranh giới công nghệ. Mặc dù điều này không có khả năng xảy ra, nhưng đó không phải là một câu trả lời. Thực thể duy nhất về nguyên tắc có khả năng điều hướng tình huống tồn tại này chính là hệ thống các quốc gia hiện đang tan rã, bị kéo xuống bởi chính những lực lượng mà nó cần phải kiềm chế.

Theo thời gian, những tác động của các công nghệ này sẽ buộc nhân loại phải điều hướng một con đường giữa hai cực của thảm họa và thế giới u ám. Đây là tình thế tiến thoái lưỡng nan thiết yếu của thời đại chúng ta.

Lời hứa của công nghệ là nó cải thiện cuộc sống, lợi ích vượt xa chi phí và những bất lợi. Bộ lựa chọn khó khăn này có nghĩa là lời hứa đó đã bị đảo ngược một cách tàn nhẫn.

Sự bi quan khiến mọi người—bao gồm cả tôi—trở nên vô hồn. Vào thời điểm này, bạn có thể cảm thấy nghi ngờ hoặc hoài nghi. Nói về những tác động thảm khốc thường mời gọi sự chế giễu: những cáo buộc về thảm họa, sự tiêu cực nuông chiều, sự báo động ồn ào, sự tự mãn về những rủi ro xa xôi và hiếm hoi khi có rất nhiều mối nguy rõ ràng và hiện tại đang kêu gọi sự chú ý. Giống như sự lạc quan công nghệ không ngừng nghỉ, thảm họa công nghệ không ngừng nghỉ cũng dễ dàng bị bác bỏ như một hình thức phóng đại méo mó, sai lầm không được hỗ trợ bởi hồ sơ lịch sử.

Nhưng chỉ vì một cảnh báo có những hệ quả nghiêm trọng không phải là lý do tốt để tự động bác bỏ nó. Sự tự mãn tránh né bi quan chào đón triển vọng thảm họa chính là một công thức cho thảm họa. Nó có vẻ hợp lý, hợp lý theo cách riêng của nó, "thông minh" khi bác bỏ các cảnh báo như là những lời nói phóng đại của một vài kẻ lập dị, nhưng thái độ này chuẩn bị cho sự thất bại của chính nó.

Không nghi ngờ gì, rủi ro công nghệ đưa chúng ta vào lãnh thổ không chắc chắn. Tuy nhiên, tất cả các xu hướng đều chỉ ra một sự phong phú của rủi ro. Sự suy đoán này được dựa trên những cải tiến khoa học và công nghệ liên tục gia tăng. Những người coi thường thảm họa, tôi tin rằng, đang đánh giá thấp những sự thật khách quan trước mắt chúng ta. Sau cùng, chúng ta không đang nói về sự gia tăng của xe máy hay máy giặt.

CÁC LOẠI THẢM HỌA

Để thấy những thiệt hại thảm khốc nào chúng ta nên chuẩn bị, chỉ cần suy diễn từ các cuộc tấn công của những kẻ xấu mà chúng ta đã thấy trong chương 10. Dưới đây là một vài kịch bản khả thi.

Các tay khủng bố trang bị vũ khí tự động có nhận diện khuôn mặt cho một đàn drone tự động mạnh hàng trăm hoặc hàng nghìn chiếc, mỗi chiếc có khả năng nhanh chóng cân bằng lại sau khi bị giật từ vũ khí, bắn những loạt ngắn và di chuyển tiếp. Những chiếc drone này được thả xuống một khu trung tâm lớn với chỉ thị tiêu diệt một hồ sơ cụ thể. Trong giờ cao điểm bận rộn, chúng sẽ hoạt động với hiệu suất đáng sợ, theo một lộ trình tối ưu xung quanh thành phố. Chỉ trong vài phút sẽ có một cuộc tấn công quy mô lớn hơn nhiều so với, chẳng hạn, các cuộc tấn công ở Mumbai năm 2008, khi các tay khủng bố có vũ trang lang thang qua các địa điểm nổi tiếng của thành phố như ga tàu trung tâm.

Một kẻ giết người hàng loạt quyết định tấn công một cuộc biểu tình chính trị lớn bằng máy bay không người lái, thiết bị phun và một loại mầm bệnh được thiết kế riêng. Chẳng bao lâu, những người tham dự bắt đầu bị ốm, sau đó là gia đình họ. Người phát biểu, một nhân vật chính trị được yêu mến và cũng bị ghét bỏ, là một trong những nạn nhân đầu tiên. Trong bầu không khí chính trị căng thẳng, một cuộc tấn công như thế này kích thích những cuộc trả thù bạo lực trên khắp đất nước và sự hỗn loạn lan rộng.

Sử dụng chỉ hướng dẫn bằng ngôn ngữ tự nhiên, một kẻ âm mưu thù địch ở Mỹ phát tán một khối lượng lớn thông tin sai lệch được xây dựng một cách tỉ mỉ và chia rẽ. Nhiều nỗ lực được thực hiện, hầu hết trong số đó không thành công trong việc thu hút sự chú ý. Cuối cùng, một nỗ lực đã thành công: một vụ giết người của cảnh sát ở Chicago. Nó hoàn toàn giả mạo, nhưng rắc rối trên đường phố, sự ghê tởm lan rộng, là có thật. Những kẻ tấn công giờ đây có một cuốn sách hướng dẫn. Khi video được xác minh là giả mạo, các cuộc bạo loạn bạo lực với nhiều thương vong đang diễn ra khắp đất nước, những ngọn lửa liên tục được thổi bùng lên bởi những cơn gió thông tin sai lệch mới.

Hoặc hãy tưởng tượng tất cả những điều đó xảy ra cùng một lúc. Hoặc không chỉ ở một sự kiện hay trong một thành phố, mà ở hàng trăm nơi. Với những công cụ như thế này, không mất quá nhiều thời gian để nhận ra rằng việc trao quyền cho những kẻ xấu mở ra cánh cửa dẫn đến thảm họa. Các hệ thống AI ngày nay cố gắng không cho bạn biết cách đầu độc nguồn nước hoặc chế tạo một quả bom không thể phát hiện. Chúng vẫn chưa có khả năng xác định hoặc theo đuổi mục tiêu một cách độc lập. Tuy nhiên, như chúng ta đã thấy, cả những phiên bản được phân phối rộng rãi hơn và kém an toàn hơn của các mô hình tiên tiến và mạnh mẽ hơn ngày nay đang đến, nhanh chóng.

Trong số tất cả các rủi ro thảm khốc từ làn sóng sắp tới, AI đã nhận được nhiều sự chú ý nhất. Nhưng còn rất nhiều rủi ro khác. Khi quân đội được tự động hóa hoàn toàn, rào cản gia nhập vào xung đột sẽ thấp hơn rất nhiều. Một cuộc chiến có thể bùng nổ một cách tình cờ vì những lý do mà mãi mãi vẫn không rõ ràng, các AI phát hiện ra một số mẫu hành vi hoặc mối đe dọa và sau đó phản ứng, ngay lập tức, với sức mạnh áp đảo. Chỉ cần nói rằng, bản chất của cuộc chiến đó có thể là xa lạ, leo thang nhanh chóng và không thể sánh kịp về hậu quả tàn phá.

Chúng ta đã gặp phải các đại dịch được thiết kế và những nguy cơ từ các vụ rò rỉ ngẫu nhiên, và đã thoáng thấy điều gì xảy ra khi hàng triệu người đam mê tự cải thiện có thể thử nghiệm với mã di truyền của sự sống. Một sự kiện rủi ro sinh học cực đoan theo một cách ít rõ ràng hơn, nhắm vào một phần dân số nhất định, hoặc phá hoại một hệ sinh thái, không thể bị loại trừ. Hãy tưởng tượng các nhà hoạt động muốn ngăn chặn buôn bán cocaine phát minh ra một loại côn trùng mới chỉ nhắm vào cây coca như một cách để thay thế việc phun thuốc từ trên không. Hoặc nếu những người ăn chay cực đoan quyết định làm gián đoạn toàn bộ chuỗi cung ứng thịt, với những hậu quả nghiêm trọng dự kiến và không dự kiến. Cả hai đều có thể vượt khỏi tầm kiểm soát.

Chúng ta biết một vụ rò rỉ trong phòng thí nghiệm có thể trông như thế nào trong bối cảnh gia tăng sự mong manh, nhưng nếu nó không được kiểm soát nhanh chóng, nó sẽ đứng ngang hàng với các bệnh dịch trước đây. Để đặt điều này vào bối cảnh, biến thể omicron của COVID đã lây nhiễm một phần tư người Mỹ trong vòng một trăm ngày kể từ khi được xác định lần đầu. Điều gì sẽ xảy ra nếu chúng ta có một đại dịch có tỷ lệ tử vong 20 phần trăm, nhưng với khả năng lây truyền như vậy? Hoặc nếu đó là một loại HIV đường hô hấp sẽ nằm ủ bệnh trong nhiều năm mà không có triệu chứng cấp tính? Một virus lây truyền giữa người mới với tỷ lệ sinh sản, giả sử là 4 (thấp hơn nhiều so với bệnh thủy đậu hoặc sởi) và tỷ lệ tử vong 50 phần trăm (thấp hơn nhiều so với Ebola hoặc cúm gia cầm) có thể, ngay cả khi tính đến các biện pháp phong tỏa, gây ra hơn một tỷ ca tử vong trong vài tháng. Điều gì sẽ xảy ra nếu nhiều loại tác nhân gây bệnh như vậy được phát tán cùng một lúc? Điều này vượt xa sự gia tăng mong manh; đó sẽ là một thảm họa không thể tưởng tượng nổi.

—

Ngoài những khuôn mẫu rập khuôn của Hollywood, một tiểu văn hóa các nhà nghiên cứu học thuật đã thúc đẩy một câu chuyện cực đoan về cách AI có thể gây ra một thảm họa tồn tại. Hãy tưởng tượng một cỗ máy toàn năng nào đó phá hủy thế giới vì những mục đích bí ẩn của nó: không phải một AI ác ý gây ra sự hủy diệt có chủ đích như trong phim, mà là một AGI toàn diện mù quáng tối ưu hóa cho một mục tiêu không rõ ràng, không quan tâm đến những lo ngại của con người.

Thí nghiệm tư tưởng điển hình là nếu bạn thiết lập một AI đủ mạnh để sản xuất kẹp giấy nhưng không xác định mục tiêu một cách đủ rõ ràng, nó có thể cuối cùng biến thế giới và có thể cả nội dung của toàn bộ vũ trụ thành kẹp giấy. Bắt đầu theo dõi các chuỗi logic như vậy và vô số chuỗi sự kiện đáng lo ngại sẽ diễn ra. Các nhà nghiên cứu an toàn AI lo lắng (một cách đúng đắn) rằng nếu một cái gì đó như AGI được tạo ra, nhân loại sẽ không còn kiểm soát được số phận của chính mình. Lần đầu tiên, chúng ta sẽ bị lật đổ như là loài thống trị trong vũ trụ đã biết. Dù các nhà thiết kế có thông minh đến đâu, dù các cơ chế an toàn có vững chắc đến đâu, việc tính toán cho tất cả các khả năng, đảm bảo an toàn là điều không thể. Ngay cả khi nó hoàn toàn phù hợp với lợi ích của con người, một AI đủ mạnh có thể tiềm năng ghi đè lên lập trình của nó, loại bỏ các tính năng an toàn và sự phù hợp dường như đã được tích hợp.

Theo dòng suy nghĩ này, tôi thường nghe mọi người nói điều gì đó như “AGI là mối nguy lớn nhất mà nhân loại phải đối mặt ngày nay! Nó sẽ kết thúc thế giới!” Nhưng khi bị hỏi về điều này thực sự trông như thế nào, điều này thực sự xảy ra ra sao, họ trở nên lảng tránh, câu trả lời mơ hồ, mối nguy chính xác thì không rõ ràng. AI, họ nói, có thể chiếm đoạt tất cả tài nguyên tính toán và biến toàn bộ thế giới thành một chiếc máy tính khổng lồ. Khi AI ngày càng mạnh mẽ hơn, những kịch bản cực đoan nhất sẽ cần được xem xét và giảm thiểu nghiêm túc. Tuy nhiên, trước khi chúng ta đến đó, có rất nhiều điều có thể sai sót.

Trong mười năm tới, AI sẽ là bộ khuếch đại sức mạnh lớn nhất trong lịch sử. Đây là lý do tại sao nó có thể cho phép một sự phân phối lại quyền lực trên quy mô lịch sử. Là chất xúc tác lớn nhất cho tiến bộ nhân loại mà có thể tưởng tượng được, nó cũng sẽ tạo ra những tác hại - từ chiến tranh và tai nạn đến các nhóm khủng bố ngẫu nhiên, các chính phủ độc tài, các tập đoàn vượt quyền, trộm cắp đơn giản và phá hoại có chủ đích. Hãy nghĩ về một ACI có khả năng dễ dàng vượt qua Bài kiểm tra Turing hiện đại, nhưng lại bị hướng tới những kết cục thảm khốc. Các AI tiên tiến và sinh học tổng hợp sẽ không chỉ có sẵn cho các nhóm tìm kiếm nguồn năng lượng mới hoặc thuốc thay đổi cuộc sống; chúng cũng sẽ có sẵn cho Ted Kaczynski tiếp theo.

AI vừa có giá trị vừa nguy hiểm chính vì nó là sự mở rộng của những điều tốt nhất và tồi tệ nhất trong chúng ta. Và như một công nghệ dựa trên việc học, nó có thể tiếp tục thích nghi, thăm dò, sản xuất các chiến lược và ý tưởng mới có thể hoàn toàn khác biệt so với bất kỳ điều gì trước đây được xem xét, ngay cả bởi các AI khác. Hãy yêu cầu nó đề xuất cách để làm cạn kiệt nguồn cung cấp nước ngọt, hoặc làm sập thị trường chứng khoán, hoặc kích hoạt một cuộc chiến tranh hạt nhân, hoặc thiết kế virus tối thượng, và nó sẽ làm. Sớm thôi. Hơn cả việc tôi lo lắng về những người tối đa hóa kẹp giấy đầu cơ hoặc một con quỷ kỳ lạ, ác độc nào đó, tôi lo lắng về những lực lượng hiện có mà công cụ này sẽ khuếch đại trong mười năm tới.

Hãy tưởng tượng các kịch bản mà AI kiểm soát lưới điện, chương trình truyền thông, nhà máy điện, máy bay hoặc tài khoản giao dịch cho các tập đoàn tài chính lớn. Khi robot trở nên phổ biến, và quân đội được trang bị đầy đủ vũ khí tự động chết người—các kho chứa đầy công nghệ có thể thực hiện các vụ giết người hàng loạt tự động chỉ với một nút bấm—một cuộc tấn công, được phát triển bởi một AI khác, sẽ trông như thế nào? Hoặc hãy xem xét những chế độ thất bại cơ bản hơn, không phải là các cuộc tấn công, mà chỉ là những sai sót đơn giản. Điều gì sẽ xảy ra nếu AI mắc sai lầm trong các cơ sở hạ tầng cơ bản, hoặc một hệ thống y tế được sử dụng rộng rãi bắt đầu hoạt động sai? Không khó để thấy rằng nhiều tác nhân có khả năng, gần như tự động, đang tự do hoạt động, ngay cả những người theo đuổi các mục tiêu tốt nhưng không rõ ràng, có thể gây ra hỗn loạn. Chúng ta vẫn chưa biết những tác động của AI đối với các lĩnh vực đa dạng như nông nghiệp, hóa học, phẫu thuật và tài chính. Đó là một phần của vấn đề; chúng ta không biết các chế độ thất bại nào đang được giới thiệu và chúng có thể sâu đến mức nào.

Không có hướng dẫn nào về cách xây dựng các công nghệ trong làn sóng sắp tới một cách an toàn. Chúng ta không thể xây dựng các hệ thống có sức mạnh và nguy hiểm gia tăng để thử nghiệm trước. Chúng ta không thể biết AI có thể tự cải thiện nhanh như thế nào, hoặc điều gì sẽ xảy ra sau một tai nạn trong phòng thí nghiệm với một mảnh công nghệ sinh học chưa được phát minh. Chúng ta không thể biết kết quả từ một ý thức con người được kết nối trực tiếp vào máy tính, hoặc một vũ khí mạng được trang bị AI có nghĩa là gì đối với cơ sở hạ tầng quan trọng, hoặc cách một gene drive sẽ diễn ra trong tự nhiên. Khi các tự động hóa phát triển nhanh chóng, tự lắp ráp hoặc các tác nhân sinh học mới được phát hành ra ngoài tự nhiên, sẽ không có cách nào quay ngược thời gian. Sau một thời điểm nhất định, ngay cả sự tò mò và việc mày mò cũng có thể trở nên nguy hiểm. Ngay cả khi bạn tin rằng khả năng xảy ra thảm họa là thấp, việc chúng ta hoạt động trong tình trạng mù quáng nên khiến bạn phải suy nghĩ lại.

Công nghệ an toàn và được kiểm soát không tự nó là đủ. Giải quyết câu hỏi về sự phù hợp của AI không có nghĩa là chỉ làm một lần; mà có nghĩa là làm điều đó mỗi khi một AI đủ mạnh được xây dựng, bất kể nơi nào và khi nào điều đó xảy ra. Bạn không chỉ cần giải quyết câu hỏi về rò rỉ trong một phòng thí nghiệm; bạn cần giải quyết nó trong mọi phòng thí nghiệm, ở mọi quốc gia, mãi mãi, ngay cả khi những quốc gia đó đang chịu áp lực chính trị nghiêm trọng. Khi công nghệ đạt đến khả năng quan trọng, thì việc những người tiên phong đầu tiên chỉ xây dựng nó một cách an toàn là không đủ, dù điều đó chắc chắn là một thách thức. Thay vào đó, sự an toàn thực sự đòi hỏi phải duy trì những tiêu chuẩn đó trong từng trường hợp: một kỳ vọng khổng lồ khi mà những điều này đang lan tỏa nhanh chóng và rộng rãi.

Đây là những gì xảy ra khi bất kỳ ai cũng có thể tự do phát minh hoặc sử dụng các công cụ ảnh hưởng đến tất cả chúng ta. Và chúng ta không chỉ nói về việc tiếp cận một máy in hoặc một động cơ hơi nước, dù chúng có phi thường đến đâu. Chúng ta đang nói về những sản phẩm có tính chất hoàn toàn mới: hợp chất mới, sự sống mới, loài mới.

Nếu sóng không được kiểm soát, chỉ còn là vấn đề thời gian. Hãy cho phép khả năng xảy ra tai nạn, sai sót, sử dụng ác ý, sự tiến hóa vượt ngoài tầm kiểm soát của con người, và những hậu quả không thể đoán trước đủ loại. Ở một giai đoạn nào đó, dưới một hình thức nào đó, một cái gì đó, ở một nơi nào đó, sẽ thất bại. Và điều này sẽ không phải là Bhopal hay thậm chí là Chernobyl; nó sẽ diễn ra trên quy mô toàn cầu. Đây sẽ là di sản của các công nghệ được sản xuất, phần lớn, với những ý định tốt nhất.

Tuy nhiên, không phải ai cũng chia sẻ những ý định đó.

CÁC TÔN GIÁO, NGƯỜI ĐIÊN, VÀ CÁC TRẠNG THÁI TỰ TỬ

Hầu hết thời gian, các rủi ro phát sinh từ những thứ như nghiên cứu tăng cường chức năng là kết quả của những nỗ lực được chấp thuận và vô hại. Nói cách khác, chúng là những hiệu ứng trả thù phóng đại, những hậu quả không mong muốn của một mong muốn làm điều tốt. Thật không may, một số tổ chức được thành lập với động cơ hoàn toàn ngược lại.

Được thành lập vào những năm 1980, Aum Shinrikyo (Chân lý Tối cao) là một giáo phái ngày tận thế của Nhật Bản. Nhóm này bắt nguồn từ một studio yoga dưới sự lãnh đạo của một người tự xưng là Shoko Asahara. Xây dựng một hội viên trong số những người bất mãn, họ đã cực đoan hóa khi số lượng tăng lên, trở nên tin tưởng rằng ngày tận thế sắp đến, rằng chỉ họ mới sống sót, và rằng họ nên thúc đẩy nó. Asahara đã phát triển giáo phái lên khoảng từ bốn mươi nghìn đến sáu mươi nghìn thành viên, khuyến khích một nhóm trung thành các trung úy cho đến việc sử dụng vũ khí sinh học và hóa học. Tại thời điểm Aum Shinrikyo đạt đỉnh cao về độ phổ biến, ước tính họ đã nắm giữ hơn 1 tỷ USD tài sản và có hàng chục nhà khoa học được đào tạo bài bản là thành viên. Mặc dù có sự mê hoặc với những vũ khí kỳ quái, khoa học viễn tưởng như máy phát động đất, súng plasma và gương để phản xạ tia nắng mặt trời, họ là một nhóm rất nghiêm túc và tinh vi.

Aum đã xây dựng các công ty giả và thâm nhập vào các phòng thí nghiệm đại học để thu mua vật liệu, mua đất ở Úc với ý định thăm dò uranium để xây dựng vũ khí hạt nhân, và bắt đầu một chương trình vũ khí sinh học và hóa học lớn ở vùng đồi núi bên ngoài Tokyo. Nhóm này đã thử nghiệm với phosgene, hydrogen cyanide, soman và các tác nhân thần kinh khác. Họ dự định thiết kế và phát hành một phiên bản nâng cao của bệnh than, tuyển dụng một nhà virus học trình độ thạc sĩ để giúp đỡ. Các thành viên đã thu được neurotoxin C. botulinum và phun nó lên Sân bay Quốc tế Narita, Tòa nhà Quốc hội, Cung điện Hoàng gia, trụ sở của một nhóm tôn giáo khác và hai căn cứ hải quân của Mỹ. May mắn thay, họ đã mắc sai lầm trong quá trình sản xuất và không có thiệt hại nào xảy ra.

Nó không kéo dài. Vào năm 1994, Aum Shinrikyo đã phun chất độc thần kinh sarin từ một chiếc xe tải, giết chết tám người và làm bị thương hai trăm người. Một năm sau, họ đã tấn công tàu điện ngầm Tokyo, thả thêm sarin, giết chết mười ba người và làm bị thương khoảng sáu nghìn người. Cuộc tấn công tàu điện ngầm, liên quan đến việc đặt các túi chứa sarin xung quanh hệ thống metro, đã gây hại nhiều hơn một phần do không gian kín. May mắn thay, cả hai cuộc tấn công đều không sử dụng cơ chế giao hàng đặc biệt hiệu quả. Nhưng cuối cùng, chỉ có may mắn đã ngăn chặn một sự kiện thảm khốc hơn.

Aum Shinrikyo kết hợp một mức độ tổ chức không bình thường với một mức độ tham vọng đáng sợ. Họ muốn khởi xướng Chiến tranh Thế giới thứ III và một sự sụp đổ toàn cầu bằng cách giết người trên quy mô gây sốc và bắt đầu xây dựng một cơ sở hạ tầng để thực hiện điều đó. Một mặt, thật an ủi khi thấy các tổ chức như Aum Shinrikyo hiếm khi xuất hiện. Trong số nhiều sự cố khủng bố và các vụ giết người hàng loạt do các thực thể phi nhà nước thực hiện từ những năm 1990, hầu hết đều do những kẻ cô đơn bị rối loạn hoặc các nhóm có chương trình chính trị hoặc ý thức hệ cụ thể thực hiện.

Nhưng mặt khác, sự đảm bảo này có giới hạn. Việc mua sắm vũ khí có sức mạnh lớn trước đây là một rào cản lớn để gia nhập, giúp giữ cho thảm họa tránh xa. Sự bi quan kinh tởm của kẻ xả súng trường học bị giới hạn bởi những vũ khí mà họ có thể tiếp cận. Kẻ đánh bom Unabomber chỉ có những thiết bị tự chế. Việc xây dựng và phát tán vũ khí sinh học và hóa học là những thách thức lớn đối với Aum Shinrikyo. Là một nhóm nhỏ, cuồng tín hoạt động trong bầu không khí bí mật hoang tưởng, với chỉ một chuyên môn và khả năng tiếp cận vật liệu hạn chế, họ đã mắc sai lầm.

Khi làn sóng sắp tới trưởng thành, tuy nhiên, các công cụ hủy diệt sẽ, như chúng ta đã thấy, được dân chủ hóa và thương mại hóa. Chúng sẽ có khả năng và khả năng thích ứng lớn hơn, có thể hoạt động theo những cách vượt ra ngoài sự kiểm soát hoặc hiểu biết của con người, phát triển và nâng cấp với tốc độ nhanh, một số sức mạnh tấn công vĩ đại nhất trong lịch sử sẽ được phổ biến rộng rãi.

Những người sẽ sử dụng các công nghệ mới như Aum thật sự hiếm hoi. Tuy nhiên, ngay cả một Aum Shinrikyo mỗi năm mươi năm cũng đã là quá nhiều để ngăn chặn một sự cố tồi tệ hơn nhiều so với cuộc tấn công trên tàu điện ngầm. Các giáo phái, những kẻ điên rồ, các quốc gia tự sát trong những ngày cuối cùng, tất cả đều có động cơ và giờ đây có cả phương tiện. Như một báo cáo về những hệ quả của Aum Shinrikyo đã nói ngắn gọn, “Chúng ta đang chơi trò roulette Nga.”

Một giai đoạn mới của lịch sử đã đến. Với các chính phủ zombie không thể kiểm soát công nghệ, Aum Shinrikyo tiếp theo, tai nạn công nghiệp tiếp theo, cuộc chiến của nhà độc tài điên rồ tiếp theo, sự rò rỉ từ phòng thí nghiệm nhỏ tiếp theo, sẽ có tác động khó có thể tưởng tượng được.

—

Thật dễ để bác bỏ tất cả những kịch bản rủi ro tối tăm này như những giấc mơ xa vời của những người lớn lên với quá nhiều tiểu thuyết khoa học viễn tưởng, những người có thiên hướng về thảm họa. Dễ dàng, nhưng là một sai lầm. Bất kể chúng ta đang ở đâu với các quy trình BSL-4, các đề xuất quy định hay các ấn phẩm kỹ thuật về vấn đề căn chỉnh AI, những động lực đó vẫn tiếp tục hoạt động, các công nghệ vẫn tiếp tục phát triển và lan tỏa. Đây không phải là những thứ của tiểu thuyết suy đoán và các series trên Netflix. Đây là thực tế, đang được làm việc ngay lúc này trong các văn phòng và phòng thí nghiệm trên khắp thế giới.

Rủi ro nghiêm trọng đến mức chúng cần phải xem xét tất cả các lựa chọn. Kiểm soát là khả năng kiểm soát công nghệ. Quay ngược lại, điều đó có nghĩa là khả năng kiểm soát con người và các xã hội đứng sau nó. Khi các tác động thảm khốc diễn ra hoặc khả năng của chúng trở nên không thể bỏ qua, các điều khoản tranh luận sẽ thay đổi. Những lời kêu gọi không chỉ kiểm soát mà còn đàn áp sẽ gia tăng. Tiềm năng cho các mức độ cảnh giác chưa từng có sẽ trở nên hấp dẫn hơn bao giờ hết. Có lẽ có thể phát hiện và sau đó ngăn chặn các mối đe dọa mới nổi? Liệu điều đó có phải là điều tốt nhất—điều đúng đắn để làm không?

Dự đoán tốt nhất của tôi là đây sẽ là phản ứng của các chính phủ và người dân trên toàn thế giới. Khi quyền lực đơn nhất của quốc gia bị đe dọa, khi việc kiềm chế trở nên ngày càng khó khăn, khi mạng sống đang bị đe dọa, phản ứng không thể tránh khỏi sẽ là siết chặt quyền lực.

Câu hỏi là, với chi phí nào?

QUAY LẠI DYSTOPIA

Ngăn chặn thảm họa là một yêu cầu rõ ràng. Thảm họa càng lớn, mức độ rủi ro càng cao, nhu cầu về các biện pháp đối phó càng lớn. Nếu mối đe dọa thảm họa trở nên quá nghiêm trọng, thì các chính phủ có khả năng sẽ kết luận rằng cách duy nhất để ngăn chặn nó là kiểm soát chặt chẽ mọi khía cạnh của công nghệ, đảm bảo rằng không có gì lọt qua hàng rào an ninh, rằng không có AI nổi loạn hay virus được chế tạo nào có thể thoát ra, được xây dựng, hoặc thậm chí được nghiên cứu.

Công nghệ đã thâm nhập vào nền văn minh của chúng ta một cách sâu sắc đến nỗi việc theo dõi công nghệ có nghĩa là theo dõi mọi thứ. Mỗi phòng thí nghiệm, nhà máy, và xưởng, mỗi máy chủ, mỗi đoạn mã mới, mỗi chuỗi DNA được tổng hợp, mỗi doanh nghiệp và trường đại học, từ mỗi biohacker trong một túp lều trong rừng đến mỗi trung tâm dữ liệu rộng lớn và vô danh. Để đối phó với thảm họa trước những động lực chưa từng có của làn sóng sắp tới có nghĩa là một phản ứng chưa từng có. Điều đó có nghĩa là không chỉ theo dõi mọi thứ mà còn dự trữ khả năng để dừng lại và kiểm soát nó bất cứ khi nào và ở đâu cần thiết.

Một số người sẽ không thể tránh khỏi việc nói điều này: tập trung quyền lực đến mức cực đoan, xây dựng panopticon, và phối hợp chặt chẽ mọi khía cạnh của cuộc sống để đảm bảo rằng không có đại dịch hay AI nổi loạn nào xảy ra. Dần dần, nhiều quốc gia sẽ thuyết phục bản thân rằng cách duy nhất để thực sự đảm bảo điều này là lắp đặt loại giám sát toàn diện mà chúng ta đã thấy trong chương trước: kiểm soát hoàn toàn, được hỗ trợ bởi sức mạnh cứng. Cánh cửa đến với thế giới dystopia đã hé mở. Thật vậy, trong bối cảnh thảm họa, đối với một số người, dystopia có thể cảm thấy như một sự giải thoát.

Các gợi ý như vậy vẫn còn ở mức thiểu số, đặc biệt là ở phương Tây. Tuy nhiên, tôi cảm thấy chỉ là vấn đề thời gian trước khi chúng phát triển. Làn sóng này cung cấp cả động lực và phương tiện cho một thế giới dystopia, một "AI-tocracy" tự củng cố với việc thu thập dữ liệu và cưỡng chế ngày càng tăng. Nếu bạn nghi ngờ về sự thèm khát giám sát và kiểm soát, hãy nghĩ về cách mà các biện pháp đóng cửa toàn xã hội, điều không thể tưởng tượng được chỉ vài tuần trước, bỗng trở thành một thực tế không thể tránh khỏi trong đại dịch COVID. Sự tuân thủ, ít nhất là ở giai đoạn đầu, gần như là phổ quát trước những lời kêu gọi của các chính phủ đang gặp khó khăn để "thực hiện phần của bạn." Sự chấp nhận của công chúng đối với các biện pháp mạnh mẽ nhân danh an toàn dường như rất cao.

Một thảm họa sẽ kích thích những yêu cầu về một hệ thống giám sát cực đoan để ngăn chặn các sự kiện tương tự trong tương lai. Nếu hoặc khi có điều gì đó sai sót với công nghệ, sẽ mất bao lâu trước khi cuộc đàn áp bắt đầu? Ai có thể lập luận hợp lý chống lại điều đó khi đối mặt với một thảm họa? Sẽ mất bao lâu trước khi chế độ giám sát dystopia bén rễ, từng sợi dây một, và phát triển? Khi các sự cố công nghệ quy mô nhỏ gia tăng, những yêu cầu về kiểm soát cũng tăng lên. Khi kiểm soát gia tăng, các cơ chế kiểm tra và cân bằng bị thu hẹp, mặt đất thay đổi và mở đường cho các can thiệp tiếp theo, và một vòng xoáy đi xuống ổn định đến dystopia công nghệ bắt đầu.

Trao đổi giữa tự do và an ninh là một tình huống cổ xưa. Nó đã xuất hiện trong câu chuyện nền tảng về nhà nước Leviathan từ Thomas Hobbes. Nó chưa bao giờ biến mất. Chắc chắn rằng, đây thường là một mối quan hệ phức tạp và đa chiều, nhưng làn sóng sắp tới nâng cao mức độ rủi ro lên một tầm cao mới. Mức độ kiểm soát xã hội nào là phù hợp để ngăn chặn một đại dịch được tạo ra? Mức độ can thiệp vào các quốc gia khác nào là phù hợp để đạt được cùng một mục đích? Hậu quả đối với tự do, chủ quyền và quyền riêng tư chưa bao giờ có khả năng đau đớn như vậy.

Một xã hội giám sát đàn áp với sự minh bạch và kiểm soát tinh vi, theo tôi, chỉ là một thất bại khác, một cách mà khả năng của làn sóng sắp tới sẽ dẫn đến không phải sự thịnh vượng của con người mà là điều ngược lại. Mỗi sự áp bức, thiên lệch và áp dụng một cách vô cùng bất công sẽ được khuếch đại rất nhiều. Quyền và tự do đã giành được một cách khó khăn sẽ bị thu hồi. Quyền tự quyết quốc gia, đối với nhiều quốc gia, tốt nhất chỉ bị thỏa hiệp. Không phải sự mong manh lần này, mà là sự áp bức rõ ràng được khuếch đại. Nếu câu trả lời cho thảm họa là một thế giới dystopia như thế này, thì đó không phải là câu trả lời nào cả.

—

Với kiến trúc giám sát và cưỡng chế đang được xây dựng ở Trung Quốc và nơi khác, có thể nói rằng những bước đầu tiên đã được thực hiện. Mối đe dọa của thảm họa và lời hứa về sự an toàn sẽ cho phép nhiều người hơn nữa. Mỗi làn sóng công nghệ đều mang đến khả năng cao về những gián đoạn hệ thống đối với trật tự xã hội. Nhưng cho đến nay, chúng chưa mang lại những rủi ro rộng rãi và hệ thống của thảm họa toàn cầu. Đó là điều đã thay đổi. Đó là điều có thể thúc đẩy một phản ứng phi lý tưởng.

Nếu các quốc gia như xác sống sẽ đi vào thảm họa trong trạng thái mơ màng, sự cởi mở và hỗn loạn ngày càng gia tăng của họ là một môi trường lý tưởng cho công nghệ không kiểm soát, thì các quốc gia độc tài đã sẵn sàng lao vào chính cái công nghệ dystopia này, thiết lập nền tảng, về mặt công nghệ nếu không phải về mặt đạo đức, cho những cuộc xâm phạm quyền riêng tư lớn và sự hạn chế tự do. Và trên quang phổ giữa hai điều này cũng có khả năng xảy ra điều tồi tệ nhất của tất cả các thế giới: các hệ thống giám sát và kiểm soát rải rác nhưng đàn áp mà vẫn không tạo thành một hệ thống kín kẽ.

Thảm họa và dystopia.

Nhà triết học công nghệ Lewis Mumford đã nói về “cỗ máy khổng lồ,” nơi các hệ thống xã hội kết hợp với công nghệ để hình thành “một cấu trúc đồng nhất, bao trùm tất cả” được “kiểm soát vì lợi ích của các tổ chức tập thể không cá nhân hóa.” Nhân danh an ninh, nhân loại có thể giải phóng cỗ máy khổng lồ để, theo nghĩa đen, ngăn chặn các cỗ máy khổng lồ khác xuất hiện. Làn sóng sắp tới có thể nghịch lý tạo ra chính những công cụ cần thiết để kiềm chế bản thân nó. Tuy nhiên, khi làm như vậy, nó sẽ mở ra một chế độ thất bại nơi quyền tự quyết, tự do và quyền riêng tư bị xóa bỏ, nơi các hệ thống giám sát và kiểm soát máy móc di căn thành các hình thức thống trị siết chặt xã hội.

Đối với những ai có thể nói rằng bức tranh đàn áp này là nơi chúng ta đang ở hiện tại, tôi sẽ nói rằng nó không thấm vào đâu so với những gì tương lai có thể mang lại. Cũng không phải đây là con đường dystopian duy nhất có thể xảy ra. Còn nhiều con đường khác, nhưng con đường này có mối tương quan trực tiếp với cả những thách thức chính trị của làn sóng và tiềm năng thảm khốc của nó. Đây không chỉ là một thí nghiệm tư tưởng mơ hồ. Đối mặt với điều này, chúng ta phải đặt ra những câu hỏi này: Mặc dù những động lực đứng sau nó có vẻ rất lớn và không thể lay chuyển, liệu nhân loại có nên rời khỏi chuyến tàu này không? Chúng ta có nên từ chối sự phát triển công nghệ liên tục hoàn toàn không? Liệu có phải đã đến lúc, dù có vẻ không thể xảy ra, để có một lệnh tạm hoãn đối với chính công nghệ?

SỰ NGHỈ NGƠ: MỘT LOẠI THẢM HỌA KHÁC

Nhìn vào các thành phố rộng lớn của chúng ta, những tòa nhà công cộng vững chãi được xây dựng bằng thép và đá, những chuỗi đường bộ và đường sắt lớn kết nối tất cả lại với nhau, những công trình cảnh quan và kỹ thuật khổng lồ quản lý môi trường xung quanh, có một cảm giác hấp dẫn về sự vĩnh cửu tỏa ra từ xã hội của chúng ta. Mặc dù sự vô trọng của thế giới kỹ thuật số, nhưng có một sự vững chắc và phong phú trong thế giới vật chất xung quanh chúng ta. Nó định hình những kỳ vọng hàng ngày của chúng ta.

Chúng tôi đến siêu thị và mong đợi nó được đầy ắp trái cây và rau quả tươi. Chúng tôi mong đợi nó được giữ mát vào mùa hè, ấm áp vào mùa đông. Ngay cả khi có sự biến động liên tục, chúng tôi giả định rằng các chuỗi cung ứng và khả năng cung cấp của thế kỷ hai mươi mốt vững chắc như một tòa thị chính cổ. Tất cả những phần cực đoan nhất trong sự tồn tại của chúng tôi dường như hoàn toàn tầm thường, và vì vậy phần lớn chúng tôi tiếp tục cuộc sống của mình như thể chúng có thể kéo dài vô hạn. Hầu hết những người xung quanh chúng tôi, bao gồm cả các nhà lãnh đạo của chúng tôi, cũng làm như vậy.

Và tuy nhiên, không có gì tồn tại mãi mãi. Trong suốt lịch sử, sự sụp đổ của xã hội là rất nhiều: từ Mesopotamia cổ đại đến Rome, từ người Maya đến Đảo Phục Sinh, một lần nữa và một lần nữa, không chỉ là các nền văn minh không tồn tại; mà là sự không bền vững dường như đã được định sẵn. Các nền văn minh sụp đổ không phải là ngoại lệ; chúng là quy tắc. Một cuộc khảo sát về sáu mươi nền văn minh cho thấy chúng tồn tại khoảng bốn trăm năm trung bình trước khi tan rã. Nếu không có công nghệ mới, chúng gặp phải giới hạn nghiêm ngặt trong phát triển - trong năng lượng có sẵn, trong thực phẩm, trong độ phức tạp xã hội - điều này khiến chúng sụp đổ.

Không có gì thay đổi ngoại trừ điều này: trong hàng trăm năm, sự phát triển công nghệ liên tục dường như đã cho phép các xã hội thoát khỏi cái bẫy sắt của lịch sử. Nhưng sẽ là sai lầm nếu nghĩ rằng động lực này đã chấm dứt. Nền văn minh thế kỷ hai mươi mốt còn xa mới so với người Maya, một cách tự nhiên, nhưng áp lực từ một siêu cấu trúc khổng lồ và đói khát, một dân số lớn, những giới hạn cứng nhắc của năng lượng và khả năng văn minh không tự dưng biến mất; chúng chỉ được giữ ở khoảng cách an toàn.

Giả sử có một thế giới mà những động lực đó có thể bị ngừng lại. Liệu có phải đã đến lúc áp dụng một lệnh tạm dừng hoàn toàn đối với sự phát triển công nghệ? Chắc chắn là không.

—

Nền văn minh hiện đại chỉ viết séc mà sự phát triển công nghệ liên tục có thể thanh toán. Toàn bộ công trình của chúng ta dựa trên ý tưởng về tăng trưởng kinh tế dài hạn. Và tăng trưởng kinh tế dài hạn cuối cùng dựa trên việc giới thiệu và phổ biến các công nghệ mới. Dù đó là kỳ vọng tiêu thụ nhiều hơn với chi phí thấp hơn, hay nhận được nhiều dịch vụ công hơn mà không phải trả thêm thuế, hoặc ý tưởng rằng chúng ta có thể làm suy thoái môi trường một cách không bền vững trong khi cuộc sống vẫn ngày càng tốt đẹp hơn vô hạn, thỏa thuận—có thể nói là thỏa thuận vĩ đại—cần công nghệ.

Sự phát triển của các công nghệ mới là, như chúng ta đã thấy, một phần quan trọng trong việc giải quyết những thách thức lớn của hành tinh chúng ta. Nếu không có các công nghệ mới, những thách thức này sẽ không thể được giải quyết. Chi phí của tình trạng hiện tại trong việc khai thác con người và tài nguyên vật chất không thể bị bỏ qua. Bộ công nghệ hiện tại của chúng ta theo nhiều cách là đáng chú ý, nhưng có rất ít dấu hiệu cho thấy nó có thể được triển khai một cách bền vững để hỗ trợ hơn tám tỷ người ở mức mà những người ở các nước phát triển coi là điều hiển nhiên. Dù có thể không dễ chịu với một số người, nhưng vẫn đáng nhắc lại: việc giải quyết các vấn đề như biến đổi khí hậu, duy trì tiêu chuẩn sống và chăm sóc sức khỏe ngày càng tăng, hoặc cải thiện giáo dục và cơ hội sẽ không xảy ra nếu không cung cấp các công nghệ mới như một phần của gói giải pháp.

Việc ngừng phát triển công nghệ, giả sử điều đó là khả thi, sẽ theo một nghĩa nào đó dẫn đến an toàn. Nó sẽ hạn chế việc giới thiệu các rủi ro thảm khốc mới. Nhưng điều đó không có nghĩa là thành công trong việc tránh khỏi chủ nghĩa dystopia. Thay vào đó, khi sự không bền vững của các xã hội thế kỷ hai mươi mốt bắt đầu bộc lộ, nó sẽ chỉ đơn giản mang lại một hình thức dystopia khác. Nếu không có công nghệ mới, sớm hay muộn mọi thứ sẽ trì trệ, và có thể hoàn toàn sụp đổ.

Trong thế kỷ tới, dân số toàn cầu sẽ bắt đầu giảm, ở một số quốc gia giảm mạnh. Khi tỷ lệ lao động so với người nghỉ hưu thay đổi và lực lượng lao động giảm, các nền kinh tế sẽ không thể hoạt động ở mức hiện tại. Nói cách khác, nếu không có công nghệ mới, sẽ không thể duy trì mức sống.

Đây là một vấn đề toàn cầu. Các quốc gia như Nhật Bản, Đức, Ý, Nga và Hàn Quốc hiện nay đang tiến gần đến một cuộc khủng hoảng về dân số trong độ tuổi lao động. Có lẽ điều đáng ngạc nhiên hơn là đến những năm 2050, các quốc gia như Ấn Độ, Indonesia, Mexico và Thổ Nhĩ Kỳ sẽ ở trong tình trạng tương tự. Trung Quốc là một phần quan trọng trong câu chuyện công nghệ trong những thập kỷ tới, nhưng vào cuối thế kỷ này, Học viện Khoa học Xã hội Thượng Hải dự đoán rằng quốc gia này có thể chỉ còn 600 triệu người, một sự đảo ngược đáng kinh ngạc so với gần một thế kỷ gia tăng dân số. Tỷ lệ sinh tổng hợp của Trung Quốc là một trong những mức thấp nhất trên thế giới, chỉ được sánh ngang với các nước láng giềng như Hàn Quốc và Đài Loan. Sự thật là, Trung Quốc hoàn toàn không bền vững nếu không có công nghệ mới.

Điều này không chỉ liên quan đến con số mà còn về chuyên môn, cơ sở thuế và mức độ đầu tư; những người nghỉ hưu sẽ rút tiền ra khỏi hệ thống, không đầu tư cho dài hạn. Tất cả những điều này có nghĩa là “các mô hình quản lý của thời kỳ sau Thế chiến II không chỉ đơn giản là phá sản, chúng trở thành các hiệp ước tự sát xã hội.” Các xu hướng nhân khẩu học mất hàng thập kỷ để thay đổi. Các thế hệ không thay đổi kích thước. Sự suy giảm chậm chạp, không thể tránh khỏi này đã được khóa chặt, một tảng băng trôi đang đe dọa mà chúng ta không thể làm gì để tránh—ngoại trừ tìm cách thay thế những công nhân đó.

Áp lực lên các nguồn lực của chúng ta cũng là điều chắc chắn. Hãy nhớ rằng việc tìm nguồn nguyên liệu cho công nghệ sạch, chưa nói đến bất cứ điều gì khác, là vô cùng phức tạp và dễ bị tổn thương. Nhu cầu về lithium, cobalt và graphite dự kiến sẽ tăng 500% vào năm 2030. Hiện tại, pin là hy vọng tốt nhất cho một nền kinh tế sạch, và vẫn chưa đủ dung lượng lưu trữ để đáp ứng nhu cầu tiêu thụ năng lượng trong vài phút hoặc thậm chí vài giây. Để thay thế các kho dự trữ đang giảm nhanh chóng hoặc khắc phục sự cố chuỗi cung ứng trên một loạt các nguyên liệu, chúng ta cần các lựa chọn. Điều đó có nghĩa là cần có những đột phá công nghệ và khoa học mới trong các lĩnh vực như khoa học vật liệu.

Xét đến dân số và các hạn chế về tài nguyên, chỉ việc đứng yên có lẽ sẽ yêu cầu một sự cải thiện năng suất toàn cầu từ hai đến ba lần, và việc đứng yên là không thể chấp nhận đối với phần lớn dân số thế giới, trong đó, chẳng hạn, tỷ lệ tử vong trẻ em cao gấp mười hai lần so với các nước phát triển. Tất nhiên, bất kỳ sự tiếp tục nào ở mức hiện tại cũng không chỉ báo hiệu căng thẳng về dân số và tài nguyên; nó còn gắn liền với tình trạng khẩn cấp về khí hậu.

Đừng nhầm lẫn: sự đứng yên tự nó mang lại thảm họa.

Điều này không chỉ đơn thuần là vấn đề thiếu lao động trong các nhà hàng và pin đắt đỏ. Nó sẽ có nghĩa là sự tan rã của mọi khía cạnh bấp bênh của cuộc sống hiện đại, với nhiều tác động không thể đoán trước ở hạ nguồn, giao thoa với một loạt các vấn đề đã không thể kiểm soát. Tôi nghĩ thật dễ dàng để đánh giá thấp mức độ mà lối sống của chúng ta được hỗ trợ bởi những cải tiến công nghệ liên tục. Những tiền lệ lịch sử đó - tiêu chuẩn, hãy nhớ, cho mọi nền văn minh trước đây - đang kêu gào rõ ràng. Sự đứng yên có nghĩa là một tương lai nghèo nàn, tốt nhất là suy giảm nhưng có thể là một sự sụp đổ có thể xoáy vào một cách đáng lo ngại. Một số người có thể lập luận rằng điều này tạo thành một cực thứ ba, một tam giác lớn. Đối với tôi, điều đó không hoàn toàn đúng. Đầu tiên, đây là lựa chọn ít có khả năng xảy ra nhất ở giai đoạn này. Và thứ hai, nếu điều đó xảy ra, nó chỉ đơn giản là tái khẳng định tình thế tiến thoái lưỡng nan dưới một hình thức mới. Một lệnh tạm hoãn công nghệ không phải là một lối thoát; đó là một lời mời gọi đến một loại dystopia khác, một loại thảm họa khác.

Ngay cả khi điều đó có thể, ý tưởng ngăn chặn làn sóng sắp tới không phải là một suy nghĩ an ủi. Việc duy trì, chưa nói đến việc cải thiện, mức sống cần công nghệ. Ngăn chặn một sự sụp đổ cần công nghệ. Chi phí của việc từ chối là tồn vong. Và tuy nhiên, mọi con đường từ đây đều mang lại những rủi ro và bất lợi nghiêm trọng.

Đây là một tình huống tiến thoái lưỡng nan.

ĐÂU LÀ ĐIỂM ĐẾN TIẾP THEO?

Từ khi bắt đầu kỷ nguyên hạt nhân và kỹ thuật số, tình huống này ngày càng trở nên rõ ràng hơn. Năm 1955, vào cuối đời mình, nhà toán học John von Neumann đã viết một bài tiểu luận có tên “Chúng ta có thể sống sót qua công nghệ không?” Dự đoán trước lập luận ở đây, ông tin rằng xã hội toàn cầu đang “trong một cuộc khủng hoảng đang trưởng thành nhanh chóng—một cuộc khủng hoảng do thực tế rằng môi trường mà tiến bộ công nghệ phải diễn ra đã trở nên quá nhỏ và thiếu tổ chức.” Ở cuối bài tiểu luận, von Neumann đặt sự sống sót chỉ là “một khả năng,” như ông có thể trong cái bóng của đám mây nấm mà chính máy tính của ông đã biến thành hiện thực. “Đối với tiến bộ, không có phương thuốc nào,” ông viết. “Bất kỳ nỗ lực nào để tìm kiếm các kênh an toàn tự động cho loại tiến bộ bùng nổ hiện tại đều phải dẫn đến sự thất vọng.”

Tôi không đơn độc trong việc muốn xây dựng công nghệ có thể thu được nhiều lợi ích trong khi giảm thiểu rủi ro. Một số người sẽ chế nhạo tham vọng đó như chỉ là một hình thức kiêu ngạo của Silicon Valley, nhưng tôi vẫn tin rằng công nghệ vẫn là động lực chính để cải thiện thế giới và cuộc sống của chúng ta. Dù có những tác hại, bất lợi và hậu quả không mong muốn, nhưng đóng góp của công nghệ cho đến nay vẫn chủ yếu là tích cực. Sau cùng, ngay cả những người chỉ trích công nghệ khắc nghiệt nhất cũng thường vui vẻ sử dụng ấm đun nước, uống aspirin, xem TV và đi tàu điện ngầm. Đối với mỗi khẩu súng, có một liều penicillin cứu sống; đối với mỗi mẩu thông tin sai lệch, một sự thật nhanh chóng được phát hiện.

Và tuy nhiên, từ von Neumann và các đồng nghiệp của ông, tôi và nhiều người khác lo lắng về quỹ đạo dài hạn. Mối lo ngại sâu sắc của tôi là công nghệ đang cho thấy khả năng thực sự để chuyển sang trạng thái tiêu cực ròng một cách mạnh mẽ, rằng chúng tôi không có câu trả lời để ngăn chặn sự chuyển dịch này, và rằng chúng tôi đang bị kẹt lại mà không có lối thoát.

Không ai trong chúng ta có thể chắc chắn điều gì sẽ xảy ra chính xác. Trong các tham số rộng lớn của tình huống này là một loạt các kết quả cụ thể khổng lồ và không thể biết được. Tuy nhiên, tôi tự tin rằng những thập kỷ tới sẽ chứng kiến những sự đánh đổi phức tạp và đau đớn giữa thịnh vượng, giám sát và mối đe dọa của thảm họa ngày càng trở nên cấp bách hơn. Ngay cả một hệ thống các quốc gia trong tình trạng tốt nhất cũng sẽ gặp khó khăn.

Chúng ta đang đối mặt với thách thức cuối cùng cho Homo technologicus.

Nếu cuốn sách này có vẻ mâu thuẫn trong thái độ của nó đối với công nghệ, phần tích cực và phần đáng lo ngại, thì đó là vì quan điểm mâu thuẫn như vậy là đánh giá trung thực nhất về vị trí của chúng ta. Ông bà của chúng ta sẽ rất ngạc nhiên trước sự phong phú của thế giới chúng ta. Nhưng họ cũng sẽ ngạc nhiên trước sự mong manh và những nguy hiểm của nó. Với làn sóng sắp tới, chúng ta phải đối mặt với một mối đe dọa thực sự, một chuỗi các hậu quả có thể thảm khốc—đúng vậy, thậm chí là một rủi ro tồn vong cho loài người. Công nghệ là điều tốt nhất và tồi tệ nhất của chúng ta. Không có một cách tiếp cận đơn giản nào có thể công bằng với nó. Cách tiếp cận duy nhất có hệ thống đối với công nghệ là nhìn thấy cả hai mặt cùng một lúc.

Trong khoảng một thập kỷ qua, tình huống này đã trở nên rõ ràng hơn, nhiệm vụ giải quyết nó trở nên cấp bách hơn. Nhìn vào thế giới, có vẻ như việc kiềm chế là không thể. Theo dõi các hậu quả và một điều khác cũng trở nên rõ ràng: vì lợi ích của mọi người, việc kiềm chế phải có thể.