MƯỜI BƯỚC HƯỚNG TỚI KIỂM SOÁT

Hãy coi mười ý tưởng được trình bày ở đây như những vòng tròn đồng tâm. Chúng ta bắt đầu từ những điều nhỏ và trực tiếp, gần gũi với công nghệ, tập trung vào các cơ chế cụ thể để áp đặt các ràng buộc theo thiết kế. Từ đó, mỗi ý tưởng dần dần mở rộng hơn, leo lên một bậc thang can thiệp xa hơn khỏi các chi tiết kỹ thuật cứng nhắc, mã nguồn và vật liệu thô, và tiến lên và ra ngoài hướng tới những hành động không kỹ thuật nhưng không kém phần quan trọng, những loại hành động cộng lại thành các động lực kinh doanh mới, chính phủ cải cách, hiệp ước quốc tế, một nền văn hóa công nghệ lành mạnh hơn, và một phong trào toàn cầu phổ biến.

Cách mà tất cả những lớp này của hành tây xây dựng lên khiến chúng trở nên mạnh mẽ; mỗi lớp riêng lẻ là không đủ. Mỗi lớp yêu cầu những can thiệp rất khác nhau, với những kỹ năng, năng lực và con người khác nhau; mỗi lớp thường là một lĩnh vực con rộng lớn và chuyên biệt. Tập hợp lại, tôi tin rằng, chúng có thể tạo thành một cái gì đó hoạt động.

Hãy bắt đầu từ đầu, với chính công nghệ đó.

Vài năm trước, nhiều mô hình ngôn ngữ lớn gặp phải một vấn đề. Nói thẳng ra, chúng mang tính phân biệt chủng tộc. Người dùng có thể dễ dàng tìm ra cách khiến chúng nhả ra các tài liệu phân biệt chủng tộc, hoặc giữ những quan điểm phân biệt chủng tộc mà chúng đã thu thập được khi quét qua khối lượng văn bản khổng lồ mà chúng đã được đào tạo. Sự thiên lệch độc hại dường như đã ăn sâu vào văn viết của con người và sau đó được khuếch đại bởi AI. Điều này khiến nhiều người kết luận rằng toàn bộ hệ thống này đã bị hỏng về mặt đạo đức, không khả thi về mặt đạo lý; không có cách nào LLMs có thể được kiểm soát đủ tốt để được phát hành ra công chúng với những tác hại rõ ràng.

Nhưng sau đó LLMs, như chúng ta đã thấy, đã cất cánh. Vào năm 2023, giờ đây rõ ràng rằng, so với các hệ thống ban đầu, rất khó để kích thích một cái gì đó như ChatGPT đưa ra những bình luận phân biệt chủng tộc. Đây có phải là một vấn đề đã được giải quyết? Tuyệt đối không. Vẫn còn nhiều ví dụ về sự thiên lệch, thậm chí là phân biệt chủng tộc rõ ràng, LLMs, cũng như những vấn đề nghiêm trọng với mọi thứ từ thông tin không chính xác đến việc thao túng tâm lý. Nhưng đối với những người trong chúng ta đã làm việc trong lĩnh vực này từ đầu, sự tiến bộ theo cấp số nhân trong việc loại bỏ các đầu ra xấu là điều không thể tin được, không thể phủ nhận. Thật dễ dàng để bỏ qua việc chúng ta đã tiến xa và nhanh đến mức nào.

Một yếu tố chính thúc đẩy sự tiến bộ này được gọi là học tăng cường từ phản hồi của con người. Để khắc phục sự thiên lệch của LLMs, các nhà nghiên cứu đã thiết lập các cuộc trò chuyện đa lượt được xây dựng khéo léo với mô hình, thúc đẩy nó nói những điều khó chịu, có hại hoặc xúc phạm, xem nó sai ở đâu và như thế nào. Đánh dấu những sai lầm này, các nhà nghiên cứu sau đó tích hợp những hiểu biết của con người vào mô hình, cuối cùng dạy nó một thế giới quan mong muốn hơn, theo cách không hoàn toàn khác biệt so với cách chúng ta cố gắng dạy trẻ em không nói những điều không phù hợp tại bàn ăn. Khi các kỹ sư ngày càng nhận thức rõ hơn về các vấn đề đạo đức vốn có của hệ thống của họ, họ trở nên cởi mở hơn trong việc tìm kiếm các đổi mới kỹ thuật để giúp giải quyết chúng.

Giải quyết vấn đề phân biệt chủng tộc và thiên kiến trong LLMs là một ví dụ về việc triển khai cẩn thận và có trách nhiệm là cần thiết để nâng cao sự an toàn của các mô hình này. Sự tiếp xúc với thực tế giúp các nhà phát triển học hỏi, sửa chữa và cải thiện sự an toàn của họ.

Mặc dù nói rằng các giải pháp kỹ thuật một mình có thể giải quyết các vấn đề xã hội và đạo đức do AI gây ra là sai, nhưng điều đó cho thấy chúng sẽ là một phần của nó. An toàn kỹ thuật, gần gũi, trong mã, trong phòng thí nghiệm, là mục đầu tiên trong bất kỳ chương trình kiểm soát nào.

—

Nghe từ “kiểm soát” và, giả sử bạn không phải là một học giả quan hệ quốc tế, có lẽ bạn sẽ nghĩ đến nghĩa vật lý của việc giữ một cái gì đó bên trong. Chắc chắn rằng việc kiểm soát công nghệ về mặt vật lý là quan trọng. Chúng ta đã thấy, ví dụ, ngay cả các phòng thí nghiệm BSL-4 cũng có thể bị rò rỉ. Môi trường nào có thể khiến điều đó hoàn toàn không thể xảy ra? Một phòng thí nghiệm BSL-7 hoặc -n trông như thế nào?

Mặc dù tôi đã lập luận trong chương trước rằng việc kiềm chế không nên bị giảm thiểu thành một loại hộp ma thuật, nhưng điều đó không có nghĩa là chúng ta không muốn tìm ra cách xây dựng một cái như vậy như một phần của nó. Kiểm soát cuối cùng là kiểm soát vật lý cứng, của các máy chủ, vi sinh vật, máy bay không người lái, robot và thuật toán. “Đóng hộp” một AI là hình thức cơ bản và nguyên thủy của việc kiềm chế công nghệ. Điều này sẽ liên quan đến việc không có kết nối internet, hạn chế tiếp xúc với con người, một giao diện bên ngoài nhỏ gọn và bị hạn chế. Nó sẽ, theo nghĩa đen, chứa nó trong các hộp vật lý với một vị trí xác định. Một hệ thống như vậy—được gọi là khoảng cách không khí—có thể, về lý thuyết, ngăn chặn một AI tham gia với thế giới rộng lớn hơn hoặc bằng cách nào đó “trốn thoát.”

Phân tách vật lý chỉ là một khía cạnh trong việc chuyển đổi kiến trúc an toàn kỹ thuật để đáp ứng thách thức của làn sóng tiếp theo. Việc tiếp thu những gì tốt nhất có sẵn là một khởi đầu. Năng lượng hạt nhân, chẳng hạn, bị gán cho tiếng xấu nhờ những thảm họa nổi tiếng như Chernobyl và Fukushima. Nhưng thực tế, nó lại rất an toàn. Cơ quan Năng lượng Nguyên tử Quốc tế đã công bố hơn một trăm báo cáo an toàn giải quyết các tiêu chuẩn kỹ thuật cụ thể cho các tình huống nhất định, từ phân loại chất thải phóng xạ đến sự chuẩn bị trong các trường hợp khẩn cấp. Các tổ chức như Viện Kỹ sư Điện và Điện tử duy trì hơn hai nghìn tiêu chuẩn an toàn kỹ thuật về các công nghệ từ phát triển robot tự động đến học máy. Ngành công nghệ sinh học và dược phẩm đã hoạt động dưới các tiêu chuẩn an toàn vượt xa hầu hết các doanh nghiệp phần mềm trong nhiều thập kỷ. Đáng nhớ rằng, những nỗ lực trong nhiều năm đã làm cho nhiều công nghệ hiện có trở nên an toàn như thế nào—và xây dựng trên nền tảng đó.

Nghiên cứu an toàn AI tiên tiến vẫn là một lĩnh vực chưa phát triển, còn non trẻ, tập trung vào việc giữ cho các hệ thống tự động ngày càng nhiều không vượt qua khả năng hiểu biết hoặc kiểm soát của chúng ta. Tôi coi những câu hỏi xung quanh việc kiểm soát hoặc định hướng giá trị như là các phân nhánh của vấn đề bao vây rộng hơn. Trong khi hàng tỷ đô la được đầu tư vào robot, công nghệ sinh học và AI, thì số tiền tương đối nhỏ được chi cho một khung an toàn kỹ thuật tương đương với việc giữ cho chúng được kiểm soát về mặt chức năng. Chẳng hạn, cơ quan giám sát chính về vũ khí sinh học, Công ước Vũ khí Sinh học, chỉ có ngân sách 1,4 triệu đô la và chỉ có bốn nhân viên toàn thời gian - ít hơn so với trung bình của một cửa hàng McDonald’s.

Số lượng nhà nghiên cứu an toàn AI vẫn còn rất ít ỏi: tăng từ khoảng một trăm tại các phòng thí nghiệm hàng đầu trên toàn thế giới vào năm 2021 lên ba hoặc bốn trăm vào năm 2022. Xét rằng hiện nay có khoảng ba mươi đến bốn mươi nghìn nhà nghiên cứu AI (và một số lượng tương tự những người có khả năng ghép nối DNA), con số này thật sự rất nhỏ. Ngay cả một cuộc tuyển dụng gấp mười lần—không khả thi do các nút thắt về tài năng—cũng sẽ không giải quyết được quy mô của thách thức. So với quy mô của những gì có thể xảy ra sai lầm, nghiên cứu về an toàn và đạo đức trong AI là rất hạn chế. Chỉ có một vài tổ chức, do những thách thức về nguồn lực, coi trọng các vấn đề an toàn kỹ thuật. Và quyết định an toàn được đưa ra hôm nay sẽ thay đổi hướng đi trong tương lai của công nghệ và nhân loại.

Có một điều rõ ràng cần phải làm: khuyến khích, tạo động lực và trực tiếp tài trợ nhiều hơn cho công việc trong lĩnh vực này. Đã đến lúc thực hiện một chương trình Apollo về an toàn AI và an toàn sinh học. Hàng trăm nghìn người nên làm việc trong lĩnh vực này. Cụ thể, một đề xuất tốt cho luật pháp sẽ là yêu cầu một phần cố định—chẳng hạn, tối thiểu 20 phần trăm—của ngân sách nghiên cứu và phát triển của các công ty tiên phong nên được hướng tới các nỗ lực an toàn, với nghĩa vụ công bố các phát hiện quan trọng cho một nhóm làm việc của chính phủ để tiến trình có thể được theo dõi và chia sẻ. Các nhiệm vụ Apollo ban đầu rất tốn kém và nặng nề, nhưng chúng đã thể hiện mức độ tham vọng khổng lồ đúng đắn, và thái độ có thể làm được của họ trước những khó khăn đã kích thích sự phát triển của các công nghệ từ bán dẫn và phần mềm đến đồng hồ thạch anh và pin mặt trời. Điều này có thể làm điều tương tự cho an toàn.

Mặc dù số lượng hiện tại còn nhỏ, nhưng tôi biết từ kinh nghiệm rằng một làn sóng quan tâm đang nổi lên xung quanh những câu hỏi này. Sinh viên và những người trẻ tuổi khác mà tôi gặp đang sôi nổi về các vấn đề như sự phù hợp của AI và sự chuẩn bị cho đại dịch. Nói chuyện với họ và rõ ràng là thách thức trí tuệ thu hút, nhưng họ cũng bị cuốn hút bởi nghĩa vụ đạo đức. Họ muốn giúp đỡ và cảm thấy có trách nhiệm phải làm tốt hơn. Tôi tự tin rằng nếu có việc làm và các chương trình nghiên cứu, tài năng sẽ theo sau.

Đối với các chuyên gia an toàn kỹ thuật của tương lai, có rất nhiều hướng hứa hẹn để khám phá. Sự chuẩn bị cho đại dịch có thể, chẳng hạn, được cải thiện đáng kể bằng cách sử dụng bóng đèn có bước sóng thấp tiêu diệt virus. Phát ra ánh sáng với bước sóng từ 200 đến 230 nanomet, gần với quang phổ tia cực tím, chúng có thể tiêu diệt virus mà không xâm nhập vào lớp ngoài của da: một vũ khí mạnh mẽ chống lại đại dịch và sự lây lan của bệnh tật một cách rộng rãi hơn. Và nếu đại dịch COVID-19 đã dạy chúng ta một điều, đó là giá trị của một cách tiếp cận tích hợp, tăng tốc trong nghiên cứu, triển khai và quy định cho các loại vắc xin mới.

Trong AI, an toàn kỹ thuật cũng có nghĩa là các hộp cát và mô phỏng an toàn để tạo ra các khoảng cách an toàn có thể chứng minh được, để các AI tiên tiến có thể được kiểm tra một cách nghiêm ngặt trước khi được cho phép truy cập vào thế giới thực. Điều này có nghĩa là cần nhiều công việc hơn về sự không chắc chắn, một trọng tâm chính ngay bây giờ - tức là, một AI giao tiếp như thế nào khi nó có thể sai? Một trong những vấn đề với LLMs là chúng vẫn gặp phải vấn đề ảo giác, trong đó chúng thường tự tin tuyên bố thông tin sai lệch một cách hoang đường là chính xác. Điều này càng nguy hiểm gấp đôi vì chúng thường đúng, ở mức độ chuyên gia. Là một người dùng, thật dễ dàng để bị ru ngủ vào một cảm giác an toàn giả tạo và giả định rằng bất cứ điều gì xuất phát từ hệ thống đều là đúng.

Tại Inflection, ví dụ, chúng tôi đang tìm cách khuyến khích AI của chúng tôi gọi là Pi - viết tắt của trí thông minh cá nhân - trở nên thận trọng và không chắc chắn theo mặc định, và khuyến khích người dùng giữ thái độ phản biện. Chúng tôi đang thiết kế Pi để thể hiện sự nghi ngờ về bản thân, thường xuyên và xây dựng yêu cầu phản hồi, và nhanh chóng nhường chỗ cho giả định rằng con người, chứ không phải máy móc, là đúng. Chúng tôi và những người khác cũng đang làm việc trên một hướng nghiên cứu quan trọng nhằm kiểm tra tính xác thực của một tuyên bố từ AI bằng cách sử dụng các cơ sở kiến thức bên thứ ba mà chúng tôi biết là đáng tin cậy. Ở đây, điều quan trọng là đảm bảo rằng các đầu ra của AI cung cấp trích dẫn, nguồn gốc và bằng chứng có thể được điều tra mà người dùng có thể tiếp tục xem xét khi một tuyên bố đáng ngờ xuất hiện.

Giải thích là một ranh giới an toàn kỹ thuật lớn khác. Nhớ rằng hiện tại không ai có thể giải thích chính xác tại sao một mô hình lại sản xuất ra những đầu ra mà nó có. Việc tìm ra cách để các mô hình giải thích một cách toàn diện các quyết định của chúng hoặc mở chúng ra để kiểm tra đã trở thành một câu đố kỹ thuật quan trọng đối với các nhà nghiên cứu an toàn. Vẫn còn sớm cho nghiên cứu này, nhưng có một số dấu hiệu đầy hứa hẹn rằng các mô hình AI có thể cung cấp lý do cho các đầu ra của chúng, nếu chưa phải là lý do nguyên nhân cho chúng, mặc dù vẫn chưa rõ mức độ đáng tin cậy của những điều này.

Cũng có những công việc tuyệt vời đang được thực hiện trong việc sử dụng các kiến trúc đơn giản hóa để khám phá những kiến trúc phức tạp hơn, thậm chí là tự động hóa quy trình nghiên cứu căn chỉnh: xây dựng các AI để giúp chúng ta kiểm soát AI. Các nhà nghiên cứu đang làm việc trên một thế hệ “AI phê bình” có thể giám sát và đưa ra phản hồi về các đầu ra của AI khác với mục tiêu cải thiện chúng với tốc độ và quy mô mà con người không thể theo kịp—tốc độ và quy mô mà chúng ta thấy trong làn sóng sắp tới. Quản lý các công cụ mạnh mẽ đòi hỏi chính các công cụ mạnh mẽ.

Nhà khoa học máy tính Stuart Russell đề xuất sử dụng loại nghi ngờ hệ thống tích hợp mà chúng ta đang khám phá tại Inflection để tạo ra cái mà ông gọi là “AI có lợi chứng minh được.” Thay vì cung cấp cho một AI một tập hợp các mục tiêu bên ngoài cố định được chứa trong cái gọi là hiến pháp viết, ông khuyến nghị rằng các hệ thống nên cẩn thận suy luận về sở thích và mục tiêu của chúng ta. Chúng nên theo dõi và học hỏi một cách cẩn thận. Về lý thuyết, điều này nên để lại nhiều không gian hơn cho sự nghi ngờ trong các hệ thống và tránh những kết quả sai lệch.

Nhiều thách thức chính vẫn còn: Làm thế nào bạn có thể xây dựng các giá trị an toàn vào một hệ thống AI mạnh mẽ có khả năng vượt qua các hướng dẫn của chính nó? Các AI có thể suy luận những giá trị này từ con người như thế nào? Một câu hỏi đang được đặt ra là làm thế nào để giải quyết vấn đề "khả năng sửa chữa", đảm bảo rằng luôn có thể truy cập và sửa chữa các hệ thống. Nếu bạn nghĩ rằng tất cả những điều này nghe có vẻ như là những tính năng an toàn cơ bản cần có của AI tiên tiến, bạn sẽ đúng. Tiến bộ ở đây cần phải theo kịp.

Chúng ta cũng nên xây dựng các ràng buộc kỹ thuật vững chắc vào quy trình phát triển và sản xuất. Hãy nghĩ đến cách mà tất cả các máy photocopy và máy in hiện đại được xây dựng với công nghệ ngăn bạn sao chép hoặc in tiền, với một số máy thậm chí tự động tắt nếu bạn cố gắng. Ví dụ, các giới hạn về tài nguyên đối với lượng tính toán đào tạo được sử dụng để tạo ra các mô hình có thể đặt ra giới hạn cho tốc độ tiến bộ (ít nhất là trong khía cạnh đó). Hiệu suất có thể bị hạn chế để một mô hình chỉ có thể chạy trên một số phần cứng được kiểm soát chặt chẽ. Các hệ thống AI có thể được xây dựng với các biện pháp bảo vệ mã hóa đảm bảo rằng trọng số mô hình—tài sản trí tuệ quý giá nhất trong hệ thống—chỉ có thể được sao chép một số lần giới hạn hoặc chỉ trong một số hoàn cảnh nhất định.

Thách thức cấp cao nhất, cho dù trong sinh học tổng hợp, robot hay AI, là xây dựng một công tắc tắt không thể bị phá vỡ, một phương tiện để đóng cửa bất kỳ công nghệ nào có nguy cơ mất kiểm soát. Thật là lẽ thường rằng luôn phải đảm bảo có một công tắc tắt trong bất kỳ hệ thống tự động hoặc mạnh mẽ nào. Làm thế nào để thực hiện điều này với các công nghệ phân tán, biến đổi và rộng rãi như trong làn sóng sắp tới—các công nghệ mà hình thức chính xác của chúng vẫn chưa rõ ràng, các công nghệ mà trong một số trường hợp có thể phản kháng một cách chủ động—là một câu hỏi mở. Đó là một thách thức lớn. Tôi có nghĩ rằng điều đó là khả thi không? Có—nhưng không ai nên đánh giá thấp trong một giây về quy mô của việc nó sẽ khó khăn như thế nào.

Quá nhiều công việc an toàn là gia tăng, tập trung vào các đánh giá tác động hẹp, các vấn đề kỹ thuật nhỏ, hoặc sửa chữa các vấn đề phát sinh sau khi ra mắt thay vì làm việc trên các vấn đề cơ bản trước thời hạn. Thay vào đó, chúng ta nên xác định các vấn đề sớm và sau đó đầu tư nhiều thời gian và nguồn lực vào các yếu tố cơ bản. Hãy nghĩ lớn. Tạo ra các tiêu chuẩn chung. Các tính năng an toàn không nên là những suy nghĩ sau cùng mà phải là các thuộc tính thiết kế vốn có của tất cả các công nghệ mới này, là trạng thái cơ bản của mọi thứ sẽ đến sau. Mặc dù có những thách thức khốc liệt, tôi thực sự hào hứng với sự đa dạng và sự sáng tạo của các ý tưởng ở đây. Hãy cung cấp cho họ oxy trí tuệ và hỗ trợ vật chất để thành công, nhận ra rằng trong khi kỹ thuật không bao giờ là câu trả lời toàn bộ, nó là một phần cơ bản của nó.

2. KIỂM TOÁN: KIẾN THỨC LÀ SỨC MẠNH; SỨC MẠNH LÀ KIỂM SOÁT

Kiểm toán nghe có vẻ nhàm chán. Cần thiết, có thể—nhưng cực kỳ tẻ nhạt. Nhưng chúng rất quan trọng để kiểm soát. Tạo ra các container vật lý và ảo an toàn—loại công việc mà chúng ta vừa thấy—là nền tảng. Nhưng chỉ riêng điều đó thì không đủ. Việc có sự giám sát có ý nghĩa và các quy tắc có thể thi hành cũng như xem xét các triển khai kỹ thuật là rất quan trọng. Các tiến bộ về an toàn kỹ thuật và quy định sẽ gặp khó khăn trong việc hiệu quả nếu bạn không thể xác minh rằng chúng đang hoạt động như mong muốn. Làm thế nào bạn có thể chắc chắn những gì thực sự đang xảy ra và kiểm tra rằng bạn đang kiểm soát? Đó là một thách thức kỹ thuật và xã hội to lớn.

Niềm tin đến từ sự minh bạch. Chúng ta hoàn toàn cần phải có khả năng xác minh, ở mọi cấp độ, sự an toàn, tính toàn vẹn, hoặc bản chất không bị xâm phạm của một hệ thống. Điều đó liên quan đến quyền truy cập và khả năng kiểm toán, về việc thử nghiệm hệ thống một cách đối kháng, có các đội ngũ hacker mũ trắng hoặc thậm chí là AI kiểm tra các điểm yếu, lỗi và thiên kiến. Đó là về việc xây dựng công nghệ theo một cách hoàn toàn khác, với các công cụ và kỹ thuật chưa tồn tại.

Sự giám sát bên ngoài là rất cần thiết. Hiện tại không có nỗ lực toàn cầu, chính thức hoặc thường xuyên nào để kiểm tra các hệ thống đã triển khai. Không có cơ chế cảnh báo sớm cho các rủi ro công nghệ và không có cách thức đồng nhất hoặc nghiêm ngặt nào để biết liệu chúng có tuân thủ các quy định hay thậm chí tuân theo các tiêu chuẩn đã được đồng thuận hay không. Không có cả các tổ chức, các đánh giá tiêu chuẩn hóa hay các công cụ cần thiết. Do đó, như một điểm khởi đầu, việc có các công ty và nhà nghiên cứu làm việc ở rìa công nghệ, nơi có nguy cơ thực sự gây hại, chủ động hợp tác với các chuyên gia đáng tin cậy trong các cuộc kiểm toán do chính phủ dẫn dắt về công việc của họ, là điều hợp lý cơ bản. Nếu có bất kỳ cơ quan nào như vậy tồn tại, tôi sẽ vui vẻ hợp tác với nó tại Inflection.

Vài năm trước, tôi đã đồng sáng lập một tổ chức liên ngành và xã hội dân sự có tên là Đối tác về AI để giúp thực hiện công việc này. Chúng tôi đã ra mắt tổ chức với sự hỗ trợ của tất cả các công ty công nghệ lớn, bao gồm DeepMind, Google, Facebook, Apple, Microsoft, IBM và OpenAI, cùng với nhiều nhóm xã hội dân sự chuyên gia, bao gồm ACLU, EFF, Oxfam, UNDP và hai mươi tổ chức khác. Ngay sau đó, nó đã khởi động một Cơ sở Dữ liệu Sự cố AI, được thiết kế để báo cáo bí mật về các sự kiện an toàn nhằm chia sẻ bài học với các nhà phát triển khác. Hiện tại, nó đã thu thập được hơn một nghìn hai trăm báo cáo. Với hơn một trăm đối tác từ các nhóm phi lợi nhuận, học thuật và truyền thông, đối tác này cung cấp những cửa sổ trung lập, quan trọng cho thảo luận và hợp tác liên ngành. Có khả năng cho nhiều tổ chức như vậy hơn nữa, và các chương trình kiểm toán bên trong chúng.

Một ví dụ thú vị khác là “đội đỏ” - tức là chủ động tìm kiếm các lỗi trong các mô hình AI hoặc hệ thống phần mềm. Điều này có nghĩa là tấn công các hệ thống của bạn theo những cách có kiểm soát để kiểm tra các điểm yếu và các chế độ thất bại khác. Những vấn đề được nêu ra hôm nay có khả năng sẽ được phóng đại trong tương lai, vì vậy việc hiểu chúng cho phép xây dựng các biện pháp bảo vệ khi các hệ thống trở nên mạnh mẽ hơn. Càng thực hiện điều này công khai và tập thể, càng tốt, cho phép tất cả các nhà phát triển học hỏi lẫn nhau. Một lần nữa, đã đến lúc tất cả các công ty công nghệ lớn chủ động hợp tác ở đây, nhanh chóng chia sẻ những hiểu biết về các rủi ro mới, giống như ngành an ninh mạng đã lâu nay chia sẻ kiến thức về các cuộc tấn công zero-day mới.

Cũng đã đến lúc tạo ra các đội đỏ được tài trợ bởi chính phủ, những đội này sẽ tấn công và kiểm tra căng thẳng mọi hệ thống một cách nghiêm ngặt, đảm bảo rằng những hiểu biết được phát hiện trong quá trình này được chia sẻ rộng rãi trong ngành. Cuối cùng, công việc này có thể được mở rộng và tự động hóa, với các hệ thống AI được công khai yêu cầu thiết kế đặc biệt để kiểm toán và phát hiện vấn đề ở những hệ thống khác, đồng thời cũng cho phép chính mình được kiểm toán.

Các hệ thống được triển khai để theo dõi công nghệ mới cần nhận diện các bất thường, những bước nhảy vọt không lường trước được trong khả năng, và các chế độ thất bại ẩn. Chúng phải phát hiện các cuộc tấn công Trojan trông có vẻ hợp pháp nhưng ẩn chứa những bất ngờ không mong muốn. Để làm được điều này, chúng sẽ phải giám sát một loạt các chỉ số mà không rơi vào cái bẫy hấp dẫn của panopticon. Việc theo dõi chặt chẽ các tập dữ liệu quan trọng được sử dụng để đào tạo các mô hình, đặc biệt là các tập dữ liệu mã nguồn mở, bibliometrics từ nghiên cứu, và các sự cố có hại công khai sẽ là một điểm khởi đầu hiệu quả và không xâm phạm. Các API cho phép người khác sử dụng các dịch vụ AI cơ bản không nên được mở một cách mù quáng, mà nên đi kèm với các kiểm tra “biết khách hàng của bạn”, giống như, chẳng hạn, một phần của ngành ngân hàng.

Về mặt kỹ thuật, có khả năng cho các cơ chế giám sát có mục tiêu, điều mà một số nhà nghiên cứu đã gọi là “giám sát có thể mở rộng” của “các hệ thống có khả năng vượt trội hơn chúng ta về hầu hết các kỹ năng liên quan đến nhiệm vụ hiện tại.” Đề xuất này liên quan đến việc xác minh toán học tính không gây hại của các thuật toán, yêu cầu các chứng minh nghiêm ngặt từ mô hình rằng các hành động hoặc đầu ra có thể chứng minh được là bị hạn chế. Về cơ bản, các hồ sơ hoạt động được đảm bảo và các giới hạn xung quanh khả năng được tích hợp sẵn. Việc xác minh và xác thực hành vi của một mô hình theo cách này có thể cung cấp một phương tiện khách quan, chính thức để hướng dẫn và theo dõi một hệ thống.

Một ví dụ đầy hứa hẹn về một cơ chế giám sát mới là SecureDNA, một chương trình phi lợi nhuận được khởi xướng bởi một nhóm các nhà khoa học và chuyên gia an ninh. Hiện tại, chỉ một phần nhỏ DNA tổng hợp được kiểm tra để phát hiện các yếu tố có thể nguy hiểm, nhưng một nỗ lực toàn cầu như chương trình SecureDNA nhằm kết nối mọi máy tổng hợp—tại nhà hoặc lớn và xa—vào một hệ thống tập trung, an toàn và mã hóa có thể quét các chuỗi gây bệnh là một khởi đầu tuyệt vời. Nếu mọi người đang in ra các chuỗi có thể gây hại, chúng sẽ được đánh dấu. Dựa trên đám mây, miễn phí, an toàn về mặt mật mã, nó cập nhật theo thời gian thực.

Việc sàng lọc tất cả các quá trình tổng hợp DNA sẽ là một hoạt động giảm thiểu rủi ro sinh học lớn và theo quan điểm của tôi, sẽ không hạn chế quá mức các quyền tự do dân sự. Điều này sẽ không ngăn chặn được thị trường chợ đen trong dài hạn, nhưng việc xây dựng các máy tổng hợp không tuân thủ hoặc hack một hệ thống hiện có sẽ tạo ra một rào cản không nhỏ. Việc kiểm tra trước quá trình tổng hợp DNA hoặc dữ liệu đầu vào cho các mô hình AI sẽ giúp thực hiện các cuộc kiểm toán trước khi các hệ thống được triển khai, giảm thiểu rủi ro.

Hiện nay, các phương pháp giám sát sự xuất hiện của các công nghệ mới, hoặc việc lạm dụng chúng bởi các quốc gia thù địch và các tác nhân khác, khác nhau trên toàn cầu. Đó là một bức tranh không đồng đều: một sự pha trộn giữa thông tin nguồn mở thường không minh bạch, nghiên cứu học thuật và, trong một số trường hợp, giám sát bí mật. Đây là một mảnh đất pháp lý và chính trị đầy rủi ro, nơi các ngưỡng xâm nhập rất khác nhau và, trong trường hợp xấu nhất, được che giấu một cách cố ý. Chúng ta có thể làm tốt hơn. Sự minh bạch không thể là tùy chọn. Phải có một lộ trình pháp lý rõ ràng để kiểm tra bất kỳ công nghệ mới nào dưới nắp, trong mã, trong phòng thí nghiệm, trong nhà máy, hoặc ngoài thực địa.

Hầu hết điều này nên được thực hiện một cách tự nguyện, hợp tác với các nhà sản xuất công nghệ. Nếu không thể thực hiện theo cách đó, luật pháp phải buộc phải hợp tác. Và nếu điều đó không hiệu quả, có thể xem xét các phương pháp thay thế, chẳng hạn như phát triển các biện pháp bảo vệ kỹ thuật—bao gồm trong một số trường hợp là các cửa hậu mã hóa—để cung cấp một hệ thống truy cập có thể xác minh được kiểm soát bởi tư pháp hoặc một cơ quan độc lập được công nhận công khai tương đương.

Khi một trường hợp được đưa ra để truy cập bất kỳ hệ thống công cộng hoặc tư nhân nào bởi cơ quan thực thi pháp luật hoặc các nhà quản lý, điều này sẽ được quyết định dựa trên các yếu tố của trường hợp. Tương tự, các sổ cái mã hóa ghi lại bất kỳ việc sao chép hoặc chia sẻ một mô hình, hệ thống hoặc kiến thức nào sẽ giúp theo dõi sự phát triển và sử dụng của nó. Việc kết hợp các cơ chế kiểm soát xã hội và công nghệ như thế này là rất quan trọng. Các chi tiết cần nghiên cứu mới và tranh luận công khai. Chúng ta sẽ cần tìm một sự cân bằng mới, an toàn và khó bị lạm dụng giữa giám sát và an toàn, phù hợp với làn sóng sắp tới.

Các luật và hiệp ước cùng với các giải pháp kỹ thuật xuất sắc đều rất tốt. Nhưng chúng vẫn cần được điều chỉnh và kiểm tra, và làm như vậy mà không phải resort đến các biện pháp kiểm soát hà khắc. Xây dựng các công nghệ như những sáng kiến này không hề nhàm chán; đó là một trong những thách thức kỹ thuật và xã hội kích thích nhất của thế kỷ hai mươi mốt. Việc thiết lập cả các tính năng an toàn kỹ thuật và các biện pháp kiểm toán là rất quan trọng, nhưng điều đó cần một thứ mà chúng ta không có. Thời gian.

3. ĐIỂM NGHẸT: MUA THỜI GIAN

Tập Cận Bình lo lắng. “Chúng tôi phụ thuộc vào việc nhập khẩu một số thiết bị, linh kiện và nguyên liệu quan trọng,” tổng thống Trung Quốc nói với một nhóm các nhà khoa học của đất nước vào tháng 9 năm 2020. Đáng lo ngại, “các công nghệ then chốt và cốt lõi” mà ông tin là rất quan trọng cho tương lai và an ninh địa chính trị của Trung Quốc đang “bị kiểm soát bởi người khác.” Thực tế, Trung Quốc chi nhiều hơn cho việc nhập khẩu chip so với chi cho dầu mỏ. Không có gì công khai làm rung chuyển lãnh đạo Trung Quốc, nhưng khi đã gắn chiến lược dài hạn của mình vào việc thống trị làn sóng sắp tới, họ đã thừa nhận một điểm yếu nghiêm trọng.

Một vài năm trước, một tờ báo do chính phủ điều hành đã sử dụng một hình ảnh sinh động hơn để mô tả cùng một vấn đề: công nghệ Trung Quốc, theo như họ nói, bị giới hạn bởi một loạt các "điểm nghẽn." Nếu ai đó gây áp lực lên những điểm nghẽn đó, thì hàm ý là rất rõ ràng.

Nỗi sợ của Tập Cận Bình đã trở thành hiện thực vào ngày 7 tháng 10 năm 2022. Mỹ tuyên chiến với Trung Quốc, tấn công một trong những điểm nghẹt thở đó. Điều này không liên quan đến tên lửa bắn qua eo biển Đài Loan. Không có lệnh phong tỏa hải quân ở Biển Đông hay lính thủy đánh bộ đổ bộ vào bờ biển Phúc Kiến. Thay vào đó, nó đến từ một nguồn không ngờ: Bộ Thương mại. Những cú bắn được thực hiện là các biện pháp kiểm soát xuất khẩu đối với các vi mạch tiên tiến, những con chip hỗ trợ cho tính toán và do đó là trí tuệ nhân tạo.

Các quy định xuất khẩu mới đã khiến việc bán các chip máy tính hiệu suất cao cho Trung Quốc trở thành bất hợp pháp đối với các công ty Mỹ và bất kỳ công ty nào chia sẻ công cụ sản xuất các chip này, hoặc cung cấp kiến thức để sửa chữa các chip hiện có. Các vi mạch tiên tiến nhất (thường liên quan đến các quy trình dưới mười bốn nanomet, tức là mười bốn phần tỷ mét, khoảng cách đại diện cho chỉ vài chục nguyên tử) - bao gồm IP, thiết bị sản xuất, linh kiện, thiết kế, phần mềm, dịch vụ - để sử dụng trong các lĩnh vực như trí tuệ nhân tạo và siêu máy tính hiện đang phải chịu sự cấp phép nghiêm ngặt. Các công ty chip hàng đầu của Mỹ như NVIDIA và AMD không còn có thể cung cấp cho khách hàng Trung Quốc các phương tiện và kiến thức để sản xuất các chip tiên tiến nhất thế giới. Các công dân Mỹ làm việc trong lĩnh vực vi mạch với các công ty Trung Quốc đang phải đối mặt với một sự lựa chọn: giữ công việc của họ và mất quyền công dân Mỹ, hoặc ngay lập tức từ bỏ.

Đó là một cú sốc bất ngờ, được thiết kế để tiêu diệt sự kiểm soát của Trung Quốc đối với yếu tố quan trọng nhất trong công nghệ thế kỷ hai mươi mốt. Đây không chỉ là một tranh chấp thương mại bí ẩn. Tuyên bố này như một tiếng còi báo động lớn ở Zhongnanhai, khu vực lãnh đạo của Trung Quốc, ngay khi Đại hội Đảng Cộng sản thực sự cài đặt Tập Cận Bình làm người cai trị suốt đời. Một giám đốc công nghệ, phát biểu ẩn danh, đã phác thảo phạm vi của động thái này: “Họ không chỉ nhắm vào các ứng dụng quân sự, họ đang cố gắng ngăn chặn sự phát triển của sức mạnh công nghệ của Trung Quốc bằng mọi cách.”

Trong ngắn hạn đến trung hạn, sự đồng thuận là điều này sẽ gây tổn hại. Những thách thức trong việc xây dựng cơ sở hạ tầng này là rất lớn, đặc biệt là trong các máy móc và kỹ thuật tinh vi sản xuất ra các chip tiên tiến nhất thế giới, một lĩnh vực mà Trung Quốc đang tụt lại phía sau. Tuy nhiên, trong dài hạn, điều đó có lẽ sẽ không ngăn cản được họ. Thay vào đó, nó đang thúc đẩy một con đường khó khăn và tốn kém nhưng vẫn khả thi hướng tới năng lực bán dẫn trong nước. Nếu cần hàng trăm tỷ đô la (và điều đó sẽ xảy ra), họ sẽ chi tiêu.

Các công ty Trung Quốc đã tìm ra cách để vượt qua các biện pháp kiểm soát, sử dụng mạng lưới các công ty vỏ bọc và công ty đại diện cũng như dịch vụ điện toán đám mây ở các quốc gia thứ ba. NVIDIA, nhà sản xuất chip AI tiên tiến nhất thế giới của Mỹ, gần đây đã điều chỉnh ngược lại các chip tiên tiến nhất của mình để lách các lệnh trừng phạt. Tuy nhiên, điều này cho chúng ta thấy một điều quan trọng: ít nhất có một đòn bẩy không thể phủ nhận. Cơn sóng có thể bị chậm lại, ít nhất là trong một khoảng thời gian và ở một số lĩnh vực.

Mua thời gian trong kỷ nguyên siêu tiến hóa là vô giá. Thời gian để phát triển thêm các chiến lược kiềm chế. Thời gian để xây dựng các biện pháp an toàn bổ sung. Thời gian để kiểm tra công tắc tắt. Thời gian để xây dựng các công nghệ phòng thủ cải tiến. Thời gian để củng cố quốc gia, quản lý tốt hơn, hoặc thậm chí chỉ để thông qua dự luật đó. Thời gian để kết nối các liên minh quốc tế.

Hiện tại, công nghệ được thúc đẩy bởi sức mạnh của các động lực hơn là tốc độ kiểm soát. Các biện pháp kiểm soát xuất khẩu như chiến lược bán dẫn của Hoa Kỳ có nhiều hệ quả không chắc chắn đối với cạnh tranh giữa các cường quốc, cuộc chạy đua vũ trang và tương lai, nhưng hầu như mọi người đều đồng ý về một điều: điều này sẽ làm chậm lại ít nhất một số phát triển công nghệ ở Trung Quốc, và do đó là trên toàn thế giới.

Lịch sử gần đây cho thấy rằng mặc dù công nghệ đã lan rộng toàn cầu, nhưng nó vẫn dựa vào một vài trung tâm R&D và thương mại hóa quan trọng: các điểm nghẽn. Hãy xem xét những điểm tập trung đáng chú ý này: Xerox và Apple cho giao diện, chẳng hạn, hoặc DARPA và MIT, hoặc Genentech, Monsanto, Stanford và UCSF cho kỹ thuật di truyền. Thật đáng ngạc nhiên khi di sản này chỉ từ từ biến mất.

Trong lĩnh vực AI, phần lớn các GPU tiên tiến nhất cần thiết cho các mô hình mới nhất được thiết kế bởi một công ty, công ty Mỹ NVIDIA. Hầu hết các chip của nó được sản xuất bởi một công ty, TSMC, ở Đài Loan, nơi tiên tiến nhất chỉ trong một tòa nhà, nhà máy tinh vi và đắt đỏ nhất thế giới. Máy móc của TSMC để sản xuất các chip này đến từ một nhà cung cấp duy nhất, công ty Hà Lan ASML, công ty công nghệ có giá trị và quan trọng nhất châu Âu. Các máy của ASML, sử dụng một kỹ thuật được gọi là lithography cực tím cực đoan và sản xuất chip với độ chính xác nguyên tử đáng kinh ngạc, là một trong những hàng hóa sản xuất phức tạp nhất trong lịch sử. Ba công ty này có quyền kiểm soát chặt chẽ đối với các chip tiên tiến, một công nghệ bị hạn chế về mặt vật lý đến mức một ước tính cho rằng chúng có thể tốn tới 10 tỷ USD mỗi kilogram.

Chips không phải là điểm nghẽn duy nhất. Điện toán đám mây quy mô công nghiệp cũng bị chi phối bởi sáu công ty lớn. Hiện tại, AGI được theo đuổi một cách thực tế bởi một số nhóm có nguồn lực tốt, nổi bật nhất là DeepMind và OpenAI. Lưu lượng dữ liệu toàn cầu di chuyển qua một số lượng hạn chế các cáp quang được tập trung ở những điểm nghẽn chính (ví dụ như ngoài khơi phía tây nam nước Anh hoặc Singapore). Một sự khan hiếm về các nguyên tố đất hiếm như cobalt, niobium và tungsten có thể làm sụp đổ toàn bộ các ngành công nghiệp. Khoảng 80% quartz chất lượng cao cần thiết cho những thứ như tấm pin quang điện và chip silicon đến từ một mỏ duy nhất ở Bắc Carolina. Các máy tổng hợp DNA và máy tính lượng tử không phải là hàng hóa tiêu dùng phổ biến. Kỹ năng cũng là một điểm nghẽn: số lượng người làm việc trên tất cả các công nghệ tiên tiến được thảo luận trong cuốn sách này có lẽ không quá 150.000.

Vì vậy, khi các tác động tiêu cực trở nên rõ ràng, chúng ta phải sử dụng những điểm nghẽn này để tạo ra các yếu tố giới hạn tỷ lệ hợp lý, kiểm tra tốc độ phát triển, nhằm đảm bảo rằng lý trí được thực hiện nhanh chóng như sự tiến bộ của khoa học. Trong thực tế, các điểm nghẽn không chỉ nên áp dụng cho Trung Quốc; chúng có thể được áp dụng rộng rãi để điều chỉnh tốc độ phát triển hoặc triển khai. Các biện pháp kiểm soát xuất khẩu không chỉ là một chiến lược địa chính trị mà còn là một thí nghiệm thực tế, một bản đồ khả thi cho cách công nghệ có thể được kiểm soát nhưng không bị bóp nghẹt hoàn toàn. Cuối cùng, tất cả những công nghệ này sẽ được phổ biến rộng rãi. Trước đó, năm năm tới đây là vô cùng quan trọng, một khoảng thời gian chặt chẽ khi một số điểm áp lực vẫn có thể làm chậm công nghệ. Khi lựa chọn còn đó, hãy nắm bắt và mua thêm thời gian.

4. NHÀ SẢN XUẤT: CÁC NHÀ PH крIT NÊN XÂY DỰNG NÓ

Thực tế rằng các động lực của công nghệ là không thể ngăn cản không có nghĩa là những người xây dựng nó không phải chịu trách nhiệm cho những gì họ tạo ra. Ngược lại, họ, chúng ta, tôi, có; trách nhiệm là rất rõ ràng. Không ai bị buộc phải thử nghiệm với việc chỉnh sửa gen hoặc xây dựng các mô hình ngôn ngữ lớn. Sự lan rộng và phát triển không thể tránh khỏi của công nghệ không phải là một thẻ thoát khỏi tù, một giấy phép để xây dựng những gì bạn muốn và xem điều gì xảy ra. Chúng là một lời nhắc nhở mạnh mẽ về sự cần thiết phải làm đúng và những hậu quả khủng khiếp của việc không làm như vậy.

Hơn bất kỳ ai khác, những người làm việc trong lĩnh vực công nghệ cần phải tích cực làm việc để giải quyết những vấn đề được mô tả trong cuốn sách này. Gánh nặng chứng minh và gánh nặng giải pháp nằm trên vai họ, trên vai chúng ta. Mọi người thường hỏi tôi, với tất cả những điều này, tại sao lại làm việc trong lĩnh vực AI và xây dựng các công ty và công cụ AI? Ngoài những đóng góp tích cực to lớn mà họ có thể mang lại, câu trả lời của tôi là tôi không chỉ muốn nói về và tranh luận về việc kiềm chế. Tôi muốn chủ động giúp biến điều đó thành hiện thực, đi trước một bước, trước nơi công nghệ đang phát triển. Việc kiềm chế cần những nhà công nghệ hoàn toàn tập trung vào việc biến nó thành hiện thực.

Các nhà phê bình công nghệ cũng đóng một vai trò quan trọng ở đây. Đứng bên lề và la hét, tức giận trên Twitter, và viết những bài báo dài và khó hiểu phác thảo các vấn đề đều rất tốt. Nhưng những hành động như vậy sẽ không ngăn chặn làn sóng sắp tới, và thực tế là chúng cũng sẽ không thay đổi nó một cách đáng kể. Khi tôi lần đầu tiên bắt đầu làm việc chuyên nghiệp, cái nhìn bên ngoài về công nghệ gần như hoàn toàn tốt đẹp, thậm chí còn say mê. Đây là những công ty tuyệt vời, thân thiện đang xây dựng một tương lai rực rỡ. Điều đó đã thay đổi. Tuy nhiên, khi tiếng nói phê bình ngày càng lớn hơn, thật đáng chú ý là thành công của họ lại rất ít ỏi và hiếm hoi.

Theo cách riêng của họ, những người chỉ trích công nghệ rơi vào một dạng bẫy tránh né sự bi quan mà đã được lập trình sẵn trong giới tinh hoa công nghệchính trịkinh doanh. Nhiều người chế nhạo những nhà công nghệ lạc quan thái quá vẫn tiếp tục viết các khung giám sát lý thuyết hoặc các bài bình luận kêu gọi quy định. Nếu bạn tin rằng công nghệ là quan trọng và mạnh mẽ, và bạn theo dõi những hệ quả của những chỉ trích này, thì những phản ứng như vậy rõ ràng là không đủ. Thậm chí, những người chỉ trích cũng lẩn tránh thực tế đúng trước mắt họ. Thật vậy, đôi khi những chỉ trích ồn ào chỉ trở thành một phần của cùng một chu kỳ thổi phồng như chính công nghệ.

Các nhà phê bình đáng tin cậy phải là những người thực hành. Xây dựng công nghệ đúng đắn, có phương tiện thực tiễn để thay đổi hướng đi của nó, không chỉ quan sát và bình luận, mà còn chủ động chỉ ra con đường, thực hiện sự thay đổi, thực hiện các hành động cần thiết từ nguồn gốc, có nghĩa là các nhà phê bình cần phải tham gia. Họ không thể đứng bên lề mà la hét. Điều này không phải là một lập luận chống lại các nhà phê bình, mà hoàn toàn ngược lại. Đây là sự công nhận rằng công nghệ rất cần các nhà phê bình—ở mọi cấp độ nhưng đặc biệt là ở tuyến đầu, xây dựng và tạo ra, vật lộn với thực tế hàng ngày cụ thể của việc sáng tạo. Nếu bạn đang đọc điều này và có quan điểm phê bình, thì có một phản ứng rõ ràng: hãy tham gia.

Tôi hoàn toàn thừa nhận rằng điều này không tạo ra một cuộc sống dễ dàng. Không có chỗ nào thoải mái ở đây. Thật không thể không nhận ra một số nghịch lý. Điều đó có nghĩa là những người như tôi phải đối mặt với triển vọng rằng bên cạnh việc cố gắng xây dựng các công cụ tích cực và ngăn chặn những kết quả xấu, chúng tôi có thể vô tình thúc đẩy chính những điều mà chúng tôi đang cố gắng tránh, giống như các nhà nghiên cứu tăng cường chức năng với các thí nghiệm virus của họ. Các công nghệ tôi phát triển có thể gây ra một số tác hại. Tôi sẽ cá nhân tiếp tục mắc sai lầm, bất chấp những nỗ lực tốt nhất của tôi để học hỏi và cải thiện. Tôi đã vật lộn với điểm này trong nhiều năm—giữ lại hay tham gia? Càng gần với trái tim của một công nghệ, bạn càng có thể ảnh hưởng đến kết quả, định hướng nó theo những hướng tích cực hơn và chặn các ứng dụng có hại. Nhưng điều này cũng có nghĩa là trở thành một phần của những gì làm cho nó trở thành hiện thực—cho tất cả những điều tốt đẹp và cho tất cả những tác hại mà nó có thể gây ra.

Tôi không có tất cả các câu trả lời. Tôi liên tục đặt câu hỏi về những lựa chọn của mình. Nhưng lựa chọn duy nhất khác là từ bỏ hoàn toàn nhiệm vụ xây dựng. Các nhà công nghệ không thể là những kiến trúc sư xa cách, không kết nối của tương lai, chỉ lắng nghe chính mình. Nếu không có những nhà phê bình bên ngoài và bên trong, tình huống sẽ lao về phía chúng ta một cách không thể tránh khỏi. Với họ, có khả năng tốt hơn để xây dựng công nghệ không làm tổn hại thêm đến quốc gia, ít có khả năng xảy ra các thất bại thảm khốc, không giúp tăng khả năng của các chế độ độc tài dystopia. Mười năm trước, ngành công nghệ cũng đơn văn hóa, theo mọi nghĩa của từ này. Điều đó đã bắt đầu thay đổi, và hiện nay có nhiều sự đa dạng trí tuệ hơn bao giờ hết, bao gồm nhiều tiếng nói phê bình, đạo đức và nhân văn hơn trong chính quá trình phát triển.

Khi tôi đồng sáng lập DeepMind, việc xây dựng các mối quan tâm về an toàn và đạo đức vào cốt lõi của một công ty công nghệ cảm thấy mới mẻ. Chỉ cần sử dụng từ "đạo đức" trong bối cảnh này đã khiến tôi nhận được những ánh nhìn kỳ lạ; hôm nay, ngược lại, nó đang có nguy cơ trở thành một từ thông dụng khác. Tuy nhiên, điều này đã dẫn đến sự thay đổi thực sự, mở ra những cơ hội có ý nghĩa cho cuộc thảo luận và tranh luận. Đáng khích lệ, nghiên cứu về AI đạo đức đã bùng nổ - tăng gấp năm lần số lượng công bố kể từ năm 2014. Về phía ngành công nghiệp, sự tăng trưởng này thậm chí còn nhanh hơn; nghiên cứu AI đạo đức có liên kết với ngành công nghiệp tăng 70% hàng năm. Trước đây, sẽ thật kỳ lạ khi tìm thấy các triết gia đạo đức, nhà khoa học chính trị và nhà nhân học văn hóa làm việc trong lĩnh vực công nghệ, nhưng giờ đây thì ít hơn. Tuy nhiên, những thiếu sót lớn trong việc đưa các quan điểm không kỹ thuật và những tiếng nói đa dạng vào cuộc thảo luận vẫn còn quá phổ biến: công nghệ bị kiểm soát là một dự án yêu cầu tất cả các loại kỷ luật và quan điểm. Việc chủ động tuyển dụng theo hướng đó là điều cần thiết.

Trong một thế giới đầy những động lực ăn sâu và quy định thất bại, công nghệ cần những nhà phê bình không chỉ ở bên ngoài mà còn ở chính trái tim của nó.

5. DOANH NGHIỆP: LỢI NHUẬN + MỤC ĐÍCH

Lợi nhuận thúc đẩy làn sóng sắp tới. Không có con đường nào đến sự an toàn mà không công nhận và đối mặt với thực tế này. Khi nói đến các công nghệ theo cấp số nhân như AI và sinh học tổng hợp, chúng ta phải tìm ra các mô hình thương mại mới có trách nhiệm và bao trùm, khuyến khích cả sự an toàn và lợi nhuận. Nên có khả năng tạo ra các công ty được điều chỉnh tốt hơn để chứa đựng công nghệ theo mặc định. Tôi và những người khác đã lâu nay thử nghiệm với thách thức này, nhưng cho đến nay, kết quả vẫn còn hỗn hợp.

Các tập đoàn truyền thống có một mục tiêu duy nhất, rõ ràng: lợi nhuận cho cổ đông. Phần lớn, điều này có nghĩa là phát triển không bị cản trở các công nghệ mới. Mặc dù đây đã là một động lực mạnh mẽ cho sự tiến bộ trong lịch sử, nhưng nó không phù hợp để kiềm chế làn sóng sắp tới. Tôi tin rằng việc tìm ra cách hòa giải lợi nhuận và mục đích xã hội trong các cấu trúc tổ chức lai là cách tốt nhất để điều hướng những thách thức phía trước, nhưng thực hiện điều đó trong thực tế là vô cùng khó khăn.

Từ những ngày đầu của DeepMind, điều quan trọng đối với tôi là chúng tôi phải tính đến các mô hình quản trị tương đương với mục tiêu cuối cùng của mình. Khi chúng tôi được Google mua lại vào năm 2014, tôi đã thiết kế một "hội đồng đạo đức và an toàn" để giám sát các công nghệ của chúng tôi, và chúng tôi đã đặt điều này làm điều kiện của việc mua lại. Ngay cả vào thời điểm đó, chúng tôi đã nhận ra rằng nếu chúng tôi muốn thành công trong việc đạt được sứ mệnh xây dựng AGI thực sự, điều đó sẽ giải phóng một sức mạnh vượt xa những gì có thể hợp lý được sở hữu và kiểm soát bởi một công ty đơn lẻ. Chúng tôi muốn đảm bảo rằng Google hiểu điều này và thiết lập một cam kết để mở rộng quản trị của chúng tôi ra ngoài những người công nghệ. Cuối cùng, tôi muốn tạo ra một diễn đàn toàn cầu, đa bên để quyết định những gì sẽ xảy ra với AGI khi hoặc nếu nó được đạt được, một loại viện dân chủ toàn cầu cho AI. Công nghệ càng mạnh mẽ, theo tôi, thì việc có nhiều quan điểm kiểm soát và tiếp cận nó càng quan trọng.

Sau khi được Google mua lại, tôi và các đồng sáng lập đã dành nhiều năm để cố gắng xây dựng một bản hiến chương đạo đức vào cấu trúc pháp lý của công ty, liên tục tranh luận về việc bao nhiêu phần của bản hiến chương này có thể công khai, bao nhiêu phần công việc của DeepMind có thể tiếp tục chịu sự giám sát và kiểm tra độc lập. Mục tiêu của chúng tôi trong những cuộc thảo luận này luôn là đảm bảo rằng công nghệ chưa từng có được đi kèm với quản trị chưa từng có. Đề xuất của chúng tôi là tách DeepMind ra thành một hình thức mới của "công ty vì lợi ích toàn cầu", với một hội đồng quản trị hoàn toàn độc lập tách biệt và bổ sung cho hội đồng quản trị được giao nhiệm vụ điều hành công ty. Thành viên, quy trình ra quyết định, và thậm chí một số lý do của hội đồng sẽ công khai hơn. Minh bạch, trách nhiệm, đạo đức—đây sẽ không chỉ là PR doanh nghiệp mà còn là nền tảng, có tính ràng buộc pháp lý, và được xây dựng vào mọi hoạt động của công ty. Chúng tôi cảm thấy điều này sẽ cho phép chúng tôi làm việc một cách cởi mở, chủ động học hỏi cách các công ty có thể trở thành những người quản lý bền vững và hiện đại lâu dài của các công nghệ gia tăng.

Chúng tôi đã thiết lập một cách hợp lý để lợi nhuận từ AI có thể được tái đầu tư vào một sứ mệnh đạo đức và xã hội. Công ty tách ra sẽ là “công ty trách nhiệm hữu hạn,” không có cổ đông nhưng có nghĩa vụ cung cấp cho Alphabet, nhà tài trợ chính, một giấy phép công nghệ độc quyền. Là một phần của sứ mệnh xã hội và khoa học, DeepMind sẽ sử dụng một phần lớn lợi nhuận của mình để làm việc trên các công nghệ phục vụ công cộng có thể chỉ có giá trị trong nhiều năm tới: những thứ như thu giữ và lưu trữ carbon, làm sạch đại dương, robot ăn nhựa, hoặc phản ứng tổng hợp hạt nhân. Thỏa thuận là chúng tôi sẽ có thể công khai một số đột phá lớn của mình, giống như một phòng thí nghiệm học thuật. Tài sản trí tuệ cốt lõi cho hoạt động tìm kiếm của Google sẽ vẫn thuộc về Google, nhưng phần còn lại sẽ có sẵn cho chúng tôi để thúc đẩy sứ mệnh xã hội của DeepMind, làm việc trên các loại thuốc mới, chăm sóc sức khỏe tốt hơn, biến đổi khí hậu, và nhiều thứ khác. Điều này có nghĩa là các nhà đầu tư có thể được thưởng, nhưng cũng đảm bảo rằng mục đích xã hội nằm trong DNA pháp lý của công ty.

Nhìn lại, đó chỉ là quá nhiều đối với Google vào thời điểm đó. Các luật sư đã được thuê, nhiều năm đàm phán căng thẳng đã diễn ra, nhưng dường như không có cách nào để giải quyết vấn đề. Cuối cùng, chúng tôi không thể tìm ra câu trả lời nào có thể làm hài lòng tất cả mọi người. DeepMind tiếp tục hoạt động như một đơn vị bình thường trong Google mà không có sự độc lập pháp lý chính thức, chỉ hoạt động như một thương hiệu riêng biệt. Đó là một bài học cơ bản đối với tôi: chủ nghĩa tư bản cổ đông hoạt động vì nó đơn giản và rõ ràng, và các mô hình quản trị cũng có xu hướng quay về với sự đơn giản và rõ ràng. Trong mô hình cổ đông, các đường dây trách nhiệm và theo dõi hiệu suất được định lượng và rất minh bạch. Có thể thiết kế các cấu trúc hiện đại hơn về lý thuyết, nhưng việc vận hành chúng trong thực tế lại là một câu chuyện khác.

Trong thời gian làm việc tại Google, tôi đã tiếp tục tham gia vào các nỗ lực thử nghiệm để tạo ra các cấu trúc quản trị đổi mới. Tôi đã soạn thảo các Nguyên tắc AI của Google và là một phần của nhóm đã ra mắt hội đồng tư vấn đạo đức AI, bao gồm các chuyên gia độc lập nổi tiếng trong lĩnh vực pháp lý, công nghệ và đạo đức. Mục tiêu của cả hai là thực hiện những bước đầu tiên hướng tới việc thiết lập một hiến chương về cách Google xử lý các công nghệ tiên tiến như AI và điện toán lượng tử. Tham vọng của chúng tôi là mời một nhóm đa dạng các bên liên quan bên ngoài để có quyền truy cập đặc biệt vào ranh giới kỹ thuật, đưa ra phản hồi và cung cấp những quan điểm bên ngoài rất cần thiết từ những người xa rời sự phấn khích và lạc quan trong việc xây dựng các công nghệ mới.

Tuy nhiên, hội đồng đã tan rã chỉ vài ngày sau khi được công bố. Một số nhân viên tại Google đã phản đối việc bổ nhiệm Kay Coles James, chủ tịch của Quỹ Di sản, một tổ chức tư vấn bảo thủ có trụ sở tại Washington. Bà đã được bổ nhiệm cùng với một loạt các nhân vật từ cánh tả và trung tâm, nhưng một chiến dịch đã nhanh chóng được phát động bên trong Google để loại bỏ bà. Hình thành một liên minh với các nhân viên Twitter, các nhà hoạt động đã chỉ ra rằng bà đã có một số phát ngôn chống lại người chuyển giới và LGBTQ trong nhiều năm qua, bao gồm cả việc gần đây nhất bà đã lập luận, “Nếu họ có thể thay đổi định nghĩa về phụ nữ để bao gồm cả nam giới, họ có thể xóa bỏ những nỗ lực nhằm trao quyền cho phụ nữ về mặt kinh tế, xã hội và chính trị.” Mặc dù tôi cá nhân không đồng ý với những phát ngôn và quan điểm chính trị của bà, tôi đã bảo vệ sự lựa chọn của chúng tôi khi mời bà tham gia hội đồng, lập luận rằng toàn bộ các giá trị và quan điểm đều xứng đáng được lắng nghe. Sau cùng, Google là một công ty toàn cầu với người dùng toàn cầu, một số trong số họ có thể chia sẻ quan điểm này.

Nhiều nhân viên Google và các nhà hoạt động bên ngoài không đồng ý và chỉ trong vài ngày sau thông báo đã công bố một bức thư ngỏ yêu cầu James rời khỏi hội đồng. Nhân viên và những người khác đã tích cực vận động các khuôn viên đại học để cắt giảm tài trợ học thuật từ các thành viên hội đồng khác từ chối từ chức, lập luận rằng sự tham gia liên tục của họ chỉ có thể được hiểu là đồng tình với sự kỳ thị người chuyển giới. Cuối cùng, ba thành viên đã từ chức, và nỗ lực này đã bị hủy bỏ hoàn toàn trong chưa đầy một tuần. Bầu không khí chính trị, thật không may, đã quá sức đối với cả những nhân vật công chúng và một công ty công khai.

Một lần nữa, những nỗ lực của tôi để suy nghĩ lại về nhiệm vụ của công ty đã thất bại, ngay cả khi chúng kích thích cuộc trò chuyện và giúp đưa một số cuộc thảo luận khó khăn lên bàn, cả tại Alphabet và trong các vòng chính sách, học thuật và ngành công nghiệp rộng hơn. Các đội nào và nghiên cứu nào được tài trợ, cách sản phẩm được thử nghiệm, các kiểm soát và đánh giá nội bộ nào được thực hiện, mức độ giám sát bên ngoài nào là phù hợp, những bên liên quan nào cần được bao gồm - các lãnh đạo cấp cao tại Alphabet và những nơi khác đã bắt đầu có những cuộc trò chuyện này một cách thường xuyên.

Trên khắp các công ty công nghệ, những cuộc thảo luận về an toàn AI mà trước đây cảm thấy là vấn đề bên lề giờ đây đang trở thành điều bình thường. Nhu cầu cân bằng lợi nhuận với đóng góp tích cực và an toàn tiên tiến được tất cả các nhóm công nghệ lớn của Mỹ chấp nhận về nguyên tắc. Mặc dù quy mô phần thưởng rất lớn, các doanh nhân, giám đốc điều hành và nhân viên nên tiếp tục thúc đẩy và khám phá các hình thức doanh nghiệp có thể phù hợp hơn với thách thức của việc kiểm soát.

Các thí nghiệm khuyến khích đang được tiến hành. Facebook đã tạo ra Hội đồng Giám sát độc lập của mình—được tuyển dụng từ các cựu thẩm phán, nhà vận động và các học giả chuyên gia để tư vấn về việc quản lý nền tảng. Nó đã nhận được nhiều chỉ trích từ mọi phía và rõ ràng không “giải quyết” vấn đề một mình. Nhưng điều quan trọng là bắt đầu bằng cách khen ngợi nỗ lực này, và khuyến khích Facebook và những người khác tiếp tục thí nghiệm. Một ví dụ khác là phong trào ngày càng tăng của các công ty vì lợi ích công cộng và B Corps, vẫn là các công ty vì lợi nhuận nhưng có sứ mệnh xã hội được ghi vào các mục tiêu được định nghĩa hợp pháp của họ. Các công ty công nghệ có cơ chế kiểm soát mạnh mẽ và các mục tiêu được viết vào như một nghĩa vụ ủy thác là một bước tiếp theo. Có khả năng cao về sự thay đổi tích cực ở đây, với sự phát triển của các cấu trúc công ty thay thế này (hơn mười nghìn công ty hiện đang sử dụng cấu trúc B Corp). Trong khi các mục tiêu kinh tế không phải lúc nào cũng phù hợp tốt với công nghệ được kiểm soát, các hình thức công ty đổi mới làm cho điều đó có khả năng xảy ra hơn. Đây là loại thí nghiệm cần thiết.

Việc kiềm chế cần một thế hệ công ty mới. Nó cần những người sáng lập và những người làm việc trong lĩnh vực công nghệ đóng góp tích cực cho xã hội. Nó cũng cần một điều gì đó khó khăn hơn nhiều. Nó cần chính trị.

6. CHÍNH PHỦ: TỒN TẠI, CẢI CÁCH, QUY ĐỊNH

Các vấn đề công nghệ đòi hỏi các giải pháp công nghệ, như chúng ta đã thấy, nhưng một mình chúng không bao giờ đủ. Chúng ta cũng cần nhà nước để phát triển. Mọi nỗ lực củng cố các nhà nước dân chủ tự do và bảo vệ chúng trước các yếu tố căng thẳng phải được hỗ trợ. Các quốc gia vẫn kiểm soát nhiều yếu tố cơ bản của nền văn minh: luật pháp, nguồn cung tiền, thuế, quân đội, và nhiều thứ khác. Điều đó giúp cho nhiệm vụ phía trước, nơi họ sẽ cần tạo ra và duy trì các hệ thống xã hội kiên cường, mạng lưới phúc lợi, kiến trúc an ninh, và các cơ chế quản trị có khả năng sống sót qua những căng thẳng nghiêm trọng. Nhưng họ cũng cần biết, một cách chi tiết, những gì đang xảy ra: ngay bây giờ họ đang hoạt động trong tình trạng mù mịt giữa cơn bão.

Nhà vật lý Richard Feynman nổi tiếng đã nói: “Những gì tôi không thể tạo ra, tôi không hiểu.” Hôm nay, điều này càng đúng hơn với các chính phủ và công nghệ. Tôi nghĩ rằng chính phủ cần phải tham gia nhiều hơn, quay trở lại xây dựng công nghệ thực sự, thiết lập tiêu chuẩn và nuôi dưỡng khả năng nội bộ. Nó cần phải cạnh tranh để thu hút nhân tài và phần cứng trên thị trường mở. Không có cách nào khác: điều này tốn kém và sẽ đi kèm với những sai lầm lãng phí. Nhưng các chính phủ chủ động sẽ kiểm soát tốt hơn nhiều so với việc chỉ ủy thác dịch vụ và sống dựa vào chuyên môn và công nghệ được sở hữu và vận hành ở nơi khác.

Trách nhiệm được thúc đẩy bởi sự hiểu biết sâu sắc. Quyền sở hữu mang lại quyền kiểm soát. Cả hai đều yêu cầu chính phủ phải tham gia thực tế. Mặc dù ngày nay các công ty đã dẫn đầu, nhưng phần lớn nghiên cứu cơ bản mang tính đầu cơ nhất vẫn được chính phủ tài trợ. Chi tiêu của chính phủ liên bang Hoa Kỳ cho R&D đang ở mức thấp nhất từ trước đến nay so với tổng chi tiêu—chỉ 20 phần trăm—nhưng vẫn đạt tới con số không nhỏ là 179 tỷ USD mỗi năm.

Đây là tin tốt. Đầu tư vào giáo dục và nghiên cứu khoa học công nghệ và hỗ trợ các doanh nghiệp công nghệ trong nước tạo ra một vòng phản hồi tích cực, nơi các chính phủ có một phần lợi ích trực tiếp trong công nghệ tiên tiến, sẵn sàng tận dụng lợi ích và giảm thiểu thiệt hại. Nói một cách đơn giản, với tư cách là một đối tác bình đẳng trong việc tạo ra làn sóng sắp tới, các chính phủ có cơ hội tốt hơn để định hướng nó theo lợi ích công cộng tổng thể. Việc có nhiều chuyên gia kỹ thuật nội bộ hơn, ngay cả với chi phí đáng kể, là khoản chi tiêu hợp lý. Các chính phủ không nên phụ thuộc vào các nhà tư vấn quản lý, nhà thầu hoặc các nhà cung cấp bên thứ ba khác. Nhân viên toàn thời gian, được tôn trọng và được đền bù hợp lý, cạnh tranh với khu vực tư nhân, nên là một phần cốt lõi của giải pháp. Thay vào đó, mức lương khu vực tư nhân có thể gấp mười lần mức lương tương đương trong khu vực công ở các vai trò quan trọng quốc gia: điều này là không bền vững.

Nhiệm vụ đầu tiên của họ nên là theo dõi và hiểu rõ hơn về những phát triển trong công nghệ. Các quốc gia cần hiểu chi tiết, ví dụ, dữ liệu mà dân số của họ cung cấp, cách và nơi nó được sử dụng, và ý nghĩa của nó; các cơ quan quản lý nên có một cảm nhận mạnh mẽ về nghiên cứu mới nhất, ranh giới là gì, nó đang đi đâu, và đất nước của họ có thể tối đa hóa lợi ích như thế nào. Trên hết, họ cần ghi lại tất cả các cách mà công nghệ gây hại—liệt kê mọi sự rò rỉ từ phòng thí nghiệm, mọi cuộc tấn công mạng, mọi thiên lệch mô hình ngôn ngữ, mọi vi phạm quyền riêng tư—một cách công khai minh bạch để mọi người có thể học hỏi từ những thất bại và cải thiện.

Thông tin này sau đó cần được sử dụng hiệu quả bởi nhà nước, phản ứng kịp thời với các vấn đề phát sinh. Các cơ quan gần gũi với quyền lực hành pháp, như Văn phòng Chính sách Khoa học và Công nghệ của Nhà Trắng, đang ngày càng có ảnh hưởng hơn. Còn nhiều điều cần phải làm hơn nữa: trong thế kỷ hai mươi mốt, thật vô lý khi có các vị trí trong nội các giải quyết các vấn đề như kinh tế, giáo dục, an ninh và quốc phòng mà không có một vị trí tương tự được trao quyền và có trách nhiệm dân chủ trong công nghệ. Bộ trưởng hoặc thư ký công nghệ mới nổi vẫn là một điều hiếm hoi trong chính phủ. Điều này không nên như vậy; mỗi quốc gia nên có một vị trí như vậy trong kỷ nguyên của làn sóng sắp tới.

Quy định một mình không giúp chúng ta đạt được sự kiểm soát, nhưng bất kỳ cuộc thảo luận nào không liên quan đến quy định đều sẽ thất bại. Quy định nên tập trung vào những động lực đó, làm cho cá nhân, bang, công ty và công chúng nói chung phù hợp hơn với an toàn và bảo mật trong khi xây dựng khả năng dừng lại mạnh mẽ. Một số trường hợp sử dụng, như AI cho vận động bầu cử, nên bị cấm theo luật như một phần của gói.

Các cơ quan lập pháp đang bắt đầu hành động. Vào năm 2015, hầu như không có luật nào liên quan đến AI. Nhưng không ít hơn bảy mươi hai dự luật có cụm từ “trí tuệ nhân tạo” đã được thông qua trên toàn thế giới kể từ năm 2019. Quan sát Chính sách AI của OECD ghi nhận không ít hơn tám trăm chính sách AI từ sáu mươi quốc gia trong cơ sở dữ liệu của mình. Đạo luật AI của EU gặp phải nhiều vấn đề, chắc chắn, nhưng có nhiều điều đáng khen ngợi trong các quy định của nó, và nó đại diện cho sự tập trung và tham vọng đúng đắn.

Vào năm 2022, Nhà Trắng đã công bố một kế hoạch cho một Đạo luật Quyền của AI với năm nguyên tắc cốt lõi “để giúp hướng dẫn thiết kế, phát triển và triển khai trí tuệ nhân tạo và các hệ thống tự động khác nhằm bảo vệ quyền lợi của công chúng Mỹ.” Công dân nên được bảo vệ khỏi các hệ thống không an toàn và không hiệu quả cũng như thiên lệch thuật toán. Không ai nên bị buộc phải chấp nhận AI. Mọi người có quyền nói không. Những nỗ lực như vậy nên được ủng hộ rộng rãi và triển khai nhanh chóng.

Tuy nhiên, trí tưởng tượng của các nhà hoạch định chính sách cần phải phù hợp với quy mô của công nghệ. Chính phủ cần phải đi xa hơn. Vì những lý do dễ hiểu, chúng ta không cho phép bất kỳ doanh nghiệp nào xây dựng hoặc vận hành các lò phản ứng hạt nhân theo cách mà họ thấy phù hợp. Trên thực tế, nhà nước tham gia chặt chẽ vào - và theo dõi, cấp phép, và quản lý - mọi khía cạnh của sự tồn tại của chúng. Theo thời gian, điều này sẽ và nên trở nên đúng hơn đối với công nghệ nói chung. Ngày nay, bất kỳ ai cũng có thể xây dựng AI. Bất kỳ ai cũng có thể thiết lập một phòng thí nghiệm. Thay vào đó, chúng ta nên chuyển sang một môi trường có giấy phép rõ ràng hơn. Điều này sẽ tạo ra một bộ trách nhiệm rõ ràng hơn và các cơ chế khó khăn hơn để thu hồi quyền truy cập và khắc phục thiệt hại liên quan đến các công nghệ tiên tiến. Các hệ thống AI hoặc bộ tổng hợp hoặc máy tính lượng tử tinh vi nhất nên chỉ được sản xuất bởi các nhà phát triển có chứng nhận có trách nhiệm. Là một phần của giấy phép của họ, họ sẽ cần phải tuân thủ các tiêu chuẩn an ninh và an toàn rõ ràng, có tính ràng buộc, tuân theo các quy tắc, thực hiện đánh giá rủi ro, giữ hồ sơ, theo dõi chặt chẽ các triển khai trực tiếp. Cũng giống như bạn không thể đơn giản phóng một tên lửa vào không gian mà không có sự chấp thuận của FAA, thì ngày mai bạn cũng không nên đơn giản có thể phát hành một AI tiên tiến.

Các chế độ cấp phép khác nhau có thể áp dụng tùy theo kích thước hoặc khả năng của mô hình: mô hình càng lớn và càng có khả năng, yêu cầu cấp phép càng nghiêm ngặt. Mô hình càng tổng quát, khả năng gây ra mối đe dọa nghiêm trọng càng cao. Điều này có nghĩa là các phòng thí nghiệm AI làm việc trên các khả năng cơ bản nhất sẽ cần được chú ý đặc biệt. Hơn nữa, điều này tạo ra khả năng cấp phép chi tiết hơn nếu cần thiết để tập trung vào các đặc điểm cụ thể của phát triển: các lần huấn luyện mô hình, cụm chip lớn hơn một kích thước nhất định, một số loại sinh vật nhất định.

Việc đánh thuế cũng cần phải được cải cách hoàn toàn để tài trợ cho an ninh và phúc lợi khi chúng ta trải qua sự chuyển đổi lớn nhất trong việc tạo ra giá trị - từ lao động sang vốn - trong lịch sử. Nếu công nghệ tạo ra những người thua cuộc, họ cần được bồi thường vật chất. Hiện nay, lao động ở Mỹ bị đánh thuế với mức trung bình là 25%, trong khi thiết bị và phần mềm chỉ bị đánh thuế 5%. Hệ thống này được thiết kế để cho phép vốn tự tái sản xuất một cách trơn tru dưới danh nghĩa tạo ra các doanh nghiệp phát triển. Trong tương lai, việc đánh thuế cần chuyển trọng tâm sang vốn, không chỉ tài trợ cho việc phân phối lại đối với những người bị ảnh hưởng tiêu cực, mà còn tạo ra một quá trình chuyển đổi chậm hơn và công bằng hơn. Chính sách tài khóa là một van quan trọng trong việc kiểm soát quá trình chuyển đổi này, là một phương tiện để kiểm soát những điểm nghẽn đó và xây dựng khả năng phục hồi của nhà nước cùng một lúc.

Điều này nên bao gồm một loại thuế cao hơn đối với các hình thức vốn cũ như đất đai, tài sản, cổ phiếu công ty và các tài sản có giá trị cao, ít thanh khoản hơn, cũng như một loại thuế mới đối với tự động hóa và các hệ thống tự động. Điều này đôi khi được gọi là "thuế đối với robot"; các nhà kinh tế học của MIT đã lập luận rằng ngay cả một loại thuế vừa phải chỉ từ 1 đến 4 phần trăm giá trị của chúng cũng có thể có tác động lớn. Một sự chuyển dịch được điều chỉnh cẩn thận trong gánh nặng thuế ra khỏi lao động sẽ khuyến khích việc tiếp tục tuyển dụng và giảm thiểu sự gián đoạn trong đời sống hộ gia đình. Các khoản tín dụng thuế bổ sung cho thu nhập thấp nhất có thể là một đệm ngay lập tức trong bối cảnh thu nhập đang đình trệ hoặc thậm chí sụp đổ. Đồng thời, một chương trình đào tạo lại quy mô lớn và nỗ lực giáo dục nên chuẩn bị cho các nhóm dân cư dễ bị tổn thương, nâng cao nhận thức về rủi ro và tăng cường cơ hội tham gia vào các khả năng của làn sóng. Một khoản thu nhập cơ bản phổ quát (UBI) - tức là một khoản thu nhập do nhà nước chi trả cho mọi công dân bất kể hoàn cảnh - thường được đưa ra như là câu trả lời cho những gián đoạn kinh tế của làn sóng sắp tới. Trong tương lai, có khả năng sẽ có chỗ cho các sáng kiến tương tự như UBI; tuy nhiên, trước khi đạt được điều đó, vẫn còn nhiều ý tưởng tốt.

Trong kỷ nguyên của các AI doanh nghiệp siêu quy mô, chúng ta nên bắt đầu suy nghĩ về thuế vốn như thế này áp dụng cho chính các tập đoàn lớn nhất, không chỉ cho các tài sản hoặc lợi nhuận liên quan. Hơn nữa, cần phải tìm ra các cơ chế cho việc đánh thuế xuyên biên giới đối với những doanh nghiệp khổng lồ đó, đảm bảo rằng họ đóng góp phần công bằng của mình trong việc duy trì các xã hội hoạt động. Các thí nghiệm được khuyến khích ở đây: một phần cố định của giá trị công ty, chẳng hạn, được trả như một khoản cổ tức công cộng sẽ giữ giá trị chuyển trở lại cho dân số trong một thời đại tập trung cực độ. Ở giới hạn, có một câu hỏi cốt lõi về ai sở hữu vốn của làn sóng sắp tới; một AGI thực sự không thể được sở hữu tư nhân theo cách giống như, chẳng hạn, một tòa nhà hoặc một đội xe tải. Khi nói đến công nghệ có thể mở rộng đáng kể tuổi thọ hoặc khả năng của con người, rõ ràng phải có một cuộc tranh luận lớn ngay từ đầu về việc phân phối của nó.

Ai có khả năng thiết kế, phát triển và triển khai các công nghệ như thế này cuối cùng là vấn đề mà các chính phủ phải quyết định. Các công cụ, tổ chức và lĩnh vực chuyên môn của họ sẽ phải phát triển nhanh chóng như công nghệ, một thách thức thế hệ cho tất cả những người liên quan. Một kỷ nguyên của công nghệ được kiểm soát, do đó, là một kỷ nguyên của công nghệ được quản lý một cách rộng rãi và thông minh; không có điều kiện nào cả. Nhưng tất nhiên, quy định ở một quốc gia có một khiếm khuyết không thể tránh khỏi. Không có chính phủ quốc gia nào có thể làm điều này một mình.

7. LIÊN MINH: THỜI GIAN CHO CÁC HIỆP ĐỊNH

Vũ khí laser nghe có vẻ như khoa học viễn tưởng. Thật không may, chúng không phải như vậy. Khi công nghệ laser phát triển, rõ ràng chúng có thể gây mù. Khi được vũ trang, điều này có thể làm tê liệt các lực lượng đối thủ hoặc, thực sự, bất kỳ ai bị nhắm đến. Một công nghệ dân sự mới thú vị lại mở ra triển vọng về những phương thức tấn công khủng khiếp (mặc dù chưa đến mức như trong Star Wars). Không ai muốn các quân đội hoặc băng nhóm lang thang với những tia laser gây mù.

May mắn thay, điều đó đã không xảy ra. Việc sử dụng vũ khí laser gây mù đã bị cấm theo Nghị định thư năm 1995 về Vũ khí Laser Gây Mù, một bản cập nhật của Công ước về Một số Vũ khí Truyền thống cấm việc sử dụng “vũ khí laser được thiết kế đặc biệt, với chức năng chiến đấu duy nhất hoặc như một trong những chức năng chiến đấu của chúng, để gây mù vĩnh viễn cho thị lực không được cải thiện.” Một trăm hai mươi sáu quốc gia đã ký kết. Do đó, vũ khí laser không phải là một phần lớn của phần cứng quân sự cũng như không phải là vũ khí phổ biến trên đường phố.

Chắc chắn, laser chói mắt không phải là loại công nghệ đa dụng mà chúng ta đang nói đến trong cuốn sách này. Nhưng chúng là bằng chứng cho thấy điều đó có thể được thực hiện; một lệnh cấm mạnh mẽ có thể có hiệu lực. Các liên minh tinh vi và hợp tác quốc tế có thể được thực hiện, và chúng có thể thay đổi lịch sử.

Xem xét những ví dụ này, một số trong đó chúng ta đã thảo luận trước đó: Hiệp ước về Không phổ biến Vũ khí Hạt nhân; Nghị định thư Montreal cấm CFC; sự phát minh, thử nghiệm và triển khai vắc xin bại liệt qua một ranh giới Chiến tranh Lạnh; Công ước về Vũ khí Sinh học, một hiệp ước giải trừ quân bị hiệu quả cấm vũ khí sinh học; cấm đạn chùm, mìn đất, chỉnh sửa gen của con người và các chính sách eugenics; Hiệp định Paris, nhằm hạn chế khí thải carbon và những tác động tồi tệ nhất của biến đổi khí hậu; nỗ lực toàn cầu để tiêu diệt bệnh đậu mùa; loại bỏ chì trong xăng; và chấm dứt việc sử dụng amiăng.

Các quốc gia không thích từ bỏ quyền lực hơn là các công ty thích bỏ lỡ lợi nhuận, và tuy nhiên đây là những tiền lệ để học hỏi, những mảnh hy vọng trong một bối cảnh bị chia rẽ bởi sự cạnh tranh công nghệ đang hồi sinh. Mỗi quốc gia có những điều kiện và thách thức cụ thể mà cả hai vừa giúp nó hình thành vừa cản trở sự tuân thủ hoàn hảo. Nhưng mỗi quốc gia, một cách quan trọng, là một ví dụ quý giá về sự đoàn kết và thỏa hiệp của các quốc gia trên thế giới để đối mặt với một thách thức lớn, cung cấp những gợi ý và khung để giải quyết làn sóng sắp tới. Nếu một chính phủ muốn cấm sinh học tổng hợp hoặc các ứng dụng AI, liệu nó có thể làm được không? Không, rõ ràng là không thể trong bất kỳ cách nào ngoài một cảm giác phần nào, mong manh. Nhưng một liên minh mạnh mẽ, có động lực? Có thể.

Đối mặt với vực thẳm, địa chính trị có thể thay đổi nhanh chóng. Trong bối cảnh của Thế chiến II, hòa bình chắc hẳn đã cảm thấy như một giấc mơ. Khi các đồng minh mệt mỏi tiếp tục chiến đấu, ít người trên mặt đất có thể tưởng tượng rằng chỉ vài năm sau, các chính phủ của họ sẽ bơm hàng tỷ vào việc tái xây dựng kẻ thù của mình. Điều đó, bất chấp những tội ác chiến tranh khủng khiếp và diệt chủng, Đức và Nhật Bản sẽ sớm trở thành những phần quan trọng của một liên minh toàn cầu ổn định. Nhìn lại, điều đó có vẻ chóng mặt. Chỉ vài năm ngắn ngủi tách biệt những viên đạn, sự cay đắng và những bãi biển của Normandy và Iwo Jima khỏi một quan hệ đối tác quân sự và thương mại vững chắc, một tình bạn sâu sắc kéo dài đến ngày nay, và chương trình viện trợ nước ngoài lớn nhất từng được thực hiện.

Vào thời kỳ cao điểm của Chiến tranh Lạnh, các liên lạc cấp cao vẫn được duy trì mặc dù có những căng thẳng nghiêm trọng. Trong trường hợp xảy ra một điều gì đó như AGI nổi loạn hoặc mối nguy sinh học lớn được phát tán, loại phối hợp cấp cao này sẽ rất quan trọng, tuy nhiên khi Chiến tranh Lạnh mới hình thành, các chia rẽ đang gia tăng. Những mối đe dọa thảm khốc vốn có tính toàn cầu và nên là vấn đề của sự đồng thuận quốc tế. Các quy tắc dừng lại ở biên giới quốc gia rõ ràng là không đủ. Trong khi mỗi quốc gia đều có lợi ích trong việc thúc đẩy các công nghệ này, họ cũng có lý do chính đáng để hạn chế những hậu quả tồi tệ nhất của chúng. Vậy hiệp ước không phổ biến, Nghị định thư Montreal, Thỏa thuận Paris sẽ trông như thế nào cho làn sóng sắp tới?

Vũ khí hạt nhân là một ngoại lệ phần nào nhưng không chỉ vì chúng rất khó để chế tạo: những giờ thảo luận dài và kiên nhẫn, hàng thập kỷ đàm phán hiệp ước tỉ mỉ tại Liên Hợp Quốc, sự hợp tác quốc tế ngay cả trong những thời điểm căng thẳng cực độ, tất cả đều quan trọng khi nói đến việc kiềm chế chúng. Có cả thành phần đạo đức và chiến lược trong việc kiềm chế hạt nhân. Việc đạt được và thực thi những thỏa thuận như vậy chưa bao giờ dễ dàng, đặc biệt là trong một kỷ nguyên cạnh tranh giữa các cường quốc. Do đó, các nhà ngoại giao đóng một vai trò không được đánh giá đúng trong việc kiềm chế công nghệ. Một kỷ nguyên vàng của ngoại giao công nghệ cần phải xuất hiện từ kỷ nguyên chạy đua vũ trang. Nhiều người mà tôi đã nói chuyện trong cộng đồng ngoại giao rất nhận thức rõ về điều này.

Tuy nhiên, các liên minh cũng có thể hoạt động ở cấp độ các nhà công nghệ hoặc các cơ quan cấp dưới quốc gia, cùng nhau quyết định những gì cần tài trợ, những gì cần từ chối. Một ví dụ tốt ở đây đến từ việc chỉnh sửa gen dòng germ-line. Một nghiên cứu về 106 quốc gia cho thấy quy định về chỉnh sửa gen dòng germ-line là không đồng nhất. Hầu hết các quốc gia có một số loại quy định hoặc hướng dẫn chính sách, nhưng có những khác biệt và khoảng trống đáng kể. Điều này không tạo thành một khuôn khổ toàn cầu cho một công nghệ có phạm vi toàn cầu. Hợp tác quốc tế của các nhà khoa học ở tuyến đầu cho đến nay hiệu quả hơn. Sau lần chỉnh sửa gen đầu tiên của con người, một bức thư được ký bởi các nhân vật nổi bật như Eric Lander, Emmanuelle Charpentier và Feng Zhang đã kêu gọi “một lệnh tạm hoãn toàn cầu đối với tất cả các ứng dụng lâm sàng của chỉnh sửa gen dòng germline - tức là, thay đổi DNA di truyền (trong tinh trùng, trứng hoặc phôi) để tạo ra những đứa trẻ biến đổi gen” và “một khuôn khổ quốc tế trong đó các quốc gia, trong khi vẫn giữ quyền quyết định của riêng mình, tự nguyện cam kết không phê duyệt bất kỳ ứng dụng nào của chỉnh sửa gen dòng germline lâm sàng trừ khi các điều kiện nhất định được đáp ứng.”

Họ không kêu gọi một lệnh cấm vĩnh viễn, họ không cấm chỉnh sửa dòng germ cho mục đích nghiên cứu, và họ không nói rằng mọi quốc gia nên đi theo cùng một con đường. Nhưng họ đang yêu cầu các nhà thực hành dành thời gian để hài hòa và đưa ra những quyết định đúng đắn. Đủ người ở vị trí tiên phong vẫn có thể tạo ra sự khác biệt, cho phép có một khoảng dừng, giúp tạo ra không gian và nền tảng cho các quốc gia và các tổ chức quốc tế cùng nhau tìm ra cách đi tiếp.

Trước đó trong chương này, tôi đã thảo luận về những căng thẳng giữa Hoa Kỳ và Trung Quốc. Mặc dù có những khác biệt, vẫn có những lĩnh vực rõ ràng để hợp tác giữa hai cường quốc này. Sinh học tổng hợp là một điểm khởi đầu tốt hơn so với AI ở đây, nhờ vào sự cạnh tranh hiện có thấp hơn và sự hủy diệt lẫn nhau rõ ràng của các mối đe dọa sinh học mới. Dự án SecureDNA là một ví dụ tốt, vạch ra một con đường để quản lý sinh học tổng hợp tương tự như cách mà vũ khí hóa học đã bị hạn chế. Nếu Trung Quốc và Hoa Kỳ có thể tạo ra, chẳng hạn, một đài quan sát rủi ro sinh học chung, bao gồm mọi thứ từ R&D tiên tiến đến các ứng dụng thương mại đã triển khai, đó sẽ là một lĩnh vực hợp tác quý giá để xây dựng.

Trung Quốc và Hoa Kỳ cũng có chung mối quan tâm trong việc kiềm chế những kẻ xấu. Với việc một Aum Shinrikyo có thể xuất phát từ bất kỳ đâu, cả hai quốc gia sẽ rất muốn kiềm chế sự lan rộng không kiểm soát của những công nghệ mạnh mẽ nhất thế giới. Hiện tại, Trung Quốc và Hoa Kỳ đang trong cuộc đấu tranh để thiết lập các tiêu chuẩn công nghệ. Nhưng một cách tiếp cận chung là một thắng lợi rõ ràng cho cả hai; các tiêu chuẩn phân mảnh khiến mọi thứ trở nên khó khăn hơn cho tất cả mọi người. Một điểm chung khác có thể là duy trì các hệ thống mã hóa trước những tiến bộ trong điện toán lượng tử hoặc học máy có thể làm suy yếu chúng. Mỗi bên có thể mở đường cho sự thỏa hiệp rộng rãi hơn. Khi thế kỷ trôi qua, bài học từ Chiến tranh Lạnh sẽ phải được học lại: không có con đường nào dẫn đến an toàn công nghệ mà không hợp tác với kẻ thù của bạn.

Ngoài việc khuyến khích các sáng kiến song phương, điều rõ ràng ở giai đoạn này là đề xuất tạo ra một loại thể chế toàn cầu mới dành cho công nghệ. Tôi đã nghe nói rất nhiều lần: Một Ngân hàng Thế giới cho công nghệ sinh học hoặc một Liên Hợp Quốc cho trí tuệ nhân tạo sẽ trông như thế nào? Liệu một sự hợp tác quốc tế an toàn có phải là cách tiếp cận một vấn đề khó khăn và phức tạp như AGI? Ai là trọng tài cuối cùng, người cho vay cuối cùng, cơ quan mà khi được hỏi “Ai nắm giữ công nghệ?” có thể giơ tay lên?

Chúng ta cần một hiệp ước hạt nhân tương đương của thế hệ chúng ta để định hình một cách tiếp cận chung toàn cầu - trong trường hợp này không phải là ngăn chặn hoàn toàn sự phổ biến mà là thiết lập giới hạn và xây dựng các khuôn khổ cho việc quản lý và giảm thiểu mà, giống như sóng, vượt qua biên giới. Điều này sẽ đặt ra những giới hạn rõ ràng về công việc được thực hiện, hòa giải giữa các nỗ lực cấp phép quốc gia, và tạo ra một khuôn khổ để xem xét cả hai.

Nơi nào có phạm vi rõ ràng cho một cơ quan hoặc các cơ quan mới là với các vấn đề kỹ thuật. Một cơ quan quản lý chuyên trách điều hướng các vấn đề địa chính trị gây tranh cãi (càng nhiều càng tốt), tránh sự can thiệp quá mức, và thực hiện chức năng giám sát thực tiễn dựa trên các tiêu chí khách quan rộng rãi là điều cấp bách cần thiết. Hãy nghĩ đến một cái gì đó giống như Cơ quan Năng lượng Nguyên tử Quốc tế hoặc thậm chí một tổ chức thương mại như Hiệp hội Vận tải Hàng không Quốc tế. Thay vì có một tổ chức tự mình trực tiếp quản lý, xây dựng hoặc kiểm soát công nghệ, tôi sẽ bắt đầu với một cái gì đó như Cơ quan Kiểm toán AI—AAA. Tập trung vào việc tìm kiếm thông tin và kiểm toán quy mô mô hình và khi các ngưỡng khả năng bị vượt qua, AAA sẽ tăng cường tính minh bạch toàn cầu ở biên giới, đặt ra các câu hỏi như: Hệ thống có dấu hiệu có khả năng tự cải thiện khả năng không? Nó có thể xác định các mục tiêu của chính nó không? Nó có thể thu thập thêm tài nguyên mà không cần sự giám sát của con người không? Nó có được đào tạo một cách có chủ đích trong việc lừa dối hoặc thao túng không? Các ủy ban kiểm toán tương tự có thể hoạt động trong hầu hết mọi lĩnh vực của làn sóng, và sẽ, một lần nữa, cung cấp một nền tảng cho các nỗ lực cấp phép của chính phủ trong khi cũng giúp thúc đẩy một hiệp ước không phổ biến.

Chủ nghĩa hiện thực cứng có cơ hội thành công tốt hơn nhiều so với những đề xuất mơ hồ và không khả thi. Chúng ta không cần phải tái tạo hoàn toàn bánh xe thể chế, tạo ra nhiều cơ hội hơn cho sự cạnh tranh và phô trương. Chúng ta chỉ cần tìm mọi cách có thể để cải thiện nó—và nhanh chóng.

8. VĂN HÓA: TÔN TRỌNG ĐÓN NHẬN THẤT BẠI

Sợi chỉ chung ở đây là quản trị: của hệ thống phần mềm, của vi mạch, của doanh nghiệp và viện nghiên cứu, của các quốc gia, và của cộng đồng quốc tế. Ở mỗi cấp độ là một rừng các động lực, chi phí chìm, quán tính thể chế, các lãnh địa và thế giới quan mâu thuẫn mà phải được cắt xuyên qua. Đừng nhầm lẫn. Đạo đức, an toàn, kiểm soát—đây sẽ là sản phẩm của quản trị tốt trên hết. Nhưng quản trị tốt không chỉ đến từ các quy tắc được xác định rõ ràng và các khuôn khổ thể chế hiệu quả.

Trong những ngày đầu của động cơ phản lực, vào thập niên 1950, các vụ tai nạn - và cả thương vong - xảy ra một cách đáng lo ngại. Đến đầu thập niên 2010, tỷ lệ chỉ còn một cái chết trên 7,4 triệu lượt hành khách. Giờ đây, đã có nhiều năm trôi qua mà không có vụ tai nạn chết người nào liên quan đến máy bay thương mại của Mỹ. Bay là một trong những phương thức vận chuyển an toàn nhất: ngồi ở độ cao ba mươi lăm nghìn feet trên bầu trời an toàn hơn là ngồi ở nhà trên ghế sofa của bạn.

Kỷ lục an toàn ấn tượng của các hãng hàng không đến từ nhiều cải tiến kỹ thuật và vận hành dần dần qua các năm. Nhưng đứng sau chúng là một điều quan trọng không kém: văn hóa. Ngành hàng không áp dụng một cách tiếp cận mạnh mẽ để học hỏi từ những sai lầm ở mọi cấp độ. Các vụ tai nạn không chỉ là những tai nạn bi thảm để thương tiếc; chúng là những trải nghiệm học tập cơ bản trong việc xác định cách mà các hệ thống thất bại, cơ hội để chẩn đoán vấn đề, khắc phục chúng và chia sẻ kiến thức đó trên toàn ngành. Các phương pháp tốt nhất do đó không phải là bí mật doanh nghiệp, một lợi thế so với các hãng hàng không đối thủ: chúng được các đối thủ thực hiện một cách nhiệt tình vì lợi ích chung của niềm tin và an toàn trong ngành.

Đó là điều cần thiết cho làn sóng sắp tới: sự ủng hộ thực sự từ tất cả những người tham gia vào công nghệ tiên phong. Tất cả đều rất tốt khi xây dựng và thúc đẩy các sáng kiến và chính sách về đạo đức và an toàn, nhưng bạn cần những người thực hiện thực sự tin vào chúng.

Trong khi ngành công nghệ nói rất nhiều về việc "chấp nhận thất bại", nhưng hiếm khi họ thực sự làm như vậy khi nói đến quyền riêng tư, an toàn hoặc các vi phạm kỹ thuật. Việc ra mắt một sản phẩm không được ưa chuộng là một chuyện, nhưng sở hữu một mô hình ngôn ngữ gây ra thảm họa thông tin sai lệch hoặc một loại thuốc gây ra phản ứng bất lợi thì lại khó chịu hơn nhiều. Sự chỉ trích đối với công nghệ là, không phải không có lý do chính đáng, rất gay gắt. Cạnh tranh cũng vậy. Một hệ quả là ngay khi một công nghệ hoặc sản phẩm mới gặp trục trặc, một văn hóa bí mật sẽ chiếm ưu thế. Sự cởi mở và lòng tin lẫn nhau đặc trưng cho một phần của quá trình phát triển sẽ bị mất đi. Cơ hội để học hỏi, và sau đó phát sóng những gì đã học, sẽ biến mất. Ngay cả việc thừa nhận sai lầm, mở cửa cho những điều đó, cũng được coi là một rủi ro, một điều cấm kỵ trong doanh nghiệp.

Nỗi sợ thất bại và sự chỉ trích công khai đang dẫn đến tình trạng đình trệ. Việc tự báo cáo ngay lập tức các vấn đề nên là một tiêu chuẩn cho cả cá nhân và tổ chức. Nhưng thay vì được khen ngợi vì sự thử nghiệm, các công ty và đội ngũ lại bị bỏ rơi. Làm điều đúng đắn chỉ kích hoạt một phản ứng tiêu cực của sự hoài nghi, chỉ trích trên Twitter, và việc ghi điểm công khai ác ý. Tại sao ai đó lại thực sự thừa nhận sai lầm của mình trong bối cảnh này? Điều này phải dừng lại nếu chúng ta muốn sản xuất ra những công nghệ tốt hơn, có trách nhiệm hơn và có thể kiểm soát được.

Việc chấp nhận thất bại phải là điều thực sự, không chỉ là một câu nói suông. Đầu tiên, việc hoàn toàn cởi mở về những thất bại, ngay cả khi đó là những chủ đề không thoải mái, nên được khen ngợi chứ không phải bị xúc phạm. Điều đầu tiên mà một công ty công nghệ nên làm khi gặp bất kỳ loại rủi ro, thiệt hại hoặc chế độ thất bại nào là truyền đạt một cách an toàn đến thế giới rộng lớn hơn. Khi một phòng thí nghiệm bị rò rỉ, điều đầu tiên nó nên làm là công khai sự thật, chứ không phải che giấu. Những điều đầu tiên mà các bên khác trong lĩnh vực này - các công ty khác, các nhóm nghiên cứu, chính phủ - cần làm là lắng nghe, suy ngẫm, cung cấp hỗ trợ, và quan trọng nhất là học hỏi và thực hiện những gì đã học. Thái độ này đã cứu sống hàng nghìn người trên bầu trời. Nó có thể cứu sống hàng triệu người nữa trong những năm tới.

Việc kiềm chế không chỉ đơn thuần là về chính sách, danh sách kiểm tra hoặc sáng kiến này hay sáng kiến khác, mà cần đảm bảo rằng có một văn hóa tự phê bình, văn hóa này chủ động muốn thực hiện chúng, chào đón sự có mặt của các nhà quản lý trong phòng họp, trong phòng thí nghiệm, một văn hóa mà các nhà quản lý muốn học hỏi từ các nhà công nghệ và ngược lại. Nó cần mọi người đều muốn tham gia, sở hữu nó, yêu thích nó. Nếu không, an toàn sẽ chỉ là một suy nghĩ sau cùng. Trong số nhiều người, và không chỉ trong lĩnh vực AI, có một cảm giác rằng chúng ta “chỉ” là những nhà nghiên cứu, “chỉ” đang khám phá và thử nghiệm. Điều đó không còn đúng trong nhiều năm qua, và là một ví dụ điển hình về nơi chúng ta cần một sự thay đổi văn hóa. Các nhà nghiên cứu phải được khuyến khích lùi lại khỏi sự vội vã liên tục hướng tới việc công bố. Kiến thức là một hàng hóa công, nhưng nó không nên là mặc định nữa. Những người đang thực hiện nghiên cứu tiên phong cần phải là những người đầu tiên nhận ra điều này, như các đồng nghiệp của họ trong các lĩnh vực vật lý hạt nhân và vi rút học đã làm. Trong AI, những khả năng như tự cải tiến lặp đi lặp lại và tự chủ là, theo tôi nghĩ, những ranh giới mà chúng ta không nên vượt qua. Điều này sẽ có các thành phần kỹ thuật và pháp lý, nhưng cũng cần sự đồng thuận về đạo đức, cảm xúc, văn hóa từ những người và tổ chức gần gũi nhất với nó.

Vào năm 1973, một trong những nhà phát minh của kỹ thuật di truyền, Paul Berg, đã tập hợp một nhóm các nhà khoa học tại bán đảo Monterey ở California. Ông bắt đầu lo lắng về những gì phát minh của mình có thể gây ra và muốn thiết lập một số quy tắc cơ bản và nền tảng đạo đức cho việc tiến tới. Tại trung tâm hội nghị Asilomar, họ đã đặt ra những câu hỏi khó khăn do lĩnh vực mới này đặt ra: Chúng ta có nên bắt đầu kỹ thuật di truyền cho con người không? Nếu có, những đặc điểm nào có thể được phép? Hai năm sau, họ trở lại với số lượng đông đảo hơn cho Hội nghị Asilomar về DNA tái tổ hợp. Những gì đang diễn ra tại khách sạn bên bờ biển đó là rất quan trọng. Đây là một bước ngoặt trong lĩnh vực sinh học, thiết lập các nguyên tắc bền vững để quản lý nghiên cứu và công nghệ di truyền, đặt ra các hướng dẫn và giới hạn đạo đức về những thí nghiệm có thể diễn ra.

Tôi đã tham dự một hội nghị ở Puerto Rico vào năm 2015 nhằm mục đích làm điều gì đó tương tự cho AI. Với một nhóm đa dạng, hội nghị muốn nâng cao nhận thức về an toàn AI, bắt đầu xây dựng một văn hóa thận trọng và phác thảo những câu trả lời thực sự. Chúng tôi gặp lại nhau vào năm 2017, tại địa điểm mang tính biểu tượng Asilomar, để soạn thảo một bộ nguyên tắc AI mà tôi cùng nhiều người khác trong lĩnh vực đã ký tên. Những nguyên tắc này liên quan đến việc xây dựng một văn hóa nghiên cứu AI có trách nhiệm rõ ràng và đã truyền cảm hứng cho một loạt các sáng kiến tiếp theo. Khi làn sóng tiếp tục gia tăng, chúng ta sẽ cần phải tự ý thức quay lại một lần nữa và nhiều lần nữa với tinh thần - và nội dung - của Asilomar.

Trong hàng thiên niên kỷ, lời thề Hippocrates đã là một ngọn hải đăng đạo đức cho nghề y. Bằng tiếng Latinh, Primum non nocere. Trước hết, không gây hại. Người đoạt giải Nobel Hòa bình và nhà khoa học Anh-Đức Joseph Rotblat, một người đã rời Los Alamos vì lương tâm, lập luận rằng các nhà khoa học cần một điều gì đó tương tự. Trách nhiệm xã hội và đạo đức, ông tin rằng, không phải là điều mà bất kỳ nhà khoa học nào có thể bỏ qua. Tôi đồng ý, và chúng ta nên xem xét một phiên bản hiện đại cho các nhà công nghệ: không chỉ hỏi điều gì có nghĩa là không gây hại trong một thời đại của các thuật toán toàn cầu và bộ gen được chỉnh sửa mà còn làm thế nào điều đó có thể được thực hiện hàng ngày trong những hoàn cảnh thường mơ hồ về đạo đức.

Các nguyên tắc phòng ngừa như thế này là một bước khởi đầu tốt. Dừng lại trước khi xây dựng, dừng lại trước khi công bố, xem xét mọi thứ, ngồi xuống và phân tích các tác động bậc hai, bậc ba, bậc n. Tìm tất cả bằng chứng và nhìn nhận một cách lạnh lùng. Không ngừng điều chỉnh hướng đi. Sẵn sàng dừng lại. Thực hiện tất cả những điều này không chỉ vì nó được nói đến trong một hình thức nào đó, mà vì đó là điều đúng đắn, đó là những gì mà các nhà công nghệ thực hiện.

Các hành động như vậy không thể chỉ hoạt động như các luật lệ hoặc khẩu hiệu của doanh nghiệp. Luật chỉ là quốc gia, khẩu hiệu doanh nghiệp thì tạm thời, quá thường xuyên chỉ mang tính hình thức. Thay vào đó, chúng phải hoạt động ở một cấp độ sâu hơn, nơi mà văn hóa công nghệ không chỉ là tư duy "kỹ thuật cứ làm đi" mà là điều gì đó cẩn trọng hơn, tò mò hơn về những gì có thể xảy ra. Một văn hóa lành mạnh là một văn hóa sẵn sàng để lại trái cây trên cây, nói không, trì hoãn lợi ích bao lâu tùy ý để đảm bảo an toàn, nơi mà các nhà công nghệ nhớ rằng công nghệ chỉ là phương tiện để đạt được mục tiêu, không phải là mục tiêu cuối cùng.

9. CÁC CUỘC ĐỘNG: SỨC MẠNH CỦA NHÂN DÂN

Trong suốt cuốn sách này, từ "chúng tôi" đã xuất hiện. Nó có thể ám chỉ đến "chúng tôi" là tác giả và đồng tác giả, "chúng tôi" là các nhà nghiên cứu và doanh nhân AI, "chúng tôi" là cộng đồng khoa học và công nghệ rộng rãi hơn, "chúng tôi" ở phương Tây toàn cầu, hoặc "chúng tôi" là tổng thể nhân loại. (Đối mặt với công nghệ toàn cầu và thay đổi loài là một trong số ít nơi mà việc nói về "chúng tôi" nhân loại thực sự là hợp lý.)

Khi mọi người nói về công nghệ—bao gồm cả tôi—họ thường đưa ra một lập luận như sau. Bởi vì chúng ta xây dựng công nghệ, chúng ta có thể khắc phục những vấn đề mà nó tạo ra. Điều này đúng theo nghĩa rộng nhất. Nhưng, vấn đề là, không có “chúng ta” chức năng nào ở đây. Không có sự đồng thuận và không có cơ chế đã được thống nhất để hình thành sự đồng thuận. Thực tế là không có “chúng ta,” và chắc chắn không có cần gạt nào mà bất kỳ “chúng ta” nào có thể kéo. Điều này nên rõ ràng, nhưng vẫn cần phải nhắc lại. Ngay cả tổng thống Hoa Kỳ cũng có quyền lực hạn chế đáng kể để thay đổi hướng đi của, chẳng hạn, internet.

Thay vào đó, vô số các tác nhân phân tán đôi khi làm việc cùng nhau và đôi khi lại có mục đích trái ngược. Các công ty và quốc gia, như chúng ta đã thấy, có những ưu tiên khác nhau, những động lực bị phân tán và mâu thuẫn. Phần lớn các mối quan tâm về công nghệ như những gì được nêu trong cuốn sách này là những mối quan tâm của tầng lớp tinh hoa, là những điểm thảo luận thú vị cho phòng chờ hạng thương gia, là các bài viết cho những ấn phẩm có tư tưởng tiến bộ, hoặc là các chủ đề cho các hội trường thuyết trình tại Davos hoặc TED. Hầu hết nhân loại vẫn chưa lo lắng về những điều này theo cách có hệ thống. Ngoài Twitter, ra khỏi bong bóng, hầu hết mọi người có những mối quan tâm rất khác, những vấn đề khác cần được chú ý trong một thế giới mong manh. Sự giao tiếp xung quanh AI không phải lúc nào cũng hữu ích, thường rơi vào những câu chuyện đơn giản.

Vì vậy, nếu việc kêu gọi “chúng ta” lớn lao hiện tại là vô nghĩa, điều đó dẫn đến một câu hỏi rõ ràng: hãy cùng xây dựng một cái. Trong suốt lịch sử, sự thay đổi xảy ra vì con người tự ý thức làm việc vì điều đó. Áp lực từ quần chúng tạo ra những chuẩn mực mới. Sự bãi bỏ chế độ nô lệ, quyền bầu cử của phụ nữ, quyền dân sự - đây là những thành tựu đạo đức lớn lao xảy ra vì con người đã đấu tranh mạnh mẽ, xây dựng các liên minh rộng rãi mà đã nghiêm túc tiếp nhận một yêu cầu lớn và sau đó thực hiện sự thay đổi dựa trên đó. Khí hậu không chỉ được đưa vào bản đồ vì mọi người nhận thấy thời tiết ngày càng cực đoan. Họ nhận thấy điều đó vì các nhà hoạt động cơ sở và các nhà khoa học, và sau đó (một số) nhà văn, người nổi tiếng, giám đốc điều hành và chính trị gia đã kêu gọi sự thay đổi có ý nghĩa. Và họ đã hành động vì mong muốn làm điều đúng đắn.

Nghiên cứu cho thấy rằng khi được giới thiệu về chủ đề công nghệ mới nổi và những rủi ro của chúng, mọi người thực sự quan tâm và muốn tìm kiếm giải pháp. Mặc dù nhiều tác hại vẫn còn ở phía trước, tôi tin rằng mọi người hoàn toàn có khả năng đọc được những dấu hiệu ở đây. Tôi vẫn chưa tìm thấy ai đã xem video của Boston Dynamics về một con chó robot hoặc xem xét khả năng xảy ra một đại dịch khác mà không cảm thấy rùng mình lo sợ.

Ở đây có một vai trò lớn cho các phong trào quần chúng. Trong khoảng năm năm qua, một phong trào xã hội dân sự đang phát triển đã bắt đầu làm nổi bật những vấn đề này. Truyền thông, công đoàn, các tổ chức từ thiện, các chiến dịch cơ sở - tất cả đều tham gia, chủ động tìm kiếm cách tạo ra công nghệ có kiểm soát. Tôi hy vọng rằng thế hệ người sáng lập và xây dựng của tôi sẽ tiếp thêm năng lượng cho những phong trào này thay vì cản trở. Trong khi đó, các hội đồng công dân cung cấp một cơ chế để đưa một nhóm rộng lớn hơn vào cuộc trò chuyện. Một đề xuất là tổ chức một cuộc xổ số để chọn một mẫu đại diện của dân số để thảo luận sâu sắc và đưa ra các đề xuất về cách quản lý những công nghệ này. Với việc tiếp cận các công cụ và lời khuyên, đây sẽ là một cách để làm cho việc kiểm soát trở thành một quá trình tập thể, chú ý và có cơ sở hơn.

Thay đổi xảy ra khi mọi người yêu cầu điều đó. “Chúng ta” xây dựng công nghệ là một tập hợp rải rác, chịu sự chi phối của nhiều động lực quốc gia, thương mại và nghiên cứu khác nhau. Càng nhiều “chúng ta” chịu sự chi phối đó nói lên một tiếng nói rõ ràng, một khối công chúng quan trọng kêu gọi thay đổi, yêu cầu sự đồng nhất trong các phương pháp, thì cơ hội đạt được kết quả tốt càng cao. Bất kỳ ai ở đâu cũng có thể tạo ra sự khác biệt. Về cơ bản, cả nhà công nghệ lẫn chính phủ đều không thể tự mình giải quyết vấn đề này. Nhưng cùng nhau, “chúng ta” có thể.

10. CON ĐƯỜNG HẸP: CÁCH DUY NHẤT LÀ QUA ĐƯỜNG

Chỉ vài ngày sau khi phát hành GPT-4, hàng nghìn nhà khoa học AI đã ký một bức thư ngỏ kêu gọi tạm dừng nghiên cứu các mô hình AI mạnh nhất trong sáu tháng. Nhắc đến các nguyên tắc Asilomar, họ đã nêu ra những lý do quen thuộc với những ai đang đọc cuốn sách này: “Những tháng gần đây, các phòng thí nghiệm AI đã bị cuốn vào một cuộc đua không kiểm soát để phát triển và triển khai những trí tuệ số ngày càng mạnh mẽ mà không ai—kể cả những người sáng tạo ra chúng—có thể hiểu, dự đoán hoặc kiểm soát một cách đáng tin cậy.” Ngay sau đó, Ý đã cấm ChatGPT. Một đơn khiếu nại chống lại LLMs đã được nộp lên Ủy ban Thương mại Liên bang nhằm mục đích kiểm soát quy định chặt chẽ hơn. Các câu hỏi về rủi ro AI đã được đặt ra tại buổi họp báo của Nhà Trắng. Hàng triệu người đã thảo luận về tác động của công nghệ—tại nơi làm việc, tại bàn ăn.

Có điều gì đó đang hình thành. Không phải là sự kiềm chế, nhưng lần đầu tiên các câu hỏi về làn sóng sắp tới đang được xử lý với sự khẩn trương mà chúng xứng đáng.

Mỗi ý tưởng đã được nêu ra cho đến nay đại diện cho sự khởi đầu của một bức tường biển, một rào cản thủy triều tạm thời bắt đầu từ các chi tiết của công nghệ và mở rộng ra yêu cầu hình thành một phong trào toàn cầu lớn mạnh vì sự thay đổi tích cực. Không có ý tưởng nào hoạt động một mình. Tuy nhiên, khi kết hợp các biện pháp như vậy lại với nhau, một phác thảo về sự kiểm soát bắt đầu hiện ra.

Một ví dụ tốt đến từ nhà sinh học công nghệ sinh học MIT Kevin Esvelt. Rất ít người đã xem xét các mối đe dọa an ninh sinh học một cách chi tiết hơn. Những tác nhân gây bệnh được thiết kế riêng để gây ra số lượng tử vong tối đa? Kevin quyết tâm sử dụng mọi công cụ để ngăn chặn chúng xảy ra. Chương trình của anh là một trong những chiến lược kiểm soát toàn diện nhất hiện có. Nó được xây dựng dựa trên ba trụ cột: trì hoãn, phát hiện và phòng thủ.

Để trì hoãn, ông lặp lại ngôn ngữ của công nghệ hạt nhân, đề xuất một “hiệp ước cấm thử nghiệm đại dịch,” một thỏa thuận quốc tế nhằm ngăn chặn việc thử nghiệm trên các vật liệu gây bệnh nhất. Bất kỳ thử nghiệm nào có thể làm tăng nghiêm trọng nguy cơ xảy ra sự kiện đại dịch, bao gồm cả nghiên cứu tăng chức năng, sẽ bị cấm. Ông cũng ủng hộ một chế độ hoàn toàn mới về bảo hiểm và trách nhiệm cho bất kỳ ai làm việc với virus hoặc các vật liệu sinh học có khả năng gây hại khác. Điều này sẽ làm tăng chi phí trách nhiệm theo cách ngay lập tức hữu hình bằng cách tính toán các hậu quả thảm khốc nhưng có xác suất thấp—hiện đang là các tác động tiêu cực mà mọi người khác phải gánh chịu—vào giá của nghiên cứu. Không chỉ các tổ chức tiến hành nghiên cứu có khả năng nguy hiểm phải mua thêm bảo hiểm, mà một luật kích hoạt sẽ có nghĩa là bất kỳ ai được chứng minh là có trách nhiệm cho một mối nguy sinh học lớn hoặc sự kiện thảm khốc sẽ trở thành người chịu trách nhiệm.

Sàng lọc DNA trên tất cả các máy tổng hợp là điều tuyệt đối cần thiết, và hơn nữa, toàn bộ hệ thống nên dựa trên đám mây để có thể cập nhật theo thời gian thực theo các mối đe dọa mới được hiểu và nổi lên. Phát hiện nhanh chóng một đợt bùng phát cũng quan trọng không kém trong sơ đồ này, đặc biệt là đối với các tác nhân gây bệnh tinh vi có thời gian ủ bệnh dài. Hãy nghĩ đến một căn bệnh ngủ yên trong nhiều năm. Nếu bạn không nhận thức được những gì đang xảy ra, bạn không thể kiểm soát nó.

Sau đó, nếu điều tồi tệ nhất xảy ra, hãy phòng thủ. Những quốc gia kiên cường và chuẩn bị sẵn sàng là rất quan trọng: những đại dịch cực đoan nhất sẽ khiến việc duy trì thực phẩm, năng lượng, nguồn nước, trật tự pháp luật và chăm sóc sức khỏe trở nên khó khăn. Việc có sẵn kho dự trữ thiết bị PPE chống đại dịch hiện đại cho tất cả các nhân viên thiết yếu sẽ tạo ra sự khác biệt lớn. Các chuỗi cung ứng thiết bị y tế mạnh mẽ có khả năng chịu đựng cú sốc nghiêm trọng cũng vậy. Những bóng đèn có bước sóng thấp có thể tiêu diệt virus? Chúng cần có mặt ở khắp mọi nơi, trước khi đại dịch bắt đầu, hoặc ít nhất là sẵn sàng để triển khai.

Tập hợp tất cả các yếu tố ở đây lại và có một phác thảo về những gì sẽ gặp gỡ và phù hợp với làn sóng sắp tới.

1. An toàn kỹ thuật: Các biện pháp kỹ thuật cụ thể để giảm thiểu các tác hại có thể xảy ra và duy trì kiểm soát.

2. Kiểm toán: Một phương tiện để đảm bảo tính minh bạch và trách nhiệm của công nghệ.

3. Điểm nghẽn: Các đòn bẩy để làm chậm phát triển và mua thời gian cho các nhà quản lý và công nghệ phòng thủ.

4. Nhà sản xuất: Đảm bảo các nhà phát triển có trách nhiệm xây dựng các biện pháp kiểm soát phù hợp vào công nghệ ngay từ đầu.

5. Doanh nghiệp: Căn chỉnh các động lực của các tổ chức đứng sau công nghệ với việc kiểm soát nó.

6. Chính phủ: Hỗ trợ các chính phủ, cho phép họ xây dựng công nghệ, điều chỉnh công nghệ và thực hiện các biện pháp giảm thiểu.

7. Liên minh: Tạo ra một hệ thống hợp tác quốc tế để hài hòa hóa luật pháp và chương trình.

8. Văn hóa: Một văn hóa chia sẻ việc học hỏi và thất bại để nhanh chóng truyền bá các phương pháp giải quyết chúng.

9. Di chuyển: Tất cả những điều này cần sự đóng góp của công chúng ở mọi cấp độ, bao gồm cả việc gây áp lực lên từng thành phần và làm cho nó có trách nhiệm.

Bước 10 liên quan đến tính nhất quán, đảm bảo rằng mỗi yếu tố hoạt động hài hòa với các yếu tố khác, rằng việc kiềm chế là một vòng tròn tốt đẹp của các biện pháp củng cố lẫn nhau chứ không phải là một sự hỗn loạn đầy khoảng trống của các chương trình cạnh tranh. Theo nghĩa này, việc kiềm chế không phải là về một gợi ý cụ thể nào đó mà là một hiện tượng phát sinh từ sự tương tác tập thể của chúng, là sản phẩm phụ của các xã hội học cách quản lý và giảm thiểu các rủi ro do Homo technologicus gây ra. Một động thái đơn lẻ sẽ không hiệu quả, dù là với các tác nhân gây bệnh hay máy tính lượng tử hay AI, nhưng một kế hoạch như thế này có sức mạnh từ việc tích lũy cẩn thận các biện pháp đối kháng liên kết, hàng rào bảo vệ chồng lên hàng rào bảo vệ từ các hiệp ước quốc tế đến việc củng cố chuỗi cung ứng của các công nghệ bảo vệ mới. Các đề xuất như “trì hoãn, phát hiện và bảo vệ” cũng không phải là các trạng thái cuối cùng, điểm đến. An toàn trong bối cảnh của làn sóng sắp tới không phải là nơi chúng ta đến mà là điều phải được thực hiện liên tục.

Việc kiềm chế không phải là một nơi nghỉ ngơi. Đó là một con đường hẹp và không bao giờ kết thúc.

—

Các nhà kinh tế học Daron Acemoglu và nhà khoa học chính trị James Robinson chia sẻ quan điểm rằng các nền dân chủ tự do ít an toàn hơn nhiều so với vẻ bề ngoài của chúng. Họ coi nhà nước như một "Leviathan bị trói buộc" vốn không ổn định: rộng lớn và mạnh mẽ, nhưng bị kiềm chế bởi các xã hội dân sự và các chuẩn mực bền vững. Theo thời gian, các quốc gia như Hoa Kỳ đã bước vào cái mà họ gọi là "hành lang hẹp" giữ cho họ trong sự cân bằng mong manh này. Ở hai bên của hành lang này có những cạm bẫy. Một mặt, quyền lực của nhà nước phá vỡ quyền lực của xã hội rộng lớn hơn và hoàn toàn thống trị nó, tạo ra những Leviathan chuyên chế như Trung Quốc. Mặt khác, nhà nước tan rã, sản sinh ra những Leviathan vắng mặt, xác sống, nơi mà nhà nước không có quyền kiểm soát thực sự đối với xã hội, như ở những nơi như Somalia hoặc Lebanon. Cả hai đều có hậu quả khủng khiếp cho dân số của họ.

Điểm của Acemoglu và Robinson là các quốc gia liên tục đi trong hành lang này. Vào bất kỳ thời điểm nào, họ có thể ngã. Mỗi sự gia tăng năng lực của nhà nước cần có một sự gia tăng tương ứng trong năng lực xã hội để cân bằng lại. Có một áp lực liên tục hướng tới những Leviathan độc tài cần có trọng lượng liên tục để ngăn chặn. Không có điểm đến cuối cùng, không có sự tồn tại hạnh phúc, an toàn và liên tục ở cuối hành lang; mà thay vào đó, đó là một không gian động, không ổn định nơi các tầng lớp tinh hoa và công dân tranh luận về kết quả và vào bất kỳ thời điểm nào, những Leviathan bị xích có thể biến mất hoặc trở nên độc tài. An toàn là một vấn đề tiến từng bước và duy trì sự cân bằng một cách cẩn thận.

Tôi nghĩ rằng phép ẩn dụ này đúng với cách chúng ta tiếp cận công nghệ, và không chỉ vì lập luận ở đây là công nghệ hiện nay làm cho sự cân bằng đó trở nên mong manh hơn rất nhiều. Công nghệ an toàn, được kiểm soát cũng giống như nền dân chủ tự do, không phải là một trạng thái cuối cùng; mà là một quá trình liên tục, một sự cân bằng tinh tế cần được duy trì một cách chủ động, luôn phải đấu tranh và bảo vệ. Không có khoảnh khắc nào khi chúng ta nói, à, chúng ta đã giải quyết được vấn đề công nghệ phát triển mạnh mẽ! Thay vào đó, đó là việc tìm ra một con đường, đảm bảo rằng đủ số lượng người cam kết giữ gìn sự cân bằng không ngừng giữa sự cởi mở và sự đóng lại.

Thay vì một hành lang, điều này gợi ý một hướng đi rõ ràng, tôi hình dung sự kiềm chế như một con đường hẹp và nguy hiểm, bao quanh bởi sương mù, với một vực thẳm sâu ở hai bên, thảm họa hoặc dystopia chỉ cách một bước trượt nhỏ; bạn không thể nhìn xa phía trước, và khi bạn bước đi, con đường xoắn và uốn khúc, đưa ra những chướng ngại vật bất ngờ.

Một mặt, sự cởi mở hoàn toàn đối với mọi thử nghiệm và phát triển là một công thức đơn giản cho thảm họa. Nếu mọi người trên thế giới đều có thể chơi với bom hạt nhân, thì vào một thời điểm nào đó, bạn sẽ có một cuộc chiến tranh hạt nhân. Mã nguồn mở đã mang lại lợi ích cho sự phát triển công nghệ và là động lực chính cho sự tiến bộ rộng rãi hơn. Nhưng đó không phải là một triết lý phù hợp cho các mô hình AI mạnh mẽ hoặc các sinh vật tổng hợp; ở đây, nó nên bị cấm. Chúng không nên được chia sẻ, chưa nói đến việc triển khai hoặc phát triển, mà không có quy trình thẩm định nghiêm ngặt.

An toàn phụ thuộc vào việc mọi thứ không bị hỏng, không rơi vào tay sai, mãi mãi. Một mức độ giám sát internet, máy tổng hợp DNA, các chương trình nghiên cứu AGI, và những thứ tương tự sẽ là điều cần thiết. Việc viết điều này thật đau đớn. Khi còn trẻ, tôi bắt đầu từ một vị trí tối đa hóa quyền riêng tư, tin rằng các không gian giao tiếp và làm việc hoàn toàn không bị giám sát là quyền cơ bản và là những phần quan trọng của nền dân chủ lành mạnh. Tuy nhiên, theo thời gian, khi các lập luận trở nên rõ ràng hơn và công nghệ phát triển ngày càng nhiều, tôi đã cập nhật quan điểm đó. Thật không thể chấp nhận được khi tạo ra những tình huống mà mối đe dọa về những hậu quả thảm khốc luôn hiện hữu. Trí tuệ, sự sống, sức mạnh thô—đây không phải là đồ chơi, và nên được đối xử với sự tôn trọng, chăm sóc và kiểm soát mà chúng xứng đáng. Các nhà công nghệ và công chúng nói chung sẽ phải chấp nhận mức độ giám sát và quy định cao hơn so với trước đây. Cũng như hầu hết chúng ta không muốn sống trong những xã hội không có luật pháp và cảnh sát, hầu hết chúng ta cũng không muốn sống trong một thế giới công nghệ không bị hạn chế.

Một số biện pháp chống phổ biến là cần thiết. Và vâng, chúng ta không nên né tránh sự thật; điều đó có nghĩa là kiểm duyệt thực sự, có thể vượt xa cả biên giới quốc gia. Có những lúc điều này sẽ được nhìn nhận—có thể là đúng—như là sự hegemony không kiềm chế của Mỹ, sự kiêu ngạo của phương Tây, và sự ích kỷ. Thành thật mà nói, tôi không phải lúc nào cũng chắc chắn đâu là sự cân bằng đúng đắn, nhưng bây giờ tôi tin chắc rằng sự cởi mở hoàn toàn sẽ đẩy nhân loại ra khỏi con đường hẹp. Mặt khác, như cũng nên rõ ràng, sự giám sát hoàn toàn và sự đóng cửa hoàn toàn là không thể tưởng tượng, sai lầm, và thảm khốc. Việc kiểm soát quá mức là con đường nhanh chóng dẫn đến một thế giới u ám. Điều đó cũng cần phải được chống lại.

Trong khuôn khổ này, các quốc gia luôn đối mặt với rủi ro. Và tuy nhiên, một số quốc gia đã quản lý để tiếp tục tồn tại trong nhiều thế kỷ, làm việc chăm chỉ để đi trước, giữ thăng bằng, và vẫn bị ràng buộc đủ mức. Mỗi khía cạnh của việc kiềm chế, tất cả những gì chúng ta đã mô tả, sẽ phải đi trên sợi dây căng thẳng này. Mỗi biện pháp được thảo luận ở đây hoặc trong tương lai cần được nhìn nhận trên phổ này - được đẩy đủ xa để cung cấp sự bảo vệ có ý nghĩa và đồng thời ngăn chặn việc đi quá xa.

—

Có thể kiềm chế làn sóng sắp tới không?

Nhìn vào vô vàn con đường phía trước, tất cả các hướng có thể mà công nghệ sẽ đưa trải nghiệm con người, những khả năng được giải phóng, khả năng biến đổi thế giới của chúng ta, có vẻ như việc kiềm chế sẽ thất bại trong nhiều con đường đó. Con đường hẹp phải được đi mãi mãi từ đây trở đi, và chỉ cần một bước đi sai lầm là có thể rơi vào vực thẳm.

Lịch sử cho thấy mô hình khuếch tán và phát triển này đã được khóa chặt. Các động lực khổng lồ dường như đã ăn sâu. Các công nghệ thậm chí làm ngạc nhiên cả những người sáng tạo ra chúng với tốc độ và sức mạnh phát triển của chúng. Mỗi ngày dường như báo hiệu một bước đột phá, sản phẩm, hoặc công ty mới. Công nghệ tiên tiến khuếch tán chỉ trong vài tháng. Các quốc gia có trách nhiệm điều chỉnh cuộc cách mạng này đang lúng túng vì điều đó.

Và tuy nhiên, trong khi có bằng chứng thuyết phục rằng việc kiềm chế là không thể, về mặt tâm lý, tôi vẫn là một người lạc quan. Những ý tưởng được trình bày ở đây giúp chúng ta có công cụ và phương tiện để tiếp tục đi, từng bước một, trên con đường đó, những chiếc đèn, dây thừng và bản đồ để đi lang thang trên con đường quanh co phía trước. Thách thức thẳng thừng của việc kiềm chế không phải là lý do để quay lưng; đó là một lời kêu gọi hành động, một sứ mệnh của thế hệ mà tất cả chúng ta cần phải đối mặt.

Nếu chúng ta—nhân loại—có thể thay đổi bối cảnh với một làn sóng các phong trào, doanh nghiệp và chính phủ mới cam kết, với các động lực được điều chỉnh, với năng lực kỹ thuật, kiến thức và các biện pháp bảo vệ được tăng cường, thì chúng ta có thể tạo ra điều kiện để bắt đầu đi xuống con đường chênh vênh đó với một tia hy vọng. Và trong khi quy mô của thách thức là rất lớn, mỗi phần ở đây đi sâu vào nhiều lĩnh vực nhỏ hơn nơi bất kỳ cá nhân nào vẫn có thể tạo ra sự khác biệt. Điều này sẽ đòi hỏi một nỗ lực to lớn để thay đổi cơ bản xã hội của chúng ta, bản năng con người của chúng ta và các mô hình lịch sử. Điều này còn xa mới chắc chắn. Nó có vẻ không thể. Nhưng việc giải quyết tình huống lớn của thế kỷ hai mươi mốt phải là điều có thể.

Chúng ta nên quen với việc sống chung với những mâu thuẫn trong thời đại thay đổi theo cấp số nhân và sức mạnh đang mở rộng. Giả định điều tồi tệ nhất, lên kế hoạch cho nó, cống hiến mọi thứ. Bám chặt vào con đường hẹp. Kêu gọi một thế giới ngoài giới tinh hoa tham gia và thúc đẩy. Nếu đủ người bắt đầu xây dựng cái “chúng ta” khó nắm bắt đó, những tia hy vọng sẽ trở thành những ngọn lửa thay đổi mãnh liệt.