SAN FRANCISCO – Im April sammelte ein Labor für künstliche Intelligenz in San Francisco namens Anthropic 580 Millionen US-Dollar für Forschungen zum Thema „KI-Sicherheit“.
Nur wenige im Silicon Valley hatten von dem ein Jahr alten Labor gehört, das KI-Systeme baut, die Sprache erzeugen. Aber der Geldbetrag, der dem winzigen Unternehmen versprochen wurde, stellte das in den Schatten, was Risikokapitalgeber in andere KI-Startups investierten, einschließlich solcher, die mit einigen der erfahrensten Forscher auf diesem Gebiet ausgestattet waren.
Die Finanzierungsrunde wurde von Sam Bankman-Fried geleitet, dem Gründer und Geschäftsführer von FTX, der Kryptowährungsbörse, die letzten Monat Konkurs angemeldet hatte. Nach dem plötzlichen Zusammenbruch von FTX zeigte eine durchgesickerte Bilanz, dass Herr Bankman-Fried und seine Kollegen mindestens 500 Millionen US-Dollar in Anthropic investiert hatten.
Ihre Investition war Teil einer stillen und weltfremden Anstrengung, die Gefahren der künstlichen Intelligenz zu erforschen und zu mindern, von der viele im Kreis von Herrn Bankman-Fried glaubten, dass sie letztendlich die Welt zerstören und der Menschheit schaden könnte. In den letzten zwei Jahren haben der 30-jährige Unternehmer und seine FTX-Kollegen mehr als 530 Millionen US-Dollar – entweder durch Zuschüsse oder Investitionen – in mehr als 70 KI-bezogene Unternehmen, akademische Labors, Denkfabriken, unabhängige Projekte und einzelne Forscher geleitet laut einer Bilanz der New York Times Bedenken hinsichtlich der Technologie ansprechen.
Jetzt seien einige dieser Organisationen und Einzelpersonen unsicher, ob sie dieses Geld weiterhin ausgeben könnten, sagten vier Personen, die den KI-Bemühungen nahe stehen und nicht berechtigt waren, öffentlich zu sprechen. Sie sagten, sie seien besorgt, dass der Sturz von Herrn Bankman-Fried Zweifel an ihrer Forschung aufkommen lassen und ihren Ruf untergraben könnte. Und einige der KI-Start-ups und -Organisationen könnten schließlich in das Insolvenzverfahren von FTX verwickelt werden, wobei ihre Zuschüsse möglicherweise vor Gericht zurückgefordert werden, sagten sie.
Die Besorgnis in der KI-Welt ist eine unerwartete Folge des Zerfalls von FTX und zeigt, wie weit die Auswirkungen des Zusammenbruchs der Krypto-Börse und des verdampfenden Vermögens von Herrn Bankman-Fried gereicht haben.
„Einige könnten von der Verbindung zwischen diesen beiden aufstrebenden Technologiefeldern überrascht sein“, sagte Andrew Burt, ein Anwalt und Gastwissenschaftler an der Yale Law School, der sich auf die Risiken künstlicher Intelligenz spezialisiert hat, über KI und Krypto. „Aber unter der Oberfläche gibt es direkte Verbindungen zwischen den beiden.“
Herr Bankman-Fried, der mit Untersuchungen zum Zusammenbruch von FTX konfrontiert ist und am Mittwoch auf der DealBook-Konferenz der Times sprach, lehnte eine Stellungnahme ab. Anthropic lehnte es ab, sich zu seiner Investition in das Unternehmen zu äußern.
Mr. Bankman-Frieds Versuche, KI zu beeinflussen, stammen aus seiner Beteiligung an „effektivem Altruismus“, einer philanthropischen Bewegung, in der Spender versuchen, die Wirkung ihrer Spenden langfristig zu maximieren. Effektive Altruisten sind oft besorgt über das, was sie katastrophale Risiken nennen, wie Pandemien, Biowaffen und Atomkrieg.
Die Folgen des Untergangs von FTX
Der plötzliche Zusammenbruch der Krypto-Börse hat die Branche fassungslos zurückgelassen.
- Ein spektakulärer Aufstieg und Fall: Wer ist Sam Bankman-Fried und wie wurde er zum Gesicht von Krypto? The Daily zeichnete den spektakulären Aufstieg und Fall des Mannes hinter FTX nach.
- Sich an die Macht klammern:E-Mails und Textnachrichten zeigen, wie Anwälte und Führungskräfte von FTX darum kämpften, Herrn Bankman-Fried davon zu überzeugen, die Kontrolle über sein zusammenbrechendes Unternehmen aufzugeben.
- Kollateralschaden:BlockFi, ein Kryptowährungs-Kreditgeber, der sich an gewöhnliche Investoren richtete, die nach einem Stück Krypto-Manie lechzten, meldete am 28. November Insolvenz an und scheiterte an seinen finanziellen Verbindungen zu FTX.
- Eine symbiotische Beziehung: Mr. Bankman-Fried’s baute FTX teilweise, um das Handelsgeschäft von Alameda Research, seiner ersten Firma, zu unterstützen. Die Verbindungen zwischen den beiden Einheiten werden nun auf den Prüfstand gestellt.
Ihr Interesse an künstlicher Intelligenz ist besonders groß. Viele effektive Altruisten glauben, dass eine immer leistungsfähigere KI der Welt Gutes tun kann, befürchten jedoch, dass sie ernsthaften Schaden anrichten kann, wenn sie nicht auf sichere Weise entwickelt wird. Während sich KI-Experten einig sind, dass ein Weltuntergangsszenario noch in weiter Ferne liegt – wenn es überhaupt passiert, argumentieren effektive Altruisten seit langem, dass eine solche Zukunft nicht außerhalb des Bereichs des Möglichen liegt und dass sich Forscher und Unternehmen darauf vorbereiten sollten.
In den letzten zehn Jahren haben viele effektive Altruisten in führenden KI-Forschungslabors gearbeitet, darunter DeepMind, das der Muttergesellschaft von Google gehört, und OpenAI, das von Elon Musk und anderen gegründet wurde. Sie halfen bei der Schaffung eines Forschungsfeldes namens KI-Sicherheit, das darauf abzielt zu untersuchen, wie KI-Systeme verwendet werden könnten, um Schaden anzurichten oder unerwartet von selbst zu versagen.
Effektive Altruisten haben dazu beigetragen, ähnliche Forschungen in Washingtoner Denkfabriken voranzutreiben, die die Politik gestalten. Das Zentrum für Sicherheit und neue Technologien der Georgetown University, das die Auswirkungen von KI und anderen neuen Technologien auf die nationale Sicherheit untersucht, wurde größtenteils von Open Philanthropy finanziert, einer effektiven altruistischen Spendenorganisation, die von Facebook-Mitbegründer Dustin Moskovitz unterstützt wird. Effektive Altruisten arbeiten auch als Forscher in diesen Denkfabriken.
Herr Bankman-Fried ist seit 2014 Teil der Bewegung des effektiven Altruismus. Er vertrat einen Ansatz namens Earning to Give und sagte der Times im April, dass er sich bewusst für eine lukrative Karriere entschieden habe, um viel größere Geldbeträge verschenken zu können.
Im Februar kündigten er und mehrere seiner FTX-Kollegen den Future Fund an, der „ehrgeizige Projekte unterstützen würde, um die langfristigen Aussichten der Menschheit zu verbessern“. Der Fonds wurde teilweise von Will MacAskill, einem Gründer des Center for Effective Altruism, sowie anderen Schlüsselfiguren der Bewegung geleitet.
Der Future Fund versprach bis Anfang September Zuschüsse in Höhe von 160 Millionen US-Dollar für eine Vielzahl von Projekten, einschließlich der Forschung zu Pandemievorsorge und Wirtschaftswachstum. Etwa 30 Millionen US-Dollar waren für Spenden an eine Reihe von Organisationen und Einzelpersonen vorgesehen, die Ideen im Zusammenhang mit KI erforschen
Unter den KI-bezogenen Zuschüssen des Future Fund befanden sich 2 Millionen US-Dollar an ein wenig bekanntes Unternehmen, Lightcone Infrastructure. Lightcone betreibt die Online-Diskussionsseite LessWrong, die Mitte der 2000er Jahre damit begann, die Möglichkeit zu untersuchen, dass KI eines Tages die Menschheit zerstören würde.
Herr Bankman-Fried und seine Kollegen finanzierten auch mehrere andere Bemühungen, die darauf abzielten, die langfristigen Risiken der KI zu mindern, darunter 1,25 Millionen US-Dollar für das Alignment Research Center, eine Organisation, die darauf abzielt, zukünftige KI-Systeme an menschlichen Interessen auszurichten, damit die Technologie wird nicht abtrünnig. Sie gaben auch 1,5 Millionen Dollar für ähnliche Forschung an der Cornell University.
Der Future Fund spendete außerdem fast 6 Millionen US-Dollar an drei Projekte mit „großen Sprachmodellen“, einer immer leistungsfähigeren Art von KI, die Tweets, E-Mails und Blog-Posts schreiben und sogar Computerprogramme erstellen kann. Die Zuschüsse sollten dazu beitragen, den möglichen Einsatz der Technologie zur Verbreitung von Desinformationen einzudämmen und unerwartetes und unerwünschtes Verhalten dieser Systeme zu reduzieren.
Nachdem FTX Insolvenz angemeldet hatte, traten Herr MacAskill und andere, die den Future Fund leiteten, aus dem Projekt aus und führten „grundlegende Fragen zur Legitimität und Integrität des Geschäftsbetriebs“ dahinter an. Herr MacAskill antwortete nicht auf eine Bitte um Stellungnahme.
Über die Zuschüsse des Future Fund hinaus haben Herr Bankman-Fried und seine Kollegen mit der 500-Millionen-Dollar-Finanzierung von Anthropic direkt in Start-ups investiert. Das Unternehmen wurde 2021 von einer Gruppe gegründet, zu der ein Kontingent effektiver Altruisten gehörte, die OpenAI verlassen hatten. Es arbeitet daran, die KI sicherer zu machen, indem es eigene Sprachmodelle entwickelt, deren Erstellung mehrere zehn Millionen Dollar kosten kann.
Einige Organisationen und Einzelpersonen haben ihre Gelder bereits von Herrn Bankman-Fried und seinen Kollegen erhalten. Andere bekamen nur einen Teil dessen, was ihnen versprochen wurde. Einige seien sich nicht sicher, ob die Zuschüsse an die Gläubiger von FTX zurückgezahlt werden müssten, sagten die vier Personen mit Kenntnis der Organisationen.
Wohltätigkeitsorganisationen sind anfällig für Rückforderungen, wenn Spender bankrott gehen, sagte Jason Lilien, ein Partner der Anwaltskanzlei Loeb & Loeb, der sich auf Wohltätigkeitsorganisationen spezialisiert hat. Unternehmen, die Risikoinvestitionen von bankrotten Unternehmen erhalten, sind möglicherweise in einer etwas stärkeren Position als Wohltätigkeitsorganisationen, aber sie sind auch anfällig für Rückforderungen, sagte er.
Dewey Murdick, der Direktor des Center for Security and Emerging Technology, der Denkfabrik in Georgetown, die von Open Philanthropy unterstützt wird, sagte, effektive Altruisten hätten zu wichtigen Forschungen im Zusammenhang mit KI beigetragen
„Weil sie die Finanzierung erhöht haben, haben sie diesen Themen mehr Aufmerksamkeit geschenkt“, sagte er und zitierte, wie mehr Diskussionen darüber geführt werden, wie KI-Systeme unter Berücksichtigung der Sicherheit konzipiert werden können.
Aber Oren Etzioni vom Allen Institute for Artificial Intelligence, einem KI-Labor in Seattle, sagte, dass die Ansichten der effektiven altruistischen Gemeinschaft manchmal extrem seien und dass sie die heutigen Technologien oft mächtiger oder gefährlicher erscheinen ließen, als sie wirklich seien.
Er sagte, der Future Fund habe ihm dieses Jahr Geld für Forschung angeboten, die dabei helfen würde, die Ankunft und die Risiken der „künstlichen allgemeinen Intelligenz“ vorherzusagen, einer Maschine, die alles tun kann, was das menschliche Gehirn tun kann. Aber diese Idee ist nicht etwas, das zuverlässig vorhergesagt werden kann, sagte Herr Etzioni, weil die Wissenschaftler noch nicht wissen, wie man sie baut.
„Das sind kluge, aufrichtige Leute, die Dollar in ein hochspekulatives Unternehmen stecken“, sagte er.
Die New York Times
