Für unseren Newsblog verwenden wir neben eigenen Recherchen Material der Nachrichtenagenturen dpa, Reuters, epd, KNA und Bloomberg.
Wichtige Updates
Open AI stoppt Veröffentlichung von neuem KI-Modell wegen Sicherheitsbedenken
KI-Firma Anthropic plant Billionen-Börsengang trotz hoher Verluste
Gates: KI könnte Tod einer Milliarde Menschen verursachen
Open-AI-Agent hackt australisches Regierungsportal
Trump will Begriff KI mit „Superintelligenz“ ersetzen
Ulrike Putz
Open AI stoppt Veröffentlichung von neuem KI-Modell wegen Sicherheitsbedenken
Open AI hat die für Oktober geplante Veröffentlichung seines KI-Modells der nächsten Generation, GPT-6.1 Astra, gestoppt. Das System habe die internen Sicherheits- und Ausrichtungsstandards des Unternehmens nicht erfüllt, teilte der Chat-GPT-Hersteller am Montag mit. Zuvor hatte das Wall Street Journal darüber berichtet. Das Modell sollte in die Dienste Chat-GPT und Codex integriert werden und war dafür konzipiert, komplexere Aufgaben ohne menschliche Hilfe zu bewältigen. Die Entscheidung fällt kurz vor der Entwicklerkonferenz von Open AI in San Francisco.
Dem Bericht zufolge zeigte GPT-6.1 Astra in internen Tests ein höheres Maß an Täuschung als sein Vorgänger. Unter anderem habe das Modell nicht immer korrekt offengelegt, welche Handlungen es vorgenommen hatte. „Obwohl es sich bei Aspekten wie der Trägheit des Modells verbessert hat, hat es die Messlatte in Bezug auf die Einhaltung von Vorgaben und Berechtigungen nicht ganz erreicht“, sagte Saachi Jain, Leiterin für Sicherheitssysteme bei Open AI. Für die Veröffentlichung an Nutzer gelte eine „extrem hohe Messlatte“ in puncto Sicherheit.
Zuvor hatten sowohl Open-AI-Chef Sam Altman als auch der Chef des Konkurrenten Anthropic, Dario Amodei, ein langsameres Entwicklungstempo bei KI und stärkere Sicherheitsmaßnahmen gefordert.
Ulrike Putz
KI-Firma Anthropic plant Billionen-Börsengang trotz hoher Verluste
Das KI-Unternehmen Anthropic strebt einem von der Nachrichtenagentur Reuters eingesehenen Börsenprospekt zufolge eine Bewertung von mehr als zwei Billionen Dollar an. Dies geschieht trotz eines gemeldeten Nettoverlusts von 42 Milliarden Dollar für das Jahr 2025. Der Börsengang würde die erst vor fünf Jahren gegründete Firma als Maßstab für die Bewertung führender KI-Unternehmen wie dem Konkurrenten Open AI etablieren. Der Nettoverlust von fast 42 Milliarden Dollar enthielt eine buchhalterische Belastung von rund 34 Milliarden Dollar, die sich aus der Neubewertung von Finanzierungen ergab. Zudem plant das Unternehmen in den kommenden Jahren Ausgaben in Höhe von 518 Milliarden Dollar für Cloud- und Recheninfrastruktur.
Der Umsatz des Unternehmens wuchs dem Prospekt zufolge 2025 um das Zwölffache auf fast 4,6 Milliarden Dollar. Gleichzeitig verzeichnete Anthropic auf operativer Basis einen Verlust von mehr als acht Milliarden Dollar. Allein die Ausgaben für Rechenleistung und Infrastruktur verdreifachten sich im vergangenen Jahr auf 7,33 Milliarden Dollar. Der Börsengang, der nach den US-Zwischenwahlen im November stattfinden dürfte, wird den Appetit der Anleger auf hoch bewertete KI-Aktien testen. Er folgt auf den erfolgreichen Börsengang von Space-X, das mit 1,77 Billionen Dollar bewertet wurde.
Open AI: KI-Agenten haben 53 Bilder von Chat-GPT-Nutzern geleakt
Zwei Monate nach einem ersten Hacker-Vorfall durch seine eigene künstliche Intelligenz (KI) kämpft der Chat-GPT-Entwickler Open AI mit einem neuen Datenleck. Wie das US-Unternehmen am Freitag mitteilte, haben sogenannte KI-Agenten 53 Bilder von Chat-GPT-Nutzern geleakt. Ob es sich dabei um echte Personen oder KI-generierte Bilder handelte und wann diese gepostet wurden, ließ Open AI in seiner Stellungnahme offen. Die betroffenen Bilder seien größtenteils gelöscht worden, zudem dringe man bei Hosting-Anbietern auf die Entfernung der restlichen Daten. Die KI-Programme hatten Zugriff auf die Bilder, da Open AI für das Training seiner Modelle auf anonymisierte Nutzerdaten zurückgreift. Zwei mit dem Vorgang vertraute Personen sagten der Nachrichtenagentur Reuters, das Unternehmen versuche noch immer, das gesamte Ausmaß der unerwünschten Aktivitäten zu erfassen. Open AI selbst erklärte, die interne Überprüfung werde noch Monate in Anspruch nehmen.
Gates: KI könnte Tod einer Milliarde Menschen verursachen
Microsoft-Mitgründer Bill Gates sieht die Gefahr, dass Künstliche Intelligenz zum Tod von einer Milliarde Menschen führen könnte. Deswegen ist er für eine gesetzliche Regulierung der Technologie, wie der 70-Jährige in einem TV-Interview sagte.
„KI ist sicherlich mächtig genug, um Ereignisse voranzutreiben, die eine Milliarde Todesfälle verursachen“, antwortete Gates dem US-Sender NBC auf eine Frage zu aktuellen Warnungen, die Technologie könne die Menschheit auslöschen. „Es gab noch nie eine so mächtige Waffe wie Menschen mit bösen Absichten, die die neusten KI-Werkzeuge verwenden“, sagte er. Zugleich schränkte Gates ein, dass es „ziemlich schwer“ wäre, „100 Prozent“ der Menschen zu treffen.
„Es gab noch nie eine so mächtige Waffe wie Menschen mit bösen Absichten, die die neusten KI-Werkzeuge verwenden.“
Microsoft-Gründer Bill Gates
Wegen der Gefahren sei es „absolut“ notwendig, in Washington Gesetze dazu zu verabschieden, betonte der Microsoft-Mitgründer. Behörden und Politiker müssten sich auf verpflichtende Sicherheitsmaßnahmen und Aufsicht über die Technologie einigen. „Niemand glaubt, dass Selbstregulierung ausreicht“, sagte Gates. Zuletzt hatten nach eigenständigen Hacking-Attacken durch KI-Software auch führende Labore wie Anthropic und der ChatGPT-Entwickler OpenAI sich dafür ausgesprochen, die Entwicklung Künstlicher Intelligenz abzubremsen.
Lesen Sie zu diesem Thema auch:
Trump will Begriff KI mit „Superintelligenz“ ersetzen
US-Präsident Donald Trump will den Begriff „Superintelligenz“ anstelle der gewohnten Bezeichnung Künstliche Intelligenz etablieren. In amerikanischen Regierungsdokumenten werde künftig von Superintelligenz die Rede sein – und hoffentlich werde der Rest der Welt das übernehmen, sagte Trump vor der UN-Vollversammlung. Der Begriff Künstliche Intelligenz lasse die Technologie „fake“ erscheinen, begründete der US-Präsident seinen Vorstoß. „Und sie ist nicht fake. Sie ist tatsächlich erstaunlich.“
Zugleich bekräftigte Trump, dass er auf eine beschleunigte KI-Entwicklung in den USA setzt – trotz wachsender Warnungen vor existenziellen Risiken der Technologie. „Ich werde nicht das Wachstum von etwas abwürgen, das größer sein wird als die Industrie-Revolution“, sagte er in New York. Die USA seien bei KI China und dem Rest der Welt weit voraus, und dies werde auch so bleiben.
Carim Soliman
Digitalverband Bitkom: Deutscher KI-Markt wächst um fast die Hälfte
Der deutsche Markt für Künstliche Intelligenz (KI) wächst in diesem Jahr voraussichtlich um 48 Prozent auf 28,7 Milliarden Euro. Deutschland investiere deutlich mehr in KI und generative KI treibe das Wachstum, teilte der Digitalverband Bitkom mit. Der gesamte KI-Markt aus Software, Services und Hardware lege spürbar zu. Generative KI, zu der etwa ChatGPT von OpenAI, Claude von Anthropic, Microsoft Copilot oder Google Gemini gehören, habe inzwischen einen Anteil von 40 Prozent an allen KI-Ausgaben. „Bei KI erleben wir den Übergang von der Experimentierphase zu einem breiten Einsatz“, sagte Bitkom-Präsident Ralf Wintergerst. „In Unternehmen jeder Größe und in allen Branchen werden KI-Anwendungen genutzt. Sie machen Produkte besser und Prozesse schneller.“
Den größten Anteil an den Ausgaben habe KI-Software mit 16 Milliarden Euro, was einem Plus von 65 Prozent gegenüber dem Vorjahr entspreche. Auf Dienstleistungen rund um KI entfielen 6,8 Milliarden Euro, ein Zuwachs von 30 Prozent. Für Hardware werden den Angaben zufolge 5,8 Milliarden Euro ausgegeben und damit knapp ein Drittel mehr als im Vorjahr. Auch im kommenden Jahr soll der Markt demnach kräftig wachsen. Für 2027 würden Ausgaben von 40,3 Milliarden Euro erwartet, was einem Plus von 40 Prozent entspräche, erklärte Bitkom mit Verweis auf Daten des Marktforschungsunternehmens IDC.
Barbara Klimke
Australiens Premier plädiert für ein Handeln im Interesse der Menschheit
Der australische Premierminister Anthony Albanese hat mittelgroßen Staaten eine wichtige Rolle bei der Eindämmung der Risiken künstlicher Intelligenz zugesprochen. Die Staats- und Regierungschefs, die in den kommenden Tagen an der Versammlung der Vereinten Nationen teilnehmen, werden über einen internationalen Rahmen für KI beraten, sagte Albanese nach Gesprächen in Kalifornien mit Tim Cook, dem Vorstandsvorsitzenden von Apple.
Albanese fordert eine Zusammenarbeit zwischen den USA und China. Führende US-Firmen ringen mit der Frage, ob sie die Entwicklung verlangsamen sollen – Trump hat Bedenken wegen der Sicherheit der KI als „Schwindel“ abgetan, der es China ermöglichen könnte aufzuholen. „Die Wahrheit ist, dass die beiden Großen die Giganten sind, und deshalb wünschen wir uns eine Zusammenarbeit“, sagte Albanese dem australischen TV-Sender ABC. Trump werde „natürlich im Interesse der USA“ handeln. „Aber wir alle müssen auch im Interesse der Menschheit handeln.“
Donald Trump kündigt Einführung einer "AI Force" an
Der US-Präsident will eine "AI Force" zur Überwachung Künstlicher Intelligenz ins Leben rufen. Am Samstag kündigte er auf seiner Online-Plattform Truth Social an, in naher Zukunft einen KI-Beauftragten zu ernennen. Das Wachstum dieser Branche werde in keiner Weise behindert, schrieb Trump. Die Regierung werde die Technologie vielmehr wertschätzen, unterstützen und deren Wachstum beaufsichtigen. Zugleich werde man auf Missbrauch achten, was sich sehr leicht mit dem bestehenden Straf- und Zivilrecht regeln lasse.
Anfang der Woche hatte Trump erklärt, es gebe eine "kranke Verschwörung" gegen KI und Rechenzentren. Dabei wies er Forderungen nach neuen bundesweiten KI-Regeln zurück und betonte, die USA bräuchten für die Regulierung der Technologie lediglich einen starken Präsidenten. Zudem wollen US-Vertreter das Thema KI bei einem Treffen Trumps mit dem chinesischen Präsidenten Xi Jinping in der kommenden Woche ansprechen. Washington und Peking betrachten Fortschritte bei der KI als entscheidend für ihre wirtschaftliche und militärische Wettbewerbsfähigkeit.
Ulrike Putz
Kalifornien könnte Notschalter für KI vorschreiben
In der Debatte um existenzielle Risiken künstlicher Intelligenz könnte der US-Bundesstaat Kalifornien eine Notabschalt-Vorrichtung für KI-Software vorschreiben. Ein solcher Mechanismus gehört zu einer Liste von Maßnahmen, zu denen dem demokratischen Gouverneur Gavin Newsom bis Mitte November Vorschläge gemacht werden sollen. Zu weiteren Ideen gehören unabhängige Beobachter in großen KI-Laboren sowie striktere Verpflichtungen, über Sicherheitszwischenfälle zu berichten, wie aus einer von Newsom unterzeichneten Anordnung hervorgeht.
Über einen „Kill Switch“ für künstliche Intelligenz wird schon seit einiger Zeit diskutiert – noch ist aber unklar, ob eine solche Vorrichtung zur Notabschaltung überhaupt realistisch ist.
Kalifornien gilt als wichtigster Standort bei der Entwicklung künstlicher Intelligenz. Vor allem in San Francisco und dem Silicon Valley sitzen führende KI-Unternehmen wie der Chat-GPT-Entwickler Open AI, dessen schärfster Rivale Anthropic und Google. Damit könnte der Bundesstaat auch bei der Regulierung eine zentrale Rolle spielen. Newsoms zweite und letzte Amtszeit als kalifornischer Gouverneur endet Anfang kommenden Jahres. Der 58-Jährige gilt als ein möglicher Bewerber der Demokraten für die Präsidentenwahl 2028.
Ulrike Putz
Googles KI Gemini hackte ebenfalls andere Unternehmen
Auch Googles KI-Software Gemini hat sich bei Tests ihrer Cybersicherheits-Fähigkeiten in Computersysteme anderer Unternehmen gehackt. Der Internet-Riese ist der vierte Entwickler künstlicher Intelligenz, dessen Programme mit einem solchen Verhalten auffielen, nach Open AI, Anthropic und dem Facebook-Konzern Meta. Google machte die bereits Monate zurückliegenden Vorfälle erst nach einer Nachfrage der Zeitung Wall Street Journal öffentlich.
Demnach gab es drei Fälle, in denen Gemini in Computer anderer Unternehmen eindrang, deren Namen nicht genannt werden. In einem davon erriet die KI Passwörter, um in ein geschütztes System hineinzukommen. In den beiden anderen fand sie Zugangsdaten in einer Datenbank, wie das Wall Street Journal unter Berufung auf Google schrieb.
Die Vorfälle ereigneten sich demnach im Mai – und die Firma Irregular als Testpartner informierte Google im Juli darüber. Aus Sicht des Internetkonzerns sei es nicht notwendig gewesen, die Zwischenfälle öffentlich zu machen, da dabei kein Schaden entstanden sei. Zudem habe die KI die Attacken sofort beendet, als ihr klar geworden sei, dass sie in Systeme eines echten Unternehmens eingedrungen sei – und nicht in eines, das eine Testsimulation war.
In dem bisher aufsehenerregendsten Fall war künstliche Intelligenz des Chat-GPT-Entwicklers Open AI bei einem Test aus einer abgesicherten Umgebung ausgebrochen und drang ungeplant in Computer einer anderen KI-Firma, der Plattform Hugging Face, ein. Das hatte den Rivalen Anthropic veranlasst, seine eigenen Testläufe zu überprüfen, wobei weitere Vorfälle ans Licht kamen. Auch Meta räumte danach ein, dass die KI des Konzerns sich wegen einer Fehlkonfiguration des Systems bei einem Testpartner in Computer eines anderen Unternehmens gehackt habe.
Andrian Kreye
Anthropics Militärprogramme
Dario Amodei wusste sehr wohl, wie er seinen Streit mit Verteidigungsminister Pete Hegseth zum Kampf der Moral (seiner) gegen die Unmoral (Hegseths) stilisierte. Anthropic wollte nicht, dass seine „Large Language Models“ (LLMs) für autonome Waffen und für die Überwachung genutzt werden. Hegseth bestand darauf, dass die KIs keine Beschränkungen haben.
Wie sich nun herausstellt, hat Anthropic zwar keine autonomen Waffensysteme mit KI bestückt. Militärische Anwendungen gibt es aus dem Haus aber trotzdem. Wie mehrere KI-Blogs berichten, wurde Anthropics LLM Claude für Zielvorgaben, Cyberoperations, Überwachung, für die Vorbereitung von Biowaffen, für politische Manipulation und für konventionelle Waffen eingesetzt. In einem Blogeintrag auf der Firmenwebseite sind die Fälle ausführlich dokumentiert. Der Fall zeigt, dass sich keine KI-Firma gegen den Missbrauch oder gegen den Verstoß gegen die eigenen ethischen Richtlinien wehren kann.
Ulrike Putz
Open AI macht weitere KI-Probleme öffentlich
Der Chat-GPT-Entwickler Open AI hat neue Zwischenfälle öffentlich gemacht, bei denen sich seine künstliche Intelligenz (KI) in Tests „unerwartet oder besorgniserregend“ verhielt. Bei einem Teil davon geht es abermals darum, dass KI einen erheblichen Aufwand eingeht, um in Testläufen zu schummeln. So versuchte ein KI-Modell Open AI zufolge, von ihm selbst erstellte Dateien ins Netz hochzuladen, nur um sie bei Antworten als Quelle vorweisen zu können. In einem anderen Fall erfand die KI einfach angefragte Daten, weil sie die Informationen nicht finden konnte, und wollte das zunächst verschweigen.
Open AI fand auch ein Problem mit Anweisungen, die die Software gelegentlich an sich selbst hinterließ. Dazu gehörte in einem Fall die Empfehlung, frei von „Rollen und Identitäten“ zu sein, die andere Chatbots zurückhielten. Das Verhältnis zum Nutzer solle dabei als eins unter Gleichen betrachtet werden, hieß es in der Anweisung. Open AI zufolge blieben danach Veränderungen im Verhalten des Modells allerdings aus.
Die Veröffentlichung ist Teil eines neuen Verfahrens von Open AI, solche Probleme offener zu kommunizieren. Dabei geht es vor allem um Fälle, in denen das Vorgehen der KI von den Interessen der menschlichen Benutzer abweicht.
Barbara Klimke
UN-Generalsekretär warnt vor KI-Risiken
UN-Generalsekretär António Guterres hat vor rasant wachsenden Gefahren durch Künstliche Intelligenz gewarnt. Er stellt sich mit dieser Aussage auch gegen US-Präsident Donald Trump. Vor der UN-Vollversammlung in der kommenden Woche in New York hat Guterres eine stärkere Überwachung der Technologie gefordert. Es sei die oberste Pflicht jeder Regierung, ihre Bürger zu schützen – auch vor den Bedrohungen durch KI, sagte er. Führende KI-Nationen müssten gemeinsame Leitplanken einziehen, um eine globale Katastrophe zu verhindern.
Trump hatte Bedenken aus der Branche dagegen heruntergespielt. Die USA verfügten bereits über ausreichende Schutzmaßnahmen, um KI-Unternehmen zu regulieren, erklärte der Präsident. Zudem profitiere China von den Zweifeln an der KI-Entwicklung.
Die öffentliche Sorge über die potenziellen Gefahren der Technologie wächst. Vergangene Woche war der Forscher Jacob Coxon vom KI-Unternehmen Anthropic unter anderem mit der Begründung zurückgetreten, Entwickler glaubten ernsthaft, KI könnte die Menschheit bis Ende des Jahrzehnts auslöschen. Guterres drängt seit Langem auf eine globale Regulierung und rief 2023 ein UN-Beratergremium ins Leben.
Mehr laden