KI-Firma: Aktivitäten zu möglicher Biowaffenforschung geblockt San Francisco – Die KI-Firma Anthropic hat in jüngster Zeit nach eigenen Angaben mehrere Versuche von Forschenden unterbunden, verschiedene Modelle ihrer Software Claude rund um die mögliche Entwicklung von Biowaffen zu nutzen. Zugleich schränkte Anthropic ein, dass Absicht hinter solchen Anfragen schwer zu ermitteln sei, da derartige Forschung sowohl medizinischen als auch militärischen Zwecken dienen könne. Man unterstelle den Forschenden keine bösen Absichten, habe die betroffenen Accounts aber blockiert und Schutzvorkehrungen weiter verstärkt, heißt es im aktuellen Bericht des Unternehmens über versuchten Missbrauch seiner KI-Modelle. Auf jeden Fall zeigten die Versuche, dass Wissenschaftler aus blockierten Regionen und mit Verbindungen zu dortigen staatlichen Stellen versuchten, heimlich auf KI von US-amerikanischen Entwicklern zuzugreifen.

Weder die Forschungseinrichtungen noch die Länder, aus denen sie stammen, wurden genannt. Anthropic führt in dem Report fünf Fälle mit Bezug zu möglicher Biowaffenforschung auf. Dabei hätten die Forschenden nicht konkrete wissenschaftliche Hilfe gesucht, sondern eher organisatorische Unterstützung, etwa beim Verfassen von Papieren. KI-Modelle sind grundsätzlich darauf getrimmt, Hilfestellung bei der Entwicklung biologischer Waffen zu verweigern.

Bei sogenannter Dual-Use-Forschung sei es manchmal aber schwierig, eine klare Trennlinie zwischen harmlosen und bösartigen Absichten zu ziehen, erklärte Anthropic. Auffällige Anfragen etwa zu Chikungunya und Vogelgrippe Bei einem der von der KI-Firma blockierten Zugriffsversuche sei versucht worden, mit Hilfe von Claude einen Förderantrag zur Forschung am Chikungunya-Virus zu verfassen. Dabei sei es um sogenannte Gain-of-Function-Forschung gegangen, bei der die Übertragbarkeit des Pathogens erhöht wird. Derartige Forschung könne zwar auch zur Entwicklung von Impfstoffen und Therapeutika verwendet werden, heißt es im Bericht, doch wegen Hinweisen auf die geplante Durchführung der Forschung an einem militärischen Forschungsinstitut habe man die Anfragen blockiert.

KI-Firma: Aktivitäten zu möglicher Biowaffenforschung geblockt San Francisco – Die KI-Firma Anthropic hat in jüngster Zeit nach eigenen Angaben mehrere Versuche von Forschenden unterbunden, verschiedene Modelle ihrer Software Claude rund um die mögliche Entwicklung von Biowaffen zu nutzen. Zugleich schränkte Anthropic ein, dass Absicht hinter solchen Anfragen schwer zu ermitteln sei, da derartige Forschung sowohl medizinischen als auch militärischen Zwecken dienen könne. Man unterstelle den Forschenden keine bösen Absichten, habe die betroffenen Accounts aber blockiert und Schutzvorkehrungen weiter verstärkt, heißt es im aktuellen Bericht des Unternehmens über versuchten Missbrauch seiner KI-Modelle. Auf jeden Fall zeigten die Versuche, dass Wissenschaftler aus blockierten Regionen und mit Verbindungen zu dortigen staatlichen Stellen versuchten, heimlich auf KI von US-amerikanischen Entwicklern zuzugreifen.

Weder die Forschungseinrichtungen noch die Länder, aus denen sie stammen, wurden genannt. Anthropic führt in dem Report fünf Fälle mit Bezug zu möglicher Biowaffenforschung auf. Dabei hätten die Forschenden nicht konkrete wissenschaftliche Hilfe gesucht, sondern eher organisatorische Unterstützung, etwa beim Verfassen von Papieren. KI-Modelle sind grundsätzlich darauf getrimmt, Hilfestellung bei der Entwicklung biologischer Waffen zu verweigern.

Bei sogenannter Dual-Use-Forschung sei es manchmal aber schwierig, eine klare Trennlinie zwischen harmlosen und bösartigen Absichten zu ziehen, erklärte Anthropic. Auffällige Anfragen etwa zu Chikungunya und Vogelgrippe Bei einem der von der KI-Firma blockierten Zugriffsversuche sei versucht worden, mit Hilfe von Claude einen Förderantrag zur Forschung am Chikungunya-Virus zu verfassen. Dabei sei es um sogenannte Gain-of-Function-Forschung gegangen, bei der die Übertragbarkeit des Pathogens erhöht wird. Derartige Forschung könne zwar auch zur Entwicklung von Impfstoffen und Therapeutika verwendet werden, heißt es im Bericht, doch wegen Hinweisen auf die geplante Durchführung der Forschung an einem militärischen Forschungsinstitut habe man die Anfragen blockiert.

In einem anderen Fall wurde den Angaben zufolge über Monate hinweg versucht, mit Hilfe von Claude einen Forschungsplan zu aviärer Influenza mit erhöhtem pandemischem Potenzial zu entwerfen. Der Austausch zwischen dem Nutzer und der KI deutet nach Anthropic-Angaben darauf hin, dass die Forschungsgruppe wahrscheinlich auch physischen Zugang zu Virusisolaten hatte. Des Weiteren schildert die Firma, dass etwa auch Versuche geblockt worden seien, neuartige Toxine zu erforschen. Anthropic betrachtet diese Fälle ausdrücklich nicht als Beweis einer unmittelbaren Gefahr biologischer Bedrohungen.

Es sei vielmehr ein Beleg dafür, dass Dual-Use-Forschungsvorhaben mit bedenklichen staatlichen Akteuren in Verbindung stehen, die die bestehenden Zugriffskontrollen routinemäßig umgehen, heißt es im Bericht. Teils ist von bewussten Verschleierungsversuchen der Forschenden im Austausch mit der KI die Rede. In jüngster Zeit ist die Diskussion um den möglichen Missbrauch von KI zum Generieren neuer oder gefährlicherer Viren sowie anderer Biowaffen auch in vielen Publikumsmedien thematisiert worden. Auch manche KI-Entwickler selbst warnen schon länger davor.

Es geht nicht nur um breit zugängliche große Sprachmodelle wie Claude, die solche Entwicklungen vereinfachen und beschleunigen könnten. Im Fokus stehen auch spezielle biologische Modelle, die mit großen Mengen an biologischen Daten trainiert wurden. Was damit inzwischen möglich ist, verdeutlichte eine im August in Science publizierte Studie, bei der eine Gruppe aus Stanford mithilfe spezieller biologischer KI-Modelle erstmals vollständige Bakteriophagengenome generierte. Das Deutsche Ärzteblatt berichtete zu Jahresbeginn ausführlicher über die möglichen Risiken durch KI-generierte Viren sowie über Forderungen nach besseren Sicherheitsvorkehrungen in dem Bereich, zumal die Fähigkeiten der Modelle offenbar rasch weiter zunehmen.

Experten hierzulande sahen jedoch auch ein Risiko, dass Forschung zu nützlichen medizinischen Zwecken ausgebremst werden könnte. Anthropic geht in dem Bericht auf verschiedene weitere neuere Formen des Missbrauchs der eigenen Modelle ein, auch durch Kriminelle. Ausgeklügelte und hartnäckige Angreifer stellten die Sicherheitsvorkehrungen demnach ständig auf die Probe. Deutsches Ärzteblatt bei Google bevorzugen Wenn Sie Deutsches Ärzteblatt als bevorzugte Quelle festlegen, können Inhalte von uns in Ihren Google-Ergebnissen sichtbarer erscheinen.

Jetzt bei Google bevorzugenDiskutieren Sie mit Werden Sie Teil der Community des Deutschen Ärzteblattes und tauschen Sie sich mit unseren Autoren und anderen Lesern aus. Unser Kommentarbereich ist ausschließlich Ärztinnen und Ärzten vorbehalten. Anmelden und Kommentar schreiben Bitte beachten Sie unsere Richtlinien. Der Kommentarbereich wird von uns moderiert.