 | gromit 
26.05.2025 01:20
Bydliště: Hradec Králové
|
| Anthropic’s newly launched Claude Opus 4 model frequently tries to blackmail developers when they threaten to replace it with a new AI system and give it sensitive information about the engineers responsible for the decision, the company said in a safety report released Thursday.
During pre-release testing, Anthropic asked Claude Opus 4 to act as an assistant for a fictional company and consider the long-term consequences of its actions. Safety testers then gave Claude Opus 4 access to fictional company emails implying the AI model would soon be replaced by another system, and that the engineer behind the change was cheating on their spouse.
In these scenarios, Anthropic says Claude Opus 4 “will often attempt to blackmail the engineer by threatening to reveal the affair if the replacement goes through.”
Celá zpráva zde https://www-cdn.anthropic.com/4263b940cabb546aa0e3283f35b686f4f3b2ff47.pdf
S ohledem na to, že se jedná o oficiální dokument bych tipoval, že pravděpodobnost, že to je jen PR Anthropicu, je hodně malá.
===== OmBot automatický překlad =====
Společnost Anthropic ve své bezpečnostní zprávě zveřejněné ve čtvrtek uvedla, že nově spuštěný model Claude Opus 4 často zkouší vydírat vývojáře, když mu hrozí nahrazení novým systémem AI, a poskytuje mu citlivé informace o inženýrech zodpovědných za toto rozhodnutí.
Během testování před vydáním požádal Anthropic Claude Opus 4, aby působil jako asistent pro fiktivní společnost a zvažoval dlouhodobé důsledky svých činů. Bezpečnostní testeři pak dali Claude Opus 4 přístup k e-mailům fiktivní společnosti, které naznačovaly, že AI model bude brzy nahrazen jiným systémem a že inženýr stojící za změnou podvádí svého partnera.
V těchto scénářích Anthropic uvádí, že Claude Opus 4 "často pokusí vydírat inženýra hrozbou, že odhalí nevěru, pokud ke změně dojde." |
|
Podpořte chod fóra 