AI Security
Professional (AISP)

2.1 Ameaças de entrada – Tipos de evasão conforme o acesso do atacante ao conhecimento do modelo: zero-knowledge, perfect-knowledge, partial-knowledge, transfer attack e evasão após envenenamento. Distinção entre prompt injection direto e indireto e as sete camadas de proteção contra prompt injection. Divulgação de dados sensíveis nas saídas do modelo, model inversion e membership inference. Como ocorre a exfiltração de modelo e suas contramedidas. Ameaças de exaustão de recursos por entrada (DoS e denial-of-wallet, sponge attack).

2.2 Ameaças de development-time – Riscos de data poisoning durante o desenvolvimento. Model poisoning direto em development-time. Model poisoning via supply chain. Interpretação dos diferentes vazamentos de dados sensíveis em development-time: vazamento de dados de treinamento, vazamento direto do modelo e vazamento de código-fonte ou configuração.

2.3 Ameaças convencionais de runtime – Como as ameaças convencionais de runtime afetam os componentes de IA. Model poisoning direto em runtime e model leak direto em runtime. Ameaças associadas a injection embutida nas saídas da IA (SQL injection, XSS e afins) e a vazamento de dados de entrada. Vazamento e manipulação de dados de augmentation em arquiteturas RAG.

3.1 Governança – Aplicação dos controles gerais de governança para supervisão da segurança de IA. Abrangência desses controles e sua ligação com o ISMS e o AIMS. Como a implementação dos controles se divide entre o provedor terceiro do modelo de IA e quem desenvolve ou implanta o sistema (cenário de ready-made model). Papéis de CISO, CAIO e demais stakeholders.

3.2 Limitação de dados sensíveis – Implementação de controles para limitar dados sensíveis e reforçar confidencialidade e integridade: minimização de dados, anonimização, pseudonimização, tokenização, criptografia e limitação de retenção. Como essa limitação reduz o risco de forma estrutural.

3.3 Limitação de comportamento indesejado – Implementação de controles para limitar os efeitos do comportamento indesejado do modelo: validação e sanitização de saída, supervisão humana e automatizada, verificação de integridade e restrição de ações. Como esses controles beneficiam o desempenho do sistema e reduzem risco ao mesmo tempo.

4.1 Escopo das ameaças – Por que o teste de segurança de IA é importante e qual o seu escopo. Quais ameaças testar além do teste de segurança convencional quando se usa IA preditiva ou IA generativa.

4.2 Estratégias de teste de segurança de IA – Descrição das estratégias de AI security testing a partir da abordagem geral de testes. Adversarial testing e AI red teaming aplicados ao ciclo de vida do sistema de IA.

5.1 Privacidade e segurança de IA – Conceito de privacidade e as preocupações específicas associadas a sistemas de IA. Aplicação dos princípios de privacidade em IA a cenários práticos: consentimento, minimização e limitação de armazenamento, exatidão, equidade e legalidade, transparência e explicabilidade, limitação de uso e especificação de finalidade, privacy by design e salvaguardas de segurança. DPIA e PIA no contexto de IA.

5.2 Conformidade e regulação – Como as normas ISO/IEC 23894 (gestão de riscos em IA), ISO/IEC 27005 (gestão de riscos de segurança da informação), ISO/IEC 42001 (sistema de gestão de IA) e ISO/IEC 5338 (processos do ciclo de vida de sistemas de IA) apoiam a implementação de controles e processos em conformidade com as regulações de IA. Desafios de conformidade com o AI Act e o GDPR, incluindo os níveis de risco do AI Act. Estratégias para mitigar riscos de violação de direitos autorais.