https://techcrunch.com/2024/07/27/nist-releases-a-tool-for-testing-ai-model-risk/
NIST releases a tool for testing AI model risk | TechCrunch
NIST has re-released a tool designed to help companies test for and understand some of the potential risks arising from AI models.
techcrunch.com
๊ธฐ์ฌ ์ ๋ชฉ
NIST releases a tool for testing AI model risk
NIST ๋ AI ๋ชจ๋ธ์ ์ํ์ฑ์ ํ
์คํธ ํ๋ ์๋ก์ด ๋๊ตฌ๋ฅผ ์ถ์ํ๋ค.
1. ์คํค๋ฐ
NIST ๋ผ๋ ๊ณณ์์ ai ์์คํ ์ด ๋ฐ๋ ๊ณต๊ฒฉ? ์ ํ ์คํธํ๋ ๋๊ตฌ๋ฅผ ์ถ์ํ๋ค. ์ด๋ฆ์ Dioptra ๋ค์ด์ตํธ๋ผ์.
Called Dioptra (after the classical astronomical and surveying instrument),
-> ๋ค์ด์ตํธ๋ผ๋ ๊ณ ์ ์ฒ๋ฌธ, ์ธก๋ ๋๊ตฌ์ ์ด๋ฆ์ ๋ฐ์ ์ง์ด์ง ์ด๋ฆ.
Dioptra debuted alongside documents from NIST and NIST’s recently created AI Safety Institute that lay out ways to mitigate some of the dangers of AI, like how it can be abused to generate nonconsensual pornography.
-> ๋ค์ด์ตํธ๋ผ๋ NIST ์ ์ต๊ทผ NIST ์์ ๋ง๋ AI Safety Institute ๋ผ๋ ๊ธฐ๊ด์์ ์์ฑํ ๋ฌธ์์ ํจ๊ป ๋ฑ์ฅ(๋ฐ๋ท) ํ๋
์ด ๋ฌธ์์๋ AI ๊ฐ ๋์๋ฐ์ง ์์ ์ฑ์ ์ธ ์ด๋ฏธ์ง, ๋์์๋ค์ ๋ง๋ค์ด๋ด๋๋ฐ์ ์
์ฉ๋๋ ์ฌ๋ก๋ฅผ ์ํ์ํค๋ ๋ฐฉ๋ฒ์ ๋ํด ์ ์๋์ด ์๋ค. (lay out ์์ ์๋ that ์ด document ๋ฅผ ์์ํ๋ ํํ๋ผ๋ ๊ฒ ํ๋ฒ์ ์ ์ฝํ๋ ๋ฌธ์ฅ )
“The open source software, like generating child available for free download, could help the community, ( including government agencies and small to medium-sized businesses,) conduct evaluations to assess AI developers’ claims about their systems’ performance.”
-> ์ด๋ฆฐ์ด๋ค๋ ์ฝ๊ฒ ๋ค์ด ๋ฐ์ ์ ์๋ ์คํ์์ค ์ํํธ์จ์ด๋ ์ ๋ถ, ์ค์ ๊ธฐ์
๋ฑ์ด AI ๊ฐ๋ฐ์๋ค์ด ์์ ๋ค์ ์์คํ
์ ๋ํ ํผํฌ๋จผ์ค์ ๋ํด ์ฃผ์ฅํ๋ ์ด์ผ๊ธฐ๋ค์ ํ๊ฐํ ์ ์๋๋ก ๋๋๋ค.
NIST doesn’t assert that Dioptra can completely de-risk models. But the agency does propose that Dioptra can shed light on which sorts of attacks might make an AI system perform less effectively and quantify this impact to performance.
-> NIST ๋ ๋ค์ด์ตํธ๋ผ๊ฐ ์์ ํ ๋ฆฌ์คํฌ๊ฐ ์๋ ๋ชจ๋ธ์ด๋ผ๊ณ ๋ ๋งํ์ง ์๋๋ค. ๊ทธ๋ฌ๋ ๋ค์ด์ตํธ๋ผ๋ ์ด๋ค ์ข
๋ฅ์ ๊ณต๊ฒฉ์ด AI ์์คํ
์ ํผํฌ๋จผ์ค์ ํจ๊ณผ๋ฅผ ์ค์ด๋์ง ๋ฐํ๋ผ ์ ์์ผ๋ฉฐ, ๊ทธ๋ฆฌ๊ณ ์ด๋ค ์ํฉํธ๊ฐ ์๋์ง ์ ๋ํํ ์ ์๋ค๊ณ ๋งํ๋ค. (propose)
๋ฒค์น๋งํฌ๋?
=> ์ด๋ค ๊ธฐ์ค์ด๋ ํ์ค์ ์ฌ์ฉํ์ฌ ์ฑ๋ฅ์ ์ธก์ ํ๊ณ ๋น๊ตํ๋ ๊ฒ์ ์๋ฏธํ๋ค.
์ฑ๋ฅ ํ๊ฐ, ๋น๊ต, ์ต์ ํ๋ฅผ ๋ชฉ์ ์ผ๋ก ํจ.