더 나은 OKR로 위험을 측정하는 방법.

저는 진지하게 받아들이는 회사에서 목표 및 핵심 결과 (OKR)에 대한 열렬한 팬이되었습니다. OKR에 적합한 의견 수렴 방법을 설명하고 선택한 위험의 감소 (또는 증가)를 측정합니다. 이를 통해 앞으로의 위험을 완화하기위한 엔지니어링 노력을 줄이거 나 늘리 겠다는 팀의 결정에 도움이됩니다.

이 방법은 기상학자가 날씨를 예측하는 방법과 유사합니다.

OKR에 대해 자세히 알아 보려면이 내용을 읽거나 시청하거나 읽을 수 있습니다.

OKR은 동기 부여 목표를 표현하고 그룹을 해당 목표를 향해 추진하는 측정 가능한 결과의 짧은 목록에 전념하는 간단한 방법입니다. 그들은 때때로 경영진에서 모든 직원에 이르기까지 계단식으로 배열됩니다. OKR은 기술 회사와 함께 일하는 많은 보안 팀에서 공통적 인 관행입니다.

예를 들어,

목표 : 개발자 랩톱에서 프로덕션으로 인증을 향상시킵니다.

이 목표는 나쁘지 않지만 많은 위험 측정 기회가 빠져 있습니다.

수량화 가능한 방법으로 드물고 영향을 미치는 위험을 줄입니다.

이러한 유형의 위험은 일반적으로 측정하기가 어렵습니다.

과거 데이터 (아무도 발생하지 않음)는 미래에 대한 정보를 제대로 제공하지 못합니다 (발생할 수 있습니까?).

예측 및 추정 방법을 사용하면 과거에 해당 시나리오에 대한 기록 데이터가없는 경우에도 미래 시나리오가 발생할 가능성을 측정 할 수 있습니다. 우리는 그룹의“불확실성”을 위험의 대리자로 사용하고이를 측정합니다. 예측과 관련된인지 편향을 관리합니다.

목표 : "위험 시나리오"로 목표를 작성하십시오.

목표는 시나리오에서 표현되는 위험을 줄이는 것입니다.

아래는 위험을 줄이기 위해 작성된 이전에 언급 한 목표입니다. 개선의 여지가 있습니다.

목표 : 개발자 랩톱에서 프로덕션으로 인증을 향상시킵니다.

시나리오로 다시 작성하여 개선 할 수는 있지만 반드시 나쁜 목표는 아닙니다.

목표 : "Q3의 개발자 랩톱에서 악의적 인 사용자가 프로덕션에 액세스했습니다"의 위험을 줄입니다.

비슷해 보이죠?

  • 가장 큰 차이점은 시나리오가 확률 적이라는 것입니다. 확률 적 문구를 예측할 수 있습니다. 예측은 잘 연구되고 일반적으로 이해되며 (예 : 날씨) 정량적이며 불확실성을 측정합니다.

불확실성은 뇌에서 당신이 일련의 옵션을 으 rug하게하거나 그 중 하나에 대해 강하게 느끼게하는 것입니다. 결과적으로, 그룹의 불확실성은 간단한 방법으로 측정 될 수 있습니다. 우리는 전문가의 불확실성을 측정 대상의 대리자로 만들 것입니다.

  • 사소한 차이점은 시나리오가 엔지니어의 창의력에 상을 준다는 것입니다.

예를 들어, 프로덕션 자격 증명이 필요한 개발자 수를 줄이면 인증이 향상됩니까? 아니요. 그러나 위험을 줄이고 주요 결과가 수정 된 목표와 더 호환 될 수 있습니다. 이는 더 나은 목표 였으므로 결과적으로 우리의 주요 결과가 더 나을 것입니다.

"위험 시나리오"목표는 솔루션을 규정하지 않습니다. 그것은 단지 깨끗한 예측을 설정합니다. 시나리오는 피해야 할 미래의 사건으로 위험을 정의하는 더 나은 작업을 수행 할 수 있습니다.

좋은 예측 가능한 시나리오에는 위협, 벡터, 자산 또는 영향을 신중하게 혼합 한 것이 포함됩니다. 범위를 좁히거나 넓히면 특정 범위 또는 위험을 창의적으로 결정할 수 있습니다. 예측은 구체적인 기간을 결정해야합니다.

주요 결과 : 마일스톤 또는 지표를 선택하고 예측을 수행하십시오.

첫째, 쉬운 것들. 주요 결과는 측정 가능해야합니다. 구글의 초기에 마리사 메이어는 이렇게 말했다.

"숫자가 없으면 핵심 결과가 아닙니다."

간단한 측정 방식 중 하나는 이진 달성입니다. 1은 완료, 0은 완료하지 않습니다. 예를 들면 다음과 같습니다.“XYZ 비즈니스 응용 프로그램을 Single Sign On 플랫폼에 추가했습니다.” 당신이 그것을했다면, 당신은 "1"을 얻을!

또 다른 방법은 "수정 X 버그"또는 "X 사건 감소"또는 "N 엔지니어 고용"과 같은 정량적 지표를 선택하는 것입니다. 이들은 필요하고 일반적이며 프로젝트 목표 및 운영 지표를 나타냅니다. 아마도 이것에 익숙 할 것입니다. 또한 중요한 결과를 얻을 수 있습니다.

그러나 실제로는 시나리오와 관련된 위험 감소를 측정하지 않습니다. 오히려 수행 된 작업의 지연 지표입니다. 이 작업은 위험 완화에 가치를 창출했지만 실제로 위험 감소를 측정 한 것은 아닙니다. 노력 때문에 위험이 줄어들고 있다고 가정하기 만하면됩니다.

그러나 얼마만큼? 실제로 증가하면 어떻게됩니까?

보안 지표와 확실성 측정 비교

기존 보안 메트릭은 정보 가치에 매우 유용합니다. 그들은 위험에 대한 우리의 불확실성을 알려주지 만, 위험의 확률 적 성격을 나타내지 않으며, 특정 시나리오에 대해 가질 수있는 거대한 불확실성을 표현하지 않는 경우가 많습니다.

예를 들어, 과거의 취약점 수 또는 회귀 빈도는 위험을 직접적으로 나타내지는 않지만 관련 시나리오가 해당 데이터의 결과로 발생하는지 여부에 대한 불확실성을 알려주는 데 도움이됩니다.

개별 메트릭에 할당 한 값이 일정한 플럭스에 있기 때문입니다.

어떤 특정 메트릭은 가장 유익한 데이터 포인트가 될 수 있습니다. 나의 판단은 구 데이터에 직면하여“오 폐물”이라고 비명을 지르는 새로운 정보 나 그 문제에 대해 우리가 만들려고하는 깨지기 쉬운 모델을들은 직후에 이전 데이터를 폐기 할 것이다.

이제 "어려운 부분"으로갑니다. OKR을 만들어 봅시다.

당신이 그것을 얻을 때 이것은 실제로 정말 쉽습니다.

측정하도록 설계된 예시 OKR :

언급 한 바와 같이,이 OKR을 구축하여 예측 및 추정 기술을 사용하여 위험 측정에 적합합니다.

소규모 AWS 보안 팀을위한 OKR의 예는 다음과 같습니다.

목표:

“3 분기에 프로덕션 AWS 자격 증명이 일반 대중에게 노출되었습니다”가능성을 줄입니다.

주요 결과 :

  1. #security 슬랙에 AWS_SECRET_KEY를 언급 한 커밋이 나타납니다.
  2. photobackup 파이프 라인이 AWS 역할로 이동됩니다.
  3. 우리의 탐지 통화에 대한 완벽한 보안 원숭이 경고 파이프 라인.
  4. 사전 및 사후 예측 및 CloudTrail 사냥을 완료하십시오.

첫 번째 주요 결과 (1–3)에는 토론이 필요하지 않습니다. 이것들은 방금 가공 된 엔지니어링 작업이므로 원하는 것을 선택할 수 있습니다. 마지막 주요 결과 (# 4)는 앞으로 집중할 것입니다.

이 위험 시나리오를 측정하기 위해 예측 패널을 사용합니다. 이를 통해 OKR의 기본 위험 시나리오를 확률 적으로 측정하는 능력이 강화됩니다.

1. 작업을 시작하기 전에 : "기준"예측.

이것이 3/4 분기에 OKR이라고 가정 해 봅시다. 6 월 초에 OKR에 익숙한 다양하고 훈련 된 소수의 사람들은 시나리오의 확률을 확률 적 용어 (A 퍼센트 신념)로 예측할 것입니다.

참가자는 Monkey (), Unicorn (), Cow () 및 Penguin ()입니다. 우리는 그것들을 확률 론적 용어 (온라인 교육)로 생각하기 위해 간단히 교정합니다. 사용 가능한 메트릭, 모델, 사후 검토, 컨설턴트 감사 또는 인프라 다이어그램에 액세스 할 수 있습니다. 모두 유용하고 예측 정보를 제공합니다.

위의 예측은 CloudTrail 사냥시 사건이 ​​나타나지 않을 것이라는 확신이 78 %입니다. 사건이 발견 될 가능성은 14 %이며 실제로 큰 문제가 발생할 것이라고 6 % 확신합니다.

이제 각 범주에 대해 패널에서 33 %의 답이 문자 그대로 정보 나 의견이없는 것처럼 전체적인 불확실성을 표시했을 것입니다. 예를 들어 시나리오는 다른 언어로 작성되었을 수 있습니다. 그러나 여기서는 그렇지 않습니다. 참가자는 각 옵션이 다른 옵션과 같다고 믿지 않습니다. 환경과 위협 가능성에 대한 지식을 바탕으로 사건이 발생하지 않을 가능성이 매우 높다고 생각합니다.

따라서이 패널은 해당 기간 동안 사고가 발생하지 않을 가능성이 높은 확률로 의견을 표시합니다. 그러나, 발견 된 사건은 전혀 문제가되지 않습니다. 많은 다른 회사에서 발생합니다. 그들은 일어날 수있는 작은 가능성이 있다고 믿어야합니다.

실제로, 패널리스트 (Monkey )는 더 확실한 것이 발견 될 것 같습니다.

Monkey 와 그룹의 의견이 다른 것은 괜찮습니다. 나중에 논의하겠습니다. 패널이 동의 할 필요는 없습니다!

2. 이제 작업을 수행하고 평소대로 진행하십시오.

분기 중반은 평소와 같이 목표를 달성하는 데 중점을 둡니다. 그냥 일해

우리의 목표에 명시된 바와 같이, 팀은 경고를 작성하고 AWS 역할을 사용하도록 앱을 리팩터링하며 Security Monkey를 배포합니다. 잘만되면 그들은 잘하고 그들 모두를 끝내라!

이 방법은 일상 업무에 영향을 미치지 않습니다. 그것은 단순히 측정 가능한 결과를 향해 작업을 안내합니다. 그러나 일반적으로 위험을 공격하십시오.

3. EOQ. 진행했습니다! 이제 기준과 비교합니다.

우리는 분기 말에 두 가지 일을하기 위해 노력했습니다.

먼저 조사를 통해 CloudTrail 로그를 사냥하는 노력을 기울이고 조사 노력으로 P0 사고를 해결할 수 있는지 확인합니다.

둘째, 패널은 4 분기 불확실성을 제외하고 다시 측정합니다.

우리 패널은 새로운 지식으로 무장했습니다. 이번 분기의 진행 상황과 CloudTrail 사냥 결과는이 시나리오에 대한 의견을 크게 바꿔 놓았습니다.

팀이 다른 주요 결과에 성공했고 위반 ​​평가가 깨끗하게 돌아 왔다고 가정 해 봅시다.

우리는 다시 예측합니다. 결과는 다음과 같습니다.

이제 우리는 그들의 노력에 따라 패널이 얼마나 확실하게 얻었는지 잃었는지 확인할 수 있습니다. 이 예에서 우리의 신념은 확실성 (33 %에서 멀어짐)으로 훨씬 더 나아졌습니다. 작업이 패널의 확실성에 영향을 주었습니까? 이 패널은 그렇게 믿고 있습니다.

이 경우이 위험을 둘러싼 확실성을 개선했습니다. 우리는 올바른 방향으로 5 %의 양적 개선을했습니다.

4. 데이터에 따라 지도력 결정을 내립니다.

이제 효과적인 의사 결정을 할 수 있습니다.

이것은 10 분기마다 하나씩 위반을 예측하는 것으로 보입니다.

  • 충분합니까?
  • 우리는 그것을 더 개선하고 싶습니까, 아니면 다른 위험을 감수하고 싶습니까?
  • 허용 가능한 임계 값은 무엇입니까?
  • 그것을 능가하기 위해 어느 정도의 노력과 자원이 필요합니까?

왜 이런 접근 방식입니까?

인간은 서로 다른 정보 소스를 처리하고 새로운 정보를 빠르게 흡수하여 의사 결정을하도록 설계되었습니다.

분기 내내 우리는 의심 할 여지없이 선택한 위험에 대한 확실성의 수준을 변화시키는 정보를 얻습니다.

이 정보는 실습 작업 자체, 산업 동향, 위반, 인프라의 다른 영역에 대한 취약성 보고서, 자체 익스플로잇 연구, 폭탄 공개 공개 트윗 등 다양한 위치에서 제공됩니다.

그러나 이러한 정보 출처에 대한 우리의 신뢰는 역동적입니다. 의사 결정의 가치가 빠르게 변하기 때문에 위험을 나타내는 개별 정적 지표에 의존 할 수 없습니다. 우리는 측정 도구로서 예측 방법을 개선하는 데 대한 지침이 높아짐에 따라 이러한 위험에 대한 대리자로 자신의 확실성을 사용할 수 있습니다.

실제로, 전문가 모욕은 원자력, 항공 우주 및 환경과 같은 다른 산업의 확률 적 위험 평가에서 중요한 요소입니다.

새로운 것이 아니라 우리에게 새로운 것입니다.

편견의 위험에 대한 단열.

엄격하게 접근하지 않으면 예측이 위험합니다. 인지 편향은 잘 연구되어 있으며, 이러한 발견은 자주 반복되어야합니다. 잘못된 예측의 위험에 대한 다양한 완화 방법이 있습니다.

연구는 다음과 같은 경우 예측이 향상 될 수 있다고 주장합니다.

  1. 패널리스트는 미숙하고 편견에 대해 생각하도록 훈련됩니다.
  2. 패널리스트는 편향의 영향을 결합하고 매끄럽게하기 위해 팀을 구성합니다. 관점의 다양성이 핵심입니다!
  3. 패널리스트는 예측 결과 (교정)에 반복적으로 직면합니다. (온라인 교육, 좋은 판단력 개방, 자신감 교정)
  4. 패널리스트는 시나리오를보다 세분화 된 부분으로 분해하고이를 이해하는 데 필요한 사용 가능한 데이터에 투명하게 액세스 할 수 있습니다.
  5. "검은 백조"에 대한 확실한 이해. 그들은 예측자를 속입니다.
  6. 모든 위험을 예측하고 완화하려고 시도하지 말고 피할 수없는 실패에 대비하십시오.
  7. 샌드백을 피하기 위해 OKR에서 프로모션과 급여를 분리하고 결과를 예측하여 직원 성과 관리에 이미 문제가되었습니다.

패널리스트에게“빠른 생각!”예측을 요청하는 것만으로도 나쁜 결과를 얻을 수 있습니다. 엄격한 접근 방식은 높은 측정 비용 (회의)을 갖지만, 위험 매트릭스 스프레드 시트를 사용하는 방법보다 훨씬 쉽습니다.

그러나… 나는 항상 "위반을 가정"하므로 작동하지 않습니다!

당신이 위반했다고 가정하는 것은 완벽합니다. 나는 어떤 조직이든 어느 정도의 심각성에서 그들이 소유 한 시스템에서 일종의 적대적 활동을 할 가능성이 매우 높다 (99 %). 그것이 "침해 가정"이 나에게 의미하는 바입니다.

그러나 모든 시스템의 모든 구성 요소가 주어진 시간마다 모든 적에 의해 손상된다고 믿는 것은 건강에 좋지 않습니다. 심지어 합법적 인 사람들, 심지어 FUD 슬링 어들조차도이 문제를 심도있게 다루지 않습니다.

합리적이고 깊이있는 비관적 인 마음은 여전히 ​​다른 사람들보다 더 많거나 적은 의심의 여지를 남깁니다. 개인의 노력이 위험을 개선 할 것이라는 믿음이 있다면, 확률 적 측면에서 불확실성의 감소를 측정 할 수 있습니다. 예를 들어 비관론자들은 그들의 일이 상황을 악화 시킨다고 믿지 않습니다.

요컨대, 비관적 기준선까지도 개선 될 수 있으며, 패널에 몇 명의 비관론자가있는 것은 실제로 매우, 매우 좋은 일입니다.

위험 예측 및 예측의 미래

여러 분기에 걸쳐 확률 론적 방법을 더욱 강화할 수 있습니다. Red Teams, Brier Scores 및 업계 샘플링을 도입하여 예측을 안내 할 수 있습니다. 우리는 데이터의 가치에 동의하고 변동하는 것을 볼 수 있습니다. 우리는“Chatham House”또는 예측을 익명화하여 동료 보안 팀과 공유 할 수 있습니다.

예측 결과를 Monte Carlo 시뮬레이션에 제공하여 NASA, Nuclear Licensing 및 기타 위험으로부터 사이버 보안보다 먼 분야의 교훈과 전문 지식을 얻을 수 있습니다.

조직이 위험 예측 관행을 채택 할 수있는 많은 기회가 있습니다. 좋은 결과를 얻기 위해 엄청난 에너지가 필요하지 않습니다. 위험 기반 OKR과 같이 소규모로 시작하면 조직의 위험을 분명히 줄일 수 있으며 조직은 양적 위험으로 향할 수 있습니다.

결론

OKR은 엔지니어링 팀을 안내하는 일반적인 방법입니다. 추정 및 예측 기술과 호환되는 OKR을 만들면 위험 감소의 진행 상황을 더 잘 측정 할 수 있습니다.

이러한 방법은 팀이 업무를 수행하는 "방법"을 방해하지 않으며 결과적으로 "얼마나 많은"변화가 있을지 측정합니다. 현재 위험을 측정 할 수있는 방법이 없다면 정량적 방법을 사용하는 것보다 효과가 좋습니다. 이 전략은 엔지니어링 관행에 미치는 영향을 최소화하면서 팀을 측정 가능한 위험 감소 속도로 조정합니다.

추가 자료

위험 예측 :이 방법에 대한 고급 프레젠테이션.

단순 위험 분석 : 위험 예측에 대한 심층적 인 분석.

Killing Chicken Little : 위험 예측의 한계와 기회를 탐색합니다.

시나리오로 보안 위험 분해 : 위험을 광범위한 시나리오에서보다 세분화 된 시나리오로 시나리오의 계층 구조로 분류합니다.

빠르고 느린 사고 : 노벨상은 대부분 편견의 형태로 인식의 인간의 실수에 대한 연구를 이겼습니다.

Superforecasting :인지 오류를 어떻게 효과적으로 예측 팀으로 완화하고 강화할 수 있는지 연구합니다.

사이버 보안 위험 요소를 측정하는 방법 : 측정 방법으로서 예측을 방어하는 훌륭한 소스입니다. 의사 결정에서 측정의 역할을 장려하는 강력한 토론.

Ryan McGeehan은 Medium의 보안에 대해 씁니다.