사람 냄새 나는 평가 시스템을 만들어보고 싶었다.

일거리 매칭 서비스 회사에서 2년 정도 일을 했고, 지금도 비슷한 도메인에서 일을 하고 있다.

사람이 귀한 이 도메인은 역설적이게도 사람을 귀하게 보지 않는다. 그저 관리 대상, 상품 관점으로 보고 있다. 특히 평가/평점 시스템은 역겹게 느껴진다.

사람은 시간이 지날수록 노하우가 쌓이고, 그날그날 컨디션에 따라 품질이 달라질 수 있다. 

하지만 서비스 관점에서는 노동 평가는 플랫폼을 벗어나지 않는 이상, 꼬리표처럼 노동자를 대표한다.

이 평가 시스템은 회사가 품질관리를 고객에게 위임한 것이다. 고객은 노동자를 평가하게 하여 품질을 유지할 수 있도록 한다.

마치 회사의 동료평가처럼 말이다.

 

나는 단순 5점 만점 별점으로 제품평가에서 시작된 이 노동 서비스의 평가 시스템을 바꾸고 싶었다.

노동 자체를 인정 받고, 별점이 아닌 사람으로 평가 받을 수 있도록 말이다.

 

이 이야기를 현재 회사에서 풀고 싶었다. 근데 반영은 잘 되지 않았다. ㅎㅎ 

사람 냄새 나는 평가시스템을 만들기 위한 나의 리서치와 해결 방법을 공유하고자한다.!!

 

 

Goal : 사람에 대한 평가 시스템을 만들어보자.

 

Problem : 긱 노동 시장에서는 고객에게 계속해서 1~5개의 별 중에서 선택하여 업무를 잘하는 사람과 그렇지 않은 사람을 결정하도록 요구한다.

샌프란시스코 Lyft 드라이버인 Don

”평가 시스템은 다음과 같이 작동합니다. 5성급 드라이버로 시작합니다.” “4.6 이하로 떨어지면 경력이 문제가 됩니다.” ”Uber 또는 Lyft에서 귀하에게 연락하여 귀하가 검토 유예 기간임을 알릴 것입니다. 그리고 계속 떨어지면 직장을 잃게 됩니다. 그들은 당신을 비활성화 할 것입니다."

 

장점

• 평가 시스템은 기업이 노동자를 통제하는 수단으로 활용하는 것처럼 보이나, 실제로 고객이 노동자를 통제하는 것이다. 기업은 고객을 중간관리자로 만들어 노동자를 평가하게 했고, 기업은 고객 평가 중심으로 알고리즘을 통해 노동자를 관리한다. 기업은 따로 감독자를 따로 고용할 필요 없으며, 대규모 풀의 노동자를 효율적으로 관리할 수 있도록 도와준다.
• 낯선 사람과의 신뢰를 구축하는 방법으로 가장 효과적이다.
• 직관적이다.

단점

1. 평가가 주관적이다.
2. 평가자가 누구인지 유추할 수 있다.
3. 평가가 낮으면 치명적으로 작용한다.
4. 개선의 여지를 주지 않는다.
5. 하인이 되어야 한다.
6. 컷 오프 기준점이 높아진다.
   1. Postmates의 컷오프 → 4.7
   2. Uber의 컷오프 → 4.6
   3. Beginning at ⭐️⭐️⭐️⭐️⭐️— "got me where I needed to go" — the explanations quickly descend into parodic paranoia. ⭐️⭐️⭐️⭐️: "This driver sucks, fire him slowly ... Too many of these and I may end up homeless." ⭐️⭐️⭐️: "This driver sucks so bad I never want to see him again." ⭐️⭐️: "maybe the car had something dangerously wrong with it or he was doing 120 in a 40 mile zone.”
   4. ⭐️⭐️⭐️⭐️⭐️ : The ride was good, great, legendary, mediocre, average, decent, okay, maybe he missed a social cue or mad a bad joke, but at least he got me where i Neeeded to go, of course he can improve! ⭐️⭐️⭐️⭐️ This driver sucks, fire him slowly: if does not mean ‘average’ or ‘above average’, Too many of these and i may end up homeless. ⭐️⭐️⭐️ This driver sucks so bad i Never want to see him again. It does not mean ‘ average’ ⭐️⭐️ Serious Offense, Maybe the car had someting dangerously wrong with it or he was doing 120 in a 50 mile zone ⭐️ Horrendous; worst ride ever! Threats or acts of violence possibly made, perhaps a callous disregard for his own safety
   5. ***** 서비스 
      4.8 이상 21.78%
      4.5 이상 4.8 미만 23.81%
      4.0 이상 4.5 미만 33.18%
      3.5 이상 4.0 미만 10.20%
      3.0 이상 3.5 미만 6.19 %
      3.0 미만 4.84%
      ———————————————————————
      4.9 이상 → 최상위 전문가, 12% 유지
      4.5 이상 4.9 미만 → 전문가 35% 유지
      3.5 이상 4.5 미만 → 일반 전문가 43% 유지(갱생 가능)
      3.5 미만 → 불량 10%(갱생 쉽지 않음)

타다 드라이버의 평가 시스템이 보편적인 평가 시스템으로 자리잡아가고 있는 것 같으며, 청소연구소의 사례는 드물다.

 

사례 1. 타다 드라이버

1점~5점까지의 별점을 선택할 수 있으며, 평가 이유를 선택 혹은 직접 작성하실 수 있습니다.

평점은 익명으로 처리되며, 특정 시간 이후 일괄적으로 반영되기 때문에 해당 드라이버는 어떤 이용자의 평가인지 절대 알 수 없습니다.

이용자의 별점 평가가 누적되어 '퍼펙트 드라이버'가 선정되며, '퍼펙트 드라이버'에 선정된 드라이버는 특별 보상을 받습니다. 남겨주신 평가는 타다 서비스 개선에 큰 도움이 되니, 적극적인 참여 부탁드립니다.

 

사례 2. 청소연구소

저희는 서비스에 별점을 매기지 않아요. 근원적인 고민이 많았어요. 그런데 저희 서비스는 사람이 하잖아요. 직장에서 상사가 일할 때마다 '5점 만점에 몇 점' 점수를 매긴다고 생각해봐요. 다니기 싫을 것 같더라고요. 점수가 아무리 높아도 사람이 하는 일이라서 물리적 제약도 있고요. 사람은 상품이 아니라서 별점 높은 사람이 모든 곳에 가서 일할 수 없어요. 우리는 다른 방법을 찾았어요. 점수 대신 칭찬 배지를 드려요. 칭찬을 받으면 좋고, 못 받으면 부족한 점을 고민해 더 나아지도록 노력하죠. 컴플레인이 들어오면, 부족한 점을 전달하고 재교육을 해요. 전반적인 서비스의 질을 끌어올리는데 주력하고 있어요. 이렇게 기본 역량을 키우는 게 오래가는 방법이라고 생각해요. 이곳에 내용을 입력해 주세요

 

 

의문

• 지금의 상품에 대한 평가 시스템이 그대로 적용되어 왔으며, 개선의 여지를 주기 어려운 구조 아닌가?
• 단순 별점 제도는 재능을 찾아주고, 자산화하여 새로운 가치를 창출할 기회를 찾아주는 것이 회사의 비전과 상반된 시스템 아닌가?
• 고객(구인자)와 서비스제공자(구직자) 모두 서로 감시하는 형태로 가는게 맞을까?
• 감시를 해야되는가? 서비스가 만족하지 않는다고, 나쁜 평가를 주어 기회를 박탈하게 하는게 맞는걸까?
• 사회주의 국가에서 하는 총화, 북한의 오호담당제와 다른게 있을까?, 모두가 빅브라더가 되는 것 아닐까?
• 기존처럼 고객을 중간 관리자로 만들어 노동자를 평가하고 관리하게 만드는 것이 옳은 일인가?
• 지금의 상품에 대한 평가 시스템이 그대로 적용되어 왔다. 시간이 흐를수록 개선될 여지의 기회를 박탈한다.

---

접근 방향 어떤 철학을 가지고 시스템을 설계해야될까?

• 탄압과 감시가 아닌 상생의 방향에서 접근하며, 긍정적인 영향과 잘못했다면 개선 할 수 있는 기회를 제공한다.
• 장점을 찾을 수 있도록 하자.
• 감정 노동이 되지 않게하자.

평가 平家 (평가는 어떤 대상의 가치를 규명하는 일)의 종류

• 개인 평가 : 개인끼리 서로 평가한다.(구인/구직)
• 업체 평가 : 업체와 개인이 서로 평가한다.

번외. 인사평가를 하는 이유

운영의 목적 : 직원 수준(성과, 역량 등)을 나누는 것

나누는 이유 : 보상(연봉, 인센티브, 성과급, 승진 등)에 차등을 주려고 하는 것

차등 이유 : 성과에 맞는 보상으로 목표 달성(또는 고성과)을 하고 싶게 동기부여 하는 것.

근데 동기 부여는 되지 않음!...

 

 

해결방안 도장/스티커

→ 서비스를 운영하는 입장에서 상호평가 시스템으로 서로 감시하는 구조는 품질관리에서 상당히 효율적이다.

→ 부정적인 피드백을 받아도, 업무에 큰 지장이 없게든다.

→ 칭찬은 강조하고, 부정적인 피드백은 개선 할 수 있도록

→ 평가자의 평가를 통해 성향도 파악하고, 가중치를 둔다(ex. 매사에 긍정적인 사람, 매사에 부정적인 사람)

→ 상호 갑질을 못하게 한다.

 

대상자	Step 0	Step 1	Step 2	Step 3
구직자 평가	일 수행 여부 체크 진행 했습니다. → Step 1 진행 진행 하지 않았습니다. → 사유 선택/직접입력 → 제출 완료	바이너리 선택 또 만나고 싶어요 / 안만나고 싶어요	평가 선택 + 직접 입력 또 만나고 싶어요 ㄴ 안만나고 싶어요 ㄴ	💎도장/스티커 최대 10번까지 (취소 가능)
구인자 평가	일 수행 여부 체크 진행 했습니다. → Step 1 진행 진행 하지 않았습니다. → 사유 선택/직접입력 → 제출 완료	바이너리 선택 또 만나고 싶어요 / 안만나고 싶어요	평가 선택 + 직접 입력	💎도장/스티커 최대 10번까지 (취소 가능)
업체 평가	일 수행 여부 체크 진행 했습니다. → Step 1 진행 진행 하지 않았습니다. → 사유 선택/직접입력 → 제출 완료	추천 / 보통 / 비추천	평가 선택 + 직접 입력	💎도장/스티커 최대 10번까지 (취소 가능)

 

→ 도장/스티커 개수 → 단순히 좋아요/싫어요, 5점별점이 아닌 사람마다 주관적인 감정으로 얼마나 좋았는지를 판단할 수 있는 지표

→ 타 플랫폼 평점 시스템 도입 연계를 고려(5점 평가 시스템인 경우, 평점 sum 수 만큼 도장/스티커 발행

→ 모은 도장/스티커 일정 개수 도달 시, 칭호/뱃지를 발행

→ 헤비유저에게는 특별한 도장을 발행하여, 유니크한 유저로 활동 할 수 있도록 유도

→ 고스팅을 하게 되는 경우 스티커를 회수 한다.

ㄴ 고스팅이 연속되면 피보나치 수 법칙으로 스티커는 회수된다.

 

 

 

제품/사람 평가 사례

서비스명	평가 내용	평가 대상
쿠팡-로켓배송	(로켓배송 : 좋아요/싫어요)	상품
쿠팡 - 마스크 리뷰	1. 상품품질 (이 상품에 대해서 얼마나 만족하시나요?) *나쁨/별로/보통/좋음/최고 2. 상세리뷰 3. 사진첨부 4. 한줄요약	상품
쿠팡 - 삼다수 리뷰	이 상품의 품질에 대해서 얼마나 만족하시나요? : 나쁜/별로/보통/좋음/최고 리뷰 1. 담겨 있는 병의 견고함은 어떠한가요? → 잘 찌그러져요 / 적당히 튼튼해요 / 아주 딱딱해요 2. 생산지 및 수원지가 잘 표기되어 있나요? → 명확해요 / 찾기 어려워요 / 안적혀있어요 상세리뷰 사진첨부 한줄요약(30자)	상품
쿠팡 - 닭가슴살	이 상품의 품질에 대해서 얼마나 만족하시나요? : 나쁜/별로/보통/좋음/최고 상세리뷰 리뷰 1. 맛 만족도 → 예상보다 맛있어요 / 괜찮아요 / 예상보다 맛 없어요 사진첨부 한줄요약(30자)	상품
네이버 - 준오헤어	시술이 꼼꼼해요/상담이 자세해요/관리법을 잘 알려줘요/친절해요/손이 빨라요 상세 후기 포토 리뷰	상품/사람
아마존	5점 별점제도(1~5) 기능 별점 →easy to use, Easy to install, adhesion, value for money, brightness 상세 후기 포토 후기 영상후기 전체 키워드 노출 Amazon calculates a product's star rating using machine-learned models instead of a simple average.	상품
당근마켓	온도 재거래희망률 (%) 응답률 % 받은 매너 칭찬 응답이 빨라요/친절하고 매너가 좋아요/시간 약속을 잘 지켜요 / 좋은 상품을 저렴하게 판매해요. /상품상태가 설명과 같아요. /상품 설명이 자세해요. 제가 있는 곳까지 와서 거래했어요./ 나눔을 해주셨어요. 받은 비매너 불친절해요,	사람/상품
급구	업체 리뷰 1. 추천해요 / 아쉬워요 2. 하위 후기 - 업무량이 조금 많아요 - 가끔 눈치보여요 - 위치가 동일해요 - 일을 상세히 알려주세요 - 급여날짜를 지켜주셨어요 - 사장님이 친절해요 - 업무키워드와 동일해요 - 초보자도 금방해요 - 자유로운 분위기에요 - 급여날짜가 밀렸어요 - 자유로운 분위기에요 - 근무환경이 쾌적해요 - 가끔 눈치보여요 - 상세내용과 동일해요 - 급여가 동일해요 - 근로계약서를 작성했어요	사람
알바몬	추천해요, 할만해요, 글께요. ㄴ 좋았어요, 아쉬워요 일하기 어땠나요?  역/정류장에서 가까워요, 식사 제공해줘요, 식대 따로 나와요, 잔일도 해요, 진상고객 가끔 있어요. 업무량이 조금 많아요, 동료가 자주 바뀌어요, 경직된 분위기에요. 사장님은 어땠나요?  알바생을 존중해줘요, 시간/일정 고려해줘요, 잔소리를 좀 해요, 감정적이에요, 가끔 눈치 보여요, 엄격해요, 세대차이 느껴져요 동료들은 어땠나요?  친절하고 잘챙겨줘요, 배울점 만항요 근로계약서는 작성했나요?  작성했어요 급여일 약속은 잘 지켜졌나요?  제때 나와요 급여는 만족하시나요?  만족해요. 아쉬워요.	사람
알바천국	장단점 충분한 사전교육, 편안한 식사시간, 근로계약서 작성, 칼퇴근 가능, 서있는 시간 많음, 경직된 분위기, 조금 먼 역/정류장, 휴식시간 미제공, 만족스러운 대인관계,유익한 사회경험, 불규칙한 업무량, 도움되는 취업스펙, 자기개발 도움 급여 급여일 준수, 주휴수당 지급, 소박한 급여, 챙겨주는 수당, 약속된 급여준수, 근무환경 쾌적한 화장실, 체력증진에 도움됨, 깨긋한 근무환경, 깔끔한 유니폼제공 관리자성향 다가가기 어려운, 신뢰할 수 있는, 소통이 되는, 상호 배려하는, 신뢰할 수 있는, 친절하고 재미있는,	사람

 

 

 

 

 

평가/평점 시스템 관련 자료

별점시스템 Vs 키워드 리뷰

https://blog.naver.com/yeongmae77/222550258614

That Four-Star Rating You Left Could Cost Your Uber Driver Her Job https://www.buzzfeednews.com/article/carolineodonovan/the-fault-in-five-stars
The Big Hidden Problem With Uber? Insincere 5-Star Ratings

https://www.wired.com/2015/03/bogus-uber-reviews/
Gig Economy Trends and Impact on Small and Medium Practices

https://www.ifac.org/knowledge-gateway/contributing-global-economy/discussion/gig-economy-trends-and-impact-small-and-medium-practices
The Problems with 5-Star Rating Systems, and How to Fix Them

https://hbr.org/2019/07/the-problems-with-5-star-rating-systems-and-how-to-fix-them
Driver Rating - How is this calculated?

https://help.grab.com/driver/en-my/115015441428-Driver-Rating-How-is-this-calculated
The Invisible Manager: Rating Systems and Labor

https://research.tuni.fi/ghsp/blog/invisible-manager/
The rating game How Uber and its peers turned us into horrible bosses

https://www.theverge.com/2015/10/28/9625968/rating-system-on-demand-economy-uber-olive-garden
미국 학교 칭찬 스티커 활용

https://m.blog.naver.com/PostView.naver?isHttpsRedirect=true&blogId=blackbin&logNo=80208336471