🍁 근황 Talk

안녕하세요, 뉴니커! 벌써 11월의 첫 번째 주가 시작되었어요. 문득 뉴니커의 11월 계획은 어떨지 궁금해져요.

혹시 자랑하고 싶은 소소한 이야기가 있다면, 언제든지 메일이나 댓글로 소개해 주세요! 😊 (메일: hello.stranger1337@gmail.com)

저는 뉴스레터를 발행한 지 3분기가 끝나가는데요. 앞으로 더 발전시키기 위해 계속해서 리서치를 진행하고 있습니다.

그 중에서도 아래 두 가지가 가장 두근거리는 이슈로 떠오르고 있어요. 🎉

• 새로운 '직원'이 생겼습니다. (오늘의 주제)

• 뉴니커의 입맛에 맞게 뉴스레터 받아볼 수 있을듯 해요.(아마도요.) 👉 이슈 보기

오랜만에 흥미로운 소식을 전해드리는 중이라 서론이 길었는데, 슬슬 오늘의 주제로 넘어가도록 해볼게요.

🤔 오늘의 주제

기존에는 저와 뉴스를 큐레이션 해주는 큐레이터만 있었는데, 두 직원을 더 고용했어요. Contents reviewer와 Editor인데요. 이 Contents reviewer와 Editor가 들어옴으로써 워크 프로세스가 어떻게 바뀌었고, 콘텐츠의 품질이 얼마나 좋아졌는지 알아볼거에요.

뉴니커에게만 말하는 비밀인데요. 이 팀에는 사람이 1명 뿐이래요 (속닥속닥)

Stranger

• 유일한 인간

• 뉴스레터 발행 전 최종 검수 및 모든 잔업을 담당함

Collector

• 해외 이슈를 추적하고 수집하는 전문가

Curator

• 수집된 내용을 번역하고 요약하는 전문가

• 모든 언어에 능통함

Quality Reviewer

• 🎉 신규 채용

• 큐레이션된 내용의 품질을 검증하는 전문가

Editor Reviewer

• 🎉 신규 채용

• 요약된 큐레이션 내용을 검토하고 재작성하는 작가

📖 목차

1. 신규 시스템 직원 도입 배경

2. 워크 프로세스

3. 오류와 개선 비율 분석

4. 재작성된 콘텐츠의 주요 개선점

5. 끝으로

1. 신규 시스템 직원 도입 배경

요즘 뉴스레터를 받아보시긴 하지만, 혹시 각 뉴스의 '제목'만 보고 원문 링크로 넘어가신 적은 없으신가요? 사실 몇몇 요약본은 집중해서 읽지 않으면 내용을 이해하기 어려운 경우가 있더라고요.

그래서 뉴니커에게 더 나은 품질의 뉴스레터를 제공하기 위해, Quality Reviewer와 Editor Reviewer 시스템을 도입하여 글의 품질을 한층 높이고 있습니다.

아직은 테스트 단계이지만, 이 시스템 덕분에 더 깔끔하고 명확한 콘텐츠를 제공할 수 있을 것 같아요. 어떤 작업들이 이루어지고 있는지 공유드리며, 앞으로 뉴스레터를 받아보시면서 그 변화를 직접 체감해보시면 좋겠습니다.

(계속 직원이라 쓰는 것도 너무 과몰입인지라, 시스템이라 칭할게요. 허허)

2. 워크 프로세스

아실분은 아실테지만, 이 뉴스레터는 시작할 때부터 수동+자동화로 운영되고 있었어요. (아래 이미지 참고)

이러한 절차에 Quality Reviewer와 Editor Reviewer를 추가해보았는데요. 각 시스템은 [품질 관리] 세션으로 콘텐츠 검증을 이행하도록 구성했습니다. 

1차적으로 AI엔진이 원문 데이터를 요약하며, 이 글을 토대로 품질 테스트가 이루어져요. 만약, 품질 테스트를 통과하면 DB에 저장되고, 그렇지 않으면 피드백을 바탕으로 다시 AI엔진에서 데이터 가공을 수행합니다.

즉, 콘텐츠가 작성된 후 품질 검사 모듈이 오류와 개선 가능성을 점검하고, 이후 에디터 검수 모듈이 최종 내용을 다듬어 뉴니커에게 제공하게 되는 거죠.

3. 오류와 개선 비율 분석 | 테스트해보기

전체 100개의 기사 중 16%에서 오류가 발생했습니다. 데이터 가공에 AI가 사용되다 보니, 대부분은 JSON 파싱 오류나 응답 파싱 오류 같은 문제였어요.

한 번에 통과된 기사의 비율은 56%, 품질 검사에 통과하지 못하여 재작성된 기사는 무려 44%였어요. 심지어 재작성된 후에도 계속 재작성 된 글도 많았어요.

1트만에 통과

n번째 재작성 중

종종 발생하는 에러들

4. 재작성된 콘텐츠의 주요 개선점

아래에 보시는 예시 플랫폼은 현재 개발중이에요. 저 혼자 좀 활용해보다가 외부로 공개할 수 있게 된다면 공개해두도록 하겠습니다.

예시 (1)

예시 (2)

예시 (3)

5. 끝으로

이번 내용은 어떠셨나요? 이번에 새로 도입한 시스템을 통해 앞으로의 뉴스레터가 조금 더 깔끔하고 명확해질 수 있게 노력해보겠습니다. 혹시 읽으시면서 느끼신 점이나 개선이 필요한 부분이 있다면 언제든지 알려주세요! 뉴니커의 피드백이 저희에게 큰 도움이 될 거예요.

📨 메일로 받아보기 👉 https://maily.so/blackcon?pop=up