미사일로비치 공동

2023년 8월 29일 오전 9:00:00 마이클 오보일

일리노이주 CS의 Sasa Misailovic 교수는 전문 소프트웨어 개발에 자연어 처리를 적용하여 개발자가 소프트웨어가 예상치 못한 또는 바람직하지 않은 동작을 나타낼 수 있는 사례를 정확히 찾아낼 수 있기를 원합니다.

마이클 오보일이 각본을 맡은 작품

자연어 처리는 최근 챗봇 기술 붐을 뒷받침하는 컴퓨터 과학 분야로, 인간의 언어를 컴퓨터가 처리하고, 계산 결과를 인간이 이해할 수 있는 형태로 렌더링할 수 있도록 해줍니다. 거의 모든 사회 분야에서의 잠재적인 사용이 자주 논의되는 반면, 일리노이 컴퓨터 과학 교수인 Sasa Misailovic은 이를 전문 소프트웨어 개발에 적용하기를 원합니다.

특히 그는 개발자가 소프트웨어가 예상치 못한 또는 바람직하지 않은 동작을 나타낼 수 있는 사례를 정확히 찾아낼 수 있도록 하는 테스트 코드 개발에 관심이 있습니다. Misailovic은 University of Texas at Austin의 공동 작업자와 함께 개발자의 지침을 처리하고 즉시 사용 가능한 테스트 코드를 반환할 수 있는 자연어 모델을 개발하고 있습니다. 그들은 그들의 접근 방식을 "NLP4Test"라고 부릅니다.

Misailovic은 “우리는 소프트웨어 개발 및 테스트 관행을 개선하는 것을 목표로 하고 있습니다.”라고 말했습니다. "우리는 자연어 처리가 시간이 많이 걸리는 수동 소프트웨어 테스트 관행을 대체하고 개발자가 다른 작업에 집중할 수 있는 방법을 찾고 있습니다."

120만 달러의 상금은 국립 과학 재단(National Science Foundation)의 소프트웨어 및 하드웨어 재단 프로그램을 통해 제공되며 4년에 걸쳐 분배될 것입니다. Misailovic은 공동 수석 조사관입니다.

소프트웨어 개발자는 코드가 오작동하거나 잘못된 답변을 반환할 수 있는 방식을 상상하고 이러한 조건을 생성하는 테스트 케이스를 작성하여 실제 개발에서 시간을 빼앗아 자신의 작업을 평가합니다. 개발자는 코드가 의도한 대로 작동하더라도 테스트 사례가 실패할 수도 있습니다. 이러한 소위 "불안정한" 테스트는 개발자를 더 많은 시간을 소비하고 유효한 작업에 대한 의심을 불러일으키는 난폭한 상황에 처하게 할 수 있습니다.

연구원들은 인간의 언어 프롬프트나 설명을 테스트 코드로 변환할 수 있는 자연어 처리의 사용을 조사하고 있습니다. Misailovic은 기계 학습 소프트웨어의 버그를 노출하고 "불량"을 방지하기 위해 테스트 코드를 수정하는 테스트 생성용 모델을 개발하는 데 관심이 있습니다. 그는 내년에 코넬대학교에서 컴퓨터 과학 조교수로 임용될 전 대학원생 사이캇 두타(Saikat Dutta)와 함께 시작한 작업을 더욱 발전시킬 예정이다.

"예를 들어, 프로그램이 실행될 때 생성된 데이터는 자연어 처리를 강력하게 보완할 수 있습니다. 왜냐하면 결함은 프로그램 코드만으로는 확실하게 예측할 수 있는 것이 아니기 때문입니다."라고 Misailovic은 말했습니다. “추가 실행 데이터가 NPL4Test에 통합되면 개발자는 '여기 내가 작성한 코드와 실패한 테스트가 있습니다.'와 같은 질문을 할 수 있을 것입니다. 버그나 결함으로 인한 실패인가요?' 그리고 '이 문제 디버깅을 시작하는 가장 좋은 방법은 무엇입니까?'”

이러한 문제를 연구함으로써 연구원들은 기계 학습 소프트웨어의 신뢰성을 향상시키고 결함을 평가하는 방법에 대한 더 나은 이해를 제공하기 위해 테스트 코드를 생성하는 일련의 기술을 갖게 될 것입니다.

Misailovic의 UT Austin 공동 작업자인 컴퓨터 과학 교수 Milos Gligoric, 언어학 교수 Jessy Li 및 Kyle Mahawald는 이전에 자연어 처리 및 소프트웨어 엔지니어링의 응용을 연구했습니다. 그들은 이제 소프트웨어 테스트의 모든 단계에서 자연어 처리의 최근 개발을 통합하고 있습니다.

이 이야기는 2023년 8월 29일에 게시되었습니다.