|
:: 게시판
:: 이전 게시판
|
다시봐도 좋은 양질의 글들을 모아놓는 게시판입니다.
통합규정 1.3 이용안내 인용"Pgr은 '명문화된 삭제규정'이 반드시 필요하지 않은 분을 환영합니다.법 없이도 사는 사람, 남에게 상처를 주지 않으면서 같이 이야기 나눌 수 있는 분이면 좋겠습니다."
19/03/26 14:53
왓슨이 과연 인공지능이냐에 대한 본질적인 의문이 있지만, 결국 위에 말씀드린 세가지에 문헌검색 등을 포함한 알고리즘이라고 저는 생각합니다. 아직까지 인공지능이 임상의보다 좋은 결과를 보인적도 없구요. 발전할 부분이 많이 있습니다. 그러나 워낙 돈이되는 영역이고, 투자가 많아서 일은 많습니다.
19/03/26 15:12
그렇군요. 아 그러고보니 전에 데이터구조 수업들을때 바이오인포매틱스쪽 연구하는 교수님 수업들은적 있는데 약학쪽으로도 데이터 사이언스를 응용하는게 가능한가요?
19/03/26 16:31
인공지능 vs 임상의 평가모형은 생각해볼 것이 좀 있습니다. 예를 들어 어떤 세포 사진을 이용해서
암 중간단계인지의 판단하는 문제로 볼 때, 임상의들 사이에도 의견이 다를 수 있습니다. 또한 특정 임상의 1인의 경우에도 시간에 따라 다를 수 있습니다. 보통 이런 상황을 non-deterministic 하다고 합니다. 기계의 경우는 (항상 그런 것은 아니지만) 특정 시간 갭으로 볼 때 같은 사진에 대해서는 같은 결과를 100% 반복합니다. 만일 확실하게 Set up된 한정된 benchmark 임상 사진이 주어진다면 인공지능이 사람보다 더 나은 성능을 보일 수 있습니다. 아직도 최종평가는 결국 임상의가 하기 때문에 open data에 대해서는 임상의 결정에 좀 편향될 수 밖에 없다고 봅니다. 이런 turing test를 해보는 것이 의미가 있습니다. 어떤 임의의 임상사진에 대하여 두 개체가 판단을 합니다. 한 쪽은 사람, 한 쪽은 인공지능(정확히 말하자면 machine learning기계). 다른 제 3의 전문가가 이 둘의 진단을 관찰합니다. 한 100여개의 사진에 대하여. 이 둘 중 어는 쪽이 더 잘 판단하는 것인지를 제 3의 관찰자에게 물어본다면 무척 흥미로운 것 같습니다. 의료용 인공지능 프로그램이 과하게 부풀려지는 상황인것을 맞지만 그 원리로 볼 때 인간의 의한 진단이 기계보다 우월을 유지할 수 있는 기간을 매우 짧으리라 전망을 합니다. 인공지능 진단기를 이렇게 저는 봅니다. 아주 실력있는 의사가 하루에 병원 100군데를 돌면서 죽지도 않고 100년, 200년동안 그 경험을 쌓아가는 것과 다르지 않다고 봅니다. 이런 의사를 누가 당하겠습니까.
19/03/26 14:59
선생님의 마지막 강의를(이제 곧 dinner다!) 들은지도 2년이 다 되어가네요. 저도 이제 1년 남았...
저는 곱창을 전공으로 하고 있으며, data science 와 딥러닝, AI 를 더 파고들어볼까 하고 이것저것 뒤적이고 있는데 영상의학과 같은 '보조적인' 데이터 사이언스 외에 임상에 '직접적으로' 영향을 미치는 영역에 대해서는 아직 패러다임이나 논의의 범위가 무한하다고 봅니다. 다만.. 이게 저도 그 앞길에 처음 서 있기 때문에 막막함이 너무나 심할 따름이지요...
19/03/26 15:04
머신 러닝 전공자로써 코호트데이터를 만질 일이 있었는데, 임상의학 하시는 분과 시각차가 많았던 기억이 나네요. 어떤 질병은 어떤 형태로 기록이 나타나고 그런 요소들 이야기하시는데, 저희쪽은 개별적인건 필요없고 일단 넣자여서...
그리고 연구하면서 보니 이런 전국민 자료를 만질 수 있다는게 한국이 타국에 비해 관련 연구에서 앞서갈 수 있는 바탕이 되겠구나 하는 생각도 들더군요. 지금은 제약이 크게 걸려있긴 하지만...
19/03/26 15:16
조금 다른 얘기지만,
건강보험 청구자료라는 게, 그야말로 Big data이긴 하지만 임상에 적용하기엔 계륵입니다. 왜냐하면 '청구'를 전제로 한 자료이기 때문입니다. 그놈의 삭감 때문에, 특정 진단명을 넣지 않으면 일괄적으로 비용삭감이 이루어져서 이거저거 진단명을 마구 집어넣을 수밖에 없고 결국 이를 바탕으로 분석하는 자료로 임상에 적용한다??? 는 건 굉장한 오류를 가져올 수밖에 없습니다. 말 그대로 청구자료를 분석한 것이니, 청구 행정에 써먹어야겠죠.
19/03/26 16:16
저도 이 얘기 하고 싶은데요. 크게 두 가지 문제가 있습니다.
예를 들어 항생제나 진통소염제를 장기간 처방하는 경우에는 위장관 보호를 위해 대개 제산제등을 같이 처방합니다. 하지만 이 경우 제산제를 위장관보호 목적으로 사용하는 것은 급여인정이 되지 않기 때문에 "위염" 이나 "위식도역류"같은 상병을 넣고 처방을 하게 됩니다. 그럴 경우 우리나라 사람들의 유병율에서 위염이나 위식도역류 같은 상병의 비율이 엄청나게 올라가게 됩니다. 다른 한 가지 문제는 의심되는 질병의 검사를 위해서도 반드시 그에 해당하는 상병명을 넣어야 하는데요. 예를 들어 갑상선기능항진증이 의심되는 환자가 있어 갑상선기능검사를 해야 할 수 있습니다. 이 경우에도 급여인정을 받기 위해서는 갑상선질환에 해당하는 질환을 넣어야 하는데요. 나중에 검사결과상 이 환자는 갑상선 기능이 정상이었다 하더라도 이미 전산상에는 이 환자의 갑상선질환 상병이 들어가 있습니다. 따라서 갑상선기능 이상환자의 유병율이 과다하게 측정될 수 있습니다. 상병명을 안 넣으면 안되냐고요? 100% 심평원에서 삭감당합니다. 뭐, 제대로 심평원이 원하는대로 넣어도 삭감당하는데요. 그래서 심평원 자료가 실제적인 자료라 믿고 연구를 진행하는 것은 매우매우 위헙합니다. 물론 너무, 엄청나게 많은 데이터가 확보돼 있어서 연구자들에겐 매혹적이고 또한 자체적인 병원의 연구데이터가 없는 의사들에겐 이만큼 좋은 자료가 없긴 하겠지만요.
19/03/26 16:30
이런 이유로 건보자료에서 진단명의 정확성을 검토하는 연구영역이 별도로 있습니다. 그리고 손이 많이 탄 즉 정책적 손길이 많이 닿은 분야는 건보자료를 잘 안씁니다 ㅠ
19/03/26 15:25
4. 의 문제는 미국도 아직 해결 못했다고 알고 있습니다
표준화는 시간이 꽤 걸릴 듯 합니다. 같은 병원에서조차 과마다 심지어 세부 전공마다 심하면 전공의 연차마다 쓰는 용어도 다르고 서식도 제각각인데다가 인증평가 대비 등으로 표준화를 강제해도 잘 안 따르기에...
19/03/26 15:48
저도 바이오를 하다보니 바이오인포 쪽 하는 분들과 가끔 만날 기회가 있습니다. 컴퓨터가 베이스인 분들은 바이오를 모르고, 바이오가 베이스인 저같은 사람은 컴맹이라 한쪽은 데이터 셔틀, 다른 쪽은 코더 수준인 코웍밖에 못 하는 경우가 많더라고요. 혼자서 두 분야를 다 잘하면 엄청날 것 같다는 생각은 드는데, 하나도 똑바로 못하는 주제에 둘은 언감생심이고.. 융합 분야라는 것이 그래서 어렵구나 싶었습니다. 이것도 딥러닝이니 빅데이터니 나오기 전 이야기니까, 요즘은 좀 다를까나요.
19/03/26 16:36
임상의사 분들 다는 아니겠지만 대부분 이들에게는 mathematical science에 대한 개념이 부족합니다.
자신의 원하는 자료를 객관적인 formal 언어로 그려내지 못합니다. eigen value까지는 아니더라도 자신이 원하는 objective function이 뭔지 설명을 잘못합니다. "의학이나 생물학이 원래 그런 것이다." 진짜 그런가요. 하여간 저도 의학전문은 아니라 잘 모르겠습니다.
19/03/26 16:52
의학은 잘 모르겠습니다만, 실험을 통해 하나하나 증명하는 분자생물학 계열이라면 평소 하는 일이 mathematical science와는 거리가 멀어도 너무 멉니다. 사실상 서로 다른 언어를 쓰는 영역인데, 제대로 된 통역 없이 의사소통이 잘 되기는 어렵겠지요.
19/03/26 17:14
예, 제가 겪어본 생물, 분자생물 하시는 분들은 실험에서의 꼼꼼함을 제 1의 덕목으로 치더군요.
그게 말로는 설명하기 힘든 것이라고 저도 봅니다. 그런데 요즘은 NGS 기기의 등장이 보여주듯 무지막지한 mass experiment의 시대로 접어들어 이전의 "손재주"와 "꼼꼼함"은 물량떼기로 이길 수 있는 시절입니다. 실험이 기계화되고 대량화되면 결국은 진단과 치료는 통계기반의 수리과학 문제로 귀결되지 않을까 싶습니다. 각 병원에서 진료한 결과가 공유되고 쌓이면 이전의 자신만의 local 경험으로 "용한 의사"가 되던 시대는 종말을 맞을 겁니다. 결국 임상도 통계분석과 해석, 그리고 실전적용(임상) 이런 사이클로 가기 때문에 통계적 이해가 필수가 될 것입니다. 하지만 각 병원의 노땅 칩(Chief)들의 통계학적 수리과학적 마인드는 안습입죠. 외국 인공지능형 기계가 도입되면 싸고 질좋은 진단으로 인하여 기존의 lOCAL DATA기반의 임상의들은 고생하지 싶습니다. 물론 법적인 장치를 통하여 그것을 막겠죠. 원격의료를 막고 있듯이.
19/03/26 17:22
전혀요. 임상을 잘 이해 못하시는 거 같네요.
환자를 대한 순간부터 얼굴, 말투, 용모에서 느껴지는 것만으로도 감을 잡고 시작하는 게 임상의입니다. 노련하고 유능한 의사일수록 더욱더 그렇구요. 데이터는 결국 누군가가 계량화, 수치화해서 입력해야 합니다. 그런데 이러한 것들을 모두 그렇게할 수 있다구요?
19/03/26 17:35
(수정됨) 의사 뿐만 아니라 길거리 붕어빵 장수도 인상만으로 상대방을 바로 이해하고 인식합니다.
문제는 이런 Local 감정기반의 지식은 불안정하고 불완전하고 비결정적입니다. 또 오래되면 소망적 경향으로 인하여 이전의 기억을 왜곡하기 때문에 빅데이터로 사용될 수 없습니다. 그래서 그것을 컴퓨터에, 클라우드에, 인터넷에 기록하고 관리하고 그 결과(label)를 되추적하여 update합니다. 그런데 사람은 이런 일에 매우 취약합니다. 특히 생명을 다루는 일에는 위함할 수도 있습니다. 1970년대에 운동이 고혈압 처방이라 말한 사람을 미친 사람 본득 했다고 합니다. 작은 데이타의 한계죠 상하이 자오퉁 대학 연구자들이 사진만으로 범죄자를 판별하는 러닝알고리즘을 만들었는데요, https://www.technologyreview.com/s/602955/neural-network-learns-to-identify-criminals-by-their-faces/ 같은 원리로 만일 진찰실에 들어온 환자의 사진과 동영상을 기록하고 그 환자들의 협조 정도를 labeling 하여 (이건 의사가 해야겠죠.) 기계로 돌리면 의사분들의 "감"으로만 짐작하시든 일들을 기계가 훨씬 더 정교하게 대신 할 수 있을 겁니다. 의사에게 협조하지 않을 사람을 담박에 가려내서 발 밑 신호로 전달해주지 않을까요. 바둑 명인 서봉수가 이런 말을 했습니다. 아주 오래전에. "두텁다, 얇다, 뒷맛이 있다 없다, 행마가 무겁다, 엷다,, 이런 표현법은 결국 우리가 계산이 약하기 때문에 나오는 말들이다." 30년전에 서봉수는 알파고를 이미 알았다고 봅니다. 사람의 독특한 "감"이라는 것도 실상을 뉴런 신호를 정량화하기 힘들어서 나온 말이라고 봅니다. 그래서는 저는 사람의 "감"이라는 것을 그닥 신뢰하지 않는 편입니다.
19/03/27 00:26
(수정됨) ""환자의 사진과 동영상을 기록하고 그 환자들의 협조 정도를 labeling 하여""
이런게 불가능에 가깝다는 겁니다. 체온에 높은 환자가 열이 있을까요 없을까요? 아주 쉬운 예로, 교과서적으로는 대략 37.8도 정도면 열이 있는 것으로 보지만, 막상 체온 재면 37.4~5인 사람들도 심한 발열감을 호소하기도 하고 또한 1시간 뒤에는 다시 보다 체온이 오르기도 합니다. 흔히 재는 체온이 애초에 중심체온이 아니기 때문에 부정확한 것도 있지만, 이렇게 간단한 것도 variation이 너무나 큽니다. 결국 머신러닝이라는 것 이전에, 이에 대해서 데이터화하는 작업 - 곧 인간의 받아들이는 추상화 작업이라고나 할까요 - 이 필요한 건데, 말씀대로 너무 어렵고 부정확합니다. 마치 스타2 AI에서, 기대한 건 이영호(스타2 선수 몰라서 그냥 예로 듭디나)처럼 플레이하는 인공지능이었지만 현실은 드래군 뭉치기 짤짤이만 나오던 것처럼 참혹한 결과물을 보게될 겁니다.(당분간은..)
19/03/27 01:46
그래서 PRO(patient reported outcome) 얘기가 나오는거 같습니다. 무엇보다 일단 한번 거쳐서(임상의) 해석되어 기록되면 bias가 생기니까요.
19/03/26 17:39
모든 실험이 다 NGS처럼 자동화 가능한 건 아닙니다. 살아있는 쥐를 쓰고 살아있는 세포와 조직을 쓰는 실험을 기계가 mass experiment를 해주는 날이 온다면 제가 실업자가 될 겁니다만, 그 수준의 기계가 일개 랩에서 쓰이는 날이 온다면 지구상에 남아있는 직업이 몇이나 될까 싶습니다.
그리고 가설을 세우는 것도, 실험 조건을 이해하고 설정하는 것도, 얻어진 결과에서 biological meaning을 읽어내는 것도 아직까지는 사람의 일입니다. 미세한 실험 조건에 따라 결과가 달라지는 경우가 많고, 이건 양으로 승부볼 일이 아닙니다. 정말 모든 가지수를 다 양으로 때워 실험하고, in-vivo에서 검증까지 할 수 있다면야 말이 달라지겠지만, 그 양을 채우기 전에 랩이 파산할 겁니다. 가설을 세우고 biological meaning을 이해하는 기계가 나온다면 그건 빅데이터 따위가 문제가 아니라 강인공지능이니 아예 다른 논의가 될 테고요.
19/03/26 17:46
저도 실험동물로 검증하는 일까지 자동화되기란 힘들다고 봅니다. 다만 지금의 추세라면
그 일만을 전문으로 하는 업체가 생겨나서 그 일에 아주 숙달된 사람이 실험/검증을 싼 가격과 짧은 시간에 대신 해주지 않을꺼 합니다. (지금은 정보유츌때문에 직접 하시는 것으로 아는데 이거야 계약만 잘 하면 될거고요. ) 다양한 계층의 새로운 시장이 나오지 않을까요. 녹아웃 쥐만을 파는 업체가 있는게 실험만을 해줄 업체가 나타나지 않을 법일 있을까요. 결국 과학자들에게는 숫자 데이터만 잔뜩 담긴 CD 한 장만 자본주의의 새로운 시장은 이렇게 분화와 분화를 거쳐 생기죠. 마부에서 택시 운전사에서 대리운전 택시에서 우버까지 분화되듯이./ 배달될 시간이 곧 닥치리라 봅니다.
19/03/26 17:57
환자 샘플을 함부로 반출할 수는 없겠지만, 그를 제외한 생물학 실험이라면 실험대행업체들이 꽤 존재합니다. 전화기와 노트북으로 랩 돌리는 세상이 올지도 모른다는 말은 가끔 친구들과 하긴 했었습니다만, 어차피 그 업체에서도 일은 사람이 하다보니 스킬과 장비가 없는 새로운 실험이 아닌 다음에야 직접 하는 쪽이 싸고 빠르고 더 믿음이 갑니다. 아직까지는 그렇습니다.
19/03/26 16:13
공단 데이터가 구슬이 서말인지...
그냥 똥이 서말인지... 엮을 수 없게 해놓은 건 분명한거 같습니다. 불나방처럼 빅데이터 빅데이터 하고 찬양하는데 데이터를 들여다볼수록 데이터별 연계나 연구는 꽉 막아놔서 ㅠㅠ
19/03/26 18:18
트위치에서 방송 하고 있으셨네요 구 염천교, 시사건건에서 겜잘알 설명이 참 좋았는데 나겜이 잘되사 시사건건에서 다시 봣으면 좋겠네요
19/03/26 19:53
전주로 HIRA를 이용한 논문을 쓰고있습니다 모병원 임상조교수입니다 혹시 의향이 있으시다면 쪽지주신다면 좋은 작업들 같이 해봤음 합니다 좋은정리 잘보았습니다
19/03/26 20:04
재미있는 소개글 감사합니다.
일전에 Orbef님의 글도 그랬지만 PGR에서도 유관 영역 글들을 부쩍 보게되어 이 분야에 대한 관심을 새삼 느끼게 되네요. 자연어 처리 분야의 경우, 최근 BERT라는 기법을 통해 자연어 처리 전반에 걸친 문제들의 성능이 대폭 향상된 것으로 알고 있습니다. 임상진료기록쪽이시라니 찾아보시는 것도 도움이 되지 않으실까 싶네요. 그나저나 10년 가까이 SAS, R로 관련 업무를 해온 입장에서 대학병원 의사님들의 처우가 그저 궁금할 따름입니다 :)
19/03/26 21:40
저번에 저도 관련글을 올린 적이 있어요. 제 아들이 이쪽에 관심이 있어해서 개인적으로 궁금한 점이 많은 분야입니다. 아이가 수학은 좀 튀게 잘 하는데 다른 쪽은 상대적으로 아주 평범한 아이라, '수학적인 머리만 있으면 잘 할 수 있는 분야가 무엇일까' 하고 본인이 생각해서 내린 결론이 데이터 사이언스나 계량 경제를 해야겠다는 것이었습니다. 아이 큰 아빠 그러니까 제 형이 계량 경제로 먹고 사는 사람인데, '이 바닥이 당장은 돈을 좀 벌고는 있지만, 그렇다고 중장기 전망이 꼭 밝은 것은 아니다' 라는 조언을 주어서 요즘은 데이터 사이언스를 알아보는 중입니다.
근데 저번에 댓글들도 그렇고 이번 글도 그렇고, 해당 분야에 대한 지식이 없이 수학만 잘 해서는 크게 성과를 거두기 힘들 것 같다는 생각이 드네요. 인생 쉽지 않아요...
19/03/26 21:43
아이고 저는 저먹고살기가 어려운데 ㅠ 아드님 걱정까지하시니 ㅠㅠ. 저는 데이터 사이언스는 결국 그분야에 대한 insight가 있어야한다고 생각합니다. insight가 없으면 방법론이 정말 뛰어나지 않는 이상 테크니션이상이 될수없구요.
19/03/26 21:47
제 브레인 리소스의 30% 정도는 항시적으로 "아이 걱정 백그라운드 프로세스" 가 잡아먹고 있....
간결하지만 단호한 댓글 감사합니다. 이런 조언을 하나하나 모아서 아이한테는 제 조언인 척하고 들려줘야겠어요.
19/03/27 00:42
(수정됨) '데이터' 사이언스 이기 때문입니다. 꼭 의료에 국한된 문제는 아니고 금융/경제를 하더라도 마찬가지 문제가 벌어집니다. 금융/경제를 이해해야 그 안에서 생산된 데이터들을 이해하고 다룰 수 있고, 나아가 이를 통계/기계학습이라는 tool로 분석할 수 있습니다. 이를 간과하면 일이 진행이 안됩니다. 다시 의료 문제로 돌아와서, 의료 데이터를 가지고 분석을 하려면 데이터 큐레이션 부터 해서 전처리 과정을 거쳐야 하는데 이 과정에서 데이터에 대한 이해 자체가 없으면 결과를 놓고 토론까지는 근처에도 못가고 분석 자체의 시작이 안됩니다.
적어놓고 말씀하신 글 봤는데 댓글에 좋은 내용이 많네요. 물론 기술적으로 뛰어난 테크니션 자체가 되는 것도 나쁘지 않다고 생각합니다. 이 쪽 일이 생각보다 labor intensive해서 모든 분들이 다 데이터를 직접 이해하고 다룰 필요는 없고, 데이터 수집/분석 자체의 테크닉을 제공하는 분들도 충분히 가치가 있는 영역이라고 생각합니다.
19/03/27 00:25
좋은 글 감사합니다. 저는 언급하신 3.영상영역 에서 연구하고 있는 nonMD PhD 입니다. 말씀하신 6번 내용에 매우 공감하며, 지난 학기에는 그래서 MD 선생님들 대상의 인공지능(기계학습) 강의를 하기도 했습니다. 제가 안짤리고 남아있는 동안은 매년 할 생각입니다. (그나마 아직은 선생님들께서 스스로 할 줄 모르시니 병원에서 제 역할이 있는건데 제가 제 무덤을 파고 있는거죠...) 조만간 MD 선생님들께서도 연구하고자 한다면 R/SPSS 쓰시는 것 처럼 machine learning/deep learning을 쓰실 날이 올거라고 생각합니다.
19/03/27 00:37
계획하는 연구의 파일럿으로 공단표본코호트 뒤지고 있다 좋은 글 보니 반갑습니다.
아무래도 임상의로 진료 외 시간을 할애해서 데이터를 조물딱대다 보니 시간이 모자르네요. 인사이트라는 게 임상지식만 많다고 되는 게 아니라 데이터에서 뭘 뽑아낼 수 있는지까지 결합해서 알아야 되기 때문에 어려운 것 같습니다. 한 가지를 잘 하는 사람은 많아도 둘 다 잘하는 사람은 드물어서요. 그만큼 코웍이 중요하긴 한데 방법론을 모르고서는 코웍 자체가 안된다고나 할까요.. 진료 한달쯤 빼고 어디 처박혀서 논문만 쓰다 나오면 좋겠다고 종종 얘기하곤 합니다. 하하.
19/03/27 01:35
한때 의료영상처리쪽 인공지능 소프트웨어만드는 스타트업에 있었는데 결국 데이터가진 대학병원 의사들이 최고갑이더라구요.
의사들끼리도 의견이 갈리는 의료 이미지 분석의 애매함과 데이터얻기가 무지 어려움, 병원마다 다른 영상상태로 인해 소프트웨어를 팔려고해도 기관마다 튜닝해야함 등등 저는 개인적으로 병원마다 제대로 상용화되긴 꽤 걸리지않을까 생각하고있습니다
19/03/27 11:05
사회조사분석론에서도 나오는 내용인데 같은 경험을 가진 대규모의 집단을 말하는 겁니다. 의료 쪽으로 예를 들면 맹장염(충수돌기염) 걸려본 경험이 있는 대규모의 집단을 말합니다. 의료 쪽은 안전성을 위해서 대규모의 샘플이 필요하고 빅데이터 쪽은 말 그대로 거대한 데이터를 분석해 통찰을 얻는 분야이기 때문에 양쪽에 다 걸치는게 코호트 조사인 것 같네요.
19/03/27 11:29
김승섭교수님은 해외에 연수가셔서 한국에 안계십니다. 크크 빅데이터도 잘안하시구요. 하지만 우리나라에서 가장 훌륭한 보건학 연구자라고 생각합니다.
19/03/27 10:41
좋은 글 감사합니다. 저는 데이터 엔지니어 입니다.
어느 필드나 결국 데이터가 문제고 보건의료분야에서의 어려움이 매우 잘 설명된 글인 것 같습니다.
|
||||||||||