한 줄 요약과 선정 근거

노드의 내부 동역학이 2차원 이상이면, 노드끼리 서로 다를 때 네트워크의 집단 상태가 더 안정할 수 있다. 무작위로 흐트러뜨린 파라미터도 자주 안정성을 높인다.

Science는 같은 호(393권 6817호)에 레이사 드수자(Raissa D’Souza)의 해설 Perspective “Noise and diversity can boost stability”를 함께 실었다. 동기화, 전력망, 생태계에서 따로 보고되던 “이질성이 오히려 안정성을 높인다”는 관찰을 수학적 조건 하나로 묶어 냈다는 점에서 골랐다.

배경지식 세 가지

1. 야코비안(Jacobian)과 최대 리아푸노프 지수(largest Lyapunov exponent): 평형점 근처의 작은 교란은 를 따른다. 의 고윳값 실수부 중 최댓값 가 음수면 안정하고, 더 음수일수록 교란에서 빨리 회복한다. 논문이 쓰는 안정성 척도다.
2. 에르미트(Hermitian) 행렬: 실수 행렬에서는 대칭 행렬을 말한다. 대칭 행렬의 고유벡터는 서로 직교한다. 비에르미트 행렬에서는 고유벡터가 기울어지다가 평행해질 수도 있다.
3. 1차와 2차 노드 동역학: 쿠라모토(Kuramoto) 위상 진동자처럼 노드마다 변수 하나가 1차 방정식을 따르면 1차(1D)다. 전력망의 스윙 방정식처럼 꼴의 뉴턴 방정식을 따르면 2차(2D)이고, 는 감쇠(damping)다.

무엇을 발견했나

쿠라모토 모형 이후의 통념은 “진동자가 비슷할수록 동기화가 쉽다”였다. 그런데 전력망, 레이저 배열, 전자 회로, 뉴런 회로에서는 이질성이 동기화 안정성을 높인다는 보고가 쌓여 왔다. 논문은 이 모순을 다음처럼 정리한다.

• 정리: 야코비안이 파라미터 에 대해 아핀(affine)이고 최적화 문제 가 볼록(convex)이면, 전역 최적해 중 적어도 하나는 네트워크의 대칭을 모두 지킨다. 모든 노드가 구조적으로 같은 네트워크라면 그 해는 균일하다. 거꾸로 말해 이질적인 설정만이 최선이려면 문제가 비볼록이어야 한다.
• 비볼록의 조건: 비볼록은 야코비안이 비에르미트일 때만 생기고, 넓은 부류의 비에르미트 시스템에서는 거의 모든 네트워크에서 생긴다. 2차 노드는 결합이 무방향이어도 야코비안이 비에르미트다.
• 무질서의 효과: 방향 네트워크에서는 균일 최적점이 안장점(saddle point)이 될 수 있어, 무작위 섭동만으로 안정성이 좋아진다. 작은 섭동 가운데 안정성을 높인 비율은 방향 스몰월드(small-world) 네트워크에서 약 25%, 방향 순환(circulant) 네트워크에서 100%에 가까웠다.
• 메커니즘: 균일할 때 서로 분리되어 있던 네트워크 모드가 이질성 때문에 섞인다(mode mixing). 무방향 네트워크에서 최적점에 도달하려면 야코비안의 고유벡터 두 개 이상이 평행해져야 한다.
• 생태계: 일반화 로트카 볼테라(Lotka-Volterra) 모형에서 무질서는 경쟁 네트워크를 불안정하게, 상리공생(mutualistic) 네트워크를 안정하게 만들었다(분석한 네트워크에서 다섯 배 개선). 상리공생이 우세하면 종 수와 연결 밀도가 클수록 이 효과가 잦아진다. “복잡할수록 불안정하다”는 May의 역설에 새 관점을 주는 결과다.

어떻게 했나

• 이론: 볼록 경우의 정리는 젠센 부등식(Jensen’s inequality)으로 증명하고, 비볼록성, 미분 가능성, 모드 섞임에 관한 명제는 보조 자료에서 증명한다.
• 수치 실험 1: 2차 쿠라모토, 피츠휴 나구모(FitzHugh-Nagumo) 뉴런, 위상 진폭 진동자 등 여러 모형을 노드 100개짜리 무방향 전연결 네트워크(가중치 )에서 최적화했다. 1차 모형만 균일한 설정에서 최적이었다.
• 수치 실험 2: 방향 스몰월드, 척도 없는(scale-free) 네트워크, 실제 네트워크(예쁜꼬마선충 신경망, 먹이그물, 대장균 전사 조절망, 논리 회로 등)에서 균일 최적점 주변에 무작위 섭동을 1,000번씩 넣고 안정성이 좋아지는 비율을 셌다.
• 수치 실험 3: 생태계 모형에서 무질서 세기와 상호작용 부호 비율을 바꿔 가며 네트워크 1,000개씩을 분석했다.
• 새 물리 실험은 없다. 평형 상태 하나를 정해 두고, 그 선형 안정성을 이론과 시뮬레이션으로 따진 논문이다.

분야에서의 의미

• 동기화 분석의 기본 도구인 마스터 안정성 함수(master stability function)는 노드가 같다는 전제에서 모드를 분리한다. 논문은 이 전제가 지우는 모드 섞임이 바로 안정화의 원천일 수 있음을 보였다.
• 가장 넓게 적용될 결론은 방법론적 경고다. 다루기 쉽게 차원을 줄인 모형(1차 위상 모형 등)은 비에르미트 구조를 지워 이질성의 안정화 효과를 보지 못한다.
• 설계 관점에서 이질성은 없앨 잡음이 아니라 쓸 수 있는 자원이 된다. 전력망의 감쇠 배분, 드론 편대, 레이저 배열이 응용 후보로 꼽힌다.
• 계보: 같은 그룹의 “대칭 상태가 비대칭 시스템을 요구한다”(Nishikawa, Motter, PRL 2016)와 이를 실험으로 보인 연구(Molnar 외, Nature Physics 2020)의 연장선이다. 덧붙이자면, 균일한 감쇠가 최선이라는 추측의 반례는 파동 방정식 감쇠 최적화에서도 나온 적이 있다(Freitas, SIAM J. Control Optim. 1999). 이번 논문의 기여는 이런 관찰을 네트워크 동역학 일반의 조건으로 정리하고 무작위 이질성의 효과까지 보인 데 있다.

ML 연구자를 위한 인사이트

1. 경사 흐름과 모멘텀은 다른 부류다 (방법론 교훈, 직접 적용)

좌표별 가중치 감쇠 를 둔 경사 흐름을 최솟점 근처에서 선형화하면 로, 논문의 1차 모형과 같은 꼴이다(는 헤시안). 모멘텀(heavy ball) 을 선형화하면 아래처럼 논문의 2차 모형과 같은 꼴이 된다.

1차 근사에서 얻은 “균일한 설정이 최선”이라는 직관을 모멘텀 동역학에 그대로 옮기면 안 되는 이유다. 다만 논문의 정리가 라플라시안이 아닌 헤시안에서도 그대로 성립하는지, 실제 학습에서 차이가 얼마나 되는지는 확인되지 않았다.

2. 뉴런의 이질성 (원리 차용, 영감 수준)

스파이킹 신경망에서 뉴런마다 시간 상수가 다르면 학습이 더 안정하고 성능이 좋아진다는 보고가 있다(Perez-Nieves 외, Nature Communications 2021). 이 논문은 그런 현상에 일반 조건 하나를 제시하는 셈이다. 유닛 내부 상태가 2차원 이상이거나 결합이 비대칭일 때 이질성이 안정화에 쓰일 수 있다. 2차 진동자 유닛을 쓰는 순환망(coRNN 등)은 감쇠를 모든 유닛이 공유하는데, 이 설계를 다시 볼 이유가 된다.

3. 대칭점은 안장점일 수 있다 (방법론 교훈, 영감 수준)

균일한 최적점이 안장점이면 작은 무작위 섭동이 개선을 준다. 은닉 유닛을 모두 같은 값으로 초기화하면 학습이 대칭에 갇히고 무작위 초기화가 그 대칭을 깨는 것과 구조가 닮았다. 또 무방향 네트워크의 최적점은 고유벡터가 평행해지는 미분 불가능한 점에 놓인다. 스펙트럼 반경 같은 안정성 지표를 직접 최적화하는 문제에서 경사법이 같은 벽을 만날 수 있다.

4. 생태계와 순환망 초기화 (새 문제와 데이터, 연결 약함)

큰 무작위 시스템의 안정성을 무작위 행렬로 따지는 May의 논증은 순환망 초기화의 “혼돈의 경계(edge of chaos)” 이론과 수학적 뿌리가 같다. 하지만 이번 생태계 결과가 ML에 무엇을 더하는지는 아직 분명하지 않다.

한계와 남은 질문

• 평형 상태 하나를 정해 두고 그 선형 안정성만 주로 본다. 큰 교란이 들어올 때 어디까지 버티는지, 곧 끌개 영역(basin of attraction)은 보조 자료의 몇몇 예시에서만 다룬다.
• 아무 이질성이나 돕지는 않는다. 논문의 2차 쿠라모토 진동자 쌍 예에서 이질성이 돕는 곳은 결합이 약한 영역에 한정됐고, 감쇠 차이가 커지면 오히려 균일할 때보다 나빠졌다. 한쪽 감쇠가 음수가 될 만큼 벌어지면 불안정해졌다.
• 무작위 섭동이 도울 확률은 구조에 크게 좌우된다. 허브가 있는 척도 없는 네트워크에서는 더 낮았다.
• 실제 네트워크 실험에서도 연결 구조만 가져오고 가중치는 무작위로 새로 매겼다. 실제 상호작용 세기에서도 같은 결과가 나오는지는 열려 있다.

열린 질문

• 모멘텀 계열 최적화기에서 파라미터 그룹마다 감쇠를 다르게 두면 실제 신경망 학습의 수렴 안정성은 어떻게 달라지는가?
• 유닛 내부 상태가 2차원 이상인 순환망에서 유닛 파라미터의 이질성은 1차 유닛과 다르게 작동하는가?
• 미분 불가능한 최적점과 안장점이 섞인 안정성 지표를 학습 목표로 쓸 때, 무작위 섭동이 경사법보다 나은 조건은 무엇인가?

이해 확인

논문 정보

• 논문: Arthur N. Montanari, Pietro Zanin, Adilson E. Motter, “Disorder-promoted stability”, Science 393(6817), 1241-1249, 2026년 9월 17일. doi:10.1126/science.aeg3946

3줄 요약

• 겹치지 않는 데이터로 따로 학습한 확산 모델(diffusion model)은 같은 노이즈에서 거의 같은 이미지를 만든다. 이 논문은 그 상당 부분이 두 데이터가 공유하는 평균과 공분산, 즉 가우시안 통계만으로 예측된다는 것을 보인다.
• 랜덤 행렬 이론(random matrix theory, RMT)으로 보면 유한한 데이터의 효과는 노이즈 크기를 키우는 재정규화(renormalization) 로 요약된다. 그래서 분산이 작은 방향이 과하게 깎이고 샘플이 평균 쪽으로 끌려간다.
• 두 모델이 어긋나는 정도는 방향(비등방성), 입력 위치(비균질성), 데이터 크기(전체 스케일링)의 곱으로 나뉜다. 이 예측은 UNet과 DiT에서도 경향 수준으로 맞는다.

선정 이유

ICML 2026 Oral이자 우수논문 가작(Outstanding Paper Honorable Mention)이다. 심사위원회는 이 논문이 기묘한 경험적 현상을 생성 모델 재현성의 수학적 기준선으로 바꿨다고 평했다.

블로그의 연구 여지 지도(NeurIPS, ICML, ICLR 2022~2026년 논문 7.9만 편, 150개 주제)에서 이 논문이 속한 ‘확산 모델 이론과 샘플링’은 LLM 중심 주제를 뺀 109개 주제 중 16위다. 1위 ’MCMC와 신경 샘플러’, 3위 ’플로우 매칭과 정규화 플로우’와 함께 샘플링과 생성 모델의 수학 묶음을 이루며, ICML 2026 최우수 논문(High-Accuracy Sampling for Diffusion Models and Log-Concave Distributions)도 같은 주제에 속한다.

1. 전후로 아는 것이 달라졌나. 달라졌다. 서로 다른 데이터로 학습해도 결과가 같다는 관찰은 있었지만, 어디가 왜 일치하고 어디서 어긋나는지 예측하는 이론은 없었다. 이 논문이 그 기준선을 닫힌 형태로 준다.
2. 새 질문을 여는가. 연다. 선형 이론이 설명하지 못하는 나머지 불일치의 출처가 바로 다음 질문이다. 데이터 공분산이 노이즈 공간에 축을 새긴다는 관찰은 시드(seed) 선택 문제로도 이어진다.
3. 일반화될 근거가 있나. 9개 데이터 설정(FFHQ, AFHQ, CIFAR, LSUN의 32, 64픽셀)과 두 아키텍처에서 같은 경향이 나왔다. 다만 모두 저해상도 무조건부(unconditional) 픽셀 공간 모델이다.
4. 증거가 주장만큼 강한가. 선형 모델에서는 이론과 수치가 거의 정확히 맞는다. 심층망에서는 경향만 맞고 불일치의 절대 크기는 이론보다 훨씬 크다. 저자들도 정성적 확인이라고 적는다.

왜 중요한가

GAN이나 VAE는 같은 잠재 벡터를 넣어도 학습할 때마다 다른 이미지가 나온다. 등방성 잠재 공간은 회전해도 분포가 같아서 축의 의미가 학습마다 달라지기 때문이다. 반면 확산 모델은 결정론적 샘플러인 확률 흐름 ODE(probability flow ODE)를 쓰면 데이터 분할, 아키텍처, 초기화가 달라도 같은 노이즈가 비슷한 이미지로 간다.

이 현상은 일반화(generalization)와 암기(memorization) 논쟁의 한가운데에 있다. 다른 데이터에서 같은 결과가 나온다면 모델은 개별 이미지가 아니라 분포의 공통 구조를 배운 것이다. 그러면 결과물의 어느 부분이 공통 구조이고 어느 부분이 특정 학습 데이터의 흔적인지 가를 기준이 필요하다. 블로그의 해석으로는 재현성과 데이터 기여도(data attribution) 논의도 이 기준에 기댄다.

핵심 아이디어

결과 해설

심층망의 두 국면(6장, 그림 5A, 5B). 분할 크기 을 300부터 3만까지 바꿔 UNet은 9개 설정 전부, DiT는 일부에서 학습했다. 에서는 샘플이 학습 이미지를 대체로 재현하는 암기 국면으로, 선형 이론의 범위 밖이다. 부터는 학습 분할과 대조 분할까지의 거리가 비슷해지는 재정규화 국면이고, 이 커질수록 샘플이 선형 예측기에 가까워진다. 에서는 예측대로 과수축이 보여 얼굴이 평균 얼굴처럼 매끈해지고 중하위 고유 모드의 분산이 모자란다. 이 편향은 이 3만 무렵이면 사라진다.

어디서 어긋날지 예측하기(6장, 그림 5E, 5F). 고유 모드별 분할 간 차이는 이론이 예측한 비등방성 모양을 따른다. 을 늘리면 차이는 주로 상위 모드에서 줄고, 중하위 모드는 그대로이거나 오히려 덜 일관해진다. 세부 묘사가 일관되려면 훨씬 많은 데이터가 필요하다. 시드별로는 모집단 공분산과 만 넣은 RMT 예측이 FFHQ64 UNet()의 실제 불일치와 Spearman 0.33(시드 1,000개, )으로 상관했다. 분할이나 아키텍처 정보 없이 나온 예측이다.

의심해볼 점

• 선형 이론은 기준선이다. 평균과 공분산으로 설명되는 부분만 다룬다. 심층망의 불일치가 이론보다 훨씬 크다는 것은 설명되지 않은 비선형 요인이 크다는 뜻이다. “일관성은 가우시안 통계 때문”이 아니라 “일관성의 상당 부분은”으로 읽어야 한다.
• 가정. 평균 추정 오차를 무시하고() 공분산의 흔들림만 본다. 저자들은 높은 노이즈에서 이론이 덜 맞는 이유를 경험적 평균의 차이로 추정한다(부록 B.3). 샘플 결과는 초기 노이즈가 매우 크다는 근사와 고차원 극한에 기댄다.
• 실험 범위. 32, 64픽셀 무조건부 픽셀 공간 모델이고 기본 학습은 5만 스텝이다. 25만 스텝까지 늘리면 샘플은 선형 예측기로 다가갔다가 멀어지고, 멀어질수록 분할 간 일관성도 낮아지며, 데이터가 적을수록 이탈이 일찍 온다(부록 B.4.7). 텍스트 조건부 모델, 잠재 확산(latent diffusion), 대형 모델에서도 같은 구조가 유지되는지는 아직 모른다.
• 범위 밖의 샘플러. 분석 대상은 결정론적 ODE의 샘플링 사상(sampling map)이며, 확률적 샘플러의 일관성은 다루지 않는다.

계보

• Kadkhodaie, Guth, Simoncelli, Mallat (ICLR 2024 Outstanding Paper): 겹치지 않는 데이터로 학습한 두 디노이저가 데이터가 충분하면 거의 같은 점수 함수를 배운다는 것을 보였다. 이 논문의 출발 관찰이다.
• Zhang et al. (ICML 2024): 이 현상을 일관된 모델 재현성(consistent model reproducibility)이라 부르고 암기 국면과 일반화 국면을 나눴다.
• Wang, Vastola (TMLR)와 Li, Dai, Qu (NeurIPS 2024): 학습된 점수 함수의 상당 부분이 가우시안 근사로 설명된다는 숨은 선형 구조를 보였다.
• Atanasov, Zavatone-Veth, Pehlevan: 고차원 회귀의 스케일링과 재정규화. 를 재정규화된 릿지로 읽는 관점의 배경이다.
• 옆 갈래: Kamb, Ganguli (2024), Niedoba et al. (2024), Lukoianov et al. (2025)은 국소성(locality)과 패치 조합으로 일반화를 설명한다. 가우시안 기준선이 놓친 부분을 채울 후보다. Bonnaire et al. (NeurIPS 2025)은 두 시간 척도로 암기가 늦게 오는 이유를 설명한다.
• 후속: 인용 4편(Semantic Scholar, 2026년 9월). Maillard, Goldt (2026)는 선형 생성 모델에서 암기가 일반화로 넘어가는 전이를 해석적으로 정확히 풀었다.

열린 질문

1. 가우시안 너머의 불일치. 선형 이론이 설명하지 못하는 심층망의 나머지 불일치는 어떤 데이터 통계에서 오는가. 국소 패치 통계나 고차 모멘트를 반영한 기준선은 이 간극을 얼마나 메우는가. 꼬리가 두꺼운 데이터에서는 일관성이 어떤 모양으로 무너지는가.
2. 조건부 모델과 잠재 공간. 텍스트 조건부 모델이나 잠재 확산에서도 불일치의 스펙트럼 지도가 유지되는가. 유지된다면 어떤 공분산이 기준이 되는가.
3. 노이즈 공간의 기하. 데이터 공분산이 초기 노이즈 공간에 축을 새긴다면, 시드의 안정성과 품질은 이 축으로 얼마나 설명되는가.

이해 확인

논문 정보

• 제목: A Random Matrix Theory Perspective on the Consistency of Diffusion Models
• 저자: Binxu Wang, Jacob A. Zavatone-Veth, Cengiz Pehlevan (Harvard University)
• 학회: ICML 2026 Oral, Outstanding Paper Honorable Mention
• 링크: arXiv 2602.02908, OpenReview, 프로젝트 페이지, 코드

한눈에

• ICLR, ICML, NeurIPS의 2022~2026년 논문 7만 8,679편(채택작 4만 4,460편)을 제목과 초록의 뜻에 따라 150개 주제로 묶었다.
• 채택작 가운데 초록에 LLM 관련 표현을 쓴 논문은 2022년 3.9%에서 2026년 45.2%로 늘었다. 150개 주제 중 41개가 LLM 중심 주제였다.
• 나머지 109개 주제에 성장, 리뷰어 평가, 미해결 문제, 진입 장벽, 혼잡도를 합친 여지 점수를 매겼다. 1위부터 차례로 MCMC와 신경 샘플러, 온라인 학습 이론, 플로우 매칭과 정규화 플로우, 메커니즘 설계, 계산 신경과학이다.
• 이 다섯 주제는 가중치를 무작위로 2,000번 바꿔도 76~97%의 경우 상위 10위에 남았다. 상위 10개 주제에서 초록에 대규모 연산 표현이 나오는 논문은 많아야 7.3%다.

왜 이 지도를 그렸나

이 블로그는 논문을 화제성보다 연구 가치로 고른다. 매달 테마를 정할 때도 같은 기준이 필요하다. 어느 주제에 관심이 모이는지, 어디에 아직 풀리지 않은 문제가 많은지, 어디라면 GPU 몇 장으로도 의미 있는 연구를 할 수 있는지 한눈에 보고 싶었다. 감으로 고르면 결국 요즘 가장 자주 보이는 주제를 고르게 되고, 요즘 가장 자주 보이는 주제는 LLM이다.

그래서 세 학회 5년치 논문으로 지도를 그렸다. 이 지도가 재는 것은 주제의 중요도가 아니라 들어갈 틈이다. 오래되고 중요한 분야라도 이미 붐비고 방법이 성숙했다면 점수가 낮게 나온다. 점수가 높다고 더 중요한 주제라는 뜻도 아니다.

LLM 중심 주제는 순위에서 뺐다. LLM 연구의 가치가 낮아서가 아니다. 붐비는 곳 바깥에서 틈을 찾는 것이 이 지도의 목적이고, 이 블로그는 LLM과 에이전트 논문을 일주일에 한 편 이하로 다루기로 했다. 뺀 주제도 흐름을 비교할 때 쓰고, 아래 조절기와 주제별 수치 파일에서는 함께 볼 수 있다.

데이터와 방법

흐름: 채택작 두 편 중 한 편 가까이가 LLM

초록에 LLM 관련 표현을 쓴 채택작은 2022년 3.9%에서 2024년 23.5%, 2026년 45.2%로 늘었다(그림 1). ICLR 투고작도 4.2%에서 46.8%로 같은 길을 걸었다. LLM 중심 주제를 뺀 채택작의 비중은 ICLR에서 90.0%에서 57.5%로, ICML에서 94.6%에서 61.7%로(2022~2026년), NeurIPS에서 91.7%에서 71.1%로(2022~2025년) 줄었다. 2023년 이후 추세로 보면 해마다 약 12%씩 줄어든 셈이다.

심사가 이 쏠림을 누그러뜨리지도 않았다. 2024~2026년 ICLR에서 LLM 중심 주제의 채택률은 30.2%(1만 3,569편 중)로, 나머지 주제의 28.5%(2만 5,320편 중)보다 오히려 조금 높았다.

LLM 중심 주제는 연산 부담도 크다. 초록에 대규모 연산 표현이 나오는 논문의 비율을 주제별로 구해 중앙값을 보면 LLM 중심 주제가 17.1%, 나머지 주제가 6.1%다. 블로그의 해석: 많은 연구진이 같은 문제를 큰 연산으로 푸는 곳에서 작은 연구실이 속도로 겨루기는 어렵다. 이 지도가 LLM 바깥을 들여다보는 이유다.

지도

그림 2는 109개 주제를 상대 성장률과 대규모 연산 표현 비율로 펼친 것이다. 오른쪽으로 갈수록 LLM 바깥에서 관심이 빨리 늘고, 아래로 갈수록 초록에 큰 연산을 드러내는 표현이 적다. 오른쪽 아래가 작은 자원으로 들어가기 좋은 쪽이다.

109개 가운데 50개 주제가 LLM 바깥 전체보다 빨리 컸다. 하지만 LLM까지 포함한 전체 채택작에서 비중이 늘어난 주제는 34개뿐이다. LLM 바깥에서 크고 있다는 말이 곧 전체에서 크고 있다는 뜻은 아니다.

빨리 크지만 순위는 높지 않은 주제도 눈여겨볼 만하다. 자기회귀 이미지 생성(18위)은 상대 성장률이 연 140%로 109개 중 가장 빠르지만, 초록에 대규모 연산 표현이 나오는 논문이 15.9%다. EEG, fMRI 뇌 디코딩(22위)도 연 60%로 빠르게 크지만 그 비율이 22.9%다. 확산 모델 이론과 샘플링(16위)은 연 24%로 크고 연산 부담도 3.9%로 작지만, 이미 LLM 바깥에서 가장 붐비는 주제라 덜 붐빔 점수가 꼴찌다.

상위 주제

상위 10개는 두 갈래로 나뉜다(표 2). 절반은 LLM 바깥 전체보다 빨리 크는 주제이고, 나머지 절반은 비중은 줄지만 리뷰어 평가가 높고 연산 부담이 작은 주제다. 10개 가운데 8개는 대규모 연산 표현 비율이 109개 주제의 중앙값(6.1%)보다 낮고, 가장 높은 인간 모션 생성도 7.3%다. 상위 5개 주제는 2024~2026년 ICLR 채택률이 32.8~45.9%로, 같은 기간 ICLR 전체 채택률 29.1%보다 높았다.

이 지도를 얼마나 믿을까

블로그는 이 지도를 이렇게 쓴다

10월 테마는 “샘플링과 생성 모델의 수학”이다. 1위 MCMC와 신경 샘플러, 3위 플로우 매칭과 정규화 플로우, 16위 확산 모델 이론과 샘플링을 한데 묶었다. 16위 주제는 붐벼서 순위가 내려갔지만, ICML 2026 본 트랙 수상작 7편 가운데 두 편(최우수 논문 1편, 우수 논문 가작 1편)이 이 주제에서 나왔다. 수상작이 두 편 나온 주제는 여기뿐이다. 세 주제 모두 대규모 연산 표현이 4% 아래라서, 증명과 작은 실험으로 기여할 여지가 크다는 점도 함께 봤다.

다음 테마 후보는 뇌 데이터와 계산 신경과학(5위, 22위), 그리고 덜 붐비는 학습 이론(2위, 7위, 8위)이다. 지도는 학회 시즌마다 다시 그린다. 다음 판에는 NeurIPS 2026 채택작과 ICLR 2027 투고작을 함께 넣는다. 두 목록이 모두 공개되는 11월쯤이 될 것이다.

열린 질문

1. 진입 장벽을 초록의 표현이 아니라 실제 연산량으로 잴 수 있을까. NeurIPS 논문 체크리스트의 연산 자원 항목처럼 본문에 적힌 정보를 모으면 지표가 훨씬 정확해질 것이다.
2. 여지 점수가 높았던 주제는 몇 년 뒤 실제로 좋은 연구를 낳았을까. 2022~2024년 자료만으로 점수를 매긴 뒤 2025~2026년의 수상작, oral 비율과 맞춰 보는 되짚기가 필요하다.
3. LLM은 다른 주제의 연구 방식을 얼마나 바꾸고 있을까. 메커니즘 설계 주제에서도 초록의 7.3%에 LLM 관련 표현이 나온다. 주제 경계가 흐려지는 속도를 재는 방법이 있어야 한다.

자료와 재현

• 원자료: Paper Copilot paperlists. 2026년 9월 23일에 내려받았고, 저장소의 마지막 갱신은 2026년 7월 1일이다.
• 범위: ICLR 2022~2026 투고작 전체, ICML 2022~2026 채택작, NeurIPS 2022~2025 채택작, 본 트랙. 7만 8,679편, 채택작 4만 4,460편.
• 원본 대조: ICLR 2024~2026, ICML 2026, NeurIPS 2025에서 무작위 50편을 OpenReview와 대조해 제목과 채택 여부가 모두 같음을 확인했다(2026년 9월 23일).
• 방법: 제목과 초록 임베딩은 BAAI/bge-small-en-v1.5(최대 256토큰), 주제 묶기는 k-평균 150개(시드 7), 성장률은 학회 고정효과를 넣은 포아송 회귀, 가중치 민감도는 디리클레 분포에서 2,000번 추출.
• 주제별 수치: CSV 파일. 150개 주제의 순위, 다섯 지표의 원값과 백분위, 가중치 민감도를 담았다.