태양광 예측 / 집합자원 최적화
DSC6 연구 현황
현황을 불러오는 중
현재 작업과 자원 현황
실행 기록을 연결하는 중
진행 기록 연결 중
현재 표본을 기다립니다. 지난 학습의 자원 값을 현재 사용량으로 표시하지 않습니다.
남은 작업과 실행 순서
계획을 연결하는 중
전체 단계와 다음 실행 이유 보기
현재 연구 후보의 순서와 비교 방법
먼저 전처리, 모델 구조, 자기지도학습과 학습 조합을 비교합니다. 앙상블과 seed 반복은 마지막 단계입니다. 아래 순서는 실행 승인이 끝난 작업 수와 다르며, 단계별 범위와 예산을 검토한 뒤 실행합니다.
Epoch별 실측 값 보기
| Epoch | Train L1 | Valid L1 |
|---|
곡선은 각 epoch 종료 시 같은 모델의 eval 모드에서 측정한 값만 표시합니다. Valid가 나오기 전에는 보간하거나 예상값으로 채우지 않습니다. 완료 실행의 원래 곡선도 위 선택 목록과 보존 기록에서 확인할 수 있습니다.
공개 집계는 45초 간격으로 전송하고 화면은 15초마다 새 집계를 확인합니다. 전달 경로의 캐시로 지연될 수 있어 게시 시각과 실제 진행 기록 시각을 분리합니다. 게시가 60초 이상 지연되면 마지막 표본임을 표시합니다. 실제 작업 진행과 자원 측정 시각은 각각 따로 확인합니다.
현재 성과
기반 검증지금 하는 일
데이터와 검증 환경 준비
최적화 목표
수익 S = 매전수익 − W
W = 0.1 × Σ SMP × k × 집합 절대오차
예측 개선과 배분 개선의 효과를 분리해 측정합니다.두 모델을 같은 조건에서 비교
정산 W / 낮을수록 좋음| 기간 | A 기준 W (원) | B 후보 W (원) | B 변화율 |
|---|
배분만 바꿔 줄일 수 있는 폭의 상한
위에서 고른 월의 동결 예측입니다. 모든 잔차를 합친 절댓값은 두 집합의 절대오차 합보다 작거나 같습니다. 용량 제약과 모든 시간에 하나의 배분을 쓰는 조건까지 고려하면 실제 이득은 더 작을 수 있습니다.
파랑: 이론 하한 노랑: 하한까지 남은 차이
| 모델 | 현재 W와 하한 | 현재 W (원) | 이론 하한 (원) | 최대 여지 (원 / 비율) |
|---|
하한은 찾은 배분이나 달성한 개선이 아닙니다. 이 하한이 E02의 실제 W보다 높다면 해당 고정 예측을 배분 변경만으로 E02보다 좋게 만들 수 없습니다.
모델 순위
| 순위 | 모델 | 정산 S (원) | 페널티 W (원) | 1위 대비 W | 절대오차 합계 (kWh) | 공식 정규화 점수 | 공통 관측 |
|---|
정규화 점수는 공식 기준선 확인 전입니다. 1위 대비 W 변화율과 다른 값입니다.
최근 학습과 모델 선택
이전 학습 기록실제로 완료한 구조와 학습률 탐색
검토한 탐색 결과를 불러오는 중
2월의 같은 253개소, 641시간에서 선택한 W입니다. 학습은 발전소별 가중 L1, 선택과 조기 종료는 집합 W입니다. 겨울 672시간 순위나 독립 검증 점수와 합치지 않습니다.
선택 후보는 폭 64, 4헤드, 2층 Transformer입니다. 발전소별 [batch,24,142] 예보와 결측 표시를 받아 [batch,24] 용량 대비 발전량을 출력하고, 같은 kWh 변환 및 야간 처리와 참조 배분으로 정산합니다. AdamW, FP32, batch 8 / accumulation 2를 유지했으며 모델 파일과 별도 저장소 사본을 검토했습니다.
이 후보의 모든 epoch 값 보기
이번 탐색 범위와 아직 비교하지 않은 항목
첫 4개 후보는 폭 32/64와 1/2층을 고정 학습률 0.0003으로 비교했습니다. 이후 4개는 Optuna TPE가 구조와 log 학습률을 제안했습니다. TPE seed 17, 동시 후보 1개, NopPruner, 최대 16 epoch와 patience 6입니다. 12개와 4시간은 실행 예산이며 최적성이나 수렴을 보장하지 않습니다.
| 비교 축 | 실제로 한 일 | 다음 비교 |
|---|---|---|
| Transformer | 폭, 층 수, 학습률의 8개 후보 | 현재 선택 구조를 전처리 대조 기준으로 보존 |
| 1D CNN | C01 겨울 한 설정, best 1 / 종료 3 epoch | 같은 봄 W 선택과 공통 예산으로 다시 비교 |
| TCN / Stacked LSTM / MLP | 세 계열의 공통 봄 대조군 미실행 | 계열별 초기 후보 후 조건부 TPE |
| 결측 / 인코딩 | 10시 예보 대체, fit 평균 표준화 후 자연 결측 위치를 다시 0으로 가림 | 평균, 중앙값, 원 단위 0 및 ID one-hot/embedding의 통제 비교 |
| 자기지도학습 | 학습 0건 | fit 내부 예보 복원 후 미세조정과 동일 추가 예산 대조 |
| 앙상블 | 현재 탐색에서 새 비교 없음 | 전처리, 구조와 학습 조합을 고른 뒤 마지막 단계에서 비교 |
| Seed 반복 | 학습 0건, RNG 저장 검사는 별개 | 구조, 전처리와 학습 조합을 고른 뒤 마지막 단계에서 확인 |
실제 정산 W로 고른 Transformer
완료 및 보존 검토 후 실제 정산 곡선을 표시합니다. 실행 중 진행은 위 실시간 영역에서 확인할 수 있습니다.
2월 1일 01시부터 27일 17시까지의 641시간을 모델 선택에 사용합니다. 반복 개발 구간이므로 기존 겨울 모델의 2월 평가 순위와 합치지 않습니다. 학습 gradient는 발전소별 L1이며, best와 조기 종료를 집합 W로 결정합니다.
설계: 폭 32, 4헤드, 2층 Transformer. 발전소별 24시간 예보의 142개 특징과 결측 표시를 받아 시간별 용량 대비 발전량을 출력합니다. kWh 변환과 태양고도에 따른 야간 0 처리는 기존 예측 규칙을 유지합니다. AdamW LR 0.0003, seed 17, batch 8 / accumulation 2입니다.
선택 기준: 집합 W
보조 진단: Train / Valid L1
주황 실선은 Train, 파랑 점선은 Valid입니다. 큰 점은 W로 선택한 epoch이며, L1 최저는 아래 표에서 구분합니다.
봄 학습의 전체 epoch 수치와 선택 이유 보기
| Epoch | Train L1 | Valid L1 | 정산 S, 원 | 페널티 W, 원 | 집합 절대오차, kWh |
|---|
모델 구조와 입출력
실행한 모델과 미실행 후보 구분모델을 선택하면 입력, 학습 목적, 출력 변환과 저장 상태를 볼 수 있습니다. 가중치 파일은 공개하지 않습니다. 근거 경로와 해시는 로컬 또는 비공개 저장소에서 재검토할 때 사용합니다. 가장 최근에 선택한 H03F의 폭 64, 2층 구조와 8개 후보 전체는 탐색 결과에서 볼 수 있습니다.
다음 비교 후보와 제외한 방법
가설과 행동 근거
검토용 집계 JSON기대 → 반증 조건 → 관찰 → 판단 → 다음 행동의 이유를 연결합니다. 실행 전 가설과 결과를 본 뒤의 정리를 구분합니다. 원본 실행 기록은 보존하고 이 판단 기록의 변경은 Git으로 추적합니다.
최근 판단 3건을 먼저 표시합니다. 이전 판단과 근거도 모두 보존합니다.
이전 판단 기록 보기
입력 데이터와 전처리
관측 집계와 미실행 후보 구분검토한 데이터 집계를 불러오는 중
학습용 예보 문맥만 집계합니다. 2월 선택·3월·4월 검증과 5월 봉인 자료는 포함하지 않습니다. 발전량 정답을 읽지 않으며 결측과 실제 0을 구분합니다. 같은 관측소 예보가 여러 발전소에 연결되므로 행 수는 독립 관측 수가 아닙니다.
표 데이터를 하루 24시간 시계열로 묶습니다
원본은 CSV와 Parquet 형식의 tabular data입니다. Parquet도 행과 열을 가진 표의 저장 형식입니다. 발전소 정보, 시간별 발전량, 두 제공사의 기상 예보와 전력 가격을 키로 연결합니다. 현재 모델에는 이미지, 음성, 자유 서술문이 들어가지 않습니다.
- 1. 원본 표발전소 정보 + 발행 시각이 있는 기상 예보
발전소 × 목표 시각 - 2. 특징 표한 발전소의 한 시간마다 수치화된 특징 142개
월별 Parquet - 3. 시계열 입력발전소별 하루 24개 슬롯 + 결측 표시 + padding 표시
[batch, 24, 142]
batch는 한 번에 묶는 발전소-일 표본 수입니다. H03F는 batch 8을 사용했습니다. 발전량 정답은 예보 특징에 섞지 않고 별도 라벨과 손실 마스크로 연결합니다.
각 원본 표의 한 행, 연결 키와 쓰임
| 원본 형식 | 한 행의 뜻 / 연결 기준 | 주요 내용과 단위 | 현재 사용 |
|---|---|---|---|
| sites.csv | 발전소 하나 / site_id | 설비용량 kW, 비식별 좌표, A/B 관측소 연결과 거리 m | 253개소의 정적 정보 |
| generation.parquet | 발전소 하나의 한 시간 / site_id + ts | 시간 구간의 발전량 kWh | 지도학습의 정답. 행 누락과 관측된 0은 구분 |
| forecast_wa/wb.parquet | 관측소 + 예보 회차 + 목표 시각 | 원본 기상 변수 A 10개 / B 20개. 현재 특징에는 A 8개 / B 20개 사용 | 전날 10시와 17시 발행 예보를 연결 |
| observed_wa/wb.parquet | 관측소의 관측 시각별 기상 | 실측 기상 표, 예보와 역할이 다름 | 제공되지만 현재 142개 특징 생성에는 미사용 |
| smp.csv / train/smp.csv | 시간별 가격 / ts | 가격은 원/kWh. 평가용에는 k 열이 있으며 학습용 k는 시각 규칙으로 계산 | 학습 구간의 손실 가중과 각 구간의 정산 계산 |
위 키는 스키마 이름이며 실제 발전소 ID나 원본 행은 게시하지 않습니다. 저장 dtype을 전 열에 대해 다시 조사한 결과는 아닙니다.
시각과 단위를 읽는 법
발행 시각과 목표 시각
r10과 r17은 전날 예보를 발행한 10시와 17시입니다. 예측하려는 시간은 따로 있습니다. ts는 KST 한 시간 구간의 끝입니다. 예를 들어 01시는 00~01시, 다음 날 00시는 전날의 마지막 구간입니다.
같은 변수 이름도 단위를 확인
A 풍속은 m/s, B 원 풍속은 km/h입니다. 파생 바람 성분을 만들 때만 B 풍속을 3.6으로 나눕니다. A 강설량은 mm, B 강설량은 cm입니다. 이 차이를 감춘 채 수치를 비교하지 않습니다.
확인한 것과 미확인인 것
아래 사전은 제공 명세의 단위와 코드에서 유도한 단위를 구분합니다. 강수·강설의 누적 시간 구간은 미확인이므로 mm/h라고 쓰지 않습니다. fit 예보 특징의 최소, 최대, 분위수와 가공 저장 dtype은 아래 P08b에서 실측했습니다. 발전량 정답 분포와 원본 CSV의 dtype은 측정하지 않았습니다.
142개 변수의 뜻과 단위
변수 사전을 불러오는 중
142개 특징을 이루는 10개 계열
| 변수와 뜻 | 계열과 형태 | 단위와 근거 | 가공, 결측과 모델 입력 |
|---|
실제 값은 어느 범위에 있나
fit 분포를 불러오는 중
원 단위의 관측값을 비교합니다. 17시 예보의 기존 10시 대체는 포함하지만, 남은 자연 결측에 평균이나 중앙값을 넣기 전입니다. 모델과 같이 FP32로 변환한 값에서 정확한 분위수를 계산했습니다.
파란 상자: 가운데 50% (25~75%)주황 실선: 중앙값초록 점선: 평균회색 막대: 5~95%, 양 끝 점: 최소와 최대
선택 변수의 전체 수치와 저장 형식
| 통계 | 실측 값 |
|---|
가로축은 선택한 변수의 최소~최대 원 단위입니다. 상자가 한쪽에 몰리면 꼬리가 길거나 값이 반복된 분포일 수 있습니다. 범위를 자동으로 잘라 숨기지 않으며 수치표에서 확인할 수 있습니다. 5% 분위수는 작은 값부터 정렬했을 때 5% 지점의 값입니다. 같은 값이 반복되면 그 값 이하의 비율은 5%보다 클 수 있습니다. 화면 숫자는 반올림하며 계산과 대체 통계에는 원래 정밀도를 보존합니다.
해석 범위와 아직 알 수 없는 것
2023년 6월~2025년 1월의 발전소별 시간 행에 같은 가중치를 줬습니다. 같은 관측소 예보가 여러 발전소에 반복될 수 있으므로 독립 표본 수가 아닙니다. 발전량 정답 분포, 원본 CSV의 dtype, 2월과 5월 분포는 이번 집계에 없습니다. 가공 Parquet의 float는 32비트 실수, int8/int16은 8/16비트 정수 저장을 뜻합니다.
fit에서 상수인 20개 열은 B의 원래 17시 예보 결측 표시입니다. 이 구간에서 해당 결손이 없었다는 관찰이며 자동 변수 제거 근거로 삼지 않습니다. 중앙값이 평균과 다르다는 사실도 성능 우위를 뜻하지 않습니다. 실제 대체 방법 비교는 다음 학습에서 확인합니다.
벡터 표현은 어디에 적용됐나
| 대상 | 현재 적용 여부 | 실제 의미 / 다음 비교 |
|---|---|---|
| 시간 위치 임베딩 | 적용됨 | 24개 시간 위치를 학습 가능한 벡터로 바꿉니다. 시간 순서를 모델에 알려 주며, H03F 선택 구조의 벡터 폭은 64입니다. |
| 수치 특징의 벡터 투영 | 적용됨 | 표준화된 142개 값과 142개 결측 표시를 연결한 284개 입력을 학습 가능한 선형 층으로 폭 32 또는 64의 벡터로 변환합니다. |
| 발전소 / 관측소 ID 임베딩 | 미실행 | 현재는 표준화한 숫자 코드입니다. 임의의 코드 간 거리가 의미를 갖지 않도록 one-hot과 작은 학습 임베딩을 통제 비교할 예정입니다. |
| 외부 사전학습 임베딩 | 사용 안 함 | 현재 입력은 문장이 아닌 수치 예보입니다. 외부 가중치 없이 fit 구간에서 학습하는 표현과 복원 자기지도학습을 비교 대상으로 둡니다. |
벡터로 바꿨다는 사실만으로 성능 향상이 입증되지는 않습니다. ID 인코딩과 자기지도 사전학습의 W 개선은 아직 측정하지 않았습니다.
결측 대체값과 숫자 0이 같은 뜻이 아닌 이유
현재 순서는 17시 예보 누락 시 같은 목표의 10시 예보 사용 → 남은 결측에 fit 평균 적용 → 표준화 → 모델에서 자연 결측과 padding 위치를 다시 0으로 가림입니다. 대체 통계만 바꾸면 마지막 단계에서 차이가 사라지므로, P08a에서 새 경로의 대체값 전달과 저장 복구 계약 12개를 통과했습니다. 평균 대조군의 출력과 gradient 차이는 0이며, 실제 전처리 성능 비교는 아직입니다.
설명용 가상 예: 기온의 fit 평균이 20°C, 표준편차가 5°C라고 가정합니다. 실제 데이터 행이나 측정 통계가 아닙니다.
| 대체 방법 | 원 단위 값 | 표준화 뒤 값 | 기존 완료 모델의 결측 위치 | 새 입력 경로, 합성 검증 완료 |
|---|---|---|---|---|
| 평균 대체 | 20°C | 0 | 0 + 결측 표시 1 | 0 + 결측 표시 1 |
| 원 단위 0 대체 | 0°C | −4 | 0 + 결측 표시 1 | −4 + 결측 표시 1 |
| 중앙값 15°C 가정 | 15°C | −1 | 0 + 결측 표시 1 | −1 + 결측 표시 1 |
관측된 0°C는 결측 표시가 0이므로 다른 입력입니다. 발전량 정답의 누락은 위 방법으로 채워 학습하지 않습니다.
어느 특징에 결측이 있나
전체 142개 특징 검색과 결측 건수
| 특징 | 결측 수 | 전체 행 | 결측률 |
|---|
현재 r17은 대체 전 17시 예보가 없을 때 같은 목표 시각의 r10으로 대체된 열입니다. missing17은 대체 전 결측 표시이며, 그 값 1은 표시값이지 표시 열 자체의 결측이 아닙니다.
28개 기상 변수의 대체 전후 건수
| 기상 변수 | 10시 결측 | 대체 전 17시 결측 | 10시로 대체 | 둘 다 결측 |
|---|
결측이 집중된 월과 시간
결측 지도를 건너뛰고 수치표로 이동셀을 선택하면 결측 수와 전체 행 수가 표시됩니다.
셀을 클릭하거나 키보드로 선택할 수 있습니다. 아래 표에서도 모든 480개 셀의 수치를 확인할 수 있습니다. 자정 0시는 우측닫힘 시간 구간의 끝이며 월은 발전일 기준입니다.
선택 특징의 월 × 시간 전체 480개 수치
선택 특징의 월별 수치
대표 수치 특징의 상관관계
각 변수 쌍에서 둘 다 관측된 값으로 계산한 Pearson r입니다. 결측을 0이나 평균으로 채워 계산하지 않았습니다. 대체 전 17시가 없을 때 이미 적용된 10시 대체는 포함됩니다. ID 숫자는 제외합니다.
주황 −1옅은색 0파랑 +1회색: 상수 또는 표본 부족
상관 행렬 다음 설명으로 이동상관은 특징 중요도나 인과효과가 아닙니다. 계절·시간·발전소가 섞인 집계이며 같은 관측소 예보도 중복됩니다. 이 히트맵만으로 변수를 삭제하거나 학습 성능 개선을 확정하지 않습니다.
현재 처리와 다음 비교
| 대상 | 현재 적용 | 다음 통제 비교, 아직 미실행 |
|---|---|---|
| 예보 수치의 결측 | 같은 시각 17시→10시 대체. 남은 결측은 표준화 단계에서 fit 평균 사용. 모델에 전달되는 값과 표시는 다음 행 참조. | 평균 / 중앙값 / 원 단위 0 + 같은 결측 표시. 변수별 의미와 실제 결손량을 보고 선택. |
| 모델 입력 연결 | forward가 결측 위치를 표준화된 0으로 다시 가림. | 새 자식 경로에서 padding과 자연 결측 분리 및 대체값 전달을 합성 CUDA로 확인. 실제 학습 비교는 아직. |
| 발전소·관측소 ID | 숫자 코드로 전달. 시간 위치 embedding과 별개. | one-hot / 무작위 초기화한 작은 embedding. ID 결손은 unknown으로 구분하며 다른 ID의 최빈값으로 바꾸지 않음. |
| 일반 범주형 | 먼저 실제 범주와 결측 유무를 식별. 현재 142개 입력은 수치화된 특징. | 범주가 존재하고 결측이 있을 때 missing 범주 / fit 최빈값을 비교. ordinal 의미가 없는 범주에 숫자 간 거리를 강요하지 않음. |
| 풍향과 주기 | 풍속 벡터와 달력 sin/cos가 이미 있음. | 라운드 간 raw 각도 차이의 원형 처리. 359→1도를 −358 대신 +2로 표현하는 별도 후보. |
| 자기지도학습 | 사전학습 실행 0건. 현재 Transformer는 지도학습. | fit 안의 관측 예보 일부를 가리고 복원한 뒤 발전량 학습. 자연 결측은 복원 정답에서 제외하고 추가 학습 예산 대조군을 둠. |
이전 대회와 공개 연구에서 가져올 다음 가설
1~5회 발표자료의 텍스트와 핵심 도표를 검토했습니다. 과거 대회 점수와 현재 DSC6 점수는 비교하지 않습니다. 아래는 적용 가설이며 새 학습 결과가 아닙니다.
| 근거 | 적용할 비교 | 그대로 가져오지 않는 부분 |
|---|---|---|
| 1회 전처리와 2회 CNN 탐색 | 결측 대체와 인코딩을 실제 입력까지 확인하고, CNN의 kernel·깊이를 조건부 탐색 | 임의 shuffle 검증, 도메인 의미가 다른 0 대체 |
| 3회 검증과 앙상블 | 마지막 앙상블 단계에서 시간 분할을 유지하고 단독 W와 평균 예측을 비교 | 내부 점수만으로 복잡한 stacking을 승격 |
| 5회 LSTM / Transformer | Stacked LSTM을 초기 계열 비교에 추가. 발전소 정적 정보와 하루 예보 분기 분리도 별도 비교 | 타이어 공간 순서의 성적을 발전량 시계열 성적으로 일반화 |
| TFT 원 논문 | 정적 특성, 발행된 미래 예보, 과거 실적의 가용성을 나눠 입력 | 큰 전체 구조를 검증 없이 먼저 이식 |
| PatchTST 공식 구현 | fit 전용 예보 복원과 동일 추가 학습 예산 대조 | 외부 가중치, 검증 입력 사용. 24시간 짧은 문맥에서 긴 patch 효과를 가정 |
| GEFCom2014 태양광 연구 | 제공 기상 변수의 물리 의미와 시간 정렬, 잔차 다양성 점검 | 확률 예측 점수를 현재 정산 W와 혼용, 누적 여부 미확인 차분 |
| Parquet SQL 조회 | 원본 복제 없이 결측·시간 연결을 조회할 read-only view 후보. 기존 집계와 일치 및 비용 측정 먼저 | 자연어 RAG나 외부 embedding 모델의 불필요한 도입, 속도 개선을 측정 전 확정 |
입력 대체값 전달 계약을 완료했습니다. 다음 순서는 fit 통계 → 결측·ID·풍향 표현 비교 → MLP·CNN·TCN·Stacked LSTM의 공통 비교입니다. 첫 전처리 대조 뒤 fit 자기지도학습도 제한 비교하며, 앙상블과 seed 반복은 마지막 단계입니다.
대체 통계와 인코딩 사전은 fit에서만 학습해 고정합니다. 누락된 발전량 정답을 만들어 채우지 않습니다. 전처리, 구조, 자기지도학습과 학습 조합을 고른 뒤 앙상블과 seed 반복을 마지막에 비교합니다.
어느 시간에 정산 오차가 쌓이는가
E02 / 참조 배분실제 정산 페널티 W를 월과 시간대별로 합산했습니다. 색이 진할수록 금액이 큽니다. 1월과 2월에 같은 색 눈금을 적용합니다.
각 열은 우측닫힘 구간의 끝 시각입니다. 24시는 23~24시이며 노란 밑줄은 k=3인 11~15시입니다. 관측 기여도는 원인이나 해당 시간을 제거했을 때의 개선량을 뜻하지 않습니다.
데이터 진단
전처리와 오류 구조부터 확인전일 17시 기준으로 다시 본 검증 경계
| 구간 | 단계 | 시점 이후 선택 행 | 선택 시간 | 그중 양수 실적 |
|---|
각 날짜 경계 직전 7시간만 읽어 기존 마스크를 점검했습니다. 이 과거 감사 당시 겨울 fit와 조기 종료의 위반 행은 0개였고 봄 구간은 계획 상태였습니다. 이후 완료된 H03D의 봄 선택 경계는 최근 학습에서 따로 확인할 수 있습니다. 보고 지연 0시간은 낙관적 가정이며 실제 수집 지연은 미확인입니다.
2월 1일의 첫 예측 시점은 1월 31일 17시입니다. 그 뒤의 실적으로 고른 탐색 배분은 수선이 필요합니다. 기존 2월 참조 배분 비교는 이 배분 선택과 분리해 보존하며, 수정 후 점수는 아직 측정하지 않았습니다.
아래 기여도는 L1 모델의 2025년 2월 개발 검증과 참조 배분 기준입니다. 서로 겹치는 분류이므로 비율을 합산하지 않습니다. 원인이나 제거 효과를 뜻하지 않습니다.
예보 불일치와 집합 편향
같은 동결 모델의 1월과 2월 진단입니다. 2월은 이미 탐색한 개발 검증 구간이며 인과 효과나 독립 성능 검증이 아닙니다.
예보 차이에 따른 오차
2025년 1월2025년 2월
행 수와 정산 기여 보기
| 월 / 차이 | 발전소-시간 | 정규화 MAE | W 기여 |
|---|
두 원 예보가 있는 행만 수치 구간에 포함합니다. W 기여는 오차 상쇄를 반영한 회계적 분해이며 음수도 가능합니다. 구간을 제거했을 때의 개선량이 아닙니다.
그룹별 시간대 편향
2025년 1월2025년 2월
(예측 − 실적) / 그룹 설비용량. 양수는 과대 예측입니다. 각 시간대에 1월 31일, 2월 28일을 집계했습니다. 시각은 구간 끝입니다.
A그룹 2월 15시는 평균이 음수지만 가격 가중 중앙값은 양수입니다. 평균을 빼는 보정이 절대오차 정산에 최적인 것은 아닙니다. 보정값을 적용하지 않았습니다.
낮 0실적의 빈도와 지속성
| 월 | 낮 0실적 | 전체 W 기여 | 하루 전체 0 |
|---|
낮은 태양고도 10도 초과입니다. 하루 전체 0은 낮 관측이 4시간 이상이고 모두 0인 발전소-일 수입니다. W 기여는 오차 상쇄를 반영하며 제거 효과가 아닙니다.
2025년 1월2025년 2월
같은 발전소와 같은 대상일 안에서 이어지는 0실적의 연속 구간 수입니다. 밤을 넘어 이어 붙이지 않습니다.
눈 덮임, 설비 정지와 통신 문제는 원인이 미확정인 가설입니다. 실적을 삭제하거나 모델을 다시 학습하지 않았습니다.
개선의 불확실성
진단 준비 중
평균 예측의 상쇄와 다음 달 결과
2025년 1월2025년 2월
기존 L1 모델 대비 W 변화율. 음수는 개선, 양수는 악화입니다. 기준은 17시 LightGBM, L1은 다중 예보 LightGBM, Cat은 CatBoost입니다.
| 고정 평균 | 2월 W | L1 대비 | 개선 일수 |
|---|
쌍은 절반씩, 셋은 1/3씩인 네 조합을 분석 전에 고정했습니다. 2월 비율 튜닝이나 새 학습은 하지 않았고 기존 L1과 참조 배분을 유지합니다. 이미 탐색한 개발 구간이므로 독립 검증이 아닙니다.
원자료 감사
검증 이력입니다. 원본을 다시 읽지 않은 갱신은 새 무결성 검사로 간주하지 않습니다.
월별 전체 관측 비율
미관측 발전량을 0으로 채우지 않습니다. 눈, 음영, 고장으로 보이는 저출력도 실제 목표값일 수 있어 일괄 삭제하지 않습니다.
학습과거 발전소 이력
조기 종료12월 / 2월
구성 학습1월 / 3월
후속 검증2월 / 4월
봉인 검증5월
겨울과 봄의 시계열 분할입니다. 겨울 모델과 봄 H03D는 완료됐으며, 봄 선택 점수를 겨울 검증 순위와 섞지 않습니다. 여름의 253개소 완전 관측이 없어 연간 일반화는 확인되지 않았습니다.
실험과 판단
원장 검색과 전체 기록같은 검증 구간끼리 비교합니다. 단일 구간의 개선은 잠정 결과이며 자동 승격하지 않습니다.
전체 실험 원장 보기
| 실험 | 상태 / 구간 | 참조 배분 W | 탐색 배분 W | 판단 |
|---|
기대, 실제 결과, 다음 결정
보존한 상세 기록
초기 시험과 완료된 진단은 여기에서 펼쳐 볼 수 있습니다. 현재 실행 순서는 위쪽 작업 현황을 확인하세요. 모든 실험 원장, 원래 곡선과 점수는 보존합니다.
초기 GPU 연결 시험과 이전 모델의 개별 학습 곡선
과거 개별 학습 곡선
전체 겨울 Transformer
TrainValid
| Epoch | Train L1 | Valid L1 |
|---|
T13: fit 날짜 순서 비교
TrainValid
| Epoch | Train L1 | Valid L1 |
|---|
T07 초기 GPU 연결 시험
TrainValid
| Epoch | Train L1 | Valid L1 |
|---|
각 epoch 종료 시 동일한 모델을 eval 모드로 평가했습니다. 가격과 설비용량을 가중한 발전소별 정규화 L1이며 정산 W가 아닙니다.
기존 겨울 모델
발전소별 용량 정규화 MAE입니다. Valid는 12월 조기 종료 구간이며 2월 정산 W와 다릅니다. 모델마다 가중치가 달라 곡선 높이로 모델 순위를 정하지 않습니다.
TrainValid점선: 선택 반복
겨울 모델 비교, W 선택 진단과 처리량 측정
완료한 겨울 모델의 학습 경로
모두 같은 겨울 분할의 seed 17, FP32 실행입니다. 각 epoch 종료 시 eval 모드의 실측값만 표시하며 큰 점은 12월 Valid로 선택한 모델입니다. 낮은 발전소 L1이 더 좋은 집합 W를 보장하지 않습니다.
T11 Transformer / 날짜 고정T13 Transformer / 날짜 순서 변경C01 dilated CNNH02A 최대 epoch 연장H02B patience 연장
세로축은 각 그래프의 관측 범위로 확대하며 두 그래프의 축 범위가 다릅니다. 큰 점은 선택된 epoch입니다. H02A의 1~4 epoch와 H02B의 1~6 epoch는 부모 모델에서 이어받은 기록입니다. 새로 학습한 횟수와 누적 횟수는 아래에서 구분합니다.
Train eval
가로축 epoch / 세로축 가중 L1
12월 Valid
Train과 Valid는 서로 다른 세로축 눈금입니다.
모든 실측 값과 선택 epoch 보기
| 모델 | Epoch | Train eval | Valid | 학습부 누적 경과 | Seed |
|---|
학습 best와 정산 best가 같은가?
검토된 정산 비교를 불러옵니다.
W는 2024년 12월 24일 15시부터 30일 17시까지 147시간, 약 6.1일의 원래 실적을 사용합니다. 기존 L1은 더 넓은 기간의 학습 적격 라벨 70,146개를 사용합니다. 기간과 라벨도 달라 손실함수 하나의 효과로 해석하지 않으며 모델을 자동 승격하지 않습니다.
공통 253개소 정산 W
가로축 epoch / 세로축 백만원, 낮을수록 좋음
기존 선택용 가중 L1
기존 기록과 대조. W와 눈금 및 모집단이 다름
13개 epoch의 S, W와 절대오차 보기
| Epoch | 기존 L1 | S / 원 | W / 원 | 절대오차 / kWh |
|---|
새 학습과 HPO는 없었습니다. 고정 참조 배분과 원래 라벨로 계산했으며 Decimal 독립 산술과 대조했습니다. 1월/2월 리더보드와 별도 진단입니다.
같은 기간으로 맞춰도 선택이 다른가?
검토된 같은 모집단 비교를 불러옵니다.
| 비교 단계 | 시간 범위 | 사용 라벨 | 선택 epoch |
|---|
A와 B는 기간, B와 C는 학습용 라벨 필터를 바꿉니다. C와 D는 같은 147시간의 같은 실적과 예측을 사용하고 그룹 합산만 바꿉니다. 발전소별 비용은 대회 W가 아닙니다. 상쇄액은 고정 참조 배분 안에서 일어난 회계적 차이이며 새 배분의 개선 실적이 아닙니다.
13개 epoch의 같은 기간 비용과 상쇄액 보기
| Epoch | A / 전체 적격 L1 | B / 공통 적격 L1 | C / 공통 원래 L1 | C / 발전소 비용, 원 | D / 집합 W, 원 | 그룹 내부 상쇄, 원 |
|---|
실행 예산과 메모리 관측
| 모델 | 파라미터 | 완료 / 상한 epoch | 종료 이유 | 발전소-일 배치 / 누적 | 감독 실행 전체 | 자식 최고 RSS | Torch 예약 VRAM |
|---|
전체 시간에는 입력 준비, 검사와 저장이 포함되며 학습부 누적 시간과 다릅니다. Torch 예약 VRAM은 드라이버와 다른 앱을 제외한 값입니다. 24 MiB라는 수치만으로 GPU 부족이나 활용률을 판단하지 않습니다.
T11은 1 epoch가 best이고 이후 2회 미개선으로 종료했습니다. T13은 4 epoch 상한에 도달했고 마지막 epoch가 best입니다. 초기 T11/T13/C01은 AdamW, 학습률 0.0003, weight decay 0.01, patience 2입니다. H02B는 patience 6으로 연장했으며 Optuna로 최적화한 결과가 아닙니다.
3~4 epoch 결과는 초기 비교입니다. epoch 수만으로 학습 부족을 단정하지 않고 optimizer step, 입력량, 곡선과 계절 성능을 함께 확인합니다.
P07: A6000 배치별 처리량 측정
검토된 실제 측정값을 불러옵니다.
| 저장 모델 | 발전소-일 배치 | 발전소-일 / 초 | 3회 측정 범위 | 배치 8 대비 | Torch 예약 VRAM |
|---|
같은 64개 표본, FP32, worker 0, 학습률 0으로 forward/backward와 optimizer 호출 시간을 비교했습니다. 모든 가중치를 유지했고 측정용 pt는 별도 보존했습니다. 동기화한 실행 시간에는 Python과 검사 비용도 포함됩니다. 전체 epoch 속도, 수렴 또는 정산 W 개선을 측정한 결과가 아닙니다. 실제 학습은 유효 배치와 update 수까지 맞춘 대조가 필요합니다.
계열별 후보와 초기 구현 검토 이력
너비 탐색 계획
여러 방법을 선별한 뒤 깊이 검증계획은 실행 완료와 구분합니다. 각 계열의 소수 후보를 같은 시계열 검증으로 비교하고, 무거운 연산은 순차 큐 하나로 처리합니다.
Transformer 구현 현황
저출력 가설과 예측 입력
계열별 비교 계획
가설별 배경과 제한
완료한 계획과 팀 자료 검토
완료한 비교 계획
현재 순서는 위쪽 작업 현황 참조아래는 완료한 계획의 보존 기록입니다. 앞으로 비교할 후보와 순서는 위쪽 현재 작업 영역에서 확인할 수 있습니다.
팀 자료에서 확인한 장점과 우리 적용 범위
초기 준비 체크리스트
체크리스트
이전 자원 표본과 운영 기록
실행 환경
HeXA와 공유자원 측정 시각 확인 중
Windows 여유 RAM 24 GiB와 커밋 여유 20%를 모두 검사합니다. 임계값 초과 시 이 연구의 작업만 안전하게 중단합니다. 감시만으로 호스트 재부팅 방지를 보장할 수는 없습니다.
운영 기록
어디까지 검증됐는가
기간 / 모집단 / 반복 구분| 검증 항목 | 현재 상태 | 범위 | 해석의 한계 |
|---|