-
Notifications
You must be signed in to change notification settings - Fork 2
/
Copy pathevaluation.html
726 lines (674 loc) · 65.1 KB
/
evaluation.html
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
319
320
321
322
323
324
325
326
327
328
329
330
331
332
333
334
335
336
337
338
339
340
341
342
343
344
345
346
347
348
349
350
351
352
353
354
355
356
357
358
359
360
361
362
363
364
365
366
367
368
369
370
371
372
373
374
375
376
377
378
379
380
381
382
383
384
385
386
387
388
389
390
391
392
393
394
395
396
397
398
399
400
401
402
403
404
405
406
407
408
409
410
411
412
413
414
415
416
417
418
419
420
421
422
423
424
425
426
427
428
429
430
431
432
433
434
435
436
437
438
439
440
441
442
443
444
445
446
447
448
449
450
451
452
453
454
455
456
457
458
459
460
461
462
463
464
465
466
467
468
469
470
471
472
473
474
475
476
477
478
479
480
481
482
483
484
485
486
487
488
489
490
491
492
493
494
495
496
497
498
499
500
501
502
503
504
505
506
507
508
509
510
511
512
513
514
515
516
517
518
519
520
521
522
523
524
525
526
527
528
529
530
531
532
533
534
535
536
537
538
539
540
541
542
543
544
545
546
547
548
549
550
551
552
553
554
555
556
557
558
559
560
561
562
563
564
565
566
567
568
569
570
571
572
573
574
575
576
577
578
579
580
581
582
583
584
585
586
587
588
589
590
591
592
593
594
595
596
597
598
599
600
601
602
603
604
605
606
607
608
609
610
611
612
613
614
615
616
617
618
619
620
621
622
623
624
625
626
627
628
629
630
631
632
633
634
635
636
637
638
639
640
641
642
643
644
645
646
647
648
649
650
651
652
653
654
655
656
657
658
659
660
661
662
663
664
665
666
667
668
669
670
671
672
673
674
675
676
677
678
679
680
681
682
683
684
685
686
687
688
689
690
691
692
693
694
695
696
697
698
699
700
701
702
703
704
705
706
707
708
709
710
711
712
713
714
715
716
717
718
719
720
721
722
723
724
725
726
<!DOCTYPE html>
<html lang="" xml:lang="">
<head>
<meta charset="utf-8" />
<meta http-equiv="X-UA-Compatible" content="IE=edge" />
<title>Chapter 16 모델의 예측성능 평가 | 계량약리학 워크샵 - 초급 과정</title>
<meta name="description" content="혼합효과 모델링(mixed-effects modeling)은 신약개발과 임상시험, 시판허가 등의 주요 의사결정에 필수적으로 쓰이고 있는 계량약리학적 접근법의 핵심적인 기법으로서 그 기본개념을 익히는 것이 결코 쉽지 않습니다. 2009년부터 매년 개최해 온 PK/PD 워크샵의 내용 중에서 basic-1과 2의 교재를 입문자들이 스스로 학습할 수 있도록 한권의 책으로 펴냈습니다. 약동-약력학 모델링을 위해 가장 널리 사용하는 NONMEM 소프트웨어를 활용하기 위에 알아야 하는 기본개념들과 그 사용법을 소개합니다." />
<meta name="generator" content="bookdown 0.28 and GitBook 2.6.7" />
<meta property="og:title" content="Chapter 16 모델의 예측성능 평가 | 계량약리학 워크샵 - 초급 과정" />
<meta property="og:type" content="book" />
<meta property="og:image" content="http://pipet.or.kr/books/basic/images/cover.jpg" />
<meta property="og:description" content="혼합효과 모델링(mixed-effects modeling)은 신약개발과 임상시험, 시판허가 등의 주요 의사결정에 필수적으로 쓰이고 있는 계량약리학적 접근법의 핵심적인 기법으로서 그 기본개념을 익히는 것이 결코 쉽지 않습니다. 2009년부터 매년 개최해 온 PK/PD 워크샵의 내용 중에서 basic-1과 2의 교재를 입문자들이 스스로 학습할 수 있도록 한권의 책으로 펴냈습니다. 약동-약력학 모델링을 위해 가장 널리 사용하는 NONMEM 소프트웨어를 활용하기 위에 알아야 하는 기본개념들과 그 사용법을 소개합니다." />
<meta name="github-repo" content="pipetcpt/basic" />
<meta name="twitter:card" content="summary" />
<meta name="twitter:title" content="Chapter 16 모델의 예측성능 평가 | 계량약리학 워크샵 - 초급 과정" />
<meta name="twitter:description" content="혼합효과 모델링(mixed-effects modeling)은 신약개발과 임상시험, 시판허가 등의 주요 의사결정에 필수적으로 쓰이고 있는 계량약리학적 접근법의 핵심적인 기법으로서 그 기본개념을 익히는 것이 결코 쉽지 않습니다. 2009년부터 매년 개최해 온 PK/PD 워크샵의 내용 중에서 basic-1과 2의 교재를 입문자들이 스스로 학습할 수 있도록 한권의 책으로 펴냈습니다. 약동-약력학 모델링을 위해 가장 널리 사용하는 NONMEM 소프트웨어를 활용하기 위에 알아야 하는 기본개념들과 그 사용법을 소개합니다." />
<meta name="twitter:image" content="http://pipet.or.kr/books/basic/images/cover.jpg" />
<meta name="author" content="가톨릭대학교 계량약리학연구소(PIPET) 펴냄 (대표저자 임동석)" />
<meta name="viewport" content="width=device-width, initial-scale=1" />
<meta name="apple-mobile-web-app-capable" content="yes" />
<meta name="apple-mobile-web-app-status-bar-style" content="black" />
<link rel="prev" href="parameters.html"/>
<link rel="next" href="basic-pkpd.html"/>
<script src="libs/jquery/jquery-3.6.0.min.js"></script>
<link href="libs/gitbook/css/style.css" rel="stylesheet" />
<link href="libs/gitbook/css/plugin-table.css" rel="stylesheet" />
<link href="libs/gitbook/css/plugin-bookdown.css" rel="stylesheet" />
<link href="libs/gitbook/css/plugin-highlight.css" rel="stylesheet" />
<link href="libs/gitbook/css/plugin-search.css" rel="stylesheet" />
<link href="libs/gitbook/css/plugin-fontsettings.css" rel="stylesheet" />
<link href="libs/gitbook/css/plugin-clipboard.css" rel="stylesheet" />
<link href="libs/anchor-sections/anchor-sections.css" rel="stylesheet" />
<link href="libs/anchor-sections/anchor-sections-hash.css" rel="stylesheet" />
<script src="libs/anchor-sections/anchor-sections.js"></script>
<script src="libs/kePrint/kePrint.js"></script>
<link href="libs/lightable/lightable.css" rel="stylesheet" />
<style type="text/css">
pre > code.sourceCode { white-space: pre; position: relative; }
pre > code.sourceCode > span { display: inline-block; line-height: 1.25; }
pre > code.sourceCode > span:empty { height: 1.2em; }
.sourceCode { overflow: visible; }
code.sourceCode > span { color: inherit; text-decoration: inherit; }
pre.sourceCode { margin: 0; }
@media screen {
div.sourceCode { overflow: auto; }
}
@media print {
pre > code.sourceCode { white-space: pre-wrap; }
pre > code.sourceCode > span { text-indent: -5em; padding-left: 5em; }
}
pre.numberSource code
{ counter-reset: source-line 0; }
pre.numberSource code > span
{ position: relative; left: -4em; counter-increment: source-line; }
pre.numberSource code > span > a:first-child::before
{ content: counter(source-line);
position: relative; left: -1em; text-align: right; vertical-align: baseline;
border: none; display: inline-block;
-webkit-touch-callout: none; -webkit-user-select: none;
-khtml-user-select: none; -moz-user-select: none;
-ms-user-select: none; user-select: none;
padding: 0 4px; width: 4em;
color: #aaaaaa;
}
pre.numberSource { margin-left: 3em; border-left: 1px solid #aaaaaa; padding-left: 4px; }
div.sourceCode
{ }
@media screen {
pre > code.sourceCode > span > a:first-child::before { text-decoration: underline; }
}
code span.al { color: #ff0000; font-weight: bold; } /* Alert */
code span.an { color: #60a0b0; font-weight: bold; font-style: italic; } /* Annotation */
code span.at { color: #7d9029; } /* Attribute */
code span.bn { color: #40a070; } /* BaseN */
code span.bu { color: #008000; } /* BuiltIn */
code span.cf { color: #007020; font-weight: bold; } /* ControlFlow */
code span.ch { color: #4070a0; } /* Char */
code span.cn { color: #880000; } /* Constant */
code span.co { color: #60a0b0; font-style: italic; } /* Comment */
code span.cv { color: #60a0b0; font-weight: bold; font-style: italic; } /* CommentVar */
code span.do { color: #ba2121; font-style: italic; } /* Documentation */
code span.dt { color: #902000; } /* DataType */
code span.dv { color: #40a070; } /* DecVal */
code span.er { color: #ff0000; font-weight: bold; } /* Error */
code span.ex { } /* Extension */
code span.fl { color: #40a070; } /* Float */
code span.fu { color: #06287e; } /* Function */
code span.im { color: #008000; font-weight: bold; } /* Import */
code span.in { color: #60a0b0; font-weight: bold; font-style: italic; } /* Information */
code span.kw { color: #007020; font-weight: bold; } /* Keyword */
code span.op { color: #666666; } /* Operator */
code span.ot { color: #007020; } /* Other */
code span.pp { color: #bc7a00; } /* Preprocessor */
code span.sc { color: #4070a0; } /* SpecialChar */
code span.ss { color: #bb6688; } /* SpecialString */
code span.st { color: #4070a0; } /* String */
code span.va { color: #19177c; } /* Variable */
code span.vs { color: #4070a0; } /* VerbatimString */
code span.wa { color: #60a0b0; font-weight: bold; font-style: italic; } /* Warning */
</style>
<style type="text/css">
/* Used with Pandoc 2.11+ new --citeproc when CSL is used */
div.csl-bib-body { }
div.csl-entry {
clear: both;
}
.hanging div.csl-entry {
margin-left:2em;
text-indent:-2em;
}
div.csl-left-margin {
min-width:2em;
float:left;
}
div.csl-right-inline {
margin-left:2em;
padding-left:1em;
}
div.csl-indent {
margin-left: 2em;
}
</style>
<link rel="stylesheet" href="css/style.css" type="text/css" />
</head>
<body>
<div class="book without-animation with-summary font-size-2 font-family-1" data-basepath=".">
<div class="book-summary">
<nav role="navigation">
<ul class="summary">
<li><a href="./">계량약리학 워크샵 - 초급 과정</a></li>
<li><a href="http://www.bookk.co.kr/book/view/84646" target="_blank">도서 구입</a></li>
<li class="divider"></li>
<li class="chapter" data-level="" data-path="index.html"><a href="index.html"><i class="fa fa-check"></i>머리말</a></li>
<li class="part"><span><b>I 모델 구축의 기초</b></span></li>
<li class="chapter" data-level="1" data-path="intro.html"><a href="intro.html"><i class="fa fa-check"></i><b>1</b> 계량약리학과 관련 개념들</a>
<ul>
<li class="chapter" data-level="1.1" data-path="intro.html"><a href="intro.html#소개"><i class="fa fa-check"></i><b>1.1</b> 소개</a></li>
<li class="chapter" data-level="1.2" data-path="intro.html"><a href="intro.html#혼합효과-모델링-mixed-effects-modeling"><i class="fa fa-check"></i><b>1.2</b> 혼합효과 모델링 Mixed-effects modeling</a>
<ul>
<li class="chapter" data-level="1.2.1" data-path="intro.html"><a href="intro.html#집단의-데이터를-처리하는-세가지-방법"><i class="fa fa-check"></i><b>1.2.1</b> 집단의 데이터를 처리하는 세가지 방법</a></li>
<li class="chapter" data-level="1.2.2" data-path="intro.html"><a href="intro.html#혼합효과-모델링의-개념"><i class="fa fa-check"></i><b>1.2.2</b> 혼합효과 모델링의 개념</a></li>
</ul></li>
</ul></li>
<li class="chapter" data-level="2" data-path="nonmem-dataset.html"><a href="nonmem-dataset.html"><i class="fa fa-check"></i><b>2</b> NONMEM 데이터셋</a>
<ul>
<li class="chapter" data-level="2.1" data-path="nonmem-dataset.html"><a href="nonmem-dataset.html#필수-제어구문-작성-방법"><i class="fa fa-check"></i><b>2.1</b> 필수 제어구문 작성 방법</a>
<ul>
<li class="chapter" data-level="2.1.1" data-path="nonmem-dataset.html"><a href="nonmem-dataset.html#prob-레코드-작성"><i class="fa fa-check"></i><b>2.1.1</b> $PROB 레코드 작성</a></li>
<li class="chapter" data-level="2.1.2" data-path="nonmem-dataset.html"><a href="nonmem-dataset.html#data-레코드-작성"><i class="fa fa-check"></i><b>2.1.2</b> $DATA 레코드 작성</a></li>
<li class="chapter" data-level="2.1.3" data-path="nonmem-dataset.html"><a href="nonmem-dataset.html#input-레코드-작성"><i class="fa fa-check"></i><b>2.1.3</b> $INPUT 레코드 작성</a></li>
</ul></li>
<li class="chapter" data-level="2.2" data-path="nonmem-dataset.html"><a href="nonmem-dataset.html#predpp에-쓰는-데이터셋"><i class="fa fa-check"></i><b>2.2</b> PREDPP에 쓰는 데이터셋</a></li>
<li class="chapter" data-level="2.3" data-path="nonmem-dataset.html"><a href="nonmem-dataset.html#데이터셋-소개"><i class="fa fa-check"></i><b>2.3</b> 데이터셋 소개</a></li>
<li class="chapter" data-level="2.4" data-path="nonmem-dataset.html"><a href="nonmem-dataset.html#데이터셋-배열"><i class="fa fa-check"></i><b>2.4</b> 데이터셋 배열</a></li>
<li class="chapter" data-level="2.5" data-path="nonmem-dataset.html"><a href="nonmem-dataset.html#지정된-데이터-항목-레이블-reserved-labels"><i class="fa fa-check"></i><b>2.5</b> 지정된 데이터 항목 레이블 Reserved Labels</a>
<ul>
<li class="chapter" data-level="2.5.1" data-path="nonmem-dataset.html"><a href="nonmem-dataset.html#id"><i class="fa fa-check"></i><b>2.5.1</b> ID</a></li>
<li class="chapter" data-level="2.5.2" data-path="nonmem-dataset.html"><a href="nonmem-dataset.html#dv"><i class="fa fa-check"></i><b>2.5.2</b> DV</a></li>
<li class="chapter" data-level="2.5.3" data-path="nonmem-dataset.html"><a href="nonmem-dataset.html#mdv"><i class="fa fa-check"></i><b>2.5.3</b> MDV</a></li>
<li class="chapter" data-level="2.5.4" data-path="nonmem-dataset.html"><a href="nonmem-dataset.html#evid"><i class="fa fa-check"></i><b>2.5.4</b> EVID</a></li>
<li class="chapter" data-level="2.5.5" data-path="nonmem-dataset.html"><a href="nonmem-dataset.html#time"><i class="fa fa-check"></i><b>2.5.5</b> TIME</a></li>
<li class="chapter" data-level="2.5.6" data-path="nonmem-dataset.html"><a href="nonmem-dataset.html#amt"><i class="fa fa-check"></i><b>2.5.6</b> AMT</a></li>
<li class="chapter" data-level="2.5.7" data-path="nonmem-dataset.html"><a href="nonmem-dataset.html#rate"><i class="fa fa-check"></i><b>2.5.7</b> RATE</a></li>
<li class="chapter" data-level="2.5.8" data-path="nonmem-dataset.html"><a href="nonmem-dataset.html#addl-ii"><i class="fa fa-check"></i><b>2.5.8</b> ADDL & II</a></li>
<li class="chapter" data-level="2.5.9" data-path="nonmem-dataset.html"><a href="nonmem-dataset.html#ss"><i class="fa fa-check"></i><b>2.5.9</b> SS</a></li>
<li class="chapter" data-level="2.5.10" data-path="nonmem-dataset.html"><a href="nonmem-dataset.html#cmt"><i class="fa fa-check"></i><b>2.5.10</b> CMT</a></li>
<li class="chapter" data-level="2.5.11" data-path="nonmem-dataset.html"><a href="nonmem-dataset.html#covariates"><i class="fa fa-check"></i><b>2.5.11</b> Covariates</a></li>
</ul></li>
</ul></li>
<li class="chapter" data-level="3" data-path="control-stream.html"><a href="control-stream.html"><i class="fa fa-check"></i><b>3</b> NONMEM 모델 종류 별 제어구문 소개</a>
<ul>
<li class="chapter" data-level="3.1" data-path="control-stream.html"><a href="control-stream.html#제어구문의-구성"><i class="fa fa-check"></i><b>3.1</b> 제어구문의 구성</a></li>
<li class="chapter" data-level="3.2" data-path="control-stream.html"><a href="control-stream.html#predpp와-pred"><i class="fa fa-check"></i><b>3.2</b> PREDPP와 PRED</a></li>
<li class="chapter" data-level="3.3" data-path="control-stream.html"><a href="control-stream.html#control-record"><i class="fa fa-check"></i><b>3.3</b> 제어구문에 쓰이는 레코드</a>
<ul>
<li class="chapter" data-level="3.3.1" data-path="control-stream.html"><a href="control-stream.html#problem-data-input"><i class="fa fa-check"></i><b>3.3.1</b> $PROBLEM, $DATA, $INPUT</a></li>
<li class="chapter" data-level="3.3.2" data-path="control-stream.html"><a href="control-stream.html#subroutine-model-pk-des"><i class="fa fa-check"></i><b>3.3.2</b> $SUBROUTINE, $MODEL, $PK, $DES</a></li>
<li class="chapter" data-level="3.3.3" data-path="control-stream.html"><a href="control-stream.html#theta-omega-sigma"><i class="fa fa-check"></i><b>3.3.3</b> $THETA, $OMEGA, $SIGMA</a></li>
<li class="chapter" data-level="3.3.4" data-path="control-stream.html"><a href="control-stream.html#estimation-simulation"><i class="fa fa-check"></i><b>3.3.4</b> $ESTIMATION, $SIMULATION</a></li>
<li class="chapter" data-level="3.3.5" data-path="control-stream.html"><a href="control-stream.html#covariance-table"><i class="fa fa-check"></i><b>3.3.5</b> $COVARIANCE, $TABLE</a></li>
</ul></li>
<li class="chapter" data-level="3.4" data-path="control-stream.html"><a href="control-stream.html#모델-종류별-제어구문"><i class="fa fa-check"></i><b>3.4</b> 모델 종류별 제어구문</a>
<ul>
<li class="chapter" data-level="3.4.1" data-path="control-stream.html"><a href="control-stream.html#특수-advan과-일반-advan"><i class="fa fa-check"></i><b>3.4.1</b> 특수 ADVAN과 일반 ADVAN</a></li>
<li class="chapter" data-level="3.4.2" data-path="control-stream.html"><a href="control-stream.html#일반-비선형-모델"><i class="fa fa-check"></i><b>3.4.2</b> 일반 비선형 모델</a></li>
<li class="chapter" data-level="3.4.3" data-path="control-stream.html"><a href="control-stream.html#pred-모델"><i class="fa fa-check"></i><b>3.4.3</b> PRED 모델</a></li>
</ul></li>
</ul></li>
<li class="chapter" data-level="4" data-path="specific-advan.html"><a href="specific-advan.html"><i class="fa fa-check"></i><b>4</b> 특수 ADVAN을 이용한 제어구문의 코딩</a></li>
<li class="chapter" data-level="5" data-path="general-advan.html"><a href="general-advan.html"><i class="fa fa-check"></i><b>5</b> 일반 ADVAN을 이용한 제어구문의 코딩</a>
<ul>
<li class="chapter" data-level="5.1" data-path="general-advan.html"><a href="general-advan.html#일반-선형-advan"><i class="fa fa-check"></i><b>5.1</b> 일반 선형 ADVAN</a></li>
<li class="chapter" data-level="5.2" data-path="general-advan.html"><a href="general-advan.html#일반-비선형-advan"><i class="fa fa-check"></i><b>5.2</b> 일반 비선형 ADVAN</a></li>
</ul></li>
<li class="chapter" data-level="6" data-path="newer-advan.html"><a href="newer-advan.html"><i class="fa fa-check"></i><b>6</b> 기타 ADVAN</a>
<ul>
<li class="chapter" data-level="6.1" data-path="newer-advan.html"><a href="newer-advan.html#advan9---general-nonlinear-model-with-equilibrium-compartments"><i class="fa fa-check"></i><b>6.1</b> ADVAN9 - General Nonlinear Model with Equilibrium Compartments</a></li>
<li class="chapter" data-level="6.2" data-path="newer-advan.html"><a href="newer-advan.html#advan10---one-compartment-model-with-michaelis-menten-elimination"><i class="fa fa-check"></i><b>6.2</b> ADVAN10 - One Compartment Model with Michaelis-Menten Elimination</a></li>
<li class="chapter" data-level="6.3" data-path="newer-advan.html"><a href="newer-advan.html#advan11과-12---three-compartment-linear-model-iv-and-first-order-absorption"><i class="fa fa-check"></i><b>6.3</b> ADVAN11과 12 - Three Compartment Linear Model (IV and First Order Absorption)</a></li>
<li class="chapter" data-level="6.4" data-path="newer-advan.html"><a href="newer-advan.html#advan13---general-nonlinear-model-using-lsoda"><i class="fa fa-check"></i><b>6.4</b> ADVAN13 - General Nonlinear Model using LSODA</a></li>
</ul></li>
<li class="chapter" data-level="7" data-path="PRED.html"><a href="PRED.html"><i class="fa fa-check"></i><b>7</b> $PRED: ADVAN을 쓰지 않는 코딩</a>
<ul>
<li class="chapter" data-level="7.1" data-path="PRED.html"><a href="PRED.html#pred와-predpp-library사용할-때의-차이"><i class="fa fa-check"></i><b>7.1</b> $PRED와 PREDPP library사용할 때의 차이</a></li>
<li class="chapter" data-level="7.2" data-path="PRED.html"><a href="PRED.html#pred를-써야-하는-경우"><i class="fa fa-check"></i><b>7.2</b> $PRED를 써야 하는 경우</a></li>
</ul></li>
<li class="chapter" data-level="8" data-path="IE.html"><a href="IE.html"><i class="fa fa-check"></i><b>8</b> 초기추정값</a>
<ul>
<li class="chapter" data-level="8.1" data-path="IE.html"><a href="IE.html#IE-role"><i class="fa fa-check"></i><b>8.1</b> 초기 추정값의 의미와 역할</a></li>
<li class="chapter" data-level="8.2" data-path="IE.html"><a href="IE.html#왜-좋은-초기추정값을-선택해야-하는가"><i class="fa fa-check"></i><b>8.2</b> 왜 좋은 초기추정값을 선택해야 하는가?</a></li>
<li class="chapter" data-level="8.3" data-path="IE.html"><a href="IE.html#fixed-random-meaning"><i class="fa fa-check"></i><b>8.3</b> 고정효과, 임의효과 파라미터의 의미와 초기추정값의 지정</a></li>
<li class="chapter" data-level="8.4" data-path="IE.html"><a href="IE.html#theta의-초기추정값-지정"><i class="fa fa-check"></i><b>8.4</b> THETA의 초기추정값 지정</a></li>
<li class="chapter" data-level="8.5" data-path="IE.html"><a href="IE.html#omega의-초기추정값-지정"><i class="fa fa-check"></i><b>8.5</b> OMEGA의 초기추정값 지정</a></li>
<li class="chapter" data-level="8.6" data-path="IE.html"><a href="IE.html#sigma의-초기추정값-지정"><i class="fa fa-check"></i><b>8.6</b> SIGMA의 초기추정값 지정</a></li>
</ul></li>
<li class="chapter" data-level="9" data-path="estimation-methods.html"><a href="estimation-methods.html"><i class="fa fa-check"></i><b>9</b> 파라미터 추정 방법 및 세팅</a>
<ul>
<li class="chapter" data-level="9.1" data-path="estimation-methods.html"><a href="estimation-methods.html#추정-방법-및-관련-옵션"><i class="fa fa-check"></i><b>9.1</b> 추정 방법 및 관련 옵션</a>
<ul>
<li class="chapter" data-level="9.1.1" data-path="estimation-methods.html"><a href="estimation-methods.html#noabort"><i class="fa fa-check"></i><b>9.1.1</b> NOABORT</a></li>
<li class="chapter" data-level="9.1.2" data-path="estimation-methods.html"><a href="estimation-methods.html#maxeval"><i class="fa fa-check"></i><b>9.1.2</b> MAXEVAL</a></li>
<li class="chapter" data-level="9.1.3" data-path="estimation-methods.html"><a href="estimation-methods.html#method"><i class="fa fa-check"></i><b>9.1.3</b> METHOD</a></li>
<li class="chapter" data-level="9.1.4" data-path="estimation-methods.html"><a href="estimation-methods.html#interaction"><i class="fa fa-check"></i><b>9.1.4</b> INTERACTION</a></li>
<li class="chapter" data-level="9.1.5" data-path="estimation-methods.html"><a href="estimation-methods.html#print"><i class="fa fa-check"></i><b>9.1.5</b> PRINT</a></li>
</ul></li>
<li class="chapter" data-level="9.2" data-path="estimation-methods.html"><a href="estimation-methods.html#nonmem-추정"><i class="fa fa-check"></i><b>9.2</b> NONMEM 추정</a>
<ul>
<li class="chapter" data-level="9.2.1" data-path="estimation-methods.html"><a href="estimation-methods.html#ols-방식"><i class="fa fa-check"></i><b>9.2.1</b> OLS 방식</a></li>
<li class="chapter" data-level="9.2.2" data-path="estimation-methods.html"><a href="estimation-methods.html#wls-방식"><i class="fa fa-check"></i><b>9.2.2</b> WLS 방식</a></li>
<li class="chapter" data-level="9.2.3" data-path="estimation-methods.html"><a href="estimation-methods.html#els-방식"><i class="fa fa-check"></i><b>9.2.3</b> ELS 방식</a></li>
</ul></li>
<li class="chapter" data-level="9.3" data-path="estimation-methods.html"><a href="estimation-methods.html#likelihood"><i class="fa fa-check"></i><b>9.3</b> Likelihood</a></li>
<li class="chapter" data-level="9.4" data-path="estimation-methods.html"><a href="estimation-methods.html#taylor-전개식"><i class="fa fa-check"></i><b>9.4</b> Taylor 전개식</a></li>
<li class="chapter" data-level="9.5" data-path="estimation-methods.html"><a href="estimation-methods.html#likelihood-ratio-test"><i class="fa fa-check"></i><b>9.5</b> Likelihood Ratio Test</a></li>
</ul></li>
<li class="chapter" data-level="10" data-path="use-of-xpose4.html"><a href="use-of-xpose4.html"><i class="fa fa-check"></i><b>10</b> NONMEM 실행결과 해석 및 Xpose4 사용법</a></li>
<li class="chapter" data-level="11" data-path="covariate-analysis.html"><a href="covariate-analysis.html"><i class="fa fa-check"></i><b>11</b> 공변량 분석</a>
<ul>
<li class="chapter" data-level="11.1" data-path="covariate-analysis.html"><a href="covariate-analysis.html#공변량-분석의-일반적-절차"><i class="fa fa-check"></i><b>11.1</b> 공변량 분석의 일반적 절차</a>
<ul>
<li class="chapter" data-level="11.1.1" data-path="covariate-analysis.html"><a href="covariate-analysis.html#variable-eval"><i class="fa fa-check"></i><b>11.1.1</b> 항목 평가 (variable evaluation)</a></li>
<li class="chapter" data-level="11.1.2" data-path="covariate-analysis.html"><a href="covariate-analysis.html#cov-screening"><i class="fa fa-check"></i><b>11.1.2</b> 공변량 스크리닝 (covariate screening)</a></li>
<li class="chapter" data-level="11.1.3" data-path="covariate-analysis.html"><a href="covariate-analysis.html#colinearity"><i class="fa fa-check"></i><b>11.1.3</b> 공선성(co-linearity)에 대한 고려</a></li>
<li class="chapter" data-level="11.1.4" data-path="covariate-analysis.html"><a href="covariate-analysis.html#공변량-평가-전진선택forward-selection"><i class="fa fa-check"></i><b>11.1.4</b> 공변량 평가: 전진선택(forward-selection)</a></li>
<li class="chapter" data-level="11.1.5" data-path="covariate-analysis.html"><a href="covariate-analysis.html#공변량-평가-후진제거backward-elimination"><i class="fa fa-check"></i><b>11.1.5</b> 공변량 평가: 후진제거(backward-elimination)</a></li>
</ul></li>
<li class="chapter" data-level="11.2" data-path="covariate-analysis.html"><a href="covariate-analysis.html#공변량-분석-관련-추가-고려-사항"><i class="fa fa-check"></i><b>11.2</b> 공변량 분석 관련 추가 고려 사항</a></li>
</ul></li>
<li class="part"><span><b>II 모델 진단 및 약동학-약력학 연계 모델</b></span></li>
<li class="chapter" data-level="12" data-path="diag-eval.html"><a href="diag-eval.html"><i class="fa fa-check"></i><b>12</b> 모델 진단/평가 개론</a>
<ul>
<li class="chapter" data-level="12.1" data-path="diag-eval.html"><a href="diag-eval.html#모델-진단과-평가의-일반-특성"><i class="fa fa-check"></i><b>12.1</b> 모델 진단과 평가의 일반 특성</a></li>
<li class="chapter" data-level="12.2" data-path="diag-eval.html"><a href="diag-eval.html#모델-진단평가의-요소"><i class="fa fa-check"></i><b>12.2</b> 모델 진단/평가의 요소</a>
<ul>
<li class="chapter" data-level="12.2.1" data-path="diag-eval.html"><a href="diag-eval.html#적합도의-확인-방법"><i class="fa fa-check"></i><b>12.2.1</b> 적합도의 확인 방법</a></li>
<li class="chapter" data-level="12.2.2" data-path="diag-eval.html"><a href="diag-eval.html#파라미터의-정확성과-정밀성"><i class="fa fa-check"></i><b>12.2.2</b> 파라미터의 정확성과 정밀성</a></li>
<li class="chapter" data-level="12.2.3" data-path="diag-eval.html"><a href="diag-eval.html#재현성"><i class="fa fa-check"></i><b>12.2.3</b> 재현성</a></li>
</ul></li>
<li class="chapter" data-level="12.3" data-path="diag-eval.html"><a href="diag-eval.html#맺음말"><i class="fa fa-check"></i><b>12.3</b> 맺음말</a></li>
</ul></li>
<li class="chapter" data-level="13" data-path="fit.html"><a href="fit.html"><i class="fa fa-check"></i><b>13</b> 모델 적합 상태에 대한 진단</a></li>
<li class="chapter" data-level="14" data-path="cov.html"><a href="cov.html"><i class="fa fa-check"></i><b>14</b> NONMEM의 $COVARIANCE</a>
<ul>
<li class="chapter" data-level="14.1" data-path="cov.html"><a href="cov.html#cov-example"><i class="fa fa-check"></i><b>14.1</b> 실제 사례</a></li>
<li class="chapter" data-level="14.2" data-path="cov.html"><a href="cov.html#nonmem-document"><i class="fa fa-check"></i><b>14.2</b> NONMEM document</a></li>
<li class="chapter" data-level="14.3" data-path="cov.html"><a href="cov.html#이론적-배경---mle"><i class="fa fa-check"></i><b>14.3</b> 이론적 배경 - MLE</a></li>
<li class="chapter" data-level="14.4" data-path="cov.html"><a href="cov.html#r에서의-구현"><i class="fa fa-check"></i><b>14.4</b> R에서의 구현</a></li>
<li class="chapter" data-level="14.5" data-path="cov.html"><a href="cov.html#Theoph"><i class="fa fa-check"></i><b>14.5</b> Theophylline 예제 데이터셋</a></li>
<li class="chapter" data-level="14.6" data-path="cov.html"><a href="cov.html#eigenvalue"><i class="fa fa-check"></i><b>14.6</b> 고유값(Eigenvalue)</a></li>
<li class="chapter" data-level="14.7" data-path="cov.html"><a href="cov.html#결론"><i class="fa fa-check"></i><b>14.7</b> 결론</a></li>
</ul></li>
<li class="chapter" data-level="15" data-path="parameters.html"><a href="parameters.html"><i class="fa fa-check"></i><b>15</b> 모델 파라미터의 적절성</a></li>
<li class="chapter" data-level="16" data-path="evaluation.html"><a href="evaluation.html"><i class="fa fa-check"></i><b>16</b> 모델의 예측성능 평가</a>
<ul>
<li class="chapter" data-level="16.1" data-path="evaluation.html"><a href="evaluation.html#외부검증external-validation내부검증internal-validation"><i class="fa fa-check"></i><b>16.1</b> 외부검증(External validation)/내부검증(Internal validation)</a></li>
<li class="chapter" data-level="16.2" data-path="evaluation.html"><a href="evaluation.html#붓스트랩-bootstrap"><i class="fa fa-check"></i><b>16.2</b> 붓스트랩 (Bootstrap)</a></li>
<li class="chapter" data-level="16.3" data-path="evaluation.html"><a href="evaluation.html#simulation-based-diagnostics"><i class="fa fa-check"></i><b>16.3</b> Simulation-based diagnostics</a>
<ul>
<li class="chapter" data-level="16.3.1" data-path="evaluation.html"><a href="evaluation.html#사후-예측-점검-posterior-predictive-check"><i class="fa fa-check"></i><b>16.3.1</b> 사후 예측 점검 (posterior predictive check)</a></li>
<li class="chapter" data-level="16.3.2" data-path="evaluation.html"><a href="evaluation.html#시각적-예측-점검-visual-predictive-check"><i class="fa fa-check"></i><b>16.3.2</b> 시각적 예측 점검 (visual predictive check)</a></li>
<li class="chapter" data-level="16.3.3" data-path="evaluation.html"><a href="evaluation.html#수치적-예측-점검-numerical-predictive-check"><i class="fa fa-check"></i><b>16.3.3</b> 수치적 예측 점검 (numerical predictive check)</a></li>
</ul></li>
</ul></li>
<li class="chapter" data-level="17" data-path="basic-pkpd.html"><a href="basic-pkpd.html"><i class="fa fa-check"></i><b>17</b> 약동-약력(PK-PD) 모델링의 이론적 기초</a>
<ul>
<li class="chapter" data-level="17.1" data-path="basic-pkpd.html"><a href="basic-pkpd.html#관련-개념"><i class="fa fa-check"></i><b>17.1</b> 관련 개념</a></li>
<li class="chapter" data-level="17.2" data-path="basic-pkpd.html"><a href="basic-pkpd.html#약력학pd-및-약동-약력pk-pd-데이터의-특성"><i class="fa fa-check"></i><b>17.2</b> 약력학(PD) 및 약동-약력(PK-PD) 데이터의 특성</a>
<ul>
<li class="chapter" data-level="17.2.1" data-path="basic-pkpd.html"><a href="basic-pkpd.html#pd-데이터"><i class="fa fa-check"></i><b>17.2.1</b> PD 데이터</a></li>
<li class="chapter" data-level="17.2.2" data-path="basic-pkpd.html"><a href="basic-pkpd.html#pk-pd-데이터"><i class="fa fa-check"></i><b>17.2.2</b> PK-PD 데이터</a></li>
<li class="chapter" data-level="17.2.3" data-path="basic-pkpd.html"><a href="basic-pkpd.html#pd-데이터를-모델링할-때-고려할-점"><i class="fa fa-check"></i><b>17.2.3</b> PD 데이터를 모델링할 때 고려할 점</a></li>
</ul></li>
<li class="chapter" data-level="17.3" data-path="basic-pkpd.html"><a href="basic-pkpd.html#pk와-pd의-관계"><i class="fa fa-check"></i><b>17.3</b> PK와 PD의 관계</a></li>
</ul></li>
<li class="chapter" data-level="18" data-path="pkpd-link.html"><a href="pkpd-link.html"><i class="fa fa-check"></i><b>18</b> PK-PD 연결 방법과 적합법</a>
<ul>
<li class="chapter" data-level="18.1" data-path="pkpd-link.html"><a href="pkpd-link.html#pd-데이터-및-pd-모델의-특징"><i class="fa fa-check"></i><b>18.1</b> PD 데이터 및 PD 모델의 특징</a></li>
<li class="chapter" data-level="18.2" data-path="pkpd-link.html"><a href="pkpd-link.html#pk-pd-데이터를-다룰-때-고려할-점"><i class="fa fa-check"></i><b>18.2</b> PK-PD 데이터를 다룰 때 고려할 점</a></li>
<li class="chapter" data-level="18.3" data-path="pkpd-link.html"><a href="pkpd-link.html#pkpd-link-method"><i class="fa fa-check"></i><b>18.3</b> PK-PD 연결 방법 (적합법)</a></li>
<li class="chapter" data-level="18.4" data-path="pkpd-link.html"><a href="pkpd-link.html#direct-pkpd"><i class="fa fa-check"></i><b>18.4</b> 직접효과 PK-PD 모델의 예(Examples of direct effect PK-PD model)</a>
<ul>
<li class="chapter" data-level="18.4.1" data-path="pkpd-link.html"><a href="pkpd-link.html#동시적합법sim-simultaneous-fitting"><i class="fa fa-check"></i><b>18.4.1</b> 동시적합법(SIM, Simultaneous fitting)</a></li>
<li class="chapter" data-level="18.4.2" data-path="pkpd-link.html"><a href="pkpd-link.html#순차적합법-sequential-fitting"><i class="fa fa-check"></i><b>18.4.2</b> 순차적합법 (Sequential fitting)</a></li>
<li class="chapter" data-level="18.4.3" data-path="pkpd-link.html"><a href="pkpd-link.html#ipp-individual-pk-parameters"><i class="fa fa-check"></i><b>18.4.3</b> IPP (Individual PK Parameters)</a></li>
</ul></li>
<li class="chapter" data-level="18.5" data-path="pkpd-link.html"><a href="pkpd-link.html#indirect-pkpd"><i class="fa fa-check"></i><b>18.5</b> 간접효과 PK-PD 모델의 예 (Examples of PK-PD model with Indirect response)</a>
<ul>
<li class="chapter" data-level="18.5.1" data-path="pkpd-link.html"><a href="pkpd-link.html#sim과-pppd-데이터셋-및-제어구문"><i class="fa fa-check"></i><b>18.5.1</b> SIM과 PPP&D 데이터셋 및 제어구문</a></li>
<li class="chapter" data-level="18.5.2" data-path="pkpd-link.html"><a href="pkpd-link.html#ppp의-데이터셋-및-제어구문"><i class="fa fa-check"></i><b>18.5.2</b> PPP의 데이터셋 및 제어구문</a></li>
<li class="chapter" data-level="18.5.3" data-path="pkpd-link.html"><a href="pkpd-link.html#ipp의-데이터셋-및-제어구문"><i class="fa fa-check"></i><b>18.5.3</b> IPP의 데이터셋 및 제어구문</a></li>
</ul></li>
<li class="chapter" data-level="18.6" data-path="pkpd-link.html"><a href="pkpd-link.html#pk-pd-연결방법적합법-비교"><i class="fa fa-check"></i><b>18.6</b> PK-PD 연결방법(적합법) 비교</a>
<ul>
<li class="chapter" data-level="18.6.1" data-path="pkpd-link.html"><a href="pkpd-link.html#각-방법의-장점-및-단점"><i class="fa fa-check"></i><b>18.6.1</b> 각 방법의 장점 및 단점</a></li>
<li class="chapter" data-level="18.6.2" data-path="pkpd-link.html"><a href="pkpd-link.html#각-방법의-소요시간-및-정밀도-비교"><i class="fa fa-check"></i><b>18.6.2</b> 각 방법의 소요시간 및 정밀도 비교</a></li>
</ul></li>
<li class="chapter" data-level="18.7" data-path="pkpd-link.html"><a href="pkpd-link.html#pk-pd-연결방법적합법-요약-및-결론"><i class="fa fa-check"></i><b>18.7</b> PK-PD 연결방법(적합법) 요약 및 결론</a></li>
</ul></li>
<li class="chapter" data-level="19" data-path="effect-model.html"><a href="effect-model.html"><i class="fa fa-check"></i><b>19</b> 다양한 약물효과 모델링</a>
<ul>
<li class="chapter" data-level="19.1" data-path="effect-model.html"><a href="effect-model.html#pd-model"><i class="fa fa-check"></i><b>19.1</b> PD 모델의 종류</a>
<ul>
<li class="chapter" data-level="19.1.1" data-path="effect-model.html"><a href="effect-model.html#선형모델linear-model"><i class="fa fa-check"></i><b>19.1.1</b> 선형모델(linear model)</a></li>
<li class="chapter" data-level="19.1.2" data-path="effect-model.html"><a href="effect-model.html#로그-선형모델log-linear-model"><i class="fa fa-check"></i><b>19.1.2</b> 로그-선형모델(log-linear model)</a></li>
<li class="chapter" data-level="19.1.3" data-path="effect-model.html"><a href="effect-model.html#emax-model"><i class="fa fa-check"></i><b>19.1.3</b> E<sub>max</sub> model</a></li>
<li class="chapter" data-level="19.1.4" data-path="effect-model.html"><a href="effect-model.html#sigmoid-emax-model-hill-방정식"><i class="fa fa-check"></i><b>19.1.4</b> Sigmoid E<sub>max</sub> model (Hill 방정식)</a></li>
</ul></li>
<li class="chapter" data-level="19.2" data-path="effect-model.html"><a href="effect-model.html#pd-모델의-적용"><i class="fa fa-check"></i><b>19.2</b> PD 모델의 적용</a>
<ul>
<li class="chapter" data-level="19.2.1" data-path="effect-model.html"><a href="effect-model.html#일반적인-imax-model-vs.-sigmoid-imax-model"><i class="fa fa-check"></i><b>19.2.1</b> 일반적인 I<sub>max</sub> model vs. Sigmoid I<sub>max</sub> model</a></li>
<li class="chapter" data-level="19.2.2" data-path="effect-model.html"><a href="effect-model.html#다중-약물결합-모델multiple-binding-site-model"><i class="fa fa-check"></i><b>19.2.2</b> 다중 약물결합 모델(multiple binding site model)</a></li>
</ul></li>
<li class="chapter" data-level="19.3" data-path="effect-model.html"><a href="effect-model.html#결론-1"><i class="fa fa-check"></i><b>19.3</b> 결론</a></li>
</ul></li>
<li class="chapter" data-level="20" data-path="delayed-effect.html"><a href="delayed-effect.html"><i class="fa fa-check"></i><b>20</b> 지연효과 모델</a>
<ul>
<li class="chapter" data-level="20.1" data-path="delayed-effect.html"><a href="delayed-effect.html#지연효과-개요"><i class="fa fa-check"></i><b>20.1</b> 지연효과 개요</a></li>
<li class="chapter" data-level="20.2" data-path="delayed-effect.html"><a href="delayed-effect.html#시간에-따른-pk-pd-관계"><i class="fa fa-check"></i><b>20.2</b> 시간에 따른 PK-PD 관계</a></li>
<li class="chapter" data-level="20.3" data-path="delayed-effect.html"><a href="delayed-effect.html#효과구획-모델"><i class="fa fa-check"></i><b>20.3</b> 효과구획 모델</a></li>
<li class="chapter" data-level="20.4" data-path="delayed-effect.html"><a href="delayed-effect.html#직접효과-vs.-간접효과"><i class="fa fa-check"></i><b>20.4</b> 직접효과 vs. 간접효과</a></li>
<li class="chapter" data-level="20.5" data-path="delayed-effect.html"><a href="delayed-effect.html#turnover-모델"><i class="fa fa-check"></i><b>20.5</b> Turnover 모델</a>
<ul>
<li class="chapter" data-level="20.5.1" data-path="delayed-effect.html"><a href="delayed-effect.html#inhibition-on-production-model-i"><i class="fa fa-check"></i><b>20.5.1</b> Inhibition on production (Model I)</a></li>
<li class="chapter" data-level="20.5.2" data-path="delayed-effect.html"><a href="delayed-effect.html#inhibition-on-loss-model-ii"><i class="fa fa-check"></i><b>20.5.2</b> Inhibition on loss (Model II)</a></li>
<li class="chapter" data-level="20.5.3" data-path="delayed-effect.html"><a href="delayed-effect.html#stimulation-on-production-model-iii"><i class="fa fa-check"></i><b>20.5.3</b> Stimulation on production (Model III)</a></li>
<li class="chapter" data-level="20.5.4" data-path="delayed-effect.html"><a href="delayed-effect.html#stimulation-on-loss-model-iv"><i class="fa fa-check"></i><b>20.5.4</b> Stimulation on loss (Model IV)</a></li>
<li class="chapter" data-level="20.5.5" data-path="delayed-effect.html"><a href="delayed-effect.html#기저값"><i class="fa fa-check"></i><b>20.5.5</b> 기저값</a></li>
</ul></li>
</ul></li>
<li class="appendix"><span><b>별첨</b></span></li>
<li class="chapter" data-level="A" data-path="nonmem-output.html"><a href="nonmem-output.html"><i class="fa fa-check"></i><b>A</b> NONMEM 실행결과</a></li>
<li class="chapter" data-level="" data-path="참고문헌.html"><a href="참고문헌.html"><i class="fa fa-check"></i>참고문헌</a></li>
<li class="divider"></li>
<li><a href="https://pipetcpt.github.io/basic/basic.pdf">PDF 보기</a></li>
<li><a href="http://pipet.or.kr/books/" target="_blank">Published by PIPET</a></li>
</ul>
</nav>
</div>
<div class="book-body">
<div class="body-inner">
<div class="book-header" role="navigation">
<h1>
<i class="fa fa-circle-o-notch fa-spin"></i><a href="./">계량약리학 워크샵 - 초급 과정</a>
</h1>
</div>
<div class="page-wrapper" tabindex="-1" role="main">
<div class="page-inner">
<section class="normal" id="section-">
<div id="evaluation" class="section level1 hasAnchor" number="16">
<h1><span class="header-section-number">Chapter 16</span> 모델의 예측성능 평가<a href="evaluation.html#evaluation" class="anchor-section" aria-label="Anchor link to header"></a></h1>
<p>한성필
</p>
<hr />
<p>모델을 구축하고 나서 가장 먼저 해야할 일은 모델이 자료를 잘 설명하고 있는지 살펴보고, 모델이 의도대로 예측하고 있는지를 파악하는 것이다. 이를 위해서 객관적, 통계적으로 모델 예측 능력과 성능을 측정할 수 있어야 하고(모델평가, model evaluation), 모델을 만드는데 사용된 데이터셋에서와 같이 모델이 앞으로 사용될 환경에서도 잘 작동할 수 있다는 것을 보장해야(모델검증, model validation) 한다.</p>
<table>
<caption>
<span id="tab:purpose-eval">표 16.1: </span>목적과 표현방식에 따라 분류한 모델 평가 방법
</caption>
<thead>
<tr>
<th style="text-align:left;">
Purpose
</th>
<th style="text-align:left;">
Numerical
</th>
<th style="text-align:left;">
Visual
</th>
</tr>
</thead>
<tbody>
<tr>
<td style="text-align:left;width: 3.5cm; ">
Goodness-of-fit
</td>
<td style="text-align:left;width: 5.0cm; ">
Fit statistics (OFV, iOFV)
</td>
<td style="text-align:left;width: 3.5cm; ">
Goodness-of-fit plot
</td>
</tr>
<tr>
<td style="text-align:left;width: 3.5cm; ">
Goodness-of-fit
</td>
<td style="text-align:left;width: 5.0cm; ">
Akaike information criterion (AIC) for non-nested model
</td>
<td style="text-align:left;width: 3.5cm; ">
Individual plot
</td>
</tr>
<tr>
<td style="text-align:left;width: 3.5cm; ">
Parameter accuracy & preciseness
</td>
<td style="text-align:left;width: 5.0cm; ">
Parameter estimates
</td>
<td style="text-align:left;width: 3.5cm; ">
Empirical Bayes Estimate (EBE) distribution
</td>
</tr>
<tr>
<td style="text-align:left;width: 3.5cm; ">
Parameter accuracy & preciseness
</td>
<td style="text-align:left;width: 5.0cm; ">
Parameter imprecision estimates (by NONMEM)
</td>
<td style="text-align:left;width: 3.5cm; ">
Empirical Bayes Estimate (EBE) distribution
</td>
</tr>
<tr>
<td style="text-align:left;width: 3.5cm; ">
Parameter accuracy & preciseness
</td>
<td style="text-align:left;width: 5.0cm; ">
EBE shrinkage
</td>
<td style="text-align:left;width: 3.5cm; ">
Empirical Bayes Estimate (EBE) distribution
</td>
</tr>
<tr>
<td style="text-align:left;width: 3.5cm; ">
Parameter accuracy & preciseness
</td>
<td style="text-align:left;width: 5.0cm; ">
Bootstrap median & confidence interval
</td>
<td style="text-align:left;width: 3.5cm; ">
Empirical Bayes Estimate (EBE) distribution
</td>
</tr>
<tr>
<td style="text-align:left;width: 3.5cm; ">
Reproducibility
</td>
<td style="text-align:left;width: 5.0cm; ">
Bootstrap median & confidence interval
</td>
<td style="text-align:left;width: 3.5cm; ">
Visual Predictive Check (VPC)
</td>
</tr>
<tr>
<td style="text-align:left;width: 3.5cm; ">
Reproducibility
</td>
<td style="text-align:left;width: 5.0cm; ">
Numerical Predictive Check (NPC)
</td>
<td style="text-align:left;width: 3.5cm; ">
Visual Predictive Check (VPC)
</td>
</tr>
</tbody>
</table>
<p>모델을 수치적, 시각적, 통계적으로 평가하는 다양한 방법들이 제시되어 있으며 <span class="citation">(<a href="#ref-pmid17328581" role="doc-biblioref">Brendel et al. 2007</a>)</span>, 이것을 표 <a href="evaluation.html#tab:purpose-eval">16.1</a>에서 목적과 표현방식에 따라 정리하였다. 이 중 계량약리학 분야에서 재현성(reproducibility)에 초점을 맞춘 방법들을 통칭하여 흔히 모델검증(model validation)이라 한다. 모델검증의 목적은 타당성(validation) 검증 데이터셋에서 모델이 잘 작동되며 잘 적용되는지 여부를 검토하는 것이다. 이러한 모델검증 절차는 분석계획서에 통합적으로 기술되는 것이 추천된다. 이 장에서는 모델의 예측성능 평가를 위해 사용되는 다양한 기법의 목적과 방법에 대해 논할 것이다.</p>
<div id="외부검증external-validation내부검증internal-validation" class="section level2 hasAnchor" number="16.1">
<h2><span class="header-section-number">16.1</span> 외부검증(External validation)/내부검증(Internal validation)<a href="evaluation.html#외부검증external-validation내부검증internal-validation" class="anchor-section" aria-label="Anchor link to header"></a></h2>
<p></p>
<p>모델 검증의 종류로 크게 외부검증과 내부검증으로 나눌 수 있다. 어떤 검증이 보다 더 설득력이 있다고 할 수 있을지에 대해서 이견이 있을 수 있지만 일반적으로 모델로 예측한 값들을 별도의 데이터셋과 비교하는 외부검증을 만족하는 경우 보다 높은 수준의 검증이 이루어졌다고 할 수 있다. 외부검증에서는 별도의 자료가 생성될 시의 통제되지 않은 요인이 검증 결과에 영향을 미칠 수 있다. 그러나 외부검증에 의해 만족스러운 예측성능이 검증될 경우 연구자는 개발된 모델이 새로운 자료에서도 적절히 예측할 수 있다는 자신감을 가질 수 있다. 그러나 외부검증이 어렵거나 불가능한 경우가 있기 때문에, 내부검증을 철저히 하는 것이 중요하다.</p>
<p>올바른 외부검증/내부검증은 사전계획에서부터 시작된다. 즉, 모델링을 시작하기 전에 계획을 세워 편향성을 제거하는 것이 필요하다. 모델을 비교하기 위해 사용되는 통계량에 대한 기준값을 미리부터 분석계획에 명시하는 것이 추천되며, 내부검증 혹은 외부검증에서 계산된 통계량이 애초에 설정된 기준을 만족시키지 않는 경우 모델의 개선이 필요하다.</p>
<p>데이터 분할 기법(data splitting method)은 모델 평가를 위해 새로운 자료를 수집하는 것이 어려울 경우에 검증 자료를 만들어내는 유용한 내부검증 방법으로 분석 데이터셋의 일부분을 임의로 추출하여 검사용 데이터셋을 만들고, 실제 개발 데이터셋에서 이를 제거한다. 이 방법의 단점은 모델의 예측 정확도가 자료를 나누는데 사용된 표본의 크기에 따라 좌우된다는 것이다. 또 다른 내부검증 기법은 재추출 방법(resampling)으로 교차 타당성 검증(cross-validation)과 붓스트랩(bootstrap)의 두 가지 방법이 포함된다. 교차 타당성 검증은 데어터 분할(data splitting)을 반복하여 사용하는 방법이고 모형 구축을 위해 사용되는 자료 세트의 크기가 다른 방법에 비해 크고 이로 인해 추정과정에서 무시되는 자료가 작다는 장점이 있고, 단일 샘플의 분할에 의존하지 않기 때문에 변이성이 감소하게 된다. <span class="citation">(<a href="#ref-poppk" role="doc-biblioref">식품의약품안전평가원 의약품심사부 종양약품과 2015</a>)</span></p>
</div>
<div id="붓스트랩-bootstrap" class="section level2 hasAnchor" number="16.2">
<h2><span class="header-section-number">16.2</span> 붓스트랩 (Bootstrap)<a href="evaluation.html#붓스트랩-bootstrap" class="anchor-section" aria-label="Anchor link to header"></a></h2>
<p></p>
<p>검사용 데이터셋이 없거나 분석 시작시 작성되지 않은 경우에는 붓스트랩 접근법을 사용하는 것이 적절하다. 붓스트랩은 교차 타당성 검증과 같이 모형 구축에 모든 자료를 사용한다는 장점이 있다. 희귀질환이나 소아환자의 자료 등과 같이 표본 크기가 제한적일 수밖에 없는 경우, 집단모형을 평가하는데 매우 유용할 수 있다.</p>
<p>적당한 횟수(적어도 200회 이상)로 반복하여 얻어지는 붓스트랩 복제 값에 최종 모델을 반복적으로 적합(fitting)시켜서 얻어진 파라미터의 평균값들을 붓스트랩 없이 얻어진 최종 집단모델 파라미터 추정치와 비교하는 것이다. 이는 모델을 다양한 데이터셋에 적합(fitting)시키는 방법을 지칭하며, 각 데이터셋은 최종 모델의 데이터셋으로부터 반복 재추출된 대상자들에 대한 자료로 구성되어 있다. 붓스트랩에 의해 얻어진 결과를 보고하기 위해 중앙값과 95% 신뢰구간이 흔히 사용되며 이 값들을 어떻게 계산하는지 모식도(그림 <a href="evaluation.html#fig:boot95">16.1</a>)로 표현하였다. 붓스트랩에 의해 얻어진 결과를 정리하여 보고하는 일반적인 방법을 그림 <a href="evaluation.html#fig:bootstrap-table">16.2</a>에 나타내었다. 흔하게 쓰이는 방법으로는, 1000개의 재추출된 데이터셋을 통해 얻어진 붓스트랩 중앙값과 최종예측값을 비교하는 것인데, 큰 차이가 없음을 알 수 있고, %RSE(relative standard error)로 계산된 신뢰구간과 붓스트랩 95% 신뢰구간을 비교하여 예측된 변동성 정도에 대한 검증도 할 수 있다.</p>
<div class="figure" style="text-align: center"><span style="display:block;" id="fig:boot95"></span>
<img src="figures/16-fig-01.jpg" alt="붓스트랩을 사용하여 여러 파라미터의 중앙값과 95% 신뢰구간을 계산하는 방법에 대한 모식도" width="100%" />
<p class="caption">
그림 16.1: 붓스트랩을 사용하여 여러 파라미터의 중앙값과 95% 신뢰구간을 계산하는 방법에 대한 모식도
</p>
</div>
<div class="figure" style="text-align: center"><span style="display:block;" id="fig:bootstrap-table"></span>
<img src="figures/16-fig-02.jpg" alt="붓스트랩에 의해 얻어진 결과를 정리하는 방법의 예. 중앙값(95% 신뢰구간)을 열로 정리하였고 1000개의 재추출된 데이터셋이 사용되었음을 알 수 있음" width="100%" />
<p class="caption">
그림 16.2: 붓스트랩에 의해 얻어진 결과를 정리하는 방법의 예. 중앙값(95% 신뢰구간)을 열로 정리하였고 1000개의 재추출된 데이터셋이 사용되었음을 알 수 있음
</p>
</div>
</div>
<div id="simulation-based-diagnostics" class="section level2 hasAnchor" number="16.3">
<h2><span class="header-section-number">16.3</span> Simulation-based diagnostics<a href="evaluation.html#simulation-based-diagnostics" class="anchor-section" aria-label="Anchor link to header"></a></h2>
<p>시뮬레이션에 기반한 예측성능 평가 과정인 사후예측점검(PPC), VPC와 NPC은 모두 관찰값과 모델에 의해 시뮬레이션된 값들의 분포를 비교하는 것이다. <span class="citation">(<a href="#ref-yano2001evaluating" role="doc-biblioref">Yano, Beal, and Sheiner 2001</a>; <a href="#ref-post2008extensions" role="doc-biblioref">Post et al. 2008</a>)</span> 시뮬레이션 데이터가 관찰 데이터의 분포특징을 적절히 반영하고 있음을 시각적, 수치적으로 확인할 수 있다면 모델의 예측성능 평가가 잘 이루어졌다고 말할 수 있다.</p>
<div id="사후-예측-점검-posterior-predictive-check" class="section level3 hasAnchor" number="16.3.1">
<h3><span class="header-section-number">16.3.1</span> 사후 예측 점검 (posterior predictive check)<a href="evaluation.html#사후-예측-점검-posterior-predictive-check" class="anchor-section" aria-label="Anchor link to header"></a></h3>
<p></p>
<p>사후 예측 점검을 통해 현재와 미래 자료 세트의 중요한 임상적 특성이 모델에 의해 충실히 재현이 되는가를 결정하는데 유용할 수 있다. <span class="citation">(<a href="#ref-post2008extensions" role="doc-biblioref">Post et al. 2008</a>)</span> 이 방법은 특정 요약 통계량을 원본 데이터셋에서 계산하고 이를 시뮬레이션으로부터 발생된 사후 예측 분포와 비교하는 것이다. (그림 <a href="evaluation.html#fig:ppc">16.3</a>) 사후값(posterior)은 불확실성(uncertainty)과 잔류변이(residual variability)를 반영하고 있으며 이것이 특정 분포를 따르지 않는 경우, 또는 관찰값과 큰 차이가 나는 경우 자신의 모델을 점검할 수 있다. 시뮬레이션의 반복 데이터셋을 생성하여 통계량의 분포와 상응하는 유의확률값을 얻어낼 수도 있다. 그러나 현재로서는 이러한 접근법이 널리 통용되고 있지는 않다.</p>
<div class="figure" style="text-align: center"><span style="display:block;" id="fig:ppc"></span>
<img src="figures/16-fig-03.png" alt="사후 예측 점검의 예. 시뮬레이션된 Cmax의 분포에서 관찰값(검정색 실선)의 위치를 파악할 수 있음" width="100%" />
<p class="caption">
그림 16.3: 사후 예측 점검의 예. 시뮬레이션된 C<sub>max</sub>의 분포에서 관찰값(검정색 실선)의 위치를 파악할 수 있음
</p>
</div>
</div>
<div id="시각적-예측-점검-visual-predictive-check" class="section level3 hasAnchor" number="16.3.2">
<h3><span class="header-section-number">16.3.2</span> 시각적 예측 점검 (visual predictive check)<a href="evaluation.html#시각적-예측-점검-visual-predictive-check" class="anchor-section" aria-label="Anchor link to header"></a></h3>
<p>
</p>
<p>VPC로 생성된 그림은 관찰값과 시뮬레이션에 의한 예측구간을 겹쳐서 그림 형태로 제시한다.(그림 <a href="evaluation.html#fig:scatter-vpc">16.4</a>) 시각적으로 표현된 자료는 빠르고 직관적으로 모델의 예측성능을 평가할 수 있다는 큰 장점을 갖기에 현재 가장 널리 쓰이고 있는 방법이다.</p>
<p>모델의 VPC를 수행하기 위해 가장 먼저 할 일은 많은 데이터셋을 시뮬레이션하는 것으로, $PK 또는 $PRED는 손대지 않고 $THETA, $OMEGA, $SIGMA 값들에 FPE(final parameter estimates)를 직접 고정하여 입력하거나 $MSFI 구문을 이용해 모델 규격파일을 입력하여 최종 추정값을 사용하여 시뮬레이션이 수행된다. $EST, $COV는 삭제하고 $SIMULATION을 입력해야 하는데 일반적으로 다음과 같은 구문을 사용한다. 이때 20190831은 임의의 시드값(seed)을 의미하며 1000은 반복 데이터셋의 개수를 의미한다. </p>
<pre><code>$SIMULATION ONLYSIM 20190831 SUBPROBLEMS=1000</code></pre>
<p>최소 1000개 이상의 반복 데이터셋이 선호되며 이를 통해 관측값과 시뮬레이션 예측값을 비교하게 된다. 반복 데이터셋을 생성하기 위한 입력 데이터셋은 모델을 구축할 때 사용한 데이터셋과 유사한 형태이나 DV값이 시뮬레이션 값으로 대체된다. 반복수가 커질수록 결과 파일의 용량이 비례적으로 커지게 되고 따라서 자료 처리 속도가 늦어지므로 처음에는 낮은 반복수로 확인 후, 어느정도 확인이 된 후 1000개, 2000개 반복수로 높이는 실용적인 접근법을 택할 수도 있다.</p>
<div class="figure" style="text-align: center"><span style="display:block;" id="fig:scatter-vpc"></span>
<img src="figures/16-fig-04.png" alt="시각적 예측 점검 과정의 대표적인 scatter VPC 의 예 (Harling 2018). 점선은 시뮬레이션 값들의 5, 95 퍼센타일, 실선은 중앙값을 나타냄" width="100%" />
<p class="caption">
그림 16.4: 시각적 예측 점검 과정의 대표적인 scatter VPC 의 예 <span class="citation">(<a href="#ref-vpcnpc" role="doc-biblioref">Harling 2018</a>)</span>. 점선은 시뮬레이션 값들의 5, 95 퍼센타일, 실선은 중앙값을 나타냄
</p>
</div>
<div class="figure" style="text-align: center"><span style="display:block;" id="fig:ci-vpc"></span>
<img src="figures/16-fig-05.png" alt="신뢰구간 VPC의 예 (Confidence interval VPC). 시뮬레이션된 예측값의 5번째 백분위수와 95번째 백분위수에 대한 95% 신뢰구간이 파란색 띠로 나타나 있고, 붉은색 점선은 관찰값의 5번쨰, 95번째 백분위수를 나타내며 붉은색 실선은 관찰값의 50번째 백분위수임" width="100%" />
<p class="caption">
그림 16.5: 신뢰구간 VPC의 예 (Confidence interval VPC). 시뮬레이션된 예측값의 5번째 백분위수와 95번째 백분위수에 대한 95% 신뢰구간이 파란색 띠로 나타나 있고, 붉은색 점선은 관찰값의 5번쨰, 95번째 백분위수를 나타내며 붉은색 실선은 관찰값의 50번째 백분위수임
</p>
</div>
<p>신뢰구간 VPC(confidence interval VPC)는 시뮬레이션된 예측값의 5번째 백분위수, 50번째백분위수(중앙값), 95번째 백분위수에 대한 95% 신뢰구간을 계산하여 나타낸다.(그림 <a href="evaluation.html#fig:ci-vpc">16.5</a>) 각 계급구간에서 예측값의 신뢰구간을 각각 음영(띠)으로 그리고 이 위에 예측값과 관찰값의 5번째, 50번째, 95번째 백분위수에 대한 선을 그려, 모델 오지정 여부를 보다 수월하게 파악할 수 있다. 그림 <a href="evaluation.html#fig:ci-vpc">16.5</a>의 VPC에서는 시뮬레이션 예측값의 5번째, 50번째, 95번째 백분위수의 95% 신뢰구간이 관측값의 각 백분위수를 대체로 포함하고 있어 모델 적합성을 지지하고 있음을 알 수 있다. 그러나 일부 시간 계급구간(bin)에서 5번째 백분위수가 하한 예측구간의 신뢰구간 밖으로 벗어나는 것을 알 수 있어, 이부분에 대한 모델 적합성을 재검토할 필요가 있을 수도 있다.</p>
<p></p>
<p>VPC를 생성할때 계급구간화(Binning)가 적절히 행해지면 실제 수행 시간의 변동성이 그림에 과도하게 표현되는 것을 줄이고 계획된 시간(nominal time)이 같은 자료일때 동일한 예측 구간을 표현케 할 수 있으므로, 계급구간화를 올바르게 수행하는 것은 중요하다. PsN에서는 VPC 계급구간화에 대한 다양한 옵션을 제공하고 있으므로 이에 대한 자세한 정보는 PsN User Guide를 참고할 수 있다. <span class="citation">(<a href="#ref-vpcnpc" role="doc-biblioref">Harling 2018</a>)</span></p>
<p></p>
<p>VPC에서 PK 반응 정도가 다른 집단을 합쳐서 그린다면 반응 변수간의 차이가 하나로 합쳐져 표현되기 때문에 약물 농도의 패턴이 제대로 표현되지 않을 수 있다. 약물의 용량, 투여경로와 투약간격 등의 공변량 값이 혼합되어 있는 데이터셋에서는 층화(stratification)를 통해 VPC를 수행할 수 있다. PsN을 사용하여 VPC를 수행하는 경우 이러한 층화를 쉽게 할 수 있는데, 다음과 같은 구문을 도스창(터미널창)에서 입력한다.</p>
<div class="sourceCode" id="cb46"><pre class="sourceCode sh"><code class="sourceCode bash"><span id="cb46-1"><a href="evaluation.html#cb46-1" aria-hidden="true" tabindex="-1"></a><span class="ex">vpc</span> bean.CTL <span class="at">-lst</span><span class="op">=</span>bean.CTL.lst <span class="at">-samples</span><span class="op">=</span>1000 <span class="at">-stratify_on</span><span class="op">=</span>DAY <span class="at">-idv</span><span class="op">=</span>TAD</span></code></pre></div>
<p>위 명령어에서 bean.CTL, bean.CTL.lst는 각각 모델 제어구문 파일과 결과파일이고 1000은 반복수, DAY는 층화가 이루어질 자료의 열(column)이름이며, TAD(time after dose)는 독립변수(independent variable, idv)를 지칭한다. DAY 자료에 따라 1일(첫 투약)과 14일(항정상태 투약)의 각기 다른 약물 농도 패턴이 올바르게 표시되었음을 알 수 있다. (그림 <a href="evaluation.html#fig:strat-vpc">16.6</a>)</p>
<div class="figure" style="text-align: center"><span style="display:block;" id="fig:strat-vpc"></span>
<img src="figures/16-fig-06.png" alt="관찰일(DAY)에 따라 층화(stratification)가 이루어진 VPC." width="100%" />
<p class="caption">
그림 16.6: 관찰일(DAY)에 따라 층화(stratification)가 이루어진 VPC.
</p>
</div>
<p>VPC가 직관적이고 많은 상황에서 흔히 쓰이고 있으나 일부 유용성이 떨어지는 상황이 있을 수도 있기에 사용에 주의를 요한다. 결측치 (BQL, below quantification limit) 자료가 많은 경우 시뮬레이션이 잘 안될 수 있기 때문에 주의해야 하며, BQL 있는 부분과 아닌 부분을 층화로 나누어 그리기도 한다. 계획서 위반(protocol violation)이 많은 경우, 약물 복용 비준수(nonadherence)가 많은 경우에도 VPC 적용에 주의를 기울여야 한다. 또한 적응적 설계(adaptive design), 용량 조정 시험 등에서 사용하는 경우에도 VPC를 적용하는 것이 어려울 것이다. 용량 변화의 모든 상황을 층화로 나누어서 그리는 것이 필요하겠지만 경우의 수가 많아지는 경우 모든 상황을 VPC로 표현하는 것이 어려울 수 있다.</p>
</div>
<div id="수치적-예측-점검-numerical-predictive-check" class="section level3 hasAnchor" number="16.3.3">
<h3><span class="header-section-number">16.3.3</span> 수치적 예측 점검 (numerical predictive check)<a href="evaluation.html#수치적-예측-점검-numerical-predictive-check" class="anchor-section" aria-label="Anchor link to header"></a></h3>
<p></p>
<p>NPC는 VPC와 유사한 방식으로 모델 진단을 수행하며, 그 논리나 자료는 앞서 기술된 VPC와 차이가 없다. 즉, 모델이 적절한 방법으로 생성되었다면, 그로부터 시뮬레이션된 값들은 관찰된 자료와 큰 차이가 없을 것이다. <span class="citation">(<a href="#ref-vpcnpc" role="doc-biblioref">Harling 2018</a>)</span> 설정된 예측 구간에 대해 관측값이 예측 구간 경계인 안쪽 혹은 바깥쪽에 얼마나 위치하는지 살필 수 있다. 5%의 관측값이 95% 예측 구간 밖에 위치할 경우(2.5%는 상한 위쪽에, 2.5%는 하한 밑 쪽에), 혹은 10%의 관측값이 90% 예측 구간 밖에 위치할 경우(5.0%는 상한 위쪽에, 5.0%는 하한 밑 쪽에) NPC에 의한 모델 진단이 비교적 잘 이루어졌다고 할 수 있을 것이다. (그림 <a href="evaluation.html#fig:npc">16.7</a>)</p>
<div class="figure" style="text-align: center"><span style="display:block;" id="fig:npc"></span>
<img src="figures/16-fig-07.png" alt="수치로 모델의 예측성능을 평가하는 수치적 예측 점검 과정(NPC)" width="100%" />
<p class="caption">
그림 16.7: 수치로 모델의 예측성능을 평가하는 수치적 예측 점검 과정(NPC)
</p>
</div>
<!--
## 참고문헌
1. Brendel K, Dartois C, Comets E, Lemenuel-Diot A, Laveille C, Tranchand B, Girard P, Laffont CM, Mentre F. Are population pharmacokinetic and/or pharmacodynamic models adequately evaluated? A survey of the literature from 2002 to 2004. Clin Pharmacokinet 2007; 46: 221-34. # 17328581 [@pmid17328581]
2. 식품의약품안전처. 의약품 개발 시 집단 약동학 활용을 위한 가이드라인. 식품의약품안전처 의약품심사부 종양약품과 2015. [@poppk]
3. Karlsson MO, Savic RM. Diagnosing model diagnostics. Clin Pharmacol Ther 2007; 82: 17-20. # 17571070 [@karlsson2007diagnosing]
4. Yano Y, Beal SL, Sheiner LB. Evaluating pharmacokinetic/pharmacodynamic models using the posterior predictive check. J Pharmacokinet Pharmacodyn 2001; 28: 171-92. # 11381569 [@yano2001evaluating]\index{posterior predictive check(PPC) / 사후예측점검(PPC)}
5. Post TM, Freijer JI, Ploeger BA, Danhof M. Extensions to the visual predictive check to facilitate model performance evaluation. J Pharmacokinet Pharmacodyn 2008; 35: 185-202. # 18197467 [@post2008extensions]\index{visual predictive check(VPC) / 시각적 예측 점검(VPC)}
6. Nordgren RU, S;. NPC/VPC user guide Perl-speaks-NONMEM 490 2018. [@vpcnpc]
-->
<!-- \printbibliography[segment=\therefsegment,heading=subbibliography] -->
</div>
</div>
</div>
<h3>참고문헌<a href="참고문헌.html#참고문헌" class="anchor-section" aria-label="Anchor link to header"></a></h3>
<div id="refs" class="references csl-bib-body hanging-indent">
<div id="ref-pmid17328581" class="csl-entry">
Brendel, K., C. Dartois, E. Comets, A. Lemenuel-Diot, C. Laveille, B. Tranchand, P. Girard, C. M. Laffont, and F. Mentre. 2007. <span>“<span class="nocase"><span>A</span>re population pharmacokinetic and/or pharmacodynamic models adequately evaluated? <span>A</span> survey of the literature from 2002 to 2004</span>.”</span> <em>Clin Pharmacokinet</em> 46 (3): 221–34.
</div>
<div id="ref-vpcnpc" class="csl-entry">
Harling, Uekcert, K. 2018. <em>VPC and NPC User Guide</em>. ICON plc. <a href="https://github.com/UUPharmacometrics/PsN/releases/download/4.9.0/vpc_npc_userguide.pdf">https://github.com/UUPharmacometrics/PsN/releases/download/4.9.0/vpc_npc_userguide.pdf</a>.
</div>
<div id="ref-post2008extensions" class="csl-entry">
Post, Teun M, Jan I Freijer, Bart A Ploeger, and Meindert Danhof. 2008. <span>“Extensions to the Visual Predictive Check to Facilitate Model Performance Evaluation.”</span> <em>Journal of Pharmacokinetics and Pharmacodynamics</em> 35 (2): 185.
</div>
<div id="ref-yano2001evaluating" class="csl-entry">
Yano, Yoshitaka, Stuart L Beal, and Lewis B Sheiner. 2001. <span>“Evaluating Pharmacokinetic/Pharmacodynamic Models Using the Posterior Predictive Check.”</span> <em>Journal of Pharmacokinetics and Pharmacodynamics</em> 28 (2): 171–92.
</div>
<div id="ref-poppk" class="csl-entry">
식품의약품안전평가원 의약품심사부 종양약품과. 2015. <em>의약품 개발 시 집단 약동학 활용을 위한 가이드라인</em>. <a href="http://www.nifds.go.kr/nifds/08_part/part03_c_b.jsp?mode=view&article_no=7038">http://www.nifds.go.kr/nifds/08_part/part03_c_b.jsp?mode=view&article_no=7038</a>.
</div>
</div>
</section>
</div>
</div>
</div>
<a href="parameters.html" class="navigation navigation-prev " aria-label="Previous page"><i class="fa fa-angle-left"></i></a>
<a href="basic-pkpd.html" class="navigation navigation-next " aria-label="Next page"><i class="fa fa-angle-right"></i></a>
</div>
</div>
<script src="libs/gitbook/js/app.min.js"></script>
<script src="libs/gitbook/js/clipboard.min.js"></script>
<script src="libs/gitbook/js/plugin-search.js"></script>
<script src="libs/gitbook/js/plugin-sharing.js"></script>
<script src="libs/gitbook/js/plugin-fontsettings.js"></script>
<script src="libs/gitbook/js/plugin-bookdown.js"></script>
<script src="libs/gitbook/js/jquery.highlight.js"></script>
<script src="libs/gitbook/js/plugin-clipboard.js"></script>
<script>
gitbook.require(["gitbook"], function(gitbook) {
gitbook.start({
"sharing": {
"github": true,
"facebook": false,
"twitter": true,
"linkedin": false,
"weibo": false,
"instapaper": false,
"vk": false,
"whatsapp": false,
"all": ["facebook", "twitter", "linkedin", "weibo", "instapaper"]
},
"fontsettings": {
"theme": "white",
"family": "sans",
"size": 2
},
"edit": {
"link": "https://github.com/pipetcpt/basic/edit/master/inst/examples/16.Rmd",
"text": "Edit"
},
"history": {
"link": null,
"text": null
},
"view": {
"link": null,
"text": null
},
"download": ["basic.pdf"],
"search": false,
"toc": {
"collapse": "section",
"scroll_highlight": true
},
"toolbar": {
"position": "fixed"
},
"info": false
});
});
</script>
<!-- dynamically load mathjax for compatibility with self-contained -->
<script>
(function () {
var script = document.createElement("script");
script.type = "text/javascript";
var src = "true";
if (src === "" || src === "true") src = "https://cdnjs.cloudflare.com/ajax/libs/mathjax/2.7.9/latest.js?config=TeX-MML-AM_CHTML";
if (location.protocol !== "file:")
if (/^https?:/.test(src))
src = src.replace(/^https?:/, '');
script.src = src;
document.getElementsByTagName("head")[0].appendChild(script);
})();
</script>
</body>
</html>