Análises classificatórias não hierárquicas. O método dos K-medoides e o método do DBSCAN. Validação interna de uma análise classificatória. Estimação do número ótimo de grupos. Comparação de classificações: índice de Rand e índice de Rand ajustado. Resolução de alguns exercícios.

Análise classificatória: introdução, motivação e conceitos gerais.  Métricas de (dis)semelhança para dados quantitativos  (distâncias de Minkoswki e distância euclideiana generalizada incluindo a distÂncia de Mahalanobis) e para dados binários (concordância simples e de Jacard). Algorítmo genérico de classificação hierárquica aglomerativa e dendrograma. Matriz de distâncias cofenéticas, diagrama de Sheppard e coeficientes de correlação cofenética de Pearson e Spearman. Métodos hierárquicos monótonos e não monótonos (i.e., com inversões). Método do vizinho mais próximo (single-linkage), do vizinho mais afastado (complete-linkage), das distâncias médias entre grupos (average), do centroide, da mediana e da variância mínima  (Ward). Métodos hierárquicos via a fórmula de Lance-Williams. Breve apontamento sobre métodos hierárquicos divisivos. Métodos não hierarquicos. O método das K-médias móveis (k-means). 

[Acetatos 86-114] A Análise Discriminante Linear: introdução e motivação; a matriz da classificação e o seu espaço das colunas; a conveniência de centrar os dados; a formulação do problem usando o critério de Fisher. As matrizes de variação inter-classes (B) e intra-classes (W). A solução do problema usando o Teorema do acetato 62 (o problema de valores próprios generalizado). A interpretação geométrica do problema no espaço das variáveis. Formulações alternativas do critério e a relação entre elas. A relação entre a ADL e a Anova a um factor. A classificação de novos indivíduos: alguns critérios. A ADL no R e o exemplo dos lavagantes. Resolução do Exercício 13 (lobos, ADL e ACP).

[Acetatos  42-85 (excepto 72 a 74)] Propriedades das Componentes Principais: fórmula pra o coeficiente de correlação entre cada CP e cada variável original; o efeito de transformações lineares diferenciadas nas variáveis. A ACP sobre dados normalizados (sobre a matriz de correlações): definição e características. A visualização da ACP no espaço das variáveis (R^n): propriedades estatísticas e propriedades geométricas; o critério da ACP; o efeito de normalizar as variáveis; interpretação das características das CPs (dos dados originais e dos dados normalizados). Mais advertências sobre ACPs. Um outro critério optimizado pelas CPs sobre a matriz de correlações: combinações lineares que minimizam a soma de quadrados das correlações com cada variável original. O problema generalizado de valores prórpios e o seu papel na optimização do critério. A Decompisção em Valores Singulares e a ACP. O Teorema de Eckart-Young. Os biplots: definição e interpretação.

[Acetatos 1-41 (excepto 22 e 24)] Introdução, programa  e bibliografia do módulo. Algumas ferramentas teóricas: classificação de matrizes quadradas; classificação de matrizes simétricas com base nas formas quadráticas; valores e vectores próprios e a Decomposição Espectral de matrizes simétricas; algumas propriedades de matrizes simétricas. Traços de matrizes quadradas e propriedades do traço. As matrizes de (co-)variâncias e de correlações como matrizes simétricas, (semi-)definidas positivas. Variâncias e covariâncias de combinações lineares de variáveis. A Análise em Componentes Principais: uma introdução estatística. A formulação do problema com base nos quocientes de Rayleigh-Ritz e o teorema de Rayleigh-Ritz. A definição das CPs, a respectiva variância e uma medida da sua qualidade. A ACP no R: o comando prcomp; o comando eigen. O exemplo dos lavagantes e discussão.

Linear mixed models, some particular cases and respective application: one factor of fixed effects and one factor of random effects, without and with interaction. Resolution of exercises 3 and 4. Analysis of split plot experiments. Discussion of exercise 6. Example of the application of linear mixed models with categorical and numerical predictor variables, and in which the observations are made in the same individual over time. Discussion of exercise 8. (Lesson from 14.30h to 18h).

Linear mixed models, some particular cases and respective application: random model with one factor of random effects and random model with two random effects factors. Resolution of exercise 1, using R.

Linear mixed models: estimation of fixed effects and prediction of random effects; hypothesis tests for covariance parameters and fixed effects; model selection (model comparison via likelihood ratio tests and via information criteria); validation of model assumptions.

Linear mixed models: some examples of application. The general linear mixed model formulation: description and properties. Structure of the covariance matrices for random effects (G) and random errors (R). Estimation of covariance parameters: the restricted maximum likelihood (REML) method and properties of the REML estimators.

[Slides 116-174] The likelihood ratio and the Wilks test. Using Wilks' Lambda to compare a model with a nested submodel. An example, using an ANCOVA-type GLM: solving Exercises 1 and 10. Subset selection in GLMs. The Gamma distribution: characteristics; the canonical link function; models that use the canonical link with a single predictor; a Michaelis-Menten type relation. Residuals in GLMs: Pearson residuals and deviance residuals: the general definitions; specific formulas for each of 5 distributions of the response variable; the role of the link function. Standardized residuals. Other diagnostics R functions for residuals, The difficulties in a general discussion of the use of residuals and other diagnostics in GLMs. The special case of log-linear models for a 2-way contingency table. A brief discussion of the role of a 2-way ANOVA-type model to study the independence hypothesis. A very brief idea of the role of log-linear models in studying three-way contingency tables [Warning: the material after slide 174 was not covered, and will not be assessed]. 

Feriado - 25 de Abril

[Slides 55-57 +59-64 + 70-100 + 106-115] Estimating the parameters in GLMs: the Fisher scoring algorithm, based on a second-degree Taylor approximation of the log-likelihood function. Probit regression: the concept, a bit of history, properties and fitting in R. The complementary log-log link function and its properties. The asymptotic properties of maximum likelihood estimators and their application for inference regarding the parameters of GLMs: confidence intervals and hypothesis tests regarding individual parameters or linear combinations of the parameters. GLMs for Poisson responses. The log-linear model: definition and properties. Assessing GLMs: the deviance; formulas for specific response variables; the scaled deviance. Akaike's Information Criteria (AIC) in the context of GLMs.

[GLM slides 1-54] Introductory concepts. The three components of a GLM. The exponential family of distributions: definition; special cases (with confirmation that the Normal, Poisson, Bernoulli and 'Binomial/n' belong to the family. Link functions: the canonical link function. An example for a binary response variable: the Hosmer & Lemeshow dataset. A Logistic Regression: a worked example and a few comments. GLMs in R. The estimation of parameters via maximum likelihood: the general expression for the log-likelihood of distributions in the exponential family. Maximizing the log-likelihood when a canonical link function is used.

[Slides 271-304 + 312-338] The F tests in a two-way ANOVA model, without interaction. The summary table. A warning about unbalanced designs. Formulas for balanced designs. An example with R. The significance of the model parameters with the restrictions that were used. The rigidity of the model without interaction effects. A new model for a two-way factorial design: the two.way ANOVA with intercation effects. How to build the test statistics for the 3 F tests: the summary table. Some formulas. Some final comments about ANOVA. ANCOVA models: introductory remarks. The case of a singe numerical predictor, crossed with a single factor: comparing linear regressions in different contexts. The full ANCOVA model. F tests and t-tests to decide about some possible submodels, including a single regression for all factor levels, or parallel regression lines in all factor levels. Two examples with the iris data, using R.  A formula for the overall Coefficient fo Determination of the full ANCOVA model and its interpretation.

[Slides 206-241 + 251-270] ANOVA: introductory concepts, notation and terminology, the model equation for a one-way ANOVA and how to relate it to the general Linear Model equation: the role of the indicator (dummy) variables. The need for restrictions to avoid over-parametrization, and alternative restrictions. The choi of restriction and its consequence for the interpretation of model parameters. The model assumptions regarding the random errors. The F test as a test for the equality of level means. The context-specific formulas for the Factor and Residual Sumas of Squares and Mean Squares. The summary table for a one-way ANOVA. Specificites of model-checking and diagnostics in the context of one-way ANOVAs. A short discussion of some issues of experimental design. Additional factors as a means of controlling the heterogeneity of experimental units. Two-way ANOVAs: the factorial design. A first model for the 2-way ANOVA (without interaction effects).

[Slides 164-205] Models and submodels: algorithms to select submodels (leaps and bounds, stepwise heuristics). Akaike's Information Criteria (AIC). An example in R. Model checking: the dsitribution of residuals under the Linear Model. Three kinds of residuals. Residual plots and how to read them. Outliers. Other diagnostics: leverage and influence (Cook's distance) - definitions, interpretation, diagnostic plots in R. Variance-stabilizing transformations. The adjusted R^2 and how to interpret it. Three final warnings about linear regressions: multicollinearity; linearizing transformations; association, not cause and effect.

Practical: Linear Regression exercise 18 (a-f)

Não houve aulas - férias da Páscoa

Não houve aulas - férias da Páscoa

[Slides 108-163] Inference for the linear model: hypotheses tests for individual parameters beta_j. Confidence intervals and hypothesis tests for any linear combination of the parameters. Special cases, including the expected value of Y, given a set of values of the predictors. Examples with R. Prediction intervals for individual values of Y, given the values of the predictors. Formulas and interpretation in the case of simple linear regression. The F goodness-of-fit test: the hypotheses, the test statistic, the nature of the critical region. Alternative expressions for the test statistic and the hypotheses. The partial F test to compare models and submodels: hypotheses, the test statistic and the critical region. Alternative expressions for the test statistic and the hypotheses.

[Slides 108-132] + Exercises 4, 5a)b)c) and 15. The Linear Model with vector/matrix notation. Tools for random vectors: the expected vector and its properties; the (co-)variance matrix and its properties; the Multinormal distribution and its properties. Consequences of the linear model: the probability distributions of the vector Y of response observations and of the vector of estimators beta_hat. The estimator of sigma^2, the variance of random errors. Confidence intervals for individual beta_j's. The R 'summary' command for fitted linear models.

[Slides 77-86 + 92-107] An example of multiple linear regression (the iris data) and the R commands. Checking the formula for the least-squares coefficients. A few words on models and submodels. Polynomial regressions as special cases of multiple regression. Again the geometric approach: a new right triangle, strating with the centred vector of observations of Y. The geometric interpretation of the coefficient of determination. A few properties of multiple linear regression. The inferential context. The linear model - the equation and the additional assumptions regarding the random errors. First consequences of the linear model: the distribution of the observations Y_i. The vector of estimators beta-hat.

[Slides 41-76 + 87-91] Five nonlinear relations and how they can be studied using linearizing transformations: the exponential, logisitic, power, hyperbolic and Michaelis-Menten relations. In each casem the linearizing transformations and the underlying differentuial equations are discussed. Multiple linear regression: introductory remarks. The general problem and the least-squares criterion. An alternative geometric representation, in the space of variables. A geometric approach to least-squares fitting; the model matrix X and the hat matrix H; the formula for the least-squares vector of fitted coefficients. The formula SQT=SQR+SQRE as an application of the Pythagorean Theorem. An example fitting a multiple regression in R: the iris data.

Aula de resolução de exercícios. Resolução de testes de anos anteriores

[Slides 1-40] Introduction to Module II (Statistical Modelling): programme, bibliography, webpage, course material (in the 'Materiais de Apoio' section on the left column of the webpage). Introductory comments on statistical modelling and linear models. Seven introductory examples. A review of simple linear regression: the Least Squares criterion; the formulas for the regression line coefficients; the three sums of squares and their relation; the coefficient of determination; interpretations; sensitivity to outliers. R comands for linear regression.

Principais métodos de estimação - o método dos momentos e o método da máxima verosimilhança. Propriedades. A utilização do R. Resolução de exercícios.

Revisão de: A construção e a interpretação de intervalos de confiança. Intervalos de confiança para os parâmetros usuais em uma e duas populações.
Testes de hipóteses paramétricos. Ilustração com o R.O  conceito de p-value. Resolução de exercícios.

Continuação do estudo dos principais modelos de probabilidade. Aplicação do Teorema Limite Central: a aproximação da binomial pela normal; a aproximação da Poisson pela normal e a aproximação da binomial pela Poisson (regras empíricas de validade dessas aproximações) . A distribuição gama, a distribuição exponencial e a distribuição beta.

Amostragem e Estimação. A amostragem aleatória de uma população finita no R. Conceitos básicos de estimação:  amostra aleatória, estimador e estimativa. Exemplos.
Propriedades dos estimadores. Ilustração e interpretação com apoio do R. 

Os principais modelos de probabilidade discretos e contínuos (revisão): caracterização e estudo das propriedades. Funções em R para os modelos mais usuais. O modelo uniforme discreto, o modelo de Bernoulli e binomial  (revisão) .Continuação do estudo dos principais modelos: discretos (as distribuições binomial negativa, geométrica e de Poisson). Estudo das propriedades com apoio do R. Breves comentários relativos às distribuições binomial, Poisson e binomial negativa como modelos de distribuição espacial de espécies.   
Modelos contínuos: o modelo normal. Propriedades, cálculo de probabilidade, densidade, quantis e geração de valores aleatórios seguindo uma dada lei, usando funções já definidas no R para os modelos mais usuais.
O Teorema limite central. Interpretação no R. Exercícios

Ainda a leitura e escrita de ficheiros. Manipulação de  data frames. Exercícios

Funções e Programação em R.

Análise exploratória e visualização de dados univariados: tabelas e gráficos; o boxplot e indicadores. Breve referência a indicadores em dados bivariados: covariância e coeficiente de correlação.

Apresentação do Programa. Bibliografia. Avaliação.
Breve introdução ao ambiente R.
Estrutura e manipulação de dados no R. Os objectos do R-- Vector, Matrix, Factor, List, Data Frame

Leitura e escrita de ficheiros.