Conclusão da aula anterior. Breve apontamento sobre métodos hierárquicos divisivos. Métodos não hierarquicos: K-médias móveis (k-means), K-medoides (PAM) e DBSCAN. Estimação do número ótimo de grupos incluindo os indices de Calinski-Harabasz e coeficiente da silhueta. Comparação de classificações: índice de Rand e índice de Rand ajustado. Resolução de alguns exercícios.

Análise classificatória: introdução, motivação e conceitos gerais.  Métricas de (dis)semelhança para dados quantitativos  (distâncias de Minkoswki e distância euclideiana generalizada incluindo a distÂncia de Mahalanobis) e para dados binários (concordância simples e de Jacard). Algorítmo genérico de classificação hierárquica aglomerativa e dendrograma. Matriz de distâncias cofenéticas, diagrama de Sheppard e coeficientes de correlação cofenética de Pearson e Spearman. Métodos hierárquicos monótonos e não monótonos (i.e., com inversões). Método do vizinho mais próximo (single-linkage), do vizinho mais afastado (complete-linkage), das distâncias médias entre grupos (average), do centroide, da mediana e da variância mínima  (Ward). Métodos hierárquicos via a fórmula de Lance-Williams. Aplicação destes conceitos no R.

[Acetatos 77-113] Ainda os biplots: definição e interpretação. A Análise Discriminante Linear (ADL): objectivo e matéria prima. O subespaço das variáveis indicatrizes dos k subgrupos. A formulação do problema e sua solução (enquanto problema generalizado de valores próprios). A interpretação geométrica do problema e das soluções. Critérios alternativos equivalentes e as relações entre eles. A relação entre a ADL e uma ANOVA a um factor. Regras de classificação de novos indivíduos, num eixo, ou em vários eixos, discriminante(s). A ADL no R: o exemplo dos lavagantes.

 

[Acetatos 37-72 e 78-79] Ainda o exemplo da ACP sobre os dados dos lavagantes. Propriedades das componentes principais. Interpretação de CPs. A ACP sobre os dados normalizados: conceito, justificação, propriedades. A ACP na representação alternativa dos dados (em R^n, no espaço das variáveis): interpretação geométrica do critério e das componentes principais, quer sobre os dados originais, quer sobre os dados normalizados. Um outro critério optimizado pelas componentes principais sobre a matriz de correlações. A Decomposição em Valores Singulares: o resultado e a sua relação com a ACP. O Teorema de Eckart-Young e sua interpretação à luz da ACP. A caminho do biplot.

[Acetatos 1-37] Introdução ao módulo: programa e Bibliografia. Revisão de conceitos de teoria de matrizes. O Teorema Espectral para matrizes simétricas. Algumas consequências. A circularidade do traço. A Análise em Componentes Principais: introdução e formulação do problema; o Teorema de Rayleigh-Ritz e as soluções do problema. A ACP no R: o exemplo dos lavagantes. Interpretação da projecção dos dados no primeiro plano principal, e discussão da sua qualidade.

Tolerância de ponto : aula não leccionada.

Estudo de alguns casos particulares de modelos lineares mistos. O modelo misto a 1 factor de efeitos fixos e 1 factor de efeitos aleatórios, com interacção, equilibrado, com matrizes G e R diagonais. Resolução do exercício 4 da colecção de exercícios. Alguns exemplos de modelos de análise de dados provenientes de um delineamento split splot. Resolução resumida do exercício 5. Discussão do modelo linear misto com variáveis preditoras categóricas e numéricas.

Estudo de alguns casos particulares de modelos lineares mistos: modelo aleatório a 1 factor de efeitos aleatórios (continuação); modelo a 2 factores de efeitos aleatórios; modelo misto, 1 factor de efeitos fixos e 1 factor de efeitos aleatórios, sem interacção, equilibrado, com matrizes G e R diagonais. Continuação do exercício 1 e parte do exercício 3 da colecção de exercícios sobre Modelos Lineares Mistos.

Testes de hipóteses aos parâmetros de covariância, caso geral: testes de razão de verosimilhanças. Testes de hipóteses (e intervalos de confiança) a combinações lineares dos efeitos do modelo linear misto. Comparação e selecção de modelos: testes de razão de verosimilhanças, critério de informação de Akaike e critério de informação de Bayes. Validação dos pressupostos do modelo. Estudo do caso particular do modelo aleatório a 1 factor de efeitos aleatórios, equilibrado, com matrizes G e R diagonais. Resolução das alíneas a) b) e c) do exercício 1 da colecção de exercícios sobre Modelos Lineares Mistos.

Modelos lineares mistos: alguns exemplos de aplicação, formulação geral do modelo, propriedades e alguns casos particulares. Estrutura das matrizes de covariâncias dos efeitos aleatórios (G) e dos erros aleatórios (R). Estimação dos parâmetros de covariância. O método de máxima verosimilhança restrita (REML). Propriedades dos estimadores de máxima verosimilhança restrita – caso geral. Os estimadores obtidos pelo procedimento clássico da ANOVA, os estimadores de máxima verosimilhança e de máxima verosimilhança restrita das componentes de variância para alguns casos particulares. As equações do modelo misto. Os melhores estimadores lineares não enviesados (BLUEs) dos efeitos fixos e os melhores preditores lineares não enviesados (BLUPs) dos efeitos aleatórios.

Aula prática suplementar. Resolução de Exercícios de ANOVA (Ex. 2, 3) e de Modelos Lineares Generalizados (Ex. 6).

[Acetatos 113-172] O Teorema de Wilks e os testes a submodelos. Exemplos (Exercícios 1 e 10). Selecção de submodelos. A distribuição Gama: características, função de ligação canónica; desvio e desvio reduzido. Resíduos em MLGs: resíduos de Pearson e resíduos do Desvio; particularizações para alguns MLGs; resíduos estandardizados; algumas considerações sobre estudo de resíduos.MLGs no estudo de tableas de contingência: o caso de tabelas de dupla entrada, com a associação dum modelo de independência a um modelo log-linear de tipo ANOVA a dois factores, sem efeitos de interacção; o estudo do modelo; o modelo saturado correspondente (com efeitos de interacção); a relação com os testes de qui-quadrado usuais de independência.

AVISO: na quarta-feira, dia 26/4 às 11h00 haverá uma aula suplementar prática, para exercícios de An(c)ova e MLGs.

AInda os modelos lineares generalizados. A inferência sobre os beta_j's, ou suas combinações lineares, com base nas propriedades assintóticas dos estimadores de máxima verosimilhança. A matriz de informação de Fisher. Intervalos de confiança ou testes de hipóteses. Exemplos no R. Os modelos log-lineares. Medindo a qualidade do ajustamento: o conceito de desvio (residual) e de desvio reduzido (para Y com distribuição bi-paramétrica); concretização da expressão geral para modelos log-lineares. Exemplos com base em variável resposta Binomial/n: o Exercício 1 (um preditor numérico) e o Exercício 10 (modelo tipo Ancova).

Modelos Lineares Generalizados [Acetatos 1-55 + 57-61 + 68-82] MLGs: conceito; as extensões ao Modelo Linear; as 3 componentes dum MLG. A família exponencial de distribuições: definição (bi-paramétrica); confirmação de que a Normal, a Poisson e a Bernoulli pertencem à família. O conceito de função de ligação canónica. O caso de uma variável resposta dicotómica: o exemplo; a forma de modelar uma variável resposta Bernoulli; a liagção com a distribuição 'Binomial/n'; o ajustamento no R. A estimação dos parâmetros num MLG: o Método da Máxima Verosimilhança e a sua adaptação ao contexto; a necessidade de algoritmos para a resolução numérica do problema; o método iterativo baseado na aproximação de Taylor de segunda ordem da função log-verosimilhança. Regressão Logística, Regressão Probit e Log-log do complementar: características e propriedades das relações resultantes; o exemplo de Hosmer & Lemeshow.

[Acetatos 270-298 + 306-328 + 338-341] Modelos para delineamentos factoriais a dois factores. Ainda o modelo sem efeitos de interacção (advertência sobre modelos não equilibrados; fórmulas para delineamentos equilibrados; tabela-resumo; exemplo). O modelo com efeitos de interacção (conceito de efeitos de interacção; as restrições e consequente interpretação dos parâmetros; os três testes de interesse e respectivas estatísticas de teste; a decomposição de SQT; tabela-resumo e algumas fórmulas). ANCOVA: um exemplo de análise de covariância na comparação de rectas de regressão em três diferentes níveis de um factor: o modelo ANCOVA completo; diferentes submodelos; exemplo; advertência sobre a interpretação do R^2em modelos ANCOVA.

[Acetatos 199-235 + 245-269] ANOVAs: o conceito, notação. Anova a um factor: o modelo; a forma de enquadrar no Modelo Linear (variáveis indicatrizes); a restrição para evitar a sobreparametrização; a interpretação dos parâmetros resultante; o teste F para avaliar da igualdade de médias de nível como o teste de ajustamento global do modelo; as fórmulas para os valores ajustados de Y, os parâmetros estimados, a Soma de Quadrados Residual e a Soma de Quadrados do Factor; a origem do nome Análise de Variância. Algumas considerações osbre delineamentos a dois factores. Delineamentos factoriais. Um modelo (sem efeitos de interacção) para um delineamento factorial a dois factores e os dois testes F correspondentes.

Exercícios de Regressão Linear Múltipla: 16 e)f)g)h)i), 17a)b)c)d)e).

[Acetatos 191-198]

[Acetatos 149-190] O teste F parcial para comparar modelos e submodelos. Critérios de selecção de submodelos: pesquisas completas e heurísticas de escolha (algoritmos de selecção por exclusão sequencial). O Critério de Informação de Akaike. Gráficos de resíduos e outros diagnósticos: a distribuição do vector de resíduos, ao abrigo do Modelo Linear; propriedades dos resíduos; três tipos de resíduos; observações atípicas; efeito alavanca e suas propriedades; observações influentes (distância de Cook). Comandos no R.

[Acetatos 127-148] Testes de hipóteses para parâmetros beta_j individuais. Inferência sobre combinações lineares dos parâmetros: três casos particulares; intervalos de confiança gerais e para o valor esperado de Y, dados os valores dos preditores; testes de hipóteses para combinações lineares dos beta_j; intervalos de predição para um valor individual de Y, dados os valores dos preditores. O teste F de ajustamento global do modelo. Exercício 16 a)c)d) e discussão das alíneas e)f)g) (que ficaram de TPC).

[Acetatos 108-126] Ferramentas para o estudo de vectores aleatórios: o vector esperado e suas propriedades; a matriz de (co-)variâncias e suas propriedades; a distribuição Multinormal e suas propriedades. Aplicação ao Modelo Linear: o modelo escrito em notação vectorial/matricial; consequências do modelo para a distribuição do vector Y das observações da variável resposta; o vector de estimadores beta-chapéu e a sua distribuição; as distribuições dos estimadores individuais beta_j-chapéu. O quadrado Médio Residual como estimador da variância dos erros aleatórios. Intervalos de confiança para os beta_j individuais.

Realização do teste do Módulo 1

[Acetatos 89-107] Regressões lineares múltiplas, em contexto descritivo, no R. Regressões polinomiais. A transição para o contexto inferencial: o problema; a formulação do modelo; a notação vectorial/matricial.  Resolução de exercícios: Ex. 5, 8, 9.

Resolução de exercícios e esclarecimento de dúvidas

[Acetatos 49-88] Mais exemplos de transformações linearizantes: as relações potência, de tipo hiperbólico e Michaelis-Menten. O problema da regressão linear múltipla. Abordagem geométrica para determinar os hiperplanos ajustados: a representação alternativa dos dados no espaço das variáveis, R^n; a matriz do modelo X e o seu espaço das colunas; a minimização da distância em R^n entre vector das observações e o subespaço das colunas de X como conceito equivalente à minimização de SQRE; a projecção ortogonal como solução do problema; a matriz de projecção ortogonal e o vector b dos parâmetros ajustados do modelo; conceitos geométricos associados à relação fundamental SQT = SQR + SQRE e ao Coeficiente de Determinação; propriedades de R^2; propriedades dos hiperplanos ajustados.

[Acetatos 1-48] Apresentação do módulo. Sete exemplos motivadores do Modelo Linear. Ideias prévias sobre modelação. Revisão da regressão linear simples descritiva. Um exemplo no R. O critério de minimizar a soma de quadrados dos resíduos e a sua sensibilidade a observações atípicas. Relações não lineares e transformações linearizantes: o modelo exponencial; o modelo logístico (de 2 parâmetros). Equações diferenciais associadas às relações.

Recordando ainda brevemente o método da máxima verosimilhança e o uso do R.
Introdução à Inferência Estatística paramétrica.  A construção e a interpretação de intervalos de confiança. Intervalos de confiança para os parâmetros usuais em uma e duas populações.
Testes de hipóteses paramétricos. Ilustração com o R.

Testes  de ajustamento: o teste de Shapiro-Wilk. (este tópico não foi leccionado, mas sendo assunto de revisão fica para estudo dos alunos)

Amostragem e Estimação: conceitos básicos - amostra aleatória, estimador e estimativa.
Propriedades dos estimadores. Ilustração e interpretação com apoio do R. Principais métodos de estimação - o método dos momentos e o método da máxima verosimilhança. Propriedades. A utilização do R. Exemplos.

Nota: Esta aula foi  leccionada no dia 6 de Março das 14h30 às 17h, porque neste dia estive numas provas de doutoramento.

 

Continuação do estudo dos principais modelos: discretos (as distribuições binomial negativa, geométrica e de Poisson). Estudo das propriedades com apoio do R. Breves comentários relativos às distribuições binomial, Poisson e binomial negativa como modelos de distribuição espacial de espécies.   
Modelos contínuos: o modelo normal, gama, exponencial e beta. Propriedades, cálculo de probabilidade, densidade, quantis e geração de valores aleatórios seguindo uma dada lei, usando funções já definidas no R para os modelos mais usuais.
O Teorema limite central. Interpretação no R. Suas aplicações.
Exercícios.

Análise exploratória de dados bivariados: referência aos comandos do R para a obtenção de indicadores e gráficos. Indicadores em dados bivariados: covariância e coeficiente de correlação. A equação da recta de regressão dos mínimos quadrados, breve análise.

Os principais modelos de probabilidade discretos e contínuos (revisão): caracterização e estudo das propriedades. Funções em R para os modelos mais usuais. O modelo uniforme discreto, o modelo de Bernoulli e binomial  (revisão).

Apresentação do Programa. Bibliografia. Avaliação.
Breve introdução ao ambiente R.
Estrutura e manipulação de dados no R. Os objectos do R-- Vector, Matrix, Factor, List, Data Frame

Leitura e escrita de ficheiros. Funções e Programação em R.

Análise exploratória e visualização de dados univariados: tabelas e gráficos; o boxplot e indicadores.