Esclarecimento de dúvidas para o Exame das 11h às 14h

Exercícios ACP/ADL: Esclarecimento de dúvidas sobre os exercícios 20, 21 e 29. Resolução dos exercícios 1, 2, 3, 4, 6 e 11.

(Aula Suplementar, leccionada na terça-feira 28.6.16, das 10h às 13h, na sala P14)

[Acetatos 109-136] Análise Discriminante Linear: a formulação do problema e a sua solução. Os eixos discriminantes e as suas propriedades. A qualidade discriminante dos eixos. Formulações alternativas equivalentes. O problema da classificação de novos indivíduos. ADL no R: a função lda. Exemplo: os lavagantes. Exercício 25 (lobos).

(Última aula: leccionada na sexta-feira, 17/6/16, das 10h00 às 12h30, na sala P14).

Resolução de exercícios sobre Modelos Lineares Mistos-Parte II.

(aula leccionada em 18/05/2016, 10.30h-13.00h, sala P23)

[Acetatos 72 a 88] Combinações lineares mais correlacionadas com as variáveis originais e ACP sobre a matriz de correlações: o outro critério e a identificação das soluções respectivas. O problema de valores e vectores próprios generalizados. Matrizes nxp enquanto aplicações de R^p em R^n. Revisão de conceitos associados à característica de matrizes, espaço das colunas e núcleo duma matriz. Decomposições espectrais de matrizes da forma X^tX e XX^t. A Decomposição em Valores Singulares (DVS) duma matriz genérica.

(Aula leccionada na 2a.-feira 6/6/16, das 10h00 às 12h45 na sala P14)

[Acetatos 43 a 72] A ACP no R: o exemplo dos lavagantes. Propriedades de Componentes Principais. A ACP sobre a matriz de correlações e suas propriedades. Interpretação geométrica da ACP no espaço das variáveis (R^n). A matriz centrada dos dados. Advertências sobre ACP. Outro critério de procura de combinações lineares.

(Aula leccionada na 4a.-feira 1/6/16, das 10h30 às 13h00 na P12)

[Acetatos 4 a 42]  Conceitos introdutórios sobre dados multivariados. Conceitos introdutórios sobre matrizes e espaços de matrizes. Revisão de conceitos introdutórios de álgebra linear. Produtos internos, normas, ortogonalidade e ângulos. Valores e vectors próprios de matrizes. Decomposição Espectral de matrizes simétricas. Teorema de Rayleigh-Ritz. Análise em Componentes Principais (ACP): uma introdução estatística.

(Aula leccionada na 2a.-feira 30/5/16, das 10h00 às 12h45 na P14).

Métodos não hierárquicos K-medoids (PAM) e DBSCAN. Comparação de classificações (índice de Rand e índice de Rand ajustado). Resolução de exercícios (10h30-13h sala P23)

Análise classificatória: introdução, motivação e conceitos gerais.  Métricas de (dis)semelhança. Métodos hierárquicos aglomerativos de classificação (single-linkage, complete linkage, average, centroid, median e Ward). Métodos não hierarquicos: K-means. Estimação do número de grupos: indices de Calinski-Harabasz e silhouette (10h-12h30 sala P14)

Resolução dos exercícios 2 e 3 da colecção de exercícios sobre Modelos Lineares Mistos-Parte I.
(aula leccionada em 16/05/2016, 10.00h-13.00h, sala P14)

Resolução do exercício 1 da colecção de exercícios sobre Modelos Lineares Mistos-Parte I.
(aula leccionada em 13/05/2016, 10.00h-13.00h, sala P14)

Resolução de exercícios. Esclarecimento de dúvidas

As equações do modelo misto. Os melhores estimadores lineares não enviesados (BLUEs) dos efeitos fixos e os melhores preditores lineares não enviesados (BLUPs) dos efeitos aleatórios. Os resíduos do modelo.
Testes de hipóteses às componentes de variância: testes baseados na análise de variância para alguns casos particulares (modelos equilibrados, com matrizes G e R diagonais): (1) modelo aleatório a 1 factor de efeitos aleatórios; (2) modelo misto, 1 factor de efeitos fixos e 1 factor de efeitos aleatórios, sem interacção; 3) modelo misto, 1 factor de efeitos fixos e 1 factor de efeitos aleatórios, com interacção.
Testes de hipóteses aos parâmetros de covariância, caso geral: testes de razão de verosimilhanças.
Testes de hipóteses (e intervalos de confiança) a combinações lineares dos efeitos do modelo linear misto. Comparação e selecção de modelos: testes de razão de verosimilhanças, critério de informação de Akaike e critério de informação de Bayes. Validação dos pressupostos do modelo.

(aula leccionada no dia 11/05/2016, 10h-13.30h, sala P23)

Modelo linear misto: estimação dos parâmetros de covariância. O método de máxima verosimilhança restrita (REML). Propriedades dos estimadores de máxima verosimilhança restrita – caso geral.
Os estimadores obtidos pelo procedimento clássico da ANOVA, os estimadores de máxima verosimilhança e de máxima verosimilhança restrita das componentes de variância para alguns casos particulares (modelos equilibrados, com matrizes G e R diagonais): (1) modelo aleatório a 1 factor de efeitos aleatórios; (2) modelo misto, 1 factor de efeitos fixos e 1 factor de efeitos aleatórios, sem interacção; 3) modelo misto, 1 factor de efeitos fixos e 1 factor de efeitos aleatórios, com interacção.

(aula leccionada em 09/05/2016, 8.30h-11.00h, sala P14)

Modelos lineares mistos: alguns exemplos de aplicação, formulação geral do modelo, propriedades e alguns casos particulares. Estrutura das matrizes de covariâncias dos efeitos aleatórios (G) e dos erros aleatórios (R). Principais pacotes no R (nlme, lmer e varComp) e alguns exemplos.

(aula leccionada em 02/05/2016, 10h-12.30h, sala P14)

[Acetatos 119-172] Resolução de Exercícios 2 e 12. Modelos com variável resposta Gama: os parâmetros da Gama; a Gama como opção quando a variância é proporcional ao quadrado da média; a expressão do desvio da Gama. Resíduos de Pearson e resíduos do desvio. Resíduos estandardizados e studentizados. As expressões para algumas distribuições da família exponencial (e para algumas funções de ligação). A estimação do parâmetro de dispersão. Introdução ao uso de resíduos no estudo da validade dos pressupostos do modelo. Medidas de influência: distância de Cook generalizada. Modelos log-lineares para tabelas de contingência a dois factores. Material Complementar: uma breve nota sobre o uso de modelos log-lineares em tabelas de contingência a três factores.

(Aula leccionada no dia 27.4.16, das 10h30 às 13h20)

Correcção do teste do módulo I

Revisões  de exercícios sobre os testes do qui-quadrado

[Acetatos MLG 93-100 + 103-118] Modelos com variável resposta Poisson. Modelos log-lineares. O teste de razão de verosimilhanças e o Lambda de Wilks. Teste de Wilks para comparar modelos e submodelos. O teste ao ajustamento dum MLG. Exercícios MLG: ex. 6, 7a). TPC: acabar Ex.7.

(Aula leccionada na quarta-feira 20.4.16, das 10h30 às 13h00)

[Acetatos MLG 20-61 + 68-92] Funções de ligação em MLGs. Funções de ligação canónicas. Alguns exemplos de MLGs para variáveis resposta dicotómicas: regressão logística, modelo probit, modelo log-log do complementar. A estimação de parâmetros em MLGs: o método da máxima verosimilhança. Derivação das equações normais no caso da regressão logística. Algumas palavras sobre algoritmos de estimação dos parâmetros: IRLS e Fisher Scoring method. A inferência em MLGs baseada nas propriedades de estimadores de máxima verosimilhança: intervalos de confiança e testes de hipóteses para qualquer combinação linear dos parâmetros beta_j. O ajustamento de MLGs no R.

(Aula leccionada na 2ª-feira, 18/4/16)

[Avetatos MM 338-354 + Acetatos MLG 1-19] Ainda a ANCOVA: generalizações. A interpretação de R^2 numa ANCOVA com 1 factor. Exemplo. Exercíciso ANOVA: Ex.6. Exercícios ANCOVA, Ex. 2a)-f). Modelos lineares generalizados: conceitos introdutórios; as três componentes dum MLG. A família exponencial de distribuições: definição; verificação de que as distribuições Normal, Poisson, Bernoulli pertencem à família; listagem de outras distribuições na família exponencial.

(Aula leccionada na 4ª-feira, dia 13/4/16)

[Acetatos 236-248 + 258-311 + 319-337] Ainda a Anova a um factor: fórmulas para as Somas de Quadrados e Quadrados Médios. ANOVAs a um factor no R. Algumas especificidades no estudo de resíduos. Considerações sobre delineamentos experimentais. Eventual papel de factores como forma de controlo da variabilidade (blocos). Delineamentos factoriais a dois factores: modelo sem, e com, efeitos de interacção: os novos efeitos e as hipóteses de teste correspondentes; a necessidade de novas restrições, a decomposição da Soma de Quadrados Total em novas associadas aos efeitos; graus de liberdade, Quadrados Médios e estatísticas de teste. Algumas fórmulas. Comentários finais sobre ANOVA. A ANCOVA: o contexto da comparação de rectas de regressão em diferentes níveis de um factor.

(Aula leccionada na 2ª-feira, dia 11/4/16, das 10h00 às 13h00)

[Acetatos 179-235] Algoritmos de pesquisa de submodelos baseados no Critério de Informação de Akaike (AIC). A função step no R. A análise de resíduos: distribuições de resíduos sob o modelo linear; resíduos usuais, resíduos (internamente) estandardizados e resíduos Studentizados; gráficos de resíduos. Observações atípicas. Outros diagnósticos: efeitos alavanca (leverage) e influência (distâncias de Cook). O R^2 modificado. Advertências finais. Análise de Variância (ANOVA): quando os preditores são factores. Motivação, conceitos introdutórios e notação. O modelo ANOVA a um factor: formulação; a necessidade de restrições nos parâmetros e a opção escolhida. A ligação com o modelo linear: o papel das variáveis indicatrizes. O teste F à existência de efeitos do factor como teste de ajustamento global dum modelo linear.

(Aula leccionada na sexta-feira, 8/4/16, das 11h00 às 13h30)

[Acetatos 168-178] Exercícios 16 c)e) (como teste de hipóteses) f)g). Ex.17 a)c)d)e).

(Aula leccionada na 4ª-feira, dia 6/4/16)

[Acetatos 133-167] e Exercícios 14 e 16a)b)d)e) (com intervalos de confiança). A distribuição do vector beta-chapéu de estimadores dos parâmetros no modelo linear. A estimação da variância (comum) dos erros aleatórios, pelo Quadrado Médio Residual (QMRE). Intervalos de confiança e testes de hipóteses para os parametros individuais, beta_j, e para combinações lineares desses parâmetros. Intervalos de confiança para valores esperados de Y e intervalos de predição para valores individuais de Y. O teste F de ajustamento global do modelo linear. O teste F parcial para comparação dum modelo linear com um seu submodelo.

(Aula leccionada na 6ª-feira, dia 1/4/16)

Aula de resolução de exercícios

[Acetatos 79-132] Uma derivação geométrica da fórmula do vector de parâmetros ajustados: a representação alternativa no espaço n-dimensional das variáveis; conceitos geométricos e conceitos estatísticos; subespaço das colunas da matriz do modelo e respectiva matriz de projecções ortogonais; a equação SQT=SQR+SQRE como aplicação do Teorema de Pitágoras; o coeficiente de determinação como cosseno ao quadrado dum ângulo na projecção. Propriedades do coeficiente de determinação e propriedades de modelos lineares (afins) com constante aditiva. A regressão polinomial. Regressões lineares múltiplas no R. O problema da inferência no contexto da regressão linear. Pressupostos adicionais: o Modelo Linear. Vectores aleatórios, vectores esperados e matrizes de variâncias-covariâncias: as suas propriedades operatórias. A distribuição Multinormal e suas propriedades. O modelo linear em versão vectorial. A distribuição de probabilidades do vector de observações Y, sob o modelo linear.

(Aula leccionada na 4ª-feira, dia 30/3/16, das 10h30 às 13h00)

[Acetatos 51-78] Relações não lineares e transformações linearizantes; as relações exponencial, logística (2 parâmetros), potência, hiperbólica e Michaelis-Menten; como surgem e como se linearizam. Motivação da relação linear numa regressão linear múltipla. Os parâmetros ajustados numa regressão linear - a abordagem analítica/algébrica: a Soma de Quadrados Residual como função dos p+1 parâmetros b_j. A minimização de funções de várias variáveis: o gradiente e a condição necessária para a existência de extremos. A derivação da fórmula dos parâmetros ajustados.  TPC: Fazer os Exercícios da parte descritiva, disponíveis na página web da disciplina, aqui.

(Aula leccionada na 4ª-feira 23/3/16, das 10h30 às 13h00)

[Acetatos 1-50] Introdução e conceitos elementares sobre modelação e modelação estatística. Sete exemplos motivadores. Revisão de conceitos no âmbito da regressão linear simples descritiva: as três somas de quadrados, fórmulas de parâmetros ajustados,, coeficiente de determinação. A sensibilidade da regressão linear clássica à presença de observações atípicas. Alternativas robustas: as regressões LTS e LMS. Exemplo utilizando o software R e discussão.

(Aula leccionada na 4ª-feira, dia 16/3/16, das 10h00-12h30)

Intervalos de confiança para os parâmetros usuais em uma e duas populações.
Intervalos de confiança assintóticos.
Testes de hipóteses paramétricos.
O teorema de Neyman-Pearson. Testes  de ajustamento: o teste de Shapiro-Wilk.

Referência a testes do qui-quadrado.

Ainda o método dos momentos e da método da máxima verosimilhança. Propriedades. A utilização do R.
Exercícios

Introdução à Inferência Estatística paramétrica.  A construção e a interpretação de intervalos de confiança.

Amostragem e Estimação: conceitos básicos - amostra aleatória, estimador e estimativa.
Propriedades dos estimadores.

Principais métodos de estimação - o método dos
momentos e o método da máxima verosimilhança. Propriedades. A utilização do R.

Os principais modelos de probabilidade discretos e contínuos (revisão):
caracterização e estudo das propriedades.
Funções em R para os modelos mais usuais.
O Teorema limite central. Suas aplicações.
Exercícios

Apresentação do Programa. Bibliografia.
Breve introdução ao ambiente R.
Estrutura e manipulação de dados no R: análise exploratória
e visualização de dados univariados: tabelas e gráficos; cálculo de indicadores.

Análise exploratória de dados bivariados: breve referência aos comandos do R na obtenção de indicadores, gráficos e da equação da recta de regressão.