3.1. Objetivos do Survey e caracterização do público-alvo

O objetivo foi verificar as principais soluções para melhor adoção dos papéis ágeis no contexto DDS em larga escala, através da experiência e percepção dos pesquisados sobre a implementação dos papéis ágeis escalados em diferentes projetos. Para executar o Survey, definiu-se o público-alvo como membros participantes de projetos ágeis de desenvolvimento distribuído e/ou larga escala. As seções seguintes descrevem detalhadamente a realização do projeto, incluindo informações sobre a amostragem, o convite, o acompanhamento e a análise do Survey.

3.2. Planejamento e elaboração do questionário.

O questionário foi elaborado com o intuito de obter informações sobre o contexto geral, incluindo dados demográficos dos participantes e informações sobre o contexto organizacional dos projetos. Optou-se por utilizar questões fechadas para obter resultados quantitativos e questões abertas para possibilitar uma compreensão mais profunda do fenômeno, incluindo relações causais entre construções teóricas e explicações teóricas (^{Wagner et al., 2020}).

O questionário é composto por 40 perguntas, com as questões fechadas distribuídas da seguinte maneira: 14 perguntas de seleção única, 2 perguntas de múltipla escolha e 19 perguntas que utilizam a escala Likert de 5 pontos (^{Bermudes et al. 2016}) e 5 questões abertas. As questões foram divididas em:

3.3. Planejamento e caracterização da amostragem

Com base nas informações demográficas, é possível planejar uma pesquisa para coletar dados comparáveis e representativos da população em geral, permitindo-nos avaliar sua representatividade (^{Wagner et al., 2020}). Contudo, é importante destacar a ausência de dados oficiais adequados sobre o número de empresas de desenvolvimento de software no Brasil e seus desenvolvedores, o que pode dificultar a obtenção de uma pesquisa verdadeiramente representativa do setor no país. Portanto, antes de iniciar a pesquisa, é essencial realizar um levantamento abrangente e preciso sobre o tema, garantindo assim a qualidade e confiabilidade dos resultados obtidos.

Com base nesse cenário, optamos por utilizar uma amostra por conveniência e aplicamos o Survey de forma descritiva, utilizando um corte transversal. Nosso foco de análise foi verificar a percepção das características, ações, opiniões ou fatos relacionados à realidade da população de participantes de projetos ágeis distribuídos ou em larga escala. O objetivo principal deste estudo era identificar traços e atributos específicos dessa população

3.4. Condução do teste piloto do questionário.

Realizamos um teste piloto com membros que participaram ou ainda participam de projetos de desenvolvimento distribuído ou ágil em larga escala. O grupo de teste foi composto por um Product Design, um Engenheiro de Software e um Desenvolvedor Backend. Em média, o tempo de resposta para o questionário foi de 6 minutos e 22 segundos. Identificamos que algumas perguntas abertas não foram respondidas adequadamente, ou seja, ficaram sem resposta ou com respostas inconsistentes. Para mitigar essas ocorrências, adotamos as seguintes medidas:

1-Reordenamos algumas questões, mesclando perguntas fechadas e abertas. Com isso, buscamos manter o respondente engajado durante todo o questionário, evitando uma sequência de respostas abertas que poderiam se tornar cansativas. 2 -Refatoramos as perguntas, tornando mais clara a solicitação feita ao respondente e oferecendo exemplos de adaptações em papéis ágeis em projetos de larga escala e/ou distribuídos, sempre que necessário.

Dessa forma, compartilhamos as mudanças realizadas com os pesquisadores do grupo de pesquisa "Fostering Research on Management and InnoVation" (FREVO), que avaliaram as alterações e sugeriram melhorias adicionais. Incorporamos as sugestões recebidas e, em seguida, desenvolvemos a versão final do questionário.

3.5. Distribuição do questionário e coleta.

Nesta etapa, enviamos o questionário para grupos de usuários com o perfil desejado, utilizando uma variedade de meios digitais, como e-mail, LinkedIn, WhatsApp, entre outros, para enviar convites de participação na pesquisa. Ao clicar no link, o participante foi redirecionado para a página do Survey, criada com a ferramenta de formulários online jotform (jotform.com).

Antes de contatar os potenciais participantes, é crucial considerar a ética envolvida (^{Wagner et al., 2020}). Nesse sentido, tivemos o cuidado de enviar convites apenas para pessoas que se enquadram no perfil do público-alvo da amostragem, deixando claro os objetivos e o contexto da pesquisa.

Primando pelos princípios éticos, garantimos e informamos, por meio do termo de livre consentimento. Todas as respostas coletadas foram utilizadas exclusivamente para trabalhos acadêmicos, e as informações foram preservadas de forma confidencial, sem divulgação.

Obtivemos um total de 916 visualizações, das quais 113 foram respondidas inicialmente, representando 12% do total. Em média, o tempo para completar o questionário foi de 9 minutos e 29 segundos. Após a análise, foram consideradas 106 respostas válidas.

3.6. Análise estatística dos papéis ágeis escalonados.

Também foram comparadas as percepções da pesquisa sobre os papéis encontrados na literatura em relação aos principais papéis ágeis adotados em grande escala e distribuídos, bem como, uma análise estatística de comparação não paramétrica de Kruskal-Wallis.

Um método de comparação não paramétrico é uma alternativa a análise de variância (ANOVA), que como a maioria dos testes paramétricos, baseia-se na substituição de valores por suas classificações no conjunto de todos os valores. O teste de Kruskal-Wallis foi criado pelos americanos William Kruskal (1919 - 2005) e W. Allen Wallis (1912 - 1998), sendo o primeiro matemático e estatístico, e o segundo, economista e estatístico.

Esse teste é usado quando os dados comparados não passam em alguns requisitos do teste paramétrico como pressupostos básicos de aplicação, tais como: normalidade e homoscedasticidade (Sousa et al. 2012). A análise de variância de um fator de Kruskal-Wallis, a priori, deve ser usada quando existir ao menos uma variável ordinal. Sendo suas hipóteses: H0(hipótese nula): Não há diferença entre o conjunto dos valores das medianas; H1 (hipótese alternativa): Há diferenças entre o conjunto dos valores das medianas;

Em resumo, a análise pelo teste de de Kruskal-Wallis requer, primeiramente, que existam amostras independentes de distribuição de populações diferentes em que exista pelo menos uma variável ordinal. Com isso validado, realiza-se um teste para verificar se as diferenças entre as populações entre amostras aleatórias de um mesmo conjunto existindo variação, ou seja, se existem significativas diferenças entre as populações.

3.7. Análise dos dados.

Após a coleta dos dados, estes foram discutidos e classificados com base nos papéis ágeis relevantes e nas soluções comuns adotadas em diferentes escalas organizacionais. A análise das respostas do questionário proporcionou uma compreensão da percepção dos participantes em relação à adoção de papéis ágeis em ambientes distribuídos e de larga escala, considerando o contexto de trabalho.

Em seguida, comparamos as percepções obtidas na pesquisa de levantamento (Survey) em relação aos papéis ágeis predominantes em projetos de grande escala e distribuídos, utilizando como base os estudos de Miranda et al. (2023). Esses estudos apresentam 17 papéis ágeis adaptados de maneira distribuída e em larga escala, qualitativamente avaliados mediante a revisão da literatura. Também investigamos se existem diferenças estatísticas na percepção dos participantes, considerando o nível de escala do projeto. Por fim, foi estudado a experiência na adaptação dos papéis ágeis em projetos de larga escala e distribuídos, focando nos aspectos de classificação.

Ao classificar os papéis ágeis escalonados, levamos em conta o estudo de ^{Niederman, Lechler e Petit (2018}), que explora a adoção ágil em tarefas adicionais. Essa pesquisa analisa recentes trabalhos sobre a expansão do conhecimento em práticas ágeis e sua aplicação em outras tarefas e domínios, apresentando uma estrutura teórica. Adicionalmente, ^{Campanelli e Parreiras (2015}a) avaliam a customização de métodos ágeis por meio de uma revisão sistemática, destacando abordagens adotadas e critérios para a seleção de práticas, descrevendo formas variadas de adaptação. Já ^{Tripp e Armstrong (2018}) realçam práticas comuns de desenvolvimento ágil em uma tipologia baseada no gerenciamento de projetos ou na abordagem de desenvolvimento de software, investigando também como as motivações organizacionais impactam as práticas escolhidas.

4.1. Contexto Geral.

Ao todo foram obtidas 106 respostas em que foram analisados e extraídos os dados. Em que na primeira parte do questionário teve como objetivo coletar dados demográficos dos participantes da pesquisa. Assim os participantes foram perguntados sobre sua faixa etária, em sua grande maioria, as idades variam entre 21 e 35 anos, sendo 32% na faixa de 25 a 29 anos, 21,8% entre 30 e 35 anos e 11,9%para 21 a 24 anos. Os demais participantes tiveram suas respostas distribuídas entre as demais opções de faixa etária presentes no questionário.

Além disso, os participantes também foram questionados sobre seu nível de formação acadêmica. Os resultados mostram que mais de 90% dos participantes possuem formação superior, com 61% graduados, 19% com mestrado e 7% com doutorado. Apenas 10% dos participantes não possuem formação superior. Em relação à experiência em projetos ágeis, as respostas obtidas foram as seguintes: 11% dos participantes têm menos de 1 ano de experiência, 22% têm entre 1 e 2 anos e 34% têm de 3 a 5 anos. Assim, quase 70% dos participantes possuem até 5 anos de experiência com projetos ágeis.

Ainda, os participantes foram questionados sobre o número de projetos ágeis em que já participaram ou participam. A maioria dos participantes da pesquisa esteve envolvida em pelo menos 3 projetos, enquanto 31,7% deles participaram de mais de 10 projetos. Somente 9,6%relataram ter participado em apenas 1 projeto.

Outro questionamento feito aos participantes foi sobre o papel principal desempenhado por eles nos projetos de desenvolvimento de software em que estiveram envolvidos. Os papéis relacionados à metodologia Scrum (Scrum Master, Product Owner e equipe de Desenvolvimento) foram os mais citados pelos participantes. Dentre esses, o papel de desenvolvedor foi o mais mencionado, representando 45,1% das respostas, seguido pelo Scrum Master/Agile Coach 14,7% e, em terceiro lugar, pelo Product Manager/Owner 13,7%.

4.2. Contexto Organizacional

Nesta etapa, buscamos identificar o contexto organizacional dos projetos dos participantes da pesquisa. A maioria trabalhava em organizações com fins lucrativos (82%), seguidas por sem fins lucrativos (8,9%), projetos governamentais (5,0%) e acadêmicos (4,0%). Quase 80% dos participantes trabalhavam em organizações de grande porte.

Quanto à principal área de negócios das organizações, quase metade atuava em desenvolvimento de software personalizado (49%), e 13% destacaram-se em consultoria, treinamento e serviços de TI. Outras áreas tiveram menor ocorrência.

Em relação ao número de pessoas envolvidas nos projetos, houve uma distribuição homogênea, com destaque para a faixa de 10 a 50 pessoas envolvidas (36%). Cerca de 40% relataram ter mais de 50 pessoas participando dos projetos diretamente.

Sobre o número de equipes envolvidas nas organizações, 45% estavam em equipes large-scale, 36% em equipes very-large-scale e 21% em equipes small-scale. Já a participação de mais de duas organizações foi observada em mais da metade das ocorrências (42%), enquanto 25% envolviam até duas organizações e 42% indicaram mais de dez organizações/empresas.

A maioria das respostas indicou dispersão geográfica no nível nacional (48%), seguido pelo nível global (26%). Houve também respostas para dispersão local no mesmo estado (17%), dispersão local (7%) e dispersão regional (7%).

Em relação aos Frameworks/Métodos ágeis utilizados nos projetos, destacaram-se o Scrum e o Kanban, presentes em 90 e 63 respostas, respectivamente. Adapted Scrum obteve 26 respostas e XP, 19. Outros frameworks também foram mencionados, como Scrumban (19), SAFe (11), Lean (17), Spotify (12), FDD (8), Nexus (3), RUP (práticas ágeis incorporadas) (3) e Less (3), usado para escalar ágil em ambientes de larga escala.

4.3. Percepção de melhoria com as adaptações dos papéis ágeis

Nesta seção, serão apresentados os resultados da pesquisa sobre a adaptação de papéis ágeis de forma escalonada em projetos distribuídos pelos profissionais participantes, bem como a percepção desses respondentes em relação à efetividade desses papéis para ajudar suas equipes a atingirem as metas do projeto/produto.

Sendo essa adaptação a incorporação de práticas específicas que atendam aos desafios impostos pela dispersão geográfica das equipes, por exemplo, para promover a comunicação clara e eficaz entre as equipes distribuídas ou ainda garantir a colaboração entre os membros distribuídos, incentivando a participação e o compartilhamento de conhecimento sendo importante também que tome decisões adequadas e se mantenha atualizado sobre o progresso geral do projeto. entre outras requer uma revisão das atribuições tradicionais, bem como a adoção de práticas e abordagens específicas para enfrentar os desafios da dispersão geográfica.

Tabela 1 Percepção de melhoria com as adaptações dos papéis ágeis 

Quando questionados até que ponto as adaptações dos papéis ágeis ajudaram a equipe a atingir as metas do projeto/produto, observamos uma percepção de melhora geral, 49.1%participantes responderam que compreenderam que houve uma maior frequência de entregas rápidas aos clientes; 48.1%perceberam a melhor adaptabilidade e flexibilidade ao reagir a mudanças; 46%. maior produtividade; 44.3%. melhor planejamento e estimativa; e ainda 40%apontaram melhor transferência de conhecimento e aprendizado.

4.4. Avaliação dos papéis encontrado na literatura

Nesta etapa, comparamos as percepções da pesquisa Survey com em relação aos principais papéis ágeis adotados em projetos de grande escala e distribuídos a partir dos estudos de (MIRANDA at all, 2023) onde é apresentado 17 papeis ágeis adotados nesse contexto de acordo com nível de escala dos projetos.

Com o objetivo de alcançar o resultado esperado, foram apresentadas aos participantes sentenças que enfatizavam a importância de papéis ágeis encontrados na literatura. Cada sentença consistia não apenas no título do papel, mas também em sua descrição típica. Os participantes foram solicitados a avaliar cada papel de acordo com a realidade de sua equipe de trabalho, usando uma escala Likert (^{BERMUDES et al., 2016}) tradicional que varia de 1 a 5. Essa escala reflete o intervalo entre as respostas "Discordo totalmente" e "Concordo totalmente".

Ao serem questionados sobre o papel da equipe Agile/Development, 92% dos participantes concordaram que uma equipe ágil é composta por profissionais multifuncionais que trabalham em conjunto para construir, testar e entregar um incremento de valor, sendo que 60% concordaram completamente. Cerca de 54% dos participantes concordam plenamente que Scrum Master/Agile Coach/Team Leader são líderes, conforme encontrado na literatura, enquanto 37% concordam parcialmente.

Além disso, o papel do Product Owner obteve 87% de respostas positivas, sendo que 54% dos participantes concordaram plenamente. Esses resultados sugerem uma consolidação dos papéis do Scrum, possivelmente devido ao fato de ser a principal metodologia adotada nos projetos. Ainda no contexto das equipes ágeis, no que se refere aos especialistas técnicos que oferecem suporte nas decisões de arquitetura para a equipe - o que chamamos de Arquiteture Time -, 76% dos entrevistados concordaram com essa definição. Em relação às características típicas do papel do Tech Lead, 84% dos entrevistados concordaram, sendo que 37% concordaram parcialmente.

No que diz respeito ao Agile Project Manager, houve uma leve queda na concordância em relação às suas funções típicas, obtendo 67%de respostas positivas totalmente favoráveis. Já no caso da função de Program Manager, que por sua natureza ocorre em vários projetos, apenas 24% concordaram totalmente com a sua descrição. Parcialmente, 36% concordaram, enquanto 24% aceitaram de forma neutra.

Um aspecto interessante dos resultados diz respeito às funções relacionadas ao PO: para o Chief Product Owner, 65% dos entrevistados concordam com as atribuições típicas; já para o papel de Multiple PO, 49%concordam, sendo que apenas 23%concordam totalmente. No caso do Area Product Owner, apenas 13% concordaram plenamente com o conceito de limitação apresentado para esse papel na literatura. Além disso, 13% concordam que o papel do Proxy Product Owner é atuar como intermediário entre os cargos decisórios do produto.

Dos participantes da pesquisa, 64% apontaram o System Architect como o responsável por definir e comunicar uma visão técnica e arquitetônica para um conjunto de equipes. Quando questionados sobre as atribuições do Solution Architect, que define e comunica essa visão, mas para vários programas, apenas 48% concordaram com o perfil extraído da literatura. Os resultados indicam que 49% dos respondentes concordam com o papel do Business Owner, tal qual as responsabilidades descritas na literatura. É interessante observar que 29% reagiram de forma neutra a essa descrição.

Quando questionados sobre o Cultural Ambassador, que interpreta a comunicação e as ações da equipe remota, 47% dos entrevistados responderam com neutralidade, e apenas 11% concordaram totalmente. Outro papel que foi aceito de forma neutra é o Release Train Engineer, com 42% das respostas, e apenas 14% dos participantes da pesquisa apontaram concordância total.

Há uma tendência de maior aceitação pelos participantes dos papéis vinculados ao Scrum, com ênfase nas derivações do papel do PO. À medida que a organização cresce, as responsabilidades são divididas em múltiplos POs e APO, além de responsabilidades que, em muitos casos, recaem sobre o PO como papel de Cultural Ambassador - isso pode refletir a tendência de neutralidade maior sobre esses papéis. Além disso, a maioria dos papéis vindos da literatura dos resultados da RSL apresentam pouca ou nenhuma rejeição sobre as características levantadas, mostrando, assim, um alinhamento de confirmação dos dados.

4.5. Análise de Kruskal-Wallis dos papéis ágeis em larga escala e distribuído, de acordo com a escala do projeto.

Nesta seção, será realizada a análise das respostas dos participantes da pesquisa sobre os principais papéis ágeis encontrados na literatura, utilizando o teste de Kruskal-Wallis. O teste de Kruskal-Wallis foi escolhido para a análise devido às características dos dados, que apresentam variáveis do tipo ordinal. As respostas foram dadas de acordo com a escala Likert, de 1 a 5, e a variável de agrupamento em small-scale, large-scale e very large scale, também caracterizadas como dados ordinais. Dessa forma, os testes de normalidade, homocedasticidade e análise de variância (ANOVA) são dispensáveis, e o mais indicado é um teste não paramétrico, como o Kruskal-Wallis. Para testar se as diferenças entre as populações são significativas, foram definidas as seguintes hipóteses:

Para facilitar os cálculos, utilizamos o software de código aberto Jamovi (https://www.jamovi.org), que é baseado na plataforma R (https://www.r-project.org), um ambiente de software livre para computação estatística e gráficos. Deste modo, as variáveis de agrupamento referem-se ao número de pessoas envolvidas no projeto, sendo classificadas em Small Scale (apenas 1 time ágil), Large Scale (de 2 a 9 times ágeis) e Very Large Scale (10 ou mais times ágeis). A variável independente, por sua vez, consiste nas respostas dos participantes da pesquisa sobre os papéis ágeis identificados, as quais foram obtidas por meio de uma escala Likert, na qual foram classificadas de acordo com a importância em seus projetos. As opções de resposta variaram de 1, Discordo Totalmente; 2, Discordo Parcialmente; 3, neutro; 4, Concordo Parcialmente; a 5, Concordo Totalmente.

Na Figura 1, pode-se observar que, para a maioria dos papéis, a hipótese nula é aceita, indicando que não há diferença significativa entre as escalas. Ou seja, não existe uma diferença estatisticamente significativa entre as variáveis de agrupamento. Isso é evidenciado pelo valor de Q quadrado com grau de liberdade de dois, p-valor maior que 0,05 e nível de significância de 95%, ou seja, X^2 (2), p > 0,05 e um erro de 5%. Conclui-se, portanto, que todos os grupos concordam com os resultados apresentados vindos da literatura , com exceção do papel do Proxy Product Owner (PPO).

Figura 1 Resultado do teste de Kruskal-Wallis 

Para o papel do PPO, a hipótese nula não foi aceita, indicando que há uma diferença estatisticamente significativa entre as escalas de projetos. O valor de Q quadrado com dois graus de liberdade e p-valor menor que 0,05, com um nível de significância de 95%, indica que {X^2} (2); p < 0,05; 5% de erro.

Figura 2 Comparação da amostra em par para o papel do PO 

No caso do papel do PPO, a hipótese nula é rejeitada, o que significa que há uma diferença estatisticamente significativa entre as medianas das escalas de projeto. Para verificar essa diferença, são realizados testes em pares. Os resultados desses testes indicam que há uma diferença significativa na concordância sobre o papel do PPO entre os grupos Large-scale e Very Large-scale. A Figura 3 ilustra como a percepção dos participantes em relação ao papel do PPO descrito na literatura varia à medida que o tamanho do projeto aumenta.

O papel do PPO apresentou resultados encontrado em projetos Very-large scale como um papel acessório ao PO. Entretanto, esses resultados também mostram que o PO Proxy geralmente executa atividades que normalmente seriam feitas por um Product Owner, mas sem uma visão de produto. Dessa forma, a percepção da importância desse papel pelos participantes da pesquisa que atuam em equipes que efetivamente utilizam o papel apresentou diferenças significativas. Isso pode ser devido ao fato de que alguns dos papéis do PPO tiveram suas responsabilidades assimiladas pelo papel do PO.

4.5 Experiência na adaptação dos papéis ágeis em projetos de larga escala e distribuídos: aspectos de classificação.

Nesta seção, iremos apresentar os papéis ágeis que foram citados pelos participantes da pesquisa. Além disso, faremos uma classificação da adoção desses papéis de acordo com a adaptação do método e o contexto dos projetos dos participantes.

4.5.1 Classificação quanto aos critérios de adaptação do método de desenvolvimento.

Inicialmente, realizamos a classificação dos papéis encontrados nos resultados do survey com base nos critérios de adaptação do método de desenvolvimento, essa classificação foi dividida da seguinte maneira: equipe que representa aspectos relacionados à equipe de desenvolvimento; ambiente interno, que reflete os aspectos

Tabela 2 Critérios de adaptação do método de desenvolvimento 

de operação e processos organizacionais; ambiente externo, que reflete o ambiente externo da organização; objetivos, que representam o ambiente tecnológico da organização. Posteriormente, esses critérios foram ampliados em ^{Campanelli e Parreiras (2015} a), adicionando o nível de maturidade e conhecimento prévio das equipes de desenvolvimento.

4.5.2 Classificação quanto à motivação da adaptação do papel ágil

Nesta seção, classificamos os papéis encontrados nos resultados do Survey quanto à motivação da adoção do papel ágil divididos em gerenciamento de projetos (GP) e no foco de abordagem de desenvolvimento de software (SDA), classificadas nas motivações em melhoria de qualidade, eficiência e eficácia. O framework apresenta algumas perspectivas funcionais; são elas: perspectiva comportamental, que, por exemplo, inclui preocupações sobre habilidades e motivações; perspectiva de processo, que enfatiza a colaboração entre equipes multifuncionais autogerenciadas; perspectiva de governança, que diz respeito à seleção e alocação de recursos para projetos no ambiente ágil; e a perspectiva de resultado, que diferencia entre os custos imediatos ou do projeto e o custo total.

Tabela 3 Motivação de adaptação do papel ágil 

4.5.3 Domínio de tarefas adicionais.

Por fim, classificamos os papéis encontrados nos resultados do survey quanto ao domínio de tarefas adicionais, nos aspectos de nível de análise /aplicação e de perspectivas funcionais. Que são elas: perspectiva comportamental, por exemplo, incluem preocupações sobre habilidades e motivações; perspectiva de processo, que enfatiza a colaboração entre equipes multifuncionais autogerenciadas; perspectiva de governança, que diz respeito à seleção e alocação de recursos para projetos no ambiente ágil; e a perspectiva de resultado, que diferencia entre os custos imediatos ou do projeto e o custo total.

Tabela 4 Domino de tarefas adicionais 

5.1 Limitações do estudo

As amostras probabilísticas são criadas quando os entrevistados são escolhidos aleatoriamente ou por algum outro método que permita representatividade da população. No entanto, este estudo contou com uma amostra não probabilística, portanto, seus resultados podem ser utilizados em pesquisas futuras, mas com o cuidado de que não possam ser generalizados para a população como um todo.