A dispersão acontece quando a luz se divide nos seus espectros básicos, criando efeitos na cor do arco-íris devido às diferenças entre os formatos de onda de cada espectro.
Este efeito também é conhecido por difração.
Dependendo do material o efeito acontece na reflexão, como em CDs e selos holográficos, por exemplo, igual eu mostrei no tutorial passado sobre reflexo com dispersão, você pode acessa-lo clicando aqui.
Mas a dispersão acontece também na refração, quando um vidro ou outro material transparente refrata a luz dividindo-a em seus espectros primários, o exemplo mais comum é um prisma, mas fica muito bonito aplicar uma leve dispersão em materiais de vidro fino e muito polido, como enfeites de cristal.
O problema é que o cálculo fisicamente correto da dispersão é difícil e demorado para o computador efetuar, deixando o render mais pesado.
Se isso não for problema para você, basta baixar o Shader Prism Photon aqui na seção Texturas>Shaders do site www.3d1.com.br e aplicar no Slot Photon do menu Mental Ray Connection do seu material.
Você pode criar o material de vidro normalmente, tanto com material Standard como com material Raytrace, em seguida, você configura o Caustics como eu já expliquei no tutorial da piscina, que você acessa clicando aqui., e aplica o Shader Prism Photon no menu Mental Ray Connection para gerar a dispersão no efeito de Caustics.
Mas neste tutorial eu quero explicar uma forma rápida, fácil e leve de gerar este efeito, é uma dica simples, mas muito útil nestes casos e não necessita de Shaders de terceiros.
Não é fisicamente correto, mas isso não importa, o que importa é o resultado final.

Para iniciar precisamos de uma cena de exemplo, eu criei uma cena bem simples com um Plane de piso, uma primitiva Pyramid do Max, inclinada e um pouco acima do piso, uma luz Omni comum com Multipler 0.8, uma Skylight com Multipler 0.8 também e uma câmera apontada para o objeto, assim como mostra a imagem abaixo.

Os materiais aplicados na cena são super simples, apenas para exemplo, você pode fazer materiais mais aprimorados se quiser. Eu usei um material Raytrace configurado como vidro da mesma forma que é feito normalmente no Max, colocando um cinza escuro no Reflect, branco no Transparency e valores altos no Specular Level e no Glossiness.
Só com isso você já pode gerar o efeito de Caustics no objeto, o problema é que todos os objetos vêm desabilitados para gerar Caustics, você precisa habilitar manualmente.
Isso é feito clicando com o botão direito sobre o objeto, escolhendo a opção Properties, Object Properties a partir do Max 9, e acessando a ficha Mental Ray. Nesta ficha tem a opção Generate Caustics para habilitar a geração de Caustics neste objeto.

Agora já podemos gerar o efeito de Caustics, abra a janela Render Scene, obviamente o Mental Ray já deve estar habilitado como renderizador, isso é feito acessando o menu Assign Render dentro da janela Render Scene, que é aberta teclando F10. Dentro do menu Assign Render tem o botão com 3 pontinhos na frente do item Production, clicando sobre ele aparece a lista para escolher o Mental Ray.
Com o Mental Ray habilitado aparece a ficha Indirect Illumination no topo da janela Render Scene, acesse o grupo do Caustics e clique no Enable para habilita-lo, como mostra a imagem ao lado.
Habilite também o Maximum Sampling Radius, este é o único valor que você precisa configurar neste grupo, no máximo vai ter que aumentar o Multipler depois.
Mas o valor do Radius varia de acordo com a cena, depende do tamanho da cena, da escala dos objetos, ajuste para ficar adequado na sua cena, os photons devem ficar visíveis pontilhando de branco toda a área da sombra do prisma.
Se ficar muito suave ou não estiver vendo os Photons, você pode aumentar o valor do Multipler, que até o Max 8 se chama Energy e está no grupo Light Properties, mais abaixo na mesma janela. Ainda pode aumentar o Energy no menu Mental Ray Indirect Illumination que tem na luz Omni e em todas as luzes.
Você deve renderizar para ver como os Photons estão ficando até configurar corretamente
Por fim, aumente o número de Photons do Caustics no grupo Light Properties, no meu teste eu estou usando 100 mil, é um valor baixo, mas fica adequado neste teste simples.
Se ficar inseguro com esta configuração dos Photons, veja o tutorial de Caustics na piscina, que indiquei no início, nele eu explico mais detalhadamente como configurar este efeito.

Para a iluminação ficar um pouco melhor, colocamos uma Skylight na cena, mas para ela funcionar precisa habilitar o Final Gather, portanto, acesse o menu do Final Gather na mesma ficha Indirect Illumination, clique no Enable para habilitar e a partir do Max 9 tem Presets, você pode escolher o Preset Low para os testes.
Se preferir configurar manualmente, você pode usar valores entre 0.1 e 0.3 no Initial FG Point Density, e valores entre 64 e 128 no Rays Per FG Point, também deve colocar 1 no Diffuse Bounce para a luz rebater uma vez.
No Max 8 ou inferior, o Rays Per FG Point se chama apenas Samples e você pode usar valores entre 64 e 128 também, mas não tem o recurso de Initial FG Point Density, deixando o render um pouco mais demorado, pois nele é como se o Initial FG Point Density estivesse configurado com o valor 1.
Se usar valores menores no Samples, você compensa isso. Não esqueça de colocar 1 no Diffuse Bounce do Max 8 também, no caso do Max 7 e do Max 6, não tem o Diffuse Bounce.

Renderize a imagem agora e veja, deve ficar parecida com o exemplo mostrado abaixo.
Se ficar muito clara, diminua a intensidade das luzes, se ficar muito escura, aumente a intensidade das luzes.
Se o Caustics não aparecer, aumente o Multipler no grupo do Caustics na ficha Indirect Illumination ou no Energy no menu Mental Ray Indirect Illumination na luz Omni.
No Max 8 não tem o Multipler no grupo Caustics, ele se chama Energy e fica no grupo Light Properties como eu disse anteriormente.
Você pode melhorar o material de vidro aplicando uma imagem HDR no Environment da cena ou do material, para ter o que refletir e não refletir apenas o fundo preto do Max. Aqui na seção Texturas>HDRI do site www.3d1.com.br tem diversas imagens HDR para download.

Pronto, agora só precisamos criar o efeito de dispersão, se você quiser simplesmente usar o Shader Prism Photon que tem para download aqui na 3D1, basta aplica-lo no Slot Photon do menu Mental Ray Connection no material Raytrace.
Nós vamos fazer diferente, vamos usar um subterfúgio que não é fisicamente correto, mas é mais leve e oferece mais controle.
Em vez de aplicar o Shader Prism Photon no Slot Photon do Menu Mental Ray Connection, vamos aplicar o Shader Photon Basic, como mostra a imagem ao lado.
Entrando no Shader Photon Basic, coloque branco em todas as cores, indicando que todos os Photons devem refratar com o máximo de intensidade. O máximo de intensidade é justamente o valor usado no Multipler do grupo Caustics ou no Energy.

Se você renderizar agora, não terá mudado nada, o Caustics ficará exatamente igual, pode haver pequenas diferenças na reflexão dos Photons, já que colocando branco em todas as cores do Shader Photon Basic, todos os Photons vão refratar e nenhum vai refletir, como poderia estar acontecendo antes de aplicar o Shader Photon Basic devido a configuração do material Raytrace.
O Shader Photon Basic é usado para controlar os Photons mais precisamente e individualmente, se você trocar a cor do Specular para vermelho, por exemplo, o prisma passa a emitir Caustics vermelho, mesmo ele sendo de vidro transparente, então, você pode fazer o que quiser com o Caustics e até criar composições mais complexas com outros Shaders.
No nosso caso só queremos que o Caustics seja emitido nas cores do arco-íris para simular o efeito de dispersão, então, basta aplicar um mapa Gradient Ramp no Specular do Photon Basic e configurar as chaves de cores para criar as cores do arco-íris, como mostra a imagem abaixo.

Com o Gradient Ramp configurado e aplicado no Slot Specular do Shader Photon Basic, renderize a cena e veja, sem nenhuma outra modificação, o Caustics passa a ser emitido nas cores que você definiu no Gradient Ramp, criando assim a simulação do efeito de dispersão como mostra a imagem abaixo.

Para o render final, você só precisa aumentar o valor dos Samples de Final Gather, que se chamam Rays per FG Point a partir do Max 9, usamos algo entre 64 e 128 nos testes, use algo entre 256 e 512 no render final.
No caso do Max 9, aumente também o valor do Initial FG Point Density, usamos algo entre 0.1 e 0.3 nos testes, use algo entre 0.5 e 1 no render final.
E também é muito importante configurar corretamente o sistema de Antialiasing, para não ficar serrilhado e nem granulado.
Se você não sabe ajustar o sistema de Antialiasing do Mental Ray, está disponível para download gratuito o terceiro capítulo do vídeo curso de Mental Ray da 3D1, que explica justamente como configurar todos os recursos deste sistema. Clique aqui para acessar a página de download.

Usando esta mesma técnica você poderia criar o efeito de Volume Caustics com dispersão, pois se tiver volume na cena e o Volume Caustics for configurado, o Gradient Ramp vai influenciar a cor do Volume Caustics também como mostra a imagem abaixo.