Cálculo trayendo 3

La fotografía solía estar limitada a imágenes planas y bidimensionales. Hoy en día, el arte y la ciencia de la captura de imágenes están impulsados ​​por la óptica, la computación y la electrónica, y los ingenieros de Cornell están trabajando en lo más avanzado de las imágenes en 3D.

Suren Jayasuriya, estudiante de posgrado en el laboratorio de Alyosha Molnar, profesora asociada de ingeniería eléctrica e informática, está desarrollando una cámara 3-D con sensores de imagen especialmente diseñados que podrían llevar a aplicaciones nunca antes imaginadas, desde autos inteligentes hasta imágenes médicas y visualmente impactantes. gráficos de computadora.

Los sensores, que están hechos de píxeles que pueden detectar tanto la intensidad como el ángulo de incidencia de la luz, pueden volver a enfocar digitalmente una fotografía después de tomar una imagen, obtener diferentes vistas en perspectiva de una escena de una sola toma y calcular un mapa de profundidad de la imagen.

En apoyo del trabajo, Jayasuriya recibió recientemente una Beca de Innovación de Qualcomm de $100,000 por su propuesta conjunta con Achuta Kadambi, un estudiante de doctorado en el grupo de cultura de cámaras del MIT Media Lab de Ramesh Raskar. Su propuesta se llama "Nanofotografía: diseño de sensor CMOS computacional para imágenes en 3D".

"Lo emocionante de los píxeles sensibles al ángulo es que están innovando en el lado del detector, para ayudar a motivar nuevas aplicaciones en gráficos y visión por computadora, donde estamos dando más dimensionalidad a nuestros datos, a un costo de computación", dijo Jayasuriya. "Pero la forma en que las cosas se están escalando, con la Ley de Moore y [las unidades de procesamiento de gráficos] y la computación paralela, la computación se está volviendo cada vez menos un problema. La era de los grandes datos está aquí. Ahora, es más como, ¿qué datos presentamos? a estos algoritmos para hacerlos más inteligentes?"

En otras palabras, la captura de imágenes ya no se trata solo de tomar una foto. Se trata de capturar una imagen y usar el aprendizaje automático y la computación para posprocesar la imagen, en un abrir y cerrar de ojos.

Para el proyecto de Qualcomm, están trabajando en un sensor de profundidad que se basa en una técnica de imagen llamada "tiempo de vuelo", que es cada vez más popular y se usa, en particular, en las cámaras Microsoft Kinect. Las imágenes de tiempo de vuelo miden el tiempo que tardan los fotones en reflejarse en los objetos de una escena. Los investigadores están agregando codificación de tiempo de vuelo para permitir que su sistema de imágenes visualice la luz a medida que viaja a través de una escena y vea alrededor de las esquinas. Al capturar la luz en vuelo, los investigadores pueden hacer una cámara que funcione, de manera efectiva, a mil millones de cuadros por segundo, mediante computación de posprocesamiento.

Los sensores de imagen de píxeles sensibles al ángulo están hechos de lo que se llama un proceso de semiconductor de óxido de metal complementario (CMOS), una técnica de fabricación de chips bien establecida. Esa es una de las ventajas que Jayasuriya aporta al proyecto; su asesor, Molnar, tiene muchos años de experiencia en el diseño de chips basados ​​en CMOS para aplicaciones de imágenes, biomédicas y de radiofrecuencia.

El proyecto de Jayasuriya y Kadambi fue uno de los ocho ganadores de la Beca Qualcomm, de 146 solicitantes. Ellos compartirán el premio de $100,000.

Reciba las noticias de Cornell directamente en su bandeja de entrada.