Hossein Bakhshi-Golestani M.Sc.
Marie Skłodowska-Curie Research Fellow
PROVISION ITN
Forschungsgebiet
3D Scene Models in Frame Prediction
Kontakt
E-Mail: golestani@ient.rwth-aachen.de
Tel.: +49 (0) 241 80 2 7683
Fax: +49 (0) 241 80 22 196
Sprechzeiten
Mittwoch und Donnerstag, 10:00 bis 12:00 und 14:00 bis 16:00 Uhr
Raum 34b
Anschrift
Hossein Bakhshi-Golestani
Institut für Nachrichtentechnik
RWTH Aachen
D-52056 Aachen
Forschungsthema
Kameralokalisierung und 3D-Mapping für Videokompression
Bei der Videocodierung spielt die Prädiktion eine wichtige Rolle. Grundsätzlich gilt: Wenn der Decoder ein Videoframe vorhersagen kann, kann der Encoder nur die Differenz zwischen dem Frame und seiner Vorhersage übertragen. Auf diese Weise müssen hoffentlich weniger Informationen übertragen werden. Weil benachbarte Frames in einer Videosequenz ähnliche Inhalte haben, kann man ein Zielframe aus seinen benachbarten codierten Frames, den Referenzframes, vorhersagen.
Im Falle einer sich bewegenden Kamera könnte der Inhalt des Zielframes effizient vorhergesagt werden. Insbesondere wenn Kamerabewegung und 3D-Geometrie einer Szene gegeben sind, könnte eine Mapping zwischen dem Inhalt des Zielframes und seinen Referenzen erstellt werden. In meiner Arbeit geht es darum, dieses Mapping zu finden und zur Synthese eines virtuellen Referenzbildes zu verwenden. Im Vergleich zu den klassischen Referenzen soll die virtuelle Referenz dem Zielframe ähnlicher sein; daher wird eine bessere Prädiktion und folglich eine höhere Kompressionsrate erwartet.
Als Voraussetzung sollten die Kamerabewegung und das Szenen-3D-Modell geschätzt werden. In diesem Zusammenhang werden zunächst die eingegebenen 2D-Frames analysiert, um die Kameraposen zu schätzen: die 2D-Frames werden in den 3D-Bereich projiziert, um einen Satz von 3D-Punkten (Punktwolke) zu bilden, ein Optimierungsproblem wird gelöst, um den 2D-3D-Reprojektionsfehler zu minimieren, und schließlich werden die Kameraposen und die 3D-Punkte aktualisiert. Sobald ein neues Frame codiert werden soll, versucht die aktuelle 3D-Szenengeometrie, es vorherzusagen, dann wird das Frame im Modell registriert, aktualisiert und es wird auf das neue bevorstehende Frame gewartet.
Im Moment konzentriert sich meine Forschung auf schnelle/effiziente Kamerakalibrierung und Punktwolkenschätzung unter Verwendung von Konzepten und Tools, die auch beim selbstständigen Autofahren eingesetzt werden, wie Simultaneously Localization and Mapping (SLAM).
Publikationen
H. B. Golestani, J. Sauer, C. Rohlfing, and J.-R. Ohm, “3D Geometry-based Global Motion Compensation for VVC,” in IEEE International Conference on Image Processing (ICIP), (Anchorage-Alaska, US), IEEE, Piscataway, Sept. 2021. [ bib ]
H. B. Golestani and J.-R. Ohm, “Exploiting the 3D Structures Observed in 2D Video Sequences for Motion Compensation,” in Picture Coding Symposium (PCS'21), (Bristol, UK), IEEE, Piscataway, June 2021. [ bib ]
H. B. Golestani, C. Rohlfing, and J.-R. Ohm, “Reference Picture Synthesis for Video Sequences Captured with a Monocular Moving Camera,” in IEEE International Conference on Visual Communications and Image Processing (VCIP), (Sydney, AUSTRALIA), IEEE, Piscataway, Dec. 2019. [ bib | more… | https ]
I. Saxena and H. B. Golestani, “Hierarchical depth map estimation for inter-prediction in video coding,” in Proc. of International Student Conference on Electrical Engineering POSTER '19, (Prague, Czech Republic), May 2019. [ bib | https ]
H. B. Golestani, T. Meyer, and M. Wien, “Image-Based Rendering using Point Cloud for Video Coding,” in Picture Coding Symposium (PCS'18), (San Francisco, US), IEEE, Piscataway, June 2018. [ bib | https ]
H. B. Golestani, M. Wien, and J.-R. Ohm, “3D Scene Model based Frame Prediction in Video Coding,” in International Conference on 3D Immersion, (Brussels, Belgium), IEEE, Piscataway, Dec. 2017. [ bib | https ]
H. B. Golestani, J. Schneider, M. Wien, and J.-R. Ohm, “Point Cloud Estimation for 3D Structure-Based Frame Prediction in Video Coding,” in Proc. of IEEE International Conference on Multimedia and Expo ICME '17, (Hong Kong, Hong Kong), IEEE, Piscataway, July 2017. [ bib | https ]
M. Joneidi, H. B. Golestani, and M. Ghanbari, “Eigen-Gap of Structure Transition Matrix: A New Criterion for Image Quality Assessmrnt,” in IEEE Signal Processing and Signal Processing Education Workshop, (Utah, USA), IEEE, Piscataway, Aug. 2015. [ bib | https ]
M. Joneidi, M. Sadeghi, P. Ahmadi, H. B. Golestani, and M. Ghanbari, “Matched Detection in Union of Lowrank Subspaces,” in 7th International Symposium on Telecommunication, (Tehran, Iran), IEEE, Piscataway, Sept. 2014. [ bib | https ]
H. B. Golestani and M. Ghanbari, “Window Size Influence on SSIM Fidelity,” in 7th International Symposium on Telecommunication, (Tehran, Iran), IEEE, Piscataway, Sept. 2014. [ bib | https ]
H. B. Golestani, M. Joneidi, and M. Ghanbari, “Logo Watermarking with Unequal Strength for Improved Robustness Against Attacks,” in 7th International Symposium on Telecommunication, (Tehran, Iran), IEEE, Piscataway, Sept. 2014. [ bib | https ]
H. B. Golestani, M. Joneidi, and M. Sadeghi, “A Study on Clustering for Clustering based Image De-Noising,,” Journal of Information Systems and Telecommunications, vol. 2, pp. 196–204, Aug. 2014. [ bib | http ]
H. B. Golestani and M. Ghanbari, “Minimisation of Image Watermarking Side Effects Through Subjective Optimization,” IET Image Processing Journal, vol. 7, pp. 733–741, Aug. 2013. [ bib | https ]
M. Sadeghi, M. Joneidi, and H. B. Golestani, “Learning Low-Dimentinal Subspaces via Sequentially Subspace Fitting,” in 21st Iranian Conference on Electrical Engineering, (Mashhad, Iran), IEEE, Piscataway, Apr. 2013. [ bib | https ]
H. B. Golestani and S. Ghaemmaghami, “Enhance Robustness of Image-in-Image Watermarking through Data Partitioning,” in IEEE Region 10 Conference, (Cebu, Philippines), IEEE, Piscataway, Nov. 2012. [ bib | https ]
Standardisierungsdokumente
H. B. Golestani, C. Rohlfing, and M. Wien, “AHG12: 3D Geometry for Global Motion Compensation,” Doc. JVET-V0129, Joint Video Experts Team of ITU-T VCEG and ISO/IEC MPEG, Teleconference, online, Apr. 2021. [ bib ]
NOTICE FOR IEEE PUBLICATIONS: © IEEE. Personal use of this material is permitted. However, permission to reprint/republish this material for advertising or promotional purposes or for creating new collective works for resale or redistribution to servers or lists, or to reuse any copyrighted component of this work in other works, must be obtained from the IEEE. Contact: Manager, Copyrights and Permissions / IEEE Service Center / 445 Hoes Lane / P.O. Box 1331 / Piscataway, NJ 08855-1331, USA. Telephone: + Intl. 908-562-3966.