H.264 intra-frame prediction algorithm optimization and FPGA implementation of several important modules

As a new generation of video coding standard, H.264 saves an average of 64% of bitstream under the same picture quality compared with the previous generation video coding standard MPEG2. This standard only sets the syntax structure and decoder structure of the bitstream, which is extremely flexible. It stipulates three levels, each of which supports a set of specific coding functions and a specific type of application. Therefore, the design of the H.264 encoder can be different according to different needs. Although H.264 has excellent compression performance, its complexity is much higher than that of general encoders. This paper analyzes the coding complexity of H.264 and statistics the distribution of the amount of calculation in the entire software coding. H.264 adopts a rate-distortion optimization algorithm to improve the efficiency of intra-frame prediction coding. When performing intra-frame prediction under this algorithm, in order to obtain the prediction mode of a macroblock, 592 rate-distortion cost calculations are required. Therefore, in order to reduce the computational complexity of intra-frame prediction mode selection, this paper improves the intra-frame prediction mode selection algorithm. Practice has proved that, when the loss of PSNR value is negligible, the algorithm saves more than 60% of intra-frame coding time on average compared with the original algorithm, which is of great help to the real-time performance of coding. In order to achieve real-time coding, considering the high-efficiency computing speed and flexibility of FPGA, this paper also studies the FPGA implementation of the basic level of H.264 encoder. First, the hardware implementation architecture of H.264 encoder is studied, and the algorithm and FPGA implementation of several important parts that affect the coding speed and have the advantages of hardware implementation are studied. This paper mainly studies the integer DCT transform, quantization, Zig-Zag scanning, CAVLC coding, inverse quantization, inverse integer DCT transform and other parts in H.264 encoder. These modules are synthesized and time-series simulated respectively, and the system modules that pass the verification are downloaded to the FPGA of Xilinx virtex-Ⅱ Pro, and online tests are carried out to verify the real-time compression encoding function of the system for the input residual data. This paper improves the intra-frame prediction mode selection algorithm of H.264 encoder, and the algorithm is simple to implement, which is of great help to the real-time performance of software encoding. This paper makes an exploratory attempt to implement the H.264 encoder on a single-chip FPGA, which has positive reference value for the design of H.264 encoder chips.