Кодирование в x264 MEncoder'ом
x264 – это свободная библиотека для кодирования видеопотоков H264/AVC. Для того, чтобы mencoder мог использовать x264, его, возможно его придется пересобрать. Конечно, предварительно нужно установить сам x264. Контейнеры AVI и OGG/OGM не могут вмещать в себя потоки H264/AVC, следовательно для них лучше использовать mp4 (Mpeg4) либо mkv (Matroska).
Для мультиплексирования выходного файла можно воспользоваться библиотекой libavformat (-of lavf), определяющей формат файла по расширению, или же задать его вручную опцией format:
# mencoder VTS01.vob -o home.mp4 -of lavf -ovc x264
Кодек x264 обеспечивает качественное изображение и высокую степень сжатия, но работает очень медленно. Имейте это в виду, если только у вас не современный двухядерный процессор.