Filler Data doch nicht ganz sinnlos?

[NorbertK]

Ich habe festgestellt, daß beim Entfernen der NALU12 die Datei zwar wesentlich kleiner wird, es dafür aber teilweise massive Probleme mit der Synchronität der Tonspuren kommt.
Aktuelles Beispiel:
Ich habe den Film "Heiße Colts in harten Fäusten" mit einem Technisat HD S2+ aufgenommen. Dieser enthält 3 Tonspuren, 2 mal MPEG und 1 mal AC3 2.0. Nach dem Entfernen der NALUs kommt es in den letzten 10 Minuten des Films zu einem massiven Tonversatz in der AC3 Spur. Bei dem MPEG - Spuren ist der Versatz auch vorhanden, aber lange nicht so krass.
Lasse ich die NALUs drin, ist der Ton perfekt.
TS-Doktor meldet bei allen Versuchen weder eine Warung noch einen Fehler.
Bei Versuchen mit anderen Filmen z.B. Windtalkers gibt es auch Asynchronität, die sich hier aber ab Mitte des Films allmählich langsam steigert. Bei einigen wenigen Filmen ist dieser Effekt überhaupt nicht festzustellen.

Hat Jemand eine Erklärung zu diesem Phänomen?

[Cypheros]

Hi,

NALU-Filler-Daten gehören zum H264-Videostream und werden vom Video-Decoder ignoriert. Der TS-Doctor entfernt auch nur Pakete, die keine sonstigen Informationen enthalten. Filler-Pakete mit PCR-Informationen zum Beispiel bleiben erhalten. Das muss etwas anderes Sein, das die Asynchronitäten verursacht.

Wird das File vielleicht in ein anderes Format (mkv, m2ts,etc.) konvertiert? Beim Konvertieren kann es bei Fehlern im Stream zu Bild- und Ton-Versatz kommen, da viele Muxer bei fehlerhaften PES- oder ES-Paketen diese einfach weglassen.

[NorbertK]

Hi,
ich habe mir das durch TS-Doktor erzeugte TS-File angeschaut. Auch hier war der Versatz vorhanden.
Habe auch mit dem Format-Konverter nach m2ts konvertiert, wodurch der Versatz noch deutlicher wurde.
Ein Konvertieren nach m2ts mit ts-Remux entsprach im Ergebnis dem gefixten TS-File.
Somit kann ich eigentlich ausschließen, daß eine Konvertierung schuld ist.
Viele Grüße

[Cypheros]

Hi,

es sind doch bestimmt Fehler im Stream oder? Hast Du zufällig noch das Log-File vom ersten Durchlauf?

[NorbertK]

Hi Cypheros,
habe das Log-File neu erzeugt und mich vergewissert, daß der Versatz auch vorhanden ist.
Es sind übringens keine Fehlermeldungen vorhanden.
Viele Grüße
Norbert K.

[Cypheros]

Hi,

gibts das auch in deutsch? Ich seh da nur ganz viele chinesische Zeichen.

Opening file E:\Technisat_HD\Heisse Colts in harten Fäusten.TS4
਍ഀഀ
OS: Windows 7 Service Pack 1
਍吀匀䐀漀挀琀漀爀⸀攀砀攀 嘀 ㄀⸀㄀⸀㄀㐀 ⠀䈀甀椀氀搀 　㈀㈀　㔀䔀⤀ഀഀ

਍匀甀瀀瀀漀爀琀攀搀 吀匀 猀漀甀爀挀攀 昀椀氀琀攀爀 昀漀甀渀搀  㨀 吀匀 䐀漀挀琀漀爀 䘀椀氀攀匀漀甀爀挀攀 ⠀漀渀⤀ഀഀ
Supported splitter filter found   : Haali
਍匀甀瀀瀀漀爀琀攀搀 愀甀搀椀漀 昀椀氀琀攀爀 昀漀甀渀搀      㨀 昀昀搀猀栀漀眀 䄀甀搀椀漀 䐀攀挀漀搀攀爀Ⰰ 䌀礀戀攀爀䰀椀渀欀 䄀甀搀椀漀 䐀攀挀漀搀攀爀 ⠀倀䐀嘀䐀㤀⤀Ⰰ 䴀椀挀爀漀猀漀昀琀 䐀吀嘀

[NorbertK]

   Uups, da hatte ich aber dicke Finger 
Neuer Versuch.
Sorry

[NorbertK]

Irgenwie kommen aus dem Logfile immer nur Hyroglyphen an. Ich probiers mal anders:

Opening file E:\Technisat_HD\Heisse Colts in harten Fäusten.TS4

OS: Windows 7 Service Pack 1
TSDoctor.exe V 1.1.14 (Build 02205E)

Supported TS source filter found  : TS Doctor FileSource (on)
Supported splitter filter found   : Haali
Supported audio filter found      : ffdshow Audio Decoder, CyberLink Audio Decoder (PDVD9), Microsoft DTV-DVD Audio Decoder
Supported Mpeg video filter found : ffdshow Video Decoder, CyberLink Video/SP Decoder (PDVD9), Microsoft DTV-DVD Video Decoder
Supported H264 video filter found : ffdshow Video Decoder, Microsoft DTV-DVD Video Decoder
File size: 10788418496
Packets  : 57385204


Scanning for TRP fill pakets

Scanning for PIDs

Found 5 different PIDs

Identifying stream types

$177A: 90%  = H264 Video (PES_StreamID E0 = Video_Stream_0) [PCR,PTS,DTS]
$178E: 2%   = Teletext (PES_StreamID BD = Private_Stream_1) [PTS][PESLength]
$1784: 2%   = MPEG1 Audio (PES_StreamID C0 = Audio_Stream_0) [PTS][PESLength]
$1786: 4%   = AC3 Audio (PES_StreamID BD = Private_Stream_1) [PTS][PESLength]
$1785: 2%   = MPEG1 Audio (PES_StreamID C2 = Audio_Stream_2) [PTS][PESLength]


Scanning for PATs

No valid PAT found!
--- PAT/PMT creation mode ---
Creating new PAT for PMT PID 00B1

----------- PAT 0 -----------
PacketCount              : 0
Table ID                 : 0
Section Syntax Indicator : 1
Reserved Bit 0           : 0
Reserved Bit 1           : 1
Reserved Bit 2           : 1
Pointer Field            : 0
Section Length           : 13
Transport Stream ID      : 6
Reserved Bit 3           : 1
Reserved Bit 4           : 1
Version Number           : 11
Current Next Indicator   : 1
Section Number           : 0
Last Section Number      : 0

  Program Number : $0001
  Map PID        : $00B1

CRC32                    : $44FB9EB4 = $44FB9EB4
-----------------------------


Found 1 different PATs
Found 1 different PMT PIDs
Creating new PMT PID 00B1
PCR for selfmade PMT: 177A
New PMT: CRC OK!


0.
  stream_type              : 27 = AVC video stream as defined in ITU-T Rec. H.264 | ISO/IEC 14496-10 Video
  elementary_pid           : 177A
  ES_info_length           : 12

1.
  stream_type              : 4 = ISO/IEC 13818-3 Audio
  elementary_pid           : 1784
  ES_info_length           : 6

2.
  stream_type              : 129 = Private stream type Audio AC3 (AC3)
  elementary_pid           : 1786
  ES_info_length           : 12

3.
  stream_type              : 4 = ISO/IEC 13818-3 Audio
  elementary_pid           : 1785
  ES_info_length           : 6

4.
  stream_type              : 6 = ITU-T Rec. H.222.0 | ISO/IEC 13818-1 PES packets containing private data (Teletext)
  elementary_pid           : 178E
  ES_info_length           : 7

PCR PID is 177A

Created PAT:

----------- PAT 0 -----------
PacketCount              : 0
Table ID                 : 0
Section Syntax Indicator : 1
Reserved Bit 0           : 0
Reserved Bit 1           : 1
Reserved Bit 2           : 1
Pointer Field            : 0
Section Length           : 13
Transport Stream ID      : 6
Reserved Bit 3           : 1
Reserved Bit 4           : 1
Version Number           : 11
Current Next Indicator   : 1
Section Number           : 0
Last Section Number      : 0

  Program Number : $0001
  Map PID        : $00B1

CRC32                    : $44FB9EB4 = $44FB9EB4
-----------------------------



Created PMT:

----------- PMT 0 -----------
Packet                   :
PacketCount              : 0
PID                      : $00B1
Table ID                 : 2
Section Syntax Indicator : 1
PMT Size                 : 89
Pointer Field            : 0
Section Length           : 81
Program Number           : $0001
Version Number           : 0
Current Next Indicator   : 1
Section Number           : 0
Last Section Number      : 0
PCR PID                  : $177A

Program Info Length      : 0

  Stream Type    : 27
  Description    : AVC video stream as defined in ITU-T Rec. H.264 | ISO/IEC 14496-10 Video
  Elementary PID : $177A
  ES Info Length : 12
  ES Info        : $28, $04, $64, $00, $29, $BF, $0A, $04, $65, $6E, $67, $00
  ES Info Text   : (_d_)¿__eng_

  Stream Type    : 4
  Description    : ISO/IEC 13818-3 Audio
  Elementary PID : $1784
  ES Info Length : 6
  ES Info        : $0A, $04, $64, $65, $75, $00
  ES Info Text   : __deu_

  Stream Type    : 129
  Description    : Private stream type Audio AC3 (AC3)
  Elementary PID : $1786
  ES Info Length : 12
  ES Info        : $05, $04, $41, $43, $2D, $33, $0A, $04, $67, $65, $72, $00
  ES Info Text   : __AC-3__ger_

  Stream Type    : 4
  Description    : ISO/IEC 13818-3 Audio
  Elementary PID : $1785
  ES Info Length : 6
  ES Info        : $0A, $04, $64, $65, $75, $00
  ES Info Text   : __deu_

  Stream Type    : 6
  Description    : ITU-T Rec. H.222.0 | ISO/IEC 13818-1 PES packets containing private data (Teletext)
  Elementary PID : $178E
  ES Info Length : 7
  ES Info        : $56, $05, $67, $65, $72, $09, $00
  ES Info Text   : V_ger__

CRC32                    : $385183F7 = $385183F7
-----------------------------


First video PTS is 2567651398 07:55:29.460
Last video PTS  is 3161980798 09:45:33.120

First PCR  is 770262186000 07:55:28.229
Last PCR  is 948560941115 09:45:31.887
Duration of video stream is 594329184 01:50:03.658
Video PCR to PTS difference -1543 ms
$1784: Delay to video stream = -1091ms
$1786: Delay to video stream = -1094ms
$1785: Delay to video stream = -1089ms
$178E: Delay to video stream = -26813124ms


The following PIDs will be imported into new stream: $177A, 1784, 1786, 1785, 178E

Scanning for video details

-------- H264 Video ---------
profile_idc                            : 100
constrained_set0_flag                  : 0
constrained_set1_flag                  : 0
constrained_set2_flag                  : 0
constrained_set3_flag                  : 0
reserved_zero_4bits                    : 0
level_idc                              : 40
seq_parameter_set_id                   : 0
chroma_format_idc                      : 1
bit_depth_luma_minus8                  : 0
bit_depth_chroma_minus8                : 0
qpprime_y_zero_transform_bypass_flag   : 0
seq_scaling_matrix_present_flag        : 0
log2_max_frame_num_minus4              : 0
pic_order_cnt_type                     : 0
log2_max_pic_order_cnt_lsb_minus4      : 3
num_ref_frames                         : 5
gaps_in_frame_num_value_allowed_flag   : 0
pic_width_in_mbs_minus1                : 79
pic_height_in_map_units_minus1         : 44
frame_mbs_only_flag                    : 1
direct_8x8_inference_flag              : 1
frame_cropping_flag                    : 0
vui_parameters_present_flag            : 1
aspect_ratio_info_present_flag         : 1
aspect_ratio_idv                       : 1
overscan_info_present_flag             : 0
video_signal_type_present_flag         : 1
video_format                           : 5
video_full_range_flag                  : 0
colour_description_present_flag        : 1
colour_primaries                       : 1
transfer_characteristics               : 1
matrix_coefficients                    : 1
chroma_loc_info_present_flag           : 1
chroma_sample_loc_type_top_field       : 0
chroma_sample_loc_type_bottom_field    : 0
timing_info_present_flag               : 1
num_units_in_tick                      : 1
time_scale                             : 100
fixed_frame_rate_flag                  : 1
nal_hrd_parameters_present_flag        : 1
cpb_cnt_minus1                         : 0
bit_rate_scale                         : 4
cpb_size_scale                         : 4
bit_rate_value_minus1_0                : 11229
cpb_size_value_minus1_0                : 55702
cbr_flag_0                             : 0
initial_cpb_removal_delay_length_minus1: 23
cpb_removal_delay_length_minus1        : 23
dpb_output_delay_length_minus1         : 23
time_offset_length                     : 0
vcl_hrd_parameters_present_flag        : 0
-----------------------------

Video format: H264 1280x720p/50 fps/High@4.0
Colorimetry : ColourPrimaries=BT.709, TransferCharacteristics=BT.709, MatrixCoefficients=BT.709

Scanning for audio details
Audio stream 1: MPEG1 Audio
Audio stream 2: AC3 2.0 48000Hz (GER)
Audio stream 3: MPEG1 Audio

Cut in  at PCR: 00:00:00.000 (07:55:28.229)
Cut out at PCR: 01:50:03.658 (09:45:31.887)

Starting at paket 00000000(00000000) PCR: 00:00:00.000 (07:55:28.229)
No cutting at the end needed

---------  NAL Unit Type Statistic  ---------
Slices                 : 330182
    I-Slices           : 10601
    P-Slices           : 10098
    B-Slices           : 309483
    SP-Slices          : 0
    SI-Slices          : 0
Data Partition A       : 0
Data Partition B       : 0
Data Partition A       : 0
IDR Picture            : 0
SEI                    : 330182
Sequence Parameter Set : 10601
Picture Parameter Set  : 31803
AUD                    : 330182
End of Sequence        : 0
End of Stream          : 0
Filler                 : 153331
Slices                 : 0
Seq. Param. Set Ext.   : 0

H264 filler data: 28,3% [Netto]

Cutted pakets at the beginning: 0
Cutted pakets at the end: 0
Discarded pakets (Filler data): 15980156 = 28,4% [Brutto]
Discarded pakets (not needed): 1155629

PID stream sizes
$177A: 6,3 GB
$1784: 209,7 MB
$1786: 370,0 MB
$1785: 209,7 MB

ERRORS : 0
WARNINGS : 0

Speed: 26,2 MBytes/sec
Duration: 00:06:33

[alexander]

Vielleicht hilft's bei der Fehlersuche:
Ich habe den Film mit einer TerraTec Cinergy 1200 DVB-C aufgezeichnet.
Nach dem Schnitt und der Entfernung der Filler Bits sind Bild und AC3-Ton auch am Ende absolut synchron.

Ich habe derartige Effekte auch nur, wenn Fehler im Stream auftreten und die vom TS-Doctor erzeugten TS-Files sind üblicherweise dennoch einwandfrei. Asynchronitäten treten dann erst auf, wenn ich mit TSMuxer eine Blu-Ray erzeuge.
Die TS-Files teste ich mit dem VLC.

[NorbertK]

Hallo Alexander,
vielen Dank für den Tip. Bei mir ist aber das "fixed.ts"-'File schon asynchron. Ich habe die Filler einfach dringelassen und dann war auch mein Ton Okay. Mich interessiert es einfach wieso die Unterschiede entstehen. Ts-Muxer zum konvertieren ist sowieso ein Glücksspiel. Mit TSREMUX habe ich wesentlich bessere Erfahrungen gemacht.
Grüße
Norbert

[Cypheros]

Hi,

ist schon recht seltsam. Hatte noch nie Probleme mit dem Entfernen der Fillerdaten und auch verschiedene Zeitschriften haben das Entfernen der Fillerdaten schon problemlos durchgeführt.

Vielleicht ist bei der Cinergy irgendetwas besonderes in der Aufnahme versteckt, was solch einen Effekt hervorruft!?

[NorbertK]

Hi Cypheros,
ich habe heute (Mist:gestern) den Film "Der Untergang des römischen Reiches" aufgenommen. Mit dem Doktor nach fixed.ts. konvertiert, und siehe da, kein Tonversatz alles Supi! (Natürlich ohne Nalu12)
Es scheint also gewisse Datenkonstallationen zu geben,  bei denen die NuLos (Sorry: Nalus) eine Rolle spielen.
Die Antwort von Alexander fand ich recht hilfreich. Ich habe daraufhin die "asynchronen" Heiße Colts mal auf dem PC mit MediaPlayerClassic abgespielt (leider nur mp2-Ton) und da war der Fehler nicht bemerkbar!!!
Es scheint nur aufzutreten, bei der Weiterverbeitung (Nero9 [besser als Nero 10], Pinnacle 14 ultimate, Sony Vegas 10 pro).
Ich denke mal dass dieses Thema ganz interessant wäre. Wenn ich hier für Dich in irgendwelchen Streams schnüffeln soll, sag mir Bescheid.

Viele Grüße und Danke für das Engagement
Norbert

[Derrick]

Es scheint nur aufzutreten, bei der Weiterverbeitung (Nero9 [besser als Nero 10], Pinnacle 14 ultimate, Sony Vegas 10 pro).

..davon hast du aber in den anderen beiträgen nichts geschrieben 

[NorbertK]

Sorry,
an die Möglichkeit hatte ich überhaupt nicht gedacht. Ich bin einfach davon ausgegangen, daß ein Versatz halt überall auftritt. Er schleppt sich dann ja auch bis zum Stand-alone Player durch. Und wie auch schon oben geschrieben, ich habe es nur mal ganz kurz mit dem MPEG2-Stream getestet die 'AC3 Klamotten' sind bei HD sowieso immer die Sorgenkinder.
Viele Grüße

[alexander]

Hi NorbertK,

langsam verliere ich etwas den Überblick.
Du schreibst einmal

"Bei mir ist aber das "fixed.ts"-'File schon asynchron."

und dann

"die "asynchronen" Heiße Colts mal auf dem PC mit MediaPlayerClassic abgespielt (leider nur mp2-Ton) und da war der Fehler nicht bemerkbar!!!".

Hört sich an, als wären die gefixten TS-Files OK aber manche Abspiel oder Weiterbearbeitunbgssoftware hat erst Probleme damit. Teste doch bitte mit dem VLC oder TSDoctor. Beide spielen auch die AC3-Spur ab.

Was die Weiterverarbeitung angeht stimme ich dir ebenfalls zu:

Ts-Muxer zum konvertieren ist sowieso ein Glücksspiel.

Ebenso MultiAVCHD (verwendet intern TSMuxer). Ich erstelle aus den mit TSDoctor geschnittenen Files Blu-rays. Das einzige Programm, das ich kenne und das selbst aus fehlerhaften Streams meist noch synchrone m2ts-Dateien erzeugt, ist DVR-Studio HD 2. Ist aber eher teuer, hat ein recht außergewöhnliches und gewöhnungsbedürftiges Kopierschutzmodell und nach meinen Erfahrungen eine schlechtere Schnittqualität als der TSDoctor.
Ich wollte jedoch eine einwandfreie Blu-ray (TS-Aufnahme fehlerfrei, TSDoctor keine Fehlermeldung, Authoring mit DVR-Studio OK, abspielbar mit allen Softwareplayern und Standalone-Player) mit BD_Rebuilder auf Blu-ray-Größe verkleinern. Das Ergebnis war wieder asynchron. Offensichtlich haben einige TV-Streams Datenkonstellationen, mit denen einiges der erhältlichen Verarbeitungssoftware nicht klar kommt.