faster-whisper repetition penalty ( Was: One part of the transcription is corrupted, causing everything behind it to be incorrect. ) #161
Description
Hi, I'm working with whisper streaming for transcript audio. Most of the time, the transcriptor is working fine, but in some cases, part of the translation is incorrect, and it gets worse from there, words keep repeating, I think it's because the context and promp were updated before, causing the output to get worse. Has anyone encountered this, please help me
INFO Audio duration is: 28.00 seconds
INFO Loading Whisper large-v3-turbo model for ja...
INFO done. It took 8.57 seconds.
DEBUG PROMPT:
DEBUG CONTEXT:
DEBUG transcribing 3.00 seconds from 0.00
DEBUG >>>>COMPLETE NOW: (None, None, '')
DEBUG INCOMPLETE: (0.68, 2.94, '貨 物 船 と パ ン カ ー が 所')
DEBUG len of buffer now: 3.00
DEBUG ## last processed 3.00 s, now is 3.28, the latency is 0.28
DEBUG PROMPT:
DEBUG CONTEXT:
DEBUG transcribing 6.01 seconds from 0.00
DEBUG >>>>COMPLETE NOW: (0.68, 1.78, '貨 物 船 と')
DEBUG INCOMPLETE: (1.78, 29.98, 'タ ン カ ー が 衝 突 し、 炎 上 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船')
DEBUG len of buffer now: 6.01
DEBUG ## last processed 6.01 s, now is 7.75, the latency is 1.74
DEBUG PROMPT:
DEBUG CONTEXT: 貨 物 船 と
DEBUG transcribing 9.01 seconds from 0.00
DEBUG >>>>COMPLETE NOW: (1.78, 29.98, 'タ ン カ ー が 衝 突 し、 炎 上 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船')
DEBUG INCOMPLETE: (None, None, '')
DEBUG len of buffer now: 9.01
DEBUG ## last processed 9.01 s, now is 10.69, the latency is 1.68
DEBUG PROMPT:
DEBUG CONTEXT: 貨 物 船 と タ ン カ ー が 衝 突 し、 炎 上 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船
DEBUG transcribing 12.01 seconds from 0.00
DEBUG >>>>COMPLETE NOW: (None, None, '')
DEBUG INCOMPLETE: (None, None, '')
DEBUG len of buffer now: 12.01
DEBUG ## last processed 12.01 s, now is 13.67, the latency is 1.67
DEBUG PROMPT:
DEBUG CONTEXT: 貨 物 船 と タ ン カ ー が 衝 突 し、 炎 上 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船
DEBUG transcribing 15.01 seconds from 0.00
DEBUG >>>>COMPLETE NOW: (None, None, '')
DEBUG INCOMPLETE: (None, None, '')
DEBUG --- not enough segments to chunk
DEBUG chunking segment
DEBUG len of buffer now: 15.01
DEBUG ## last processed 15.01 s, now is 16.72, the latency is 1.72
DEBUG PROMPT:
DEBUG CONTEXT: 貨 物 船 と タ ン カ ー が 衝 突 し、 炎 上 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船
DEBUG transcribing 18.01 seconds from 0.00
DEBUG >>>>COMPLETE NOW: (None, None, '')
DEBUG INCOMPLETE: (None, None, '')
DEBUG --- not enough segments to chunk
DEBUG chunking segment
DEBUG len of buffer now: 18.01
DEBUG ## last processed 18.01 s, now is 19.71, the latency is 1.70
DEBUG PROMPT:
DEBUG CONTEXT: 貨 物 船 と タ ン カ ー が 衝 突 し、 炎 上 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船
DEBUG transcribing 21.01 seconds from 0.00
DEBUG >>>>COMPLETE NOW: (None, None, '')
DEBUG INCOMPLETE: (None, None, '')
DEBUG --- not enough segments to chunk
DEBUG chunking segment
DEBUG len of buffer now: 21.01
DEBUG ## last processed 21.01 s, now is 22.62, the latency is 1.61
DEBUG PROMPT:
DEBUG CONTEXT: 貨 物 船 と タ ン カ ー が 衝 突 し、 炎 上 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船
DEBUG transcribing 24.01 seconds from 0.00
DEBUG >>>>COMPLETE NOW: (None, None, '')
DEBUG INCOMPLETE: (None, None, '')
DEBUG --- segment chunked at 8.30
DEBUG chunking segment
DEBUG len of buffer now: 15.71
DEBUG ## last processed 24.01 s, now is 25.10, the latency is 1.09
DEBUG PROMPT: 衝 突 し、 炎 上 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船
DEBUG CONTEXT: 船 船 船 船 船 船 船
DEBUG transcribing 18.72 seconds from 8.30
DEBUG >>>>COMPLETE NOW: (None, None, '')
DEBUG INCOMPLETE: (None, None, '')
DEBUG --- not enough segments to chunk
DEBUG chunking segment
DEBUG len of buffer now: 18.72
DEBUG ## last processed 27.02 s, now is 28.70, the latency is 1.68
DEBUG PROMPT: 衝 突 し、 炎 上 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船 船
DEBUG CONTEXT: 船 船 船 船 船 船 船
DEBUG transcribing 19.70 seconds from 8.30
DEBUG >>>>COMPLETE NOW: (None, None, '')
DEBUG INCOMPLETE: (None, None, '')
DEBUG --- not enough segments to chunk
DEBUG chunking segment
DEBUG len of buffer now: 19.70
DEBUG ## last processed 30.02 s, now is 31.73, the latency is 1.72
DEBUG last, noncommited: (None, None, '')