SwitchLog

我們如何衡量

我們如何衡量

SwitchLog 是對照創作者實際發布的影片開發的,而不是對照品味小組。這一頁說明方法。這裡不列數字:只有在一個數值於多支錄影上量測過、且報告說明了量測對象之後,才會公布。

用白話說

四步,不需要公式。

  1. 取一對

    一條你發布的影片,和它來自的原始錄影。

  2. 把它們對齊

    原片的每一秒得到一個標籤:你保留了、你在鏡頭內修剪了、你刪掉了、或沒人說得清。

  3. 讓引擎盲剪

    引擎在完全看不到你剪輯的情況下,剪同一段原片。

  4. 逐秒比較

    引擎保留的部分裡,你也保留了多少?你保留的部分裡,引擎找到了多少?你保留而它丟掉了什麼?隨機挑選又能得多少分?

一個整數例子

  1. 假設你從兩小時直播中發布了 20 分鐘,引擎也保留了 20 分鐘。
  2. 引擎的 20 分鐘裡有 12 分鐘是你也保留的。精確率:60%。
  3. 這 12 分鐘是你 20 分鐘裡的 12 分鐘。召回率:60%。
  4. 從 120 分鐘裡隨機挑 20 分鐘,與你的 20 分鐘重合約 17%。這就是印在每個精確率旁邊的隨機基線。
  5. 如果引擎刪掉了你保留的 3 分鐘,那作為過度刪除單獨報告,絕不併入分數。
創作者的剪輯引擎的選擇重疊:雙方都保留的秒數創作者保留同一鏡頭內修剪捨棄未知精確率 = 重疊 ÷ 引擎秒數召回率 = 重疊 ÷ 創作者秒數過度刪除 = 保留卻被引擎刪掉的秒數
所有比率按時間加權,只在創作者剪輯能佐證的片段內判定。未知秒數不計。

配對

量測的單位是配對:創作者的原始錄影,和從中發布的影片。我們從配對建出一條真值軌,把原始素材的每一秒標為保留、修剪、丟棄,或在無人能作證時標為未知。

比較

引擎在沒看過剪輯的情況下剪同一份素材。然後把它的選擇與真值逐秒、按時間加權地比較:引擎選中的秒數裡創作者也保留的比例、創作者保留的秒數裡引擎找到的比例,以及兩者整體的重疊。

分開報告的項目

移除單獨計分;創作者保留但引擎移除的秒數以獨立比率報告,絕不併入單一分數。未知的秒數從所有比率中排除。隨機選擇會得到的比率(機率)印在每個精確度旁邊。

個人檔案

檔案以創作者的配對擬合,並在它沒看過的折上檢驗。只有一組配對時報告會明說,因為一支錄影只是一個樣本。

它不證明什麼

與剪輯的一致不等於觀眾滿意,較短的輸出也不等於較好的輸出。每份報告都把這些列為限制,發行說明必須把未量測的標為未量測。

洽談試點 →