出於進一步加大升限的目的，殲-6Ⅱ在殲-6Ⅰ型的基礎上進一步加大機翼面積0.6米2，進氣道中央增加了可調整流錐，改善高速條件下的進氣效率並減小阻力。同時進氣口唇口半徑減小，機頭有8個輔助進氣門。液壓系統將主系統和助力系統合併為單系統。殲-6Ⅱ拆掉了阻流板、通用梁、照相槍、信號槍、防彈鋼板、發動機防護板、9框氧氣瓶等，進一步減輕了飛機重量；為彌補殲-6Ⅰ飛機火力不足的缺點，殲-6Ⅱ的機頭左側下方加裝1門23-1航炮，備彈75發，提高火力，並可掛2枚霹靂-2飛彈，裝АСП-3НМ瞄準具，主要用來對付敵高空偵察機等目標。
1969年3月，第一架殲-6Ⅱ飛機改裝完成，3月25日由葉光榮首飛。6月29日試飛結束。試飛結果表明，殲-6Ⅱ最大馬赫數1.44，升限19500米。但在放整流錐時，平飛增速阻力偏大。而且飛機在飛行過程中出現機尾罩溫度過高的問題，因此未設計定型。8月，首架殲-6Ⅱ專門前往北京南苑機場作表演，中央領導給予了較高評價。殲-6Ⅱ飛機共生產2架，由於性能未達標，未繼續生產。1969年9月，2架殲-6Ⅱ均交空24師使用。
