// 新增
var container = document.getElementById('divAudio');
container.appendChild(audio);

// 刪除
var container = document.getElementById('divAudio');
if (container.firstChild !== null) {
     console.log('刪除audio元素');                                      
     document.getElementById('divAudio').removeChild(container.firstChild);
}
 

<div id="divAudio"></div>