<div class='collection'>
<p>Lorem ipsum dolor sit amet.</p>
</div>

// création d'un paragraphe
var newP = $("<p>");
newP.text("Ce paragraphe a été ajouté avec JQuery");
// positionnement du paragraphe (append prepend after)
// positionnement après le paragraphe dans la Div
$(".collection>p").append(newP);

Testez vos propres exemples sous Jsfiddle. Cliquez ici

<div id="contenu">
   <p>Le ciel est bleu aujourd'hui</p>
</div>
<input type="button" value="Changer le texte" onclick="changer_contenu()"/>

function changer_contenu(){
   var div_contenu = $("#contenu");
   div_contenu.html("<h2>Le ciel est gris aujourd'hui</h2>");
}

Testez vos propres exemples sous Jsfiddle. Cliquez ici