西汉阳陵(今陕西高陵西南)人。武帝时为京师大侠。坐法，朝廷追捕不能得。会丞相公孙贺子敬声以擅用北军钱犯法下狱，贺即自请逐捕安世以赎子罪。他被捕后，知道是公孙贺为赎子罪，遂从狱中上书，告敬声与武帝女私通及使人为巫蛊诅咒罪，贺父子均死于狱，家被族诛。武帝末年，巫蛊之祸自此而起，以后株连而死者甚众，至公主、皇后、太子都死于祸。
