有關賽夏族矮靈祭的來源有幾種不同的說法，相傳在古代賽夏族和矮人大隘族毗鄰而居，矮人傳授賽夏人農耕、醫術、及祭祀歌舞，賽夏人將其視為恩人，每當舉行祭典節慶時，都會請矮人前來飲酒作樂。有一年「豐收祭」之夜，矮人因調戲賽夏少女，慘遭憤怒的賽夏人設計殺害。從此賽夏人遭逢連年災害、穀物歉收。族人認為這是矮靈作祟，於是將豐年祭改為「矮靈祭」，祈求矮靈不再降禍於賽夏族人。
為期三天的祭典儀式由苗栗東河村(南賽夏)開始，隔天再到新竹縣大隘村(北賽夏)舉行。主要祭典包括「迎靈」、「娛靈」、和「逐靈」三個部分，其中只有「娛靈」是開放外族人參加的祭典。由於賽夏人對矮人抱持敬畏和恐懼的心理，因此儀式莊嚴肅穆，由於祭典在深夜舉行，更是充滿神秘的氣氛。
「迎靈」在第一天清晨展開，由各族長代表面向東方告諸矮靈，邀請矮靈前來參加祭典。入夜後族人齊聚會場，以嚴肅莊嚴的歌舞招靈。第二天清晨，主祭族長以米粿為祭品，面向東方恭請矮靈的降臨。第二天晚上的「娛靈」是祭典的高潮，族人穿著傳統服飾，邀請觀賞民眾共同加入舞蹈的行列，飲酒歌舞至天明。
歌舞行列中，由各家壯丁扛著的「姓氏旗」，原本是戴在頭上的，所以稱為舞帽，後來愈做愈大，只好扛在肩上。上面繡有各家族姓氏，象徵星星月亮的亮片，及象徵太陽的鏡子，所以又稱為「月光旗」或「日月旗」。祭典歌舞中唯一的樂器是族人揹在身後，由數排雞母珠、竹管、銅管或鈴鐺所組成的「臀鈴」，會隨著舞步晃動發出清脆的聲音。賽夏人認為結芒草可防止矮人作祟，因此家中的門窗家具都會綁上一根芒草，參與祭典的族人和觀光客也必須在手臂上結芒草以避邪，不可談論對祭典不敬的話，以免招致矮靈降禍。
第三天到第四天清晨是「逐靈」儀式，有年輕族人以跳躍方式摘取芒草，代表當年的運氣；之後，眾人再合力將榛木架折毀，拋向東方，象徵驅走矮靈之意。在祭典後，族人互相慰勞、分食糯米糕、飲酒作樂一番，祭典才算結束。(2006 十年大祭)
