Tuvo su primitivo solar en el barrio de Elorriaga (cuyo nombre tomó), cercano a Durango (Vizcaya). Otras casas hubo después en las villas de Busturia y Gamiz, y en el lugar de Bedarona, esta última armera, del partido judicial de Guernica. Pasó a Guipúzcoa, fundando dos casas llamadas de Yuso y de Suso, en la villa de Deva, del partido judicial de Azpéitia, y otra en su barrio de Iciar. Otras dos casas florecieron en la misma provincia, en la villa de Zumárraga, del partido de Vergara, que también se llamaron de arriba y de abajo; otra radicó en la villa de Berástegui, y unas veces aparece llamada de Elgorriaga y otras de Elorriaga; otra en la anteiglesia de San Pedro de la villa de Zumaya; otra en la parroquia de San Miguel de Urnieta, y otra en Oñate. Pasaron a Álava y fundaron casas en la villa de Lezama y en la ciudad de Vitoria. De la casa de la villa de Oñate fueron Antonio y José de Elorriaga, que obtuvieron Reales provisiones de hidalguía en la Chancillería de Valladolid, el 15 de Abril de 1785, y en 1770, respectivamente.

Escudos de Armas del apellido:
La casa de la villa de Busturia, en Vizcaya: De oro, con una encina de sinople, y en el jefe del escudo tres estrellas de azur, puestas en situación de faja. Estas mismas armas trae la casa de Elorriaga, de la villa de Berástegui, llamada también de Elgorriaga, pero acrecentadas con una bordura de gules, con una cadena de eslabones de oro. (Véase el apellido Elgorriaga). Las casas de Gamiz, en Vizcaya; la de Suso de Deva; la de arriba en Zumárraga, y la de Zumaya: De oro, con un rosal de sinople, con rosas de gules, y un lobo de sable, andante al pie del tronco. Las casas de Yuso de Deba y la de abajo, de Zumárraga, añaden a esas armas una bordura de gules con ocho sotueres de oro. La casa del barrio de Iciar, cercano a Deva: De gules, con un espino de su color natural, perfilado de oro, y un lebrel de plata, atado a él. Otros del mismo barrio: Cortado: 1º, de azur, con tres estrellas de oro, puestas en triángulo, y 2º, de gules, con el espino de su color, perfilado de oro y el lebrel de plata atado a él. Bordura general, lisa, de oro. Las casas de las villas de Oñate, en Guipúzcoa, y de Lezama, en Álava: Cortado: 1º, de oro, con un lobo de sable, surmontado de una estrella de azur, y 2º, de sinople, con tres veneras de plata, puestas en triángulo. Una casa sita cerca de la ciudad de Vitoria: De oro, con un árbol de sinople, acompañado de tres estrellas de azur, una en lo alto y las otras dos a los lados. Divisa: "¡Guerra a muerte!"

Simbología de los escudos de Armas:
Teniendo en cuenta la indumentaria que en la Edad Media vestían los caballeros en la batalla (armadura, celada, etc.), y que los hacía irreconocibles, resultaba necesario buscar un método de identificación y distinción entre los contendientes, que fuera revelador, preciso y rápido a una cierta distancia. De ahí surge la fórmula de exhibir en sus escudos tinturas, emblemas, etc., que los diferenciase de forma inequívoca y singular en el campo de batalla. Por eso la simbología heráldica, en su origen, buscaba formas y colores que fuesen notorios y permitiesen distinguir a sus portadores de un golpe de vista. Tal vez es exagerada la tendencia de algunos autores de dar significado o contenido a todos los emblemas (piezas, muebles, etc.) y esmaltes heráldicos, aún así hay varios tratados que estudian la simbología de los blasones de forma muy exhaustiva, entre ellos: "Ciencia Heroyca", de Don José de Avilés. Año 1725; y "Adarga Catalana", de Don Francisco Xavier de Garma y Duràn. Año 1753 Por las Leyes de la Heráldica, cuantos lleven el oro en sus escudos están obligados a hacer el bien a los pobres y a defender a sus príncipes, peleando por ellos hasta su última gota de sangre. El oro simboliza el topacio. En las armerías de los reyes se le llama "sol", en las de los nobles con título de Duque, Marqués, Conde, etc, "topacio" y en el de la nobleza en general "oro". En su relación con los astros el oro es el Sol; de los doce signos del Zodiaco, Leo; de los elementos, el fuego; de los días de la semana, el domingo; de los meses del año, julio; de los árboles, el ciprés y de las flores, el girasol; de las aves, el gallo; de los cuadrúpedos, el león y de los peces, el delfín. La plata en las armerías recibe el nombre de Luna, en lo que se refiere a las de los soberanos; en las de los títulos, perla, y en las de los restantes nobles, plata; significa blancura, pureza, y los que la llevan en sus armas están obligados a defender a las doncellas y amparar a los huérfanos. La plata significa en su correspondencia con las piedras preciosas la perla. De los astros, la Luna; de los signos del Zodiaco, Cáncer, y de los elementos, el agua; de los días de la semana, el lunes; de los meses del año, los de enero y febrero; de los árboles, la palmera; de las flores, la azucena; de las aves, la paloma; y de los animales, el armiño. El color rojo, denominado en Heráldica, gules, simboliza el valor, la intrepidez y la valentía. Aquellos que llevan este color en sus blasones tienen la obligación de socorrer, amparar y defender, a los injustamente oprimidos. Representa al rubí, y en lo que se refiere a los signos del Zodiaco corresponde a Marte, Aries y Escorpio; como elemento, el fuego; el día, el martes y el mes, el de octubre; el metal, el cobre; árbol, el cedro y la flor, el clavel; de las aves, corresponde al pelícano. El gules en las armerías de los reyes y príncipes se llama Marte; en las de los títulos, rubí, y gules en la generalidad de la nobleza. El esmalte azul (azur) simboliza la realeza, la serenidad y la hermosura. Los que los lleven en sus armas, están obligados a socorrer a los fieles servidores de sus príncipes que "se hallan sin remuneración por sus servicios". En las piedras preciosas representa al zafiro y en los signos del Zodiaco a que se encuentra sujeto son Tauro y Libra. Su elemento es el aire; su metal, el acero; el día de la semana, el viernes; los meses, abril y septiembre; su árbol, el álamo; la flor, la violeta; su animal, el camaleón y su ave, el pavo real. El azur se llama Júpiter en las armerías reales, zafiro en las de los títulos y azur en la nobleza. El esmalte sinople es el verde. Su significado es la esperanza, la abundancia y la libertad; cuantos llevan este esmalte en su escudo quedan obligados a socorrer a los labradores en general y a los huerfanos y pobres que se encuentren oprimidos. Su signo zodiacal corresponde a Mercurio; su elemento es la tierra; el día de la semana, el miercoles; su mes, mayo; su metal, el azogue; como planta, el laurel; la flor, la siempreviva y como ave, el papagayo. En los blasones de los principes recibe el nombre de Venus; esmeralda, en el de los títulos y sinople en los de la nobleza en general. El ala representa a las alas del águila, simbolizando la libertad, dada sus ansias de volar y surcar los cielos. El sotuer o aspa se trae a las armerías españolas por la batalla de Baeza, ganada contra los moros el día de San Andrés del Año de 1227, que es la forma de la Cruz en que estuvo este Santo Apóstol en su martirio. La bordura simboliza protección, favor y recompensa; así mismo la cota que vestían los caballeros para la guerra y que al salir de la pelea, ostentándola manchada de sangre enemiga, eran premiados con el añadido de la bordura de escudo, como insignia de valor. La bordura también se usa para combinar armerías, con la particularidad que las armas situadas en la bordura tienen siempre carácter secundario. Las familias españolas, que traen cadenas en su blasón, es por la batalla de las Navas, en la que se rompió el palenque de Miramomelín, guarnecido de gruesas estacas y cadenas muy fuertes La casa solariega, también llamada solar, casa fuerte, casa palacio, casa torre, casona, casal, etc., es el símbolo de las antiguas libertades de los nobles, caballeros e hidalgos, notoriedad y nobleza.